[3-3] Auto Encoder, 1-SVM, SVDD

Auto Encoder

오토 인코더의 목적은 모델의 출력을 입력과 유사하도록 모델을 학습하는 것이다. 오토인코더는 정보를 축약하는 인코더 부분과 다시 입력 차원으로 매핑하는 디코더 부분이 있습니다. h 는 Latent Vector 이고 차원 축소에서는 입력의 축소된 차원으로 사용합니다.

1-SVM

SVM 기반의 이상치 탐지 기법은 정상 영역과 비정상 영역을 구분하는 분류 경계선을 찾는 것으로 1-SVM 과 SVDD 가 있습니다.

데이터를 Feature Space 로 매핑하는데, 정상 데이터를 원점에서부터 최대한 멀어지게 하는 Hyperplane 을 찾습니다. 목적함수의 각 Term 은 다음 의미를 갖습니다.

• 모델의 변동성 감소

• 정상 데이터가 $\rho$ 보다 적을 때 패널티를 부여합니다. 가능하면 정상 데이터는 원점으로부터 멀어지게 합니다. 소프트 마진의 패널티와 비슷하다. $C = \frac{1}{vl}$

• 원점에서 분류 경계면 까지의 거리 $\rho$ 를 최대한 멀게 합니다.

아래는 라그랑지안 문제로 변형한 결과입니다. 가지고 있던 제약식은 패널티를 뺀 거리보다 정상 데이터는 원점과 멀어야 하는 것과, 패널티는 양수인 제약식 두개가 있습니다.

이를 풀이하면 다음과 같다.

케이스에 따라 Hyperplane 위에 있는 정점, Hyperplane 에 있는 정점 그리고 패널티를 받는 정점으로 나뉠수 있습니다.

v 의 의미

v 가 몇이냐에 따라 서포트 벡터 모형을 어느정도 추론이 가능합니다. 서포트 벡터에서 vl 의 의미는

• 최소 $vl$ 개의 서포트 벡터가 존재

• 최대 Hyperplane 을 이하 패널티가 부여되는 객체수를 의미합니다.

따라서, VL 이 0.1 이라면 10% 이상은 서포트 벡터이고, 패널티가 부여되는 SV 의 최대 비율은 10%를 의미합니다. 반대로 VL 이 0.9 라면 90% 이상은 서포트 벡터이고, 패널티가 부여되는 SV 의 최대 비율은 90%라는 의미입니다.

따라서 V 값이 작을 수록 일반화 성능이 향상되고, V 값이 클수록 Specification 이 높아진다고 볼 수 있습니다.

SVDD

SVDD 는 정상 데이터의 영역을 감싸 안을수 있는 Hypersphere(초구) 를 찾는 것입니다.

원점 a 로 부터 반지름 R 이 작아지는 최적화 식을 수식화 합니다. 제약식은 초구가 감싸안지 못하면 패널티를 부여하는 것을 의미합니다. 양수가 되면 정상 데이터, 음수가 되면 이상 데이터를 의미합니다.

이를 풀이하면, 다음과 같습니다.

SVDD 도 1-SVM 과 유사하게 케이스를 나눌 수 있습니다.

작을수록 복잡한 경계면이 만들어지고, 클수록 단순한 경계면이 만들어집니다.

1-SVM & SVDD

모든 데이터가 unit norm vector 정규화 된다고 하면, 1-SVM 과 SVDD 는 동일합니다.

앞서, V 값이 작을 수록 일반화 성능이 향상되고, V 값이 클수록 Specification 이 높아진다고 볼 수 있다고 하였습니다. SVDD 에서도 동일합니다. 아래 그림에서 D 는 v 입니다.

D 가 클수록, Hypersphere 밖으로 가는 것을 가능한 많은 객체에 대해서 허용하지 않으므로 초구가 크다는 것을 알 수 있습니다.

D 가 작을 수록, 구 밖으로 나가는 정상 데이터들이 많아지면서 일반화 성능을 높인 것을 확인할 수 있습니다.