[5-3] Generative-Model Based SSL

생성모형 기반의 준지도 학습

생성모델, 판별모델, 그리고 무방향성 모델에 대해서 말씀드리도록 하겠습니다. 생성모델은 h 라는 타겟이 주어졌을 때 v 를 찾는 것과 사전확률을 곱한 것을 찾는 것이 Generative 모델입니다. undirected 모델은 에너지 상태를 가장 안정화 시키는 모델을 의미합니다.

• Discriminative : $p(h|v)$

• Generative : $p(v,h) = p(v|h) p(h)$

  • 각 class 가 분포를 갖는다고 가정한다.

• Undirect model : (ex. RBM)

만약, 아래 그림에서 의사 결정 나무를 통해서 분류 경계면을 찾는 것은 초록색 선과 같을 것입니다. 그리고 SVM 의 분류경계면은 파랑색 선이 될 것입니다. 반면 생성 모델에서는 특정 분류 경계변을 찾는 것이 아니라 우리가 가지고 있는 데이터는 데이터 생성 분포로부터 표현된 제한된 데이터를 갖는 것이라고 가정하고 데이터 생성이 되는 그 분포를 찾는 것이 목적입니다.

따라서 데이터가 가우시안 분포를 따를 때 분류 경계면이 어떨지를 찾는 것이 생성모델의 가정입니다.

따라서 , 분류는 데이터 분포와 x 가 주어졌을 때 레이블 y 를 찾는다고 정의할 수 있습니다.

준지도 학습에 적용되었을 때는 초록색 점들을 가지고 살펴보았을 때 원에 가까운 분포로 만들어 질 것입니다. 즉, 레이블이 없는 데이터로 분류로 나누었을 때는 빨간선으로 분류됩니다. 따라서 레이블에 있는 소수에 데이터 셋만을 사용했을 때는 파란선으로 구분되었다면 빨간선은 더 정확하게 표현될 수 있다는 장점을 가지고 있습니다.

따라서, 준지도 학습 기법은 생성 모형이 unlabeled 데이터까지 최대화하므로 지도 학습 기법과 다른 생성모형을 가지고 있습니다.

$p(y|x, \theta) = \frac{1}{2} (0.5)$ 인 지점을 모아두는게 decision boundary 가 된다.

GMM 의 EM 알고리즘을 사용합니다. 먼저 가우시안 분포를 초기화 하고, Expectation Step 에서 앞서 초기화된 가우시안 분포를 사용해서 각 분포에 속할 확률을 추정합니다. x 와 세타가 주어졌을 때 레이블을 임시로 부여해줍니다. Maximization Step 에서는 원래 가지고 있던 레이블 데이터와 앞서 레이블이 부여된 언레이블 데이터와 합하여 가우시안 분포의 파라미터인 평균, 공분산 그리고 가중치를 업데이트 됩니다.

생성 모델의 단점은 왼쪽과 같이 주어져있을때는 동작하지 않는다는 단점이 있습니다. 즉 데이터가 가우시안 분포를 따르지 않을 때는 성능이 낮을 수 있습니다.