6_선형분리
2019-09-16 이민예
Data 가 2차원 일때, Data 를 Feature Vector 라 두고, w와 x 의 내적이 T를 임계점으로 분리를 해준다.
하지만, 다음과 같은 경우는 어떻게 될까? 이차함수를 사용하거나 또는, 직선 2개를 사용하면 분리가 될 것이다.
L1 > T1 && L2 < T2 ->o
L1 > T1 && L2 > T2 ->o
L1 < T1 && L2 > T2 ->o
L1 < T1 && L2 < T2 ->x
즉, 얼마나 많은 선으로 구분할 수 있느냐에 따라 몇개의 은닉층 노드 사용해야할 지 알 수 있다. 즉 첫번째 Hiddent Layer의 노드의 갯수이다.
점을 수평이동함
극좌표로 변환함
하지만, 실제 데이터는 이런 식으로 나오지 않는다. 따라서 , NN을 사용하기 위해서, 다각형을 만들어야 한다. 이것을 최적화에서는 cutting plane optimization 이라고 한다. 3차원까지는 우리가 상상해서 몇개의 직선 또는 평면이 필요한 지를 알 수 있지만, 4차원, ..d차원일 경우에는, 몇개로 분리가능한지 알 수 없다. 그러나 w는 hyperplane의 perpendicular vector이며 원리는 같다.
If the weight vector is considered as the reference vector for each category, the inner product of the weight vector and feature vector indicates the similarity for each category.
가중치 벡터는 각 카테고리 (o, x)의 참고할만한 벡터이다. 가중치벡터와 특징벡터의 내적의 의미는, similarity이다. 같은 방향에 있으면 코사인 값이 0이 된다.
역행렬의 특징 증명
행렬식의 속성이 중요
행렬식의 의미는 면적, 3차원일때는 부피임. 수학적 의미가 어떨까?
Last updated
