PGM_Undirected#1

Correlation Graph (상관그래프)

상관계수란 두 확률변수의 상관관계가 양의 상관관계인지, 음의 상관관계인지, 상관이 없는지에 따라 양수, 음수, 0의 결과값을 갖는다. ( 예측모델 HW#1 ) 그래프에서 두 노드를 확률변수로 생각한다면, 두 노드의 상관관계가 k 보다 크면, 상관관계가 있어 무방향 간선을 잇거나, k 보다 작으면 간선을 잇지 않을 수 있다.

k 값을 어떻게 정할 수 있을까?

Independence

  • Marginal Independence

P(X)=P(X∣Y)P(X) = P(X|Y)

  • Conditional Independence

P(X∣Y,Z)=P(X∣Z)P(X|Y,Z)=P(X|Z)

Conditional Independence Graph

Undirected Graphical Model (UGM) 은 Markov Random Field (MRF) 또는 마르코프 네트워크라고도 말한다. 무방향그래프에서의 간선은 Conditional Indepedence 의 구조를 보여준다. (질문)

Conditional Independence (조건부독립) :

Officer A = Go 사건과 Officer B = Go 사건은 의존적이다. A 가 상사의 말을 잘 못들었다고 가정하자. 하지만 B 가 앞으로 가는 것을 보았을 때, 자기가 가야 한다는 것이다. 즉 B 라는 조건이 있었을 때에도 A가 갈 확률이 같으면 Marginally Independent 하다. 하지만, 아래와 같은 경우는 B 라는 조건이 있었을 때, A가 갈 확률이 더 크기 때문에 marginally independent 하지 않다.

P(OfficerA=Go)<P(OfficerA=Go∣OfficerB=Go)P(OfficerA= Go) < P(OfficerA= Go | OfficerB= Go )

하지만, 상사가 앞으로 가! 라고 명령을 내린 상황에서는 Officer A = Go 사건과 Officer B = Go 사건에 대해서는 조건부 독립이다.

P(OfficerA=Go∣Commander=Go!)=P(OfficerA=Go∣OfficerB=Go,Commander=Go!)P(OfficerA=Go | Commander=Go!) = P(OfficerA=Go| OfficerB=Go, Commander=Go!)

무방향 그래프가 다음의 성질을 만족하면 마코프 랜덤 필드이다.

  • Pairwise Markove Property : 인접하지 않은 두 노드는 조건부독립이다. Xu⊥ ⁣ ⁣ ⁣⊥Xv∣XV/u,vX_{u} {\perp\!\!\!\perp} X_v | X_V/{u,v}

  • Global Markov Property : S는 A를 B로부터 d-separation 시킨다. XA⊥ ⁣ ⁣ ⁣⊥XB∣XSX_{A} {\perp\!\!\!\perp} X_B | X_S

  • Local Markov Property : 이웃 노드를 제거하면 다른 노드와 조건부독립이다. Xv⊥ ⁣ ⁣ ⁣⊥XV/N[v]∣XN(v)X_{v} {\perp\!\!\!\perp} X_{V/N[v]} | X_{N(v)}

  • X1⊥̸ ⁣ ⁣ ⁣⊥X2∣X3,X4X_{1} {\not\perp\!\!\!\perp} X_2 | X_3, X_4 3,4를 지워도, 1,2는 이어져있으니깐(Probabilistic Neighborhood Selection => Conditional Dependency를 찾음 : 추정된 간선) 조건부하에서 의존이다.(conditionally dependent).

  • X1⊥ ⁣ ⁣ ⁣⊥X3∣X2,X4X_{1} {\perp \!\!\! \perp} X_3 | X_2, X_4 조건부 독립이다.

  • Precision Matrix ∑X−1\sum_X^{-1}

    • 공분산행렬의 역행렬

    • 두 노드가 conditionally dependent 하면 해당하는 entry는 0 이 아니다.

Why Markov Random Field ?

Conditional Independence Graph 와 Correlation Graph 의 차이점은?

왜 그래프를 추정하는 것이 Precision Matrix 를 추정하는 것일까?

  • 조건부독립 = Precision Matrix 원소가 0 임 = 간선은 존재하지 않는다

  • 조건부의존 = Precision Matrix 원소가 0 이 아님 = 간선이 있음

Sparsity

  • Data Sparsity : 샘플의 수 N이 w 예측을 구하기 어려움 (usually bad) p>>n

  • Probability Sparsity : 대부분의 사건의 확률이 0임

  • Sparsity in the Dual : SVM 또는 다른 커널 방법에서 나옴

  • Model Sparsity : 몇몇의 가중치가 0임 => sparse solution (L1 Norm o)

    • 특징 또는 변수 선택에 도움이 됨

    • 데이터를 해석할 수 있음

    • 모델의 경량화

    • 메모리 효율적 관리

    • 오버피팅 방지함

다변량 정규분포를 통해서 Precision Matrix 를 추정한다. 왜 ? 다변량 정규분포 사용?

가능도 함수는 데이터가 주어졌을때, 평균과 분산을 찾는 것을 의미한다.

http://ir.hit.edu.cn/~jguo/docs/notes/report-in-princeton-research.pdf

PreviousClassNextPGM_Undirected#2

Last updated