Bayesian Networks

Naive Bayes

우리는 베이지안 네트워크를 나이브 베이즈 분류기에서 보았다. 예를 들면 나는 지금 다운되있고, 마음이 싱숭생숭하며, 그러나 공부는 하고 싶은 상태일때, 거실에서 공부하는 게 가장 효율이 높은지, 방에서 공부하는게 효율이 높은지, 또는 피씨방에 가서 공부하는게 효율이 높은지를 계산하여 가장 높은 확률인 방에서 공부하는것이라 분류할 것이다.

$$f_{NB}(x) = argmax_{Y=y}P( Y=y)\Pi_{1<I<d} P(X_i = x_i|Y=y)$$

그러면은 복잡한 수식들도 그래프로 표현(Graphical Representation)하면 편리하지 않을까? 해서 나온것이 베이지안 네트워크이다. Graphical Representation 은 각 개체간의 영향과 실질적인 확률을 같이 표현한다.

Probabilistic Graphical Models 은 확률 분포를 표현하는 방식이다. 조건부 분포는 그래프로 표현할 수 있다. 베이지안 네트워크에서는 변수를 나타내는 노드와 조건부 확률을 나타내는 간선이 있는데 이러한 베이지안 네트워크에서는 방향이 있어서 부모와 자식 역할이 있다. $P(A,B,C) = P(B|A)P(C|B)P(A|C) = P(B,C|A)P(A|C) = P(A,B,C|C)$

베이지안 네트워크의 제약

따라서 베이지안 네트워크에서는 몇가지 제한이 있는데 P(A) = P(B) = P(C) =1 이어야 한다. 즉, 모든 베이지안 네트워크는 방향성 순환이 없어야 한다. 방향성 순환 (directed cycle) 이란 한 노드를 따라갔을 때, 자기 자신이 나오는 그래프이다. 즉, directed acyclic graph(DAGs) 이어야 한다. acyclic은 순환이 없는 을 뜻한다.

베이지안 네트워크의 형태

베이지안 네트워크는 큰 형태를 이룬다. 하지만 이를 지엽적으로 쪼개어보면 특정 형태 몇몇개가 있는데 이는 다음과 같다.

• Common Part

  • $P(J,M|A) = P(J|A)P(M|A)$

  • 위에 나이브베이즈에서 본 그림처럼, A 가 주어졌을 때, J 와 M 은 조건부 독립이다. $J ㅗ M | A$

• Cascading

  • $P(M|B,A) = P(M|A)$

  • 폭포수처럼 선형적인 일의 영향이 있을 때를 말함. A를 알면, M 과 B 는 조건부 독립이다.

• V-Structure

  • 공동된 자식을 가진 형태이다. 자식을 알아야지만 넘어갈 수 있으며, A를 알면 조건부 독립이 아니다.

Bayes Ball Algorithm

네트워크 상황에서 두 변수가 서로 독립인지 확인한다. Bayes Ball은 영향을 미치는지 확인하는 가상의 물체이다. 관측되는 순간 정보가 넘어가지 못한다. 넘어가지 못하는 상황에서는 두개의 자식은 조건부 독립니다. 하지만 가운데를 모르는 경우에는 독립적이지 않다. 하지만 V 구조 같은 경우는

Markov Blanket

A라는 특정 확률변수가 존재하며, 네트워크 있다. 그 중 6 개만 알면 담요 밖에 있는 부분과 나머지와는 조건부 독립이 된다.

D-Seperation (Directly Separated)

X ㅗ Z | Y

Factorization of Bayewsian

joint 를 알면 다양한 것을 알 수 있읏 ,ㅓjoint 를 아는 것이 중요하다. 하지만 단점은 파라미터의 갯수가 급속하게 많아 진다는 것이다. 이를 쪼개기 위ㅣ해서는 독립성에 대한 관계를 아는 것이 필요하다. X1 ~ X8 P(x1) 따라서 모델을 알면, 파라미터의 수를 줄일 수 있다.

Inference Question 1 : Likelihood

P(b=true, MC=true) evidence variables hidden variables

결합확률을 조건부 확률의 곱으로 표현할 수 있다.