1.

확률이란 상대적인 빈도를 나타내는 함수이다. 하지만, 확률 그 자체보다는 어떠한 정보를 알고 있을때, 사건이 일어날 확률인 조건부 확률에 관심이 많다. 예를 들어, 내가 발열이 있었을 때, 코로나에 걸리는 확률을 구하는 것은 조건부 확률을 구하는 것이다. 조건부 확률은 결합확률과 어떠한 관계를 형성한다.

$$P(코로나|발열) = P(코로나, 발열) / P(발열)$$

Law of Total Probability

summing out 또는 marginalization 이라고 할 수 있음.

$$P(코로나) = P(코로나, 발열있음) + P(코로나, 발열없음)$$

$$P(코로나) = P(코로나|발열)P(발열) + P(코로나|발열없음)P(발열없음)$$

• 결합 확률이 주어지면, marginalization 을 하면 개별 확률을 구할 수 있음.

• 결합 확률을 알면, 개별 확률을 알고, 조건부 확률도 알 수 있다.

• 하지만, 결합 확률은 파라미터가 지수적으로 늘어나는 단점을 가지고 있다. 예를 들어 binary case 일 때 $P(a,b,c,d)$ 에 대한 파라미터의 수는 $2^4$ 가 된다.

• 따라서 결합 확률은 Factorization 을 하여 나타낸다.

$p(a,b,c, ...z) = p(a|b,c,...z)p(b,c,..,z)$

$p(a,b,c, ...z) = p(a|b,c,...z)p(b|c,...,z)p(c|..,z)..p(z)$