조건부 확률과 베이즈 정리 (Bayes' theorem)

조건부 확률

사건 B가 일어났다는 전제 하에 사건 A가 일어날 확률. 사건 B가 이미 일어났으니 \(P(B)\)를 전체로 보고 \(P(A \cap B)\)를 구하면 된다. \[P(A|B) = \frac{P(A \cap B)}{P(B)}\] * 이를 이용해 A, B가 독립이면 \(P(A \cap B) = P(A)P(B)\)를 유도할 수 있다. ** \(A^c\)에도 성립한다.

베이즈 정리

사전확률 \(P(A)\)를 알 때, 사후확률 \(P(A|B)\)를 구하는데 쓴다. \(P(A)\) 희귀병 감염률이 0.001 \(P(B|A)\) 질병에 걸린 사람이 검사에서 양성 반응을 보일 확률은 0.995 \(P(B|A^c)\) 질병에 걸리지 않은 사람이 검사에서 양성 반응을 보일 확률은 0.01 무작위로 선정된 어떤 사람이 검사에서 양성 반응을 보였다. 이 사람이 실제로 희귀병에 걸렸을 확률은?

조건부 확률을 정리하면 \(P(A \cap B) = P(A|B)P(B) = P(B|A)P(A)\) 이므로 \[P(A|B) = \frac{P(B|A)P(A)}{P(B)} = \frac{P(B|A)P(A)}{\Sigma P(B|A_i)P(A_i)}\] 이 때 \(P(B)\)는 전확률 공식으로 구한다.

전확률 공식

\(P(B) = P(B|A)P(A) + P(B|A^c)P(A^c)\) * 원래는 \(P(B) = \Sigma P(B|A_i)P(A_i)\)

likelihood와 probability

확률에는 likelihood(우도)와 probability(확률)가 있다. likelihood는 이미 시행된 결과를 확인(관찰)하는 것을 의미하고, probability는 시행하기 전에 예측하는 것을 의미한다. 예를 들어 주사위를 던져서 3이 나올 확률은 1/6이다. 주사위를 던져서 3이 나왔다면 이 경우 우도는 1/6이다. 이산 분포의 경우 likelihood와 probablity는 같다. 그러나 연속 분포에서 likelihood는 확률 밀도 함수의 값이기 때문에 같지 않을 수 있다.