[확률과통계] 조건부확률과 베이지안 정리

조건부 확률

Sample Space

Sample Space란, 어떠한 상황에서 발생하는 가능한 모든 outcome들의 집합이며, S(set)-집합이라한다.

Event(A)

• Sample Space의 부분집합을 말하며, A라는 사건은 Sample Space에 포함된다.
• P(A) 라고 하는 것은 A가 발생할 확률이라는 것을 의미하기 보단, S의 outcome이 A라는 특정 사건에 속할 확률을 뜻한다.

Conditional Probability (조건부 확률)

P(B|A): Event A가 발생했을 때, Event B가 발생할 확률이며, 다음과 같이 나타낼 수 있다.

여기서 분자는 A와 B가 동시에 발생했을 때이고 분모는 A가 발생할 확률이다.

날씨로 예를 들어보자. 오늘의 날씨가 비가 올지, 눈이 올지, 화창 할지는 전날의 날씨에 충분히 영향을 받을 수 있다. 여기서 전날의 날씨는 조건에 해당하고 오늘의 날씨는 우리가 얻고자 하는 outcome이라고 볼 수 있다. 이것을 조건부 확률로 나타낸다면

로 나타낼 수 있을 것이다.

즉, 조건부 확률을 이해한 토대로 해석한다면, 기존의 전제가 발생했을 때, 우리가 얻고자 하는 이벤트가 발생할 확률을 뜻한다. 기존의 전제는 우리가 선택 가능한 것이며, 의미 있는 전제를 추출하는데 집중한다면 보다 높은 기대치의 확률을 얻을 수 있을 것이다.

Total Probability

식으로 나타낸다면,

으로 나타낼 수 있으며, A라는 Event가 발생할 확률은 배반 사건의 합으로 나타낼 수 있다.

이때 {A_1, A_2, ... , A_n} = partition of Sample Space 이다.

그림에서도 알 수 있듯이, S에서 발생하는 모든 outcome들은 모두 배반 사건이며 A가 발생할 확률은 배반 사건의 공통되는 부분이다.

이를 다르게 표현해보자.

로 나타낼 수 있다.

$A_1$이라는 특정 사건이 발생할 확률에 대해서 알아보자, 이는 그림에서도 봤듯이 A라는 전체집합과 $A_1$ 집합의 교집합이다. 이것을 조건부 확률로 나타낼 수도 있는데 특정 사건 $A_1$이 발생했을 때 A가 발생할 확률에다가, $A_1$이 동시에 발생해야 함으로 곱으로 나타낼 수 있다.

Bayesian Theorem

베이지안 정리는 간략히 말해 조건부확률의 순서를 바꿔도 상관없다는 것을 의미한다.

여기에 partition을 적용해보자. 즉, A라는 모든 Sample Space의 확률이 발생했을 때 $A_i$라는 특별한 Event가 발생할 확률을 구하면?

 구할 수 있다. A라는 Event를 구해 놓고 A가 어떠한 특정 A_i에서부터 왔는지 계산해보면 된다.

계속해서 Binary Symmetric channel (통신시스템)을 통해 위의 내용을 복습해보자.

이러한 수학적인 계산을 통해 실험적으로 확률값을 구할 수 있다. 또한 다른 문제를 해결할 수 있다.