J.Kim et al

Sum of discrete RVs 두 개의 이산확률변수를 통해 새로운 확률변수를 만들어보자. (X,Y is discrete and integer value) 이산확률 변수는 확률을 정의할 수 있으며, 순서쌍으로 표현할 수있다. 결국, 새로운 확률 변수 Z의 확률은 X와 Y의 연합확률의 합으로 나타낼 수 있다. 두 확률변수는 서로 독립이므로, 컨볼루션 꼴의 형태로 나타낼 수 있다. 예를 통해 이산확률 변수도 컨볼루션 수행을 통해 새로운확률변수로 나타낼 수 있는지 증명해보자. X의 확률 변수는 동전의 앞면=1, 뒷면=0으로 정의되어지고 각각의 확률이 1/2인 Uniform dist이다. Y는 주사위를 던질 때 나오는 수 (1, 2, 3, 4, 5, 6)이고, 각각의 확률은 1/6인 Uniform dist이..

Correlation Coefficient 이전 포스팅에서 상관계수에 대해서 알아보았다. 상관계수는 두 확률변수에 대한 확률이 얼마나 유사한지 일정한 값으로 비교하기 위함이다. 수식만으로는 잘 이해가 안갔는데 그래프를 보고 이해하기 시작했다. 단순히 생각해보자. X라는 확률변수가 정해지면 자동으로 결정되는 확률변수 Y가 있다고 해보자. 만약 두 확률 변수를 함수화 하고 그래프로 나타냈을 때 단조 증가 함수 꼴의 형태를 보이게 된다면 두 확률 변수는 상관관계가 있다고 한다. 그래도 이해가 되지 않는다면…. 두 확률 변수를 키와 몸무게로 나타내보자. 더 단순하게 얘기하자면, 직관적으로 그래프를 봤을 때 확률 변수의 값들이 일정한 구간에 모여있거나 어떠한 경향을 보인다면 상관성이 있다고 말할 수 있다. Man..

Conditional Mean 두 변수의 연합확률분포(Joint density)에서 다른 변수가 고정된 상태에서 다른 변수의 평균을 계산하는 방법과 의미를 이해해보자. 우리가 이전 포스팅에서 조건부 평균을 구하고자 할 때, 식은 다음과 같았다. 이처럼 두 개의 확률변수가 조건부 평균을 구하고자 한다면 Joint density로써 접근하면 된다. Y는 고정된 조건에서 X의 대한 평균을 구해보자. 분산에 대해서 구해보면, 만약 확률변수가 함수 모양일 때, 그에 대한 평균을 구해보면 어떻게 될까? g(X)라는 함수가 있다고 생각해보자. 이 함수는 확률변수 X가 정해지면 자동으로 함수가 생성된다. g(x) = X^2일 때평균은, Covariance & Correlation Coefficient Covarianc..

Continuous joined pdf 앞선 포스팅에서 연속적인 확률변수에서의 pdf외 cdf를 알아보았다. 결국 하나의 확률 변수와는 달리, 두개의 확률변수의 확률 밀도를 구하려면 단위 면적 당 확률을 구해야 한다는 것을 알 수 있었다. 각각의 확률변수의 범위가 정해져 있다면 다음과 같이 이중적분으로도 구할 수 있지만, 마치 집합 A와 집합 B가 있을 때, 두 집합의 합집합을 구할 때처럼 얻을 수 있다. Conditional Distribution 확률 밀도에 어떠한 조건을 걸어보자. 그럼 그 조건은 새로 축소된 Sample Space가 된다. 먼저 discrete한 경우를 살펴보자. discrete case 하나의 동전을 3번 던지는 것을 예를 들어보자. RV X는 동전의 앞면이 첫 번째로 나올 경우..

Joint CDF of Bivariate RVs 우리는 여태 확률 변수가 하나일 경우만 살펴보았다. 하지만 실생활은 그렇지 않다. 여러 개의 확률 변수가 복합적으로 작용한다. S1과 S2라는 각각의 Sample Space가 있을 때, 각각 다른 특정 값에 매핑이 된다. 이때, 두 가지의 case가 동시에 발생할 확률은 다음과 같이 나타낸다. 두 개 이상의 확률 분포는 순서쌍으로 나타내지며, 이를 Joint라고 표현한다. Joint CDF 두 개 이상의 확률 변수에 대한 CDF를 알아보자. 식과 그래프를 함께 살펴보자. Joint CDF의 특성에 대해 알아보자. Discrete RVs 확률 변수가 하나일 때는 dimension이 하나이기 때문에 나타내기 쉬웠다. 확률 변수가 두 개일 때는 평면 좌표를 떠올..

Gaussian Distribution "우리 세상의 모든 확률 분포는 거의 대부분 가우시안 분포를 따른다고 보면 돼." 학부 연구실에 들어 온지 얼마 되지 않았을 때, 연구실 선배와 확률과 인공지능의 관계에 대해 이야기 나누면서 들었던 말이다. 처음에는 이해 하지 못했지만, 확률에 대해서 좀더 생각해보니 왜 그런 말씀을 하셨는지 이해가 간다. 그럼 내가 어떻게 이해했는지 살펴보자. Gaussian Distribution(Normal Distribution) 의 확률 변수는 일반적인 모든 경우들의 연속적인 값으로 정의된다. 대표적인 예로 Noise가 있다. 식으로 나타내면, 로 나타내진다. 여기서 mu_X는 평균을 나타내고, sigma^2_X는 분산을 나타낸다. 간략한 그래프를 보면 알 수 있듯이 평균을..

Poisson Distribution Poisson dist는 이미 이전 포스팅에서 다룬 적이 있다. 확률 변수에 대한 정의는 특정 시간 구간 안에 Event가 발생하는 횟수를 나타내고 관련 식은 다음과 같다. Exponential Distribution 지수분포에서 확률 변수는 lifetime, decaying time과 같은 것을 뜻한다. 식은 다음과 같다. 지수 분포에서 a라는 시스템이 양수 s의 값을 추가하여 시간 t 동안 생존할 확률을 구해보자. 위의 그래프처럼 특정 t라는 시간까지 리셋된다면 또 다시 지수 분포로 나타낼 수 있다는 것을 확인할 수 있다. Relation between ED & PD 지수 분포와 포아송 분포의 관계에 대해서 알아보자. 지수 분포는 시간과 관련되어 있고, 포아송 분..

평균과 분산 Review 이전 포스팅에서 평균과 분산에 대해서 학습했기에 해당 식만 상기시켜 보자. Geometric distribution 이 분포에서는 확률변수를 다르게 정의한다. K라는 확률변수는 어떠한 사건을 첫 번째로 성공할때까지의 순서로 정의된다. 예를 들어 주사위를 던진다고 할 때, 처음으로 6이라는 숫자가 나올 경우를 생각해보면, 확률변수와 확률은 다음과 같이 정의된다. 즉 다음과 같이 정의된다. 첫번째 사건이 반드시 일어나야 하므로 k는 1부터 시작한다. (a) 사건의 횟수를 무한으로 발생시킨다면? (b) 만약 P=1/3이라면, 적어도 3번은 시행해봐야 한다. (c) 평균을 구해보자. k는 상수이므로, 식을 미분을 해보자. 결국 결론은 다음과 같다. (d) 분산 (c)에서 미분 한 식을 ..

Independent Events 만약 사건 A와 사건 B가 (상호) 독립적이라면 다음과 같이 나타낼 수 있다. 즉, A가 무슨 사건이든 간 B가 발생할 확률에 영향을 주지 않는다. 이것은 다음과 같이 증명하기만 하면 된다. 주머니에서 공을 빼는 것을 생각하면 이해하기 쉽다. 검은 공과 흰 공이 들어 있는 주머니에서 한 개의 공을 뺐다가 다시 넣지 않으면 현재 사건과 다음사건은 독립적인 사건이 된다. 만약 공을 다시 집어 넣고 뽑게 된다면 , 다음 사건은 현재의 사건에 영향을 받기 때문에 독립적이지 않다고 할 수 있다. 그래서 독립사건은 조건에 어떤 의미를 부여하는지에 따라 모델링이 달라질 수 있다. 또한 A와 B가 독립이면, 각각의 여집합도 독립이다. Combinatorial Analysis (순열, ..

조건부 확률 Sample Space Sample Space란, 어떠한 상황에서 발생하는 가능한 모든 outcome들의 집합이며, S(set)-집합이라한다. Event(A) Sample Space의 부분집합을 말하며, A라는 사건은 Sample Space에 포함된다. P(A) 라고 하는 것은 A가 발생할 확률이라는 것을 의미하기 보단, S의 outcome이 A라는 특정 사건에 속할 확률을 뜻한다. Conditional Probability (조건부 확률) P(B|A): Event A가 발생했을 때, Event B가 발생할 확률이며, 다음과 같이 나타낼 수 있다. 여기서 분자는 A와 B가 동시에 발생했을 때이고 분모는 A가 발생할 확률이다. 날씨로 예를 들어보자. 오늘의 날씨가 비가 올지, 눈이 올지, 화창..