J.Kim et al

Continuous joined pdf 앞선 포스팅에서 연속적인 확률변수에서의 pdf외 cdf를 알아보았다. 결국 하나의 확률 변수와는 달리, 두개의 확률변수의 확률 밀도를 구하려면 단위 면적 당 확률을 구해야 한다는 것을 알 수 있었다. 각각의 확률변수의 범위가 정해져 있다면 다음과 같이 이중적분으로도 구할 수 있지만, 마치 집합 A와 집합 B가 있을 때, 두 집합의 합집합을 구할 때처럼 얻을 수 있다. Conditional Distribution 확률 밀도에 어떠한 조건을 걸어보자. 그럼 그 조건은 새로 축소된 Sample Space가 된다. 먼저 discrete한 경우를 살펴보자. discrete case 하나의 동전을 3번 던지는 것을 예를 들어보자. RV X는 동전의 앞면이 첫 번째로 나올 경우..

Joint CDF of Bivariate RVs 우리는 여태 확률 변수가 하나일 경우만 살펴보았다. 하지만 실생활은 그렇지 않다. 여러 개의 확률 변수가 복합적으로 작용한다. S1과 S2라는 각각의 Sample Space가 있을 때, 각각 다른 특정 값에 매핑이 된다. 이때, 두 가지의 case가 동시에 발생할 확률은 다음과 같이 나타낸다. 두 개 이상의 확률 분포는 순서쌍으로 나타내지며, 이를 Joint라고 표현한다. Joint CDF 두 개 이상의 확률 변수에 대한 CDF를 알아보자. 식과 그래프를 함께 살펴보자. Joint CDF의 특성에 대해 알아보자. Discrete RVs 확률 변수가 하나일 때는 dimension이 하나이기 때문에 나타내기 쉬웠다. 확률 변수가 두 개일 때는 평면 좌표를 떠올..

Gaussian Distribution "우리 세상의 모든 확률 분포는 거의 대부분 가우시안 분포를 따른다고 보면 돼." 학부 연구실에 들어 온지 얼마 되지 않았을 때, 연구실 선배와 확률과 인공지능의 관계에 대해 이야기 나누면서 들었던 말이다. 처음에는 이해 하지 못했지만, 확률에 대해서 좀더 생각해보니 왜 그런 말씀을 하셨는지 이해가 간다. 그럼 내가 어떻게 이해했는지 살펴보자. Gaussian Distribution(Normal Distribution) 의 확률 변수는 일반적인 모든 경우들의 연속적인 값으로 정의된다. 대표적인 예로 Noise가 있다. 식으로 나타내면, 로 나타내진다. 여기서 mu_X는 평균을 나타내고, sigma^2_X는 분산을 나타낸다. 간략한 그래프를 보면 알 수 있듯이 평균을..

Poisson Distribution Poisson dist는 이미 이전 포스팅에서 다룬 적이 있다. 확률 변수에 대한 정의는 특정 시간 구간 안에 Event가 발생하는 횟수를 나타내고 관련 식은 다음과 같다. Exponential Distribution 지수분포에서 확률 변수는 lifetime, decaying time과 같은 것을 뜻한다. 식은 다음과 같다. 지수 분포에서 a라는 시스템이 양수 s의 값을 추가하여 시간 t 동안 생존할 확률을 구해보자. 위의 그래프처럼 특정 t라는 시간까지 리셋된다면 또 다시 지수 분포로 나타낼 수 있다는 것을 확인할 수 있다. Relation between ED & PD 지수 분포와 포아송 분포의 관계에 대해서 알아보자. 지수 분포는 시간과 관련되어 있고, 포아송 분..

이전 포스팅 복습 평균. 즉, Expectation은 E[X]으로 나타낼 수 있다. 평균의 본질적인 의미를 알아보기 위해 Error 모델을 정의 했었다. real observation을 hat{x}라고 하고 우리가 예측한 prediction 값을 x 라고 한다면, 라고 정의했고, Error 모델을 촤소화 시키는 것이 평균이라고 했다. 그렇다면 mean(평균)이 갖는 의미를 확률적으로 나타내보자. Cheryshev Inequality 쳬이셰프 부등식은 mean이 갖는 의미를 확률적으로 재해석하는 것이고, 식으로 나타내면. 확률 변수 X와 평균의 차이가 나는 기준을 a라고 했을 때, 그 차이가 a보다 클 확률을 나타낸것이다. 유도과정은 다음과 같다. Special Distribution Bernoulli D..

평균과 분산 Review 이전 포스팅에서 평균과 분산에 대해서 학습했기에 해당 식만 상기시켜 보자. Geometric distribution 이 분포에서는 확률변수를 다르게 정의한다. K라는 확률변수는 어떠한 사건을 첫 번째로 성공할때까지의 순서로 정의된다. 예를 들어 주사위를 던진다고 할 때, 처음으로 6이라는 숫자가 나올 경우를 생각해보면, 확률변수와 확률은 다음과 같이 정의된다. 즉 다음과 같이 정의된다. 첫번째 사건이 반드시 일어나야 하므로 k는 1부터 시작한다. (a) 사건의 횟수를 무한으로 발생시킨다면? (b) 만약 P=1/3이라면, 적어도 3번은 시행해봐야 한다. (c) 평균을 구해보자. k는 상수이므로, 식을 미분을 해보자. 결국 결론은 다음과 같다. (d) 분산 (c)에서 미분 한 식을 ..

Moments of RVs Arithmetic Average 우리는 초등학교 때부터 전과목 평균으로 등수를 매기는 방식 아래 살아왔기에 평균을 구하는 방법에 대해서는 잘 알고 있다. different frequency 전자전기공학부 출신들은 frequency를 들으면 바로 "주파수!"라고 대답할 것이다. 하지만 확률에서는 빈도수를 뜻한다. 여기서 w_i는 A라는 이벤트의 갯수를 의미한다. Expectation (mean) 흔히 기대값이라고 일컫으며 평균을 의미한다. 식을 살펴보면 discrete한 경우에는 특정한 x_i라는 data와 그 x_i에 대응하는 확률값을 곱한 후 더하는 것이고, continuous한 경우에는 정적분과 같은 형태이다. Poisson distribution 포아송 분포는 모든 모델..

Continuous Random Variable 앞선 포스팅에서는 이산확률변수에 대해서 알아보았다. RV를 discrete하게 지정을 하는 것이다. 하지만 우리가 살고 있는 세상은 변수가 굉장히 많다. 인구, 동물 수, 극단적으로 나노미터 크기의 분자까지. 이러한 outcome들은 정확한 RV로써 정의내리기란 불가능할 것이다. 그래서 나온것이 Continuous RV이다. 이것은 어떠한 outcome들을 모든 Real number에 대응시키는 것이다. 이때 Sample Space와 Real number는 셀 수 없이 무한 해야 한다. 그렇다면 0과 1 사이의 연속확률변수 x를 생각해보자. 0과 1사이에는 무수히 많은 실수가 존재한다. 그중에서 딱 0.5에 해당하는, 0.50000000...에 해당할 확률..

Random Variables Definition of Random Variable 우리는 일상에서 발생하는 수 많은 사건들을 예시로 들어 확률 및 통계학을 공부한다. 동전 던지기, 주사위, 공 꺼내기, 등등 사실 미래를 예측한다는 것은 사실상 확률 싸움과도 같다. '내일 논문 리뷰를 포스팅할 경우의 확률은?' 라는 것을 다뤄보자. 경우의 수는 당연히 두 가지이다. 하느냐 마느냐. 자 그럼, 위의 문장을 수학적으로 풀어보자. 그러기 위해서는 단순히 생각해보면 크게 두 가지가 필요하다. 인풋, 아웃풋 정도이다. 여기서 인풋은 내일 논문을 포스팅할 경우이고 아웃풋은 내일의 결과이다. 이것을 수학적으로 해석하기 위해서는 인풋에 해당하는 것을 변수로 설정하는 것이 계산하는 데 유용하다. 즉, 하나의 실수(Rea..

Independent Events 만약 사건 A와 사건 B가 (상호) 독립적이라면 다음과 같이 나타낼 수 있다. 즉, A가 무슨 사건이든 간 B가 발생할 확률에 영향을 주지 않는다. 이것은 다음과 같이 증명하기만 하면 된다. 주머니에서 공을 빼는 것을 생각하면 이해하기 쉽다. 검은 공과 흰 공이 들어 있는 주머니에서 한 개의 공을 뺐다가 다시 넣지 않으면 현재 사건과 다음사건은 독립적인 사건이 된다. 만약 공을 다시 집어 넣고 뽑게 된다면 , 다음 사건은 현재의 사건에 영향을 받기 때문에 독립적이지 않다고 할 수 있다. 그래서 독립사건은 조건에 어떤 의미를 부여하는지에 따라 모델링이 달라질 수 있다. 또한 A와 B가 독립이면, 각각의 여집합도 독립이다. Combinatorial Analysis (순열, ..