J.Kim et al

Sums of independent RVs 이번 포스팅에서는 서로 독립인 연속확률변수의 합으로 이루어진 새로운 변수의 확률분포는 어떻게 정의되는지 살펴볼 것이다. 서로 독립인 확률변수 X,Y가 있는데 이를 이용하여 새로운 확률변수 S의 확률 분포를 구하고자 한다. 그렇다면 먼저 X와 Y의 연합확률분포를 생각해야한다. 또한 S를 정의하기 위해서 생성 함수또한 필요할 것이다. cdf를 pdf로 바꿔주는 과정은 적분하면 된다. 이제부터 Convolution의 개념을 도입한다. Convolution 컨볼루션을 하는 과정은 다음과 같다. 한 개의 함수를 선택한 후, y축 기준으로 대칭시킨다. 특정한 값(t) 만큼 평행이동한다. 선택한 함수를 옮겨가며 오버랩되는 영역을 구간마다 찾는다. 두 함수를 Convoluti..

Functions of RVs 확률 변수 X가 주어졌을 때 X을 기반으로 새로운 확률변수 Y를 만들 순 없을까? 새로운 함수 �(�)를 사용하면 가능하다. (1) Linear function 만들고자 하는 확률변수 Y가 직선의 형태를 띈다고 해보자. X에 대한 pdf가 주어졌을 때, Y의 pdf는 어떻게 될까? pdf를 구하기위해선, cdf를 구해야한다. (2) for general case 다음과 같은 관계를 가지는 X와 Y가 있다고 한다. 단, 극대와 극소 사이에 y값이 존재한다. y값 보다 작을 확률을 구하고자 할때, x의 범위는 두 가지로 나뉜다. 이는 다시 cdf로 나타낼 수 있다. 이를 다시 미분하면 pdf를 구할 수 있다.

Correlation Coefficient 이전 포스팅에서 상관계수에 대해서 알아보았다. 상관계수는 두 확률변수에 대한 확률이 얼마나 유사한지 일정한 값으로 비교하기 위함이다. 수식만으로는 잘 이해가 안갔는데 그래프를 보고 이해하기 시작했다. 단순히 생각해보자. X라는 확률변수가 정해지면 자동으로 결정되는 확률변수 Y가 있다고 해보자. 만약 두 확률 변수를 함수화 하고 그래프로 나타냈을 때 단조 증가 함수 꼴의 형태를 보이게 된다면 두 확률 변수는 상관관계가 있다고 한다. 그래도 이해가 되지 않는다면…. 두 확률 변수를 키와 몸무게로 나타내보자. 더 단순하게 얘기하자면, 직관적으로 그래프를 봤을 때 확률 변수의 값들이 일정한 구간에 모여있거나 어떠한 경향을 보인다면 상관성이 있다고 말할 수 있다. Man..

Conditional Mean 두 변수의 연합확률분포(Joint density)에서 다른 변수가 고정된 상태에서 다른 변수의 평균을 계산하는 방법과 의미를 이해해보자. 우리가 이전 포스팅에서 조건부 평균을 구하고자 할 때, 식은 다음과 같았다. 이처럼 두 개의 확률변수가 조건부 평균을 구하고자 한다면 Joint density로써 접근하면 된다. Y는 고정된 조건에서 X의 대한 평균을 구해보자. 분산에 대해서 구해보면, 만약 확률변수가 함수 모양일 때, 그에 대한 평균을 구해보면 어떻게 될까? g(X)라는 함수가 있다고 생각해보자. 이 함수는 확률변수 X가 정해지면 자동으로 함수가 생성된다. g(x) = X^2일 때평균은, Covariance & Correlation Coefficient Covarianc..

Continuous joined pdf 앞선 포스팅에서 연속적인 확률변수에서의 pdf외 cdf를 알아보았다. 결국 하나의 확률 변수와는 달리, 두개의 확률변수의 확률 밀도를 구하려면 단위 면적 당 확률을 구해야 한다는 것을 알 수 있었다. 각각의 확률변수의 범위가 정해져 있다면 다음과 같이 이중적분으로도 구할 수 있지만, 마치 집합 A와 집합 B가 있을 때, 두 집합의 합집합을 구할 때처럼 얻을 수 있다. Conditional Distribution 확률 밀도에 어떠한 조건을 걸어보자. 그럼 그 조건은 새로 축소된 Sample Space가 된다. 먼저 discrete한 경우를 살펴보자. discrete case 하나의 동전을 3번 던지는 것을 예를 들어보자. RV X는 동전의 앞면이 첫 번째로 나올 경우..

Joint CDF of Bivariate RVs 우리는 여태 확률 변수가 하나일 경우만 살펴보았다. 하지만 실생활은 그렇지 않다. 여러 개의 확률 변수가 복합적으로 작용한다. S1과 S2라는 각각의 Sample Space가 있을 때, 각각 다른 특정 값에 매핑이 된다. 이때, 두 가지의 case가 동시에 발생할 확률은 다음과 같이 나타낸다. 두 개 이상의 확률 분포는 순서쌍으로 나타내지며, 이를 Joint라고 표현한다. Joint CDF 두 개 이상의 확률 변수에 대한 CDF를 알아보자. 식과 그래프를 함께 살펴보자. Joint CDF의 특성에 대해 알아보자. Discrete RVs 확률 변수가 하나일 때는 dimension이 하나이기 때문에 나타내기 쉬웠다. 확률 변수가 두 개일 때는 평면 좌표를 떠올..

Gaussian Distribution "우리 세상의 모든 확률 분포는 거의 대부분 가우시안 분포를 따른다고 보면 돼." 학부 연구실에 들어 온지 얼마 되지 않았을 때, 연구실 선배와 확률과 인공지능의 관계에 대해 이야기 나누면서 들었던 말이다. 처음에는 이해 하지 못했지만, 확률에 대해서 좀더 생각해보니 왜 그런 말씀을 하셨는지 이해가 간다. 그럼 내가 어떻게 이해했는지 살펴보자. Gaussian Distribution(Normal Distribution) 의 확률 변수는 일반적인 모든 경우들의 연속적인 값으로 정의된다. 대표적인 예로 Noise가 있다. 식으로 나타내면, 로 나타내진다. 여기서 mu_X는 평균을 나타내고, sigma^2_X는 분산을 나타낸다. 간략한 그래프를 보면 알 수 있듯이 평균을..

Poisson Distribution Poisson dist는 이미 이전 포스팅에서 다룬 적이 있다. 확률 변수에 대한 정의는 특정 시간 구간 안에 Event가 발생하는 횟수를 나타내고 관련 식은 다음과 같다. Exponential Distribution 지수분포에서 확률 변수는 lifetime, decaying time과 같은 것을 뜻한다. 식은 다음과 같다. 지수 분포에서 a라는 시스템이 양수 s의 값을 추가하여 시간 t 동안 생존할 확률을 구해보자. 위의 그래프처럼 특정 t라는 시간까지 리셋된다면 또 다시 지수 분포로 나타낼 수 있다는 것을 확인할 수 있다. Relation between ED & PD 지수 분포와 포아송 분포의 관계에 대해서 알아보자. 지수 분포는 시간과 관련되어 있고, 포아송 분..

이전 포스팅 복습 평균. 즉, Expectation은 E[X]으로 나타낼 수 있다. 평균의 본질적인 의미를 알아보기 위해 Error 모델을 정의 했었다. real observation을 hat{x}라고 하고 우리가 예측한 prediction 값을 x 라고 한다면, 라고 정의했고, Error 모델을 촤소화 시키는 것이 평균이라고 했다. 그렇다면 mean(평균)이 갖는 의미를 확률적으로 나타내보자. Cheryshev Inequality 쳬이셰프 부등식은 mean이 갖는 의미를 확률적으로 재해석하는 것이고, 식으로 나타내면. 확률 변수 X와 평균의 차이가 나는 기준을 a라고 했을 때, 그 차이가 a보다 클 확률을 나타낸것이다. 유도과정은 다음과 같다. Special Distribution Bernoulli D..

평균과 분산 Review 이전 포스팅에서 평균과 분산에 대해서 학습했기에 해당 식만 상기시켜 보자. Geometric distribution 이 분포에서는 확률변수를 다르게 정의한다. K라는 확률변수는 어떠한 사건을 첫 번째로 성공할때까지의 순서로 정의된다. 예를 들어 주사위를 던진다고 할 때, 처음으로 6이라는 숫자가 나올 경우를 생각해보면, 확률변수와 확률은 다음과 같이 정의된다. 즉 다음과 같이 정의된다. 첫번째 사건이 반드시 일어나야 하므로 k는 1부터 시작한다. (a) 사건의 횟수를 무한으로 발생시킨다면? (b) 만약 P=1/3이라면, 적어도 3번은 시행해봐야 한다. (c) 평균을 구해보자. k는 상수이므로, 식을 미분을 해보자. 결국 결론은 다음과 같다. (d) 분산 (c)에서 미분 한 식을 ..