J.Kim et al

대학원 컨택을 하기위해서는 먼저 자신에게 맞는 연구실을 searching하는 것이 중요한데요, 찾는 방법은 뭐.... 많습니다. 노가다 정신을 발휘 해서 전국에 있는 대학교 연구실 홈페이지를 뒤진다. 네이버 카페(https://cafe.naver.com/daehakwon)를 활용해서 현/구직 사람들의 정보를 얻는다. 김박사넷(https://phdkim.net/)을 활용한다. 지인 찬스! (개꿀) 크게 이렇게 있을 수 있는데, 사실 4번같이 내 관심연구 분야의 연구실에 아는 선배가 있다 하면 사바사바하고 열심히 공부해서 들어가는게 가장 좋습니다. 하지만 제가 추천드리고 싶은 건 1번입니다. 물론 2,3도 좋은 방법이지만, 익명의 가면 아래서 투명하고 정확한 정보를 얻기에는 한계가 있습니다. 그래서 직접 부..

공홈 : https://horovod.ai/ ICLR 2023 논문으로 실험을 할 일이 있어서 깃헙을 살펴보다가 horovod라는 멀티GPU 및 분산 학습 프레임워크를 발견했습니다. 파이토치, 텐서플로우 등 여러 프레임워크와 연동이 가능하니, 리소스가 넘쳐나는 연구실이나 회사에서 사용하면 좋은 도구가 될 것 같습니다!! 아래는 사용법입니다. 만약 2개의 서버를 사용하려면 어떻게 하는지 말씀해드리겠습니당 1. 호스트 설정 호스트 파일을 편집하여 각 서버의 호스트 이름 또는 IP 주소를 등록합니다. 호스트 파일은 일반적으로 /etc/hosts라는 위치에 있습니다. 예를 들어, 두 개의 서버가 "server1"과 "server2"라는 호스트 이름을 갖는다고 가정해 보겠습니다. 호스트 파일에는 다음과 같이 추가..

Proof (GAN optimal point) GAN은 딥러닝을 연구하는 사람이라면, 한 번쯤은 들어봤을 법한 말이다. 흔히 경찰과 위조지폐범, 즉 minmax 게임과 유사하다고들 한다. 이번 포스팅에서는 GAN의 object function에서 discriminator를 최적화 하는 것이 거리함수와 어떤 연관이 있는지 알아볼 것이다. 더 자세한 설명은 Jonathan Hui의 홈페이지를 방문하면 된다. GAN을 최적화하는 것은 거리함수인 JS-divergence와 밀접한 관련이 있다. 먼저 GAN의 object function을 정의하면 다음과 같다. 증명을 시작하기 전에, optimal point를 먼저 살펴보자. p = q the discriminator cannot distinguish the r..

Sum of discrete RVs 두 개의 이산확률변수를 통해 새로운 확률변수를 만들어보자. (X,Y is discrete and integer value) 이산확률 변수는 확률을 정의할 수 있으며, 순서쌍으로 표현할 수있다. 결국, 새로운 확률 변수 Z의 확률은 X와 Y의 연합확률의 합으로 나타낼 수 있다. 두 확률변수는 서로 독립이므로, 컨볼루션 꼴의 형태로 나타낼 수 있다. 예를 통해 이산확률 변수도 컨볼루션 수행을 통해 새로운확률변수로 나타낼 수 있는지 증명해보자. X의 확률 변수는 동전의 앞면=1, 뒷면=0으로 정의되어지고 각각의 확률이 1/2인 Uniform dist이다. Y는 주사위를 던질 때 나오는 수 (1, 2, 3, 4, 5, 6)이고, 각각의 확률은 1/6인 Uniform dist이..

Sums of independent RVs 이번 포스팅에서는 서로 독립인 연속확률변수의 합으로 이루어진 새로운 변수의 확률분포는 어떻게 정의되는지 살펴볼 것이다. 서로 독립인 확률변수 X,Y가 있는데 이를 이용하여 새로운 확률변수 S의 확률 분포를 구하고자 한다. 그렇다면 먼저 X와 Y의 연합확률분포를 생각해야한다. 또한 S를 정의하기 위해서 생성 함수또한 필요할 것이다. cdf를 pdf로 바꿔주는 과정은 적분하면 된다. 이제부터 Convolution의 개념을 도입한다. Convolution 컨볼루션을 하는 과정은 다음과 같다. 한 개의 함수를 선택한 후, y축 기준으로 대칭시킨다. 특정한 값(t) 만큼 평행이동한다. 선택한 함수를 옮겨가며 오버랩되는 영역을 구간마다 찾는다. 두 함수를 Convoluti..

Functions of RVs 확률 변수 X가 주어졌을 때 X을 기반으로 새로운 확률변수 Y를 만들 순 없을까? 새로운 함수 �(�)를 사용하면 가능하다. (1) Linear function 만들고자 하는 확률변수 Y가 직선의 형태를 띈다고 해보자. X에 대한 pdf가 주어졌을 때, Y의 pdf는 어떻게 될까? pdf를 구하기위해선, cdf를 구해야한다. (2) for general case 다음과 같은 관계를 가지는 X와 Y가 있다고 한다. 단, 극대와 극소 사이에 y값이 존재한다. y값 보다 작을 확률을 구하고자 할때, x의 범위는 두 가지로 나뉜다. 이는 다시 cdf로 나타낼 수 있다. 이를 다시 미분하면 pdf를 구할 수 있다.

Correlation Coefficient 이전 포스팅에서 상관계수에 대해서 알아보았다. 상관계수는 두 확률변수에 대한 확률이 얼마나 유사한지 일정한 값으로 비교하기 위함이다. 수식만으로는 잘 이해가 안갔는데 그래프를 보고 이해하기 시작했다. 단순히 생각해보자. X라는 확률변수가 정해지면 자동으로 결정되는 확률변수 Y가 있다고 해보자. 만약 두 확률 변수를 함수화 하고 그래프로 나타냈을 때 단조 증가 함수 꼴의 형태를 보이게 된다면 두 확률 변수는 상관관계가 있다고 한다. 그래도 이해가 되지 않는다면…. 두 확률 변수를 키와 몸무게로 나타내보자. 더 단순하게 얘기하자면, 직관적으로 그래프를 봤을 때 확률 변수의 값들이 일정한 구간에 모여있거나 어떠한 경향을 보인다면 상관성이 있다고 말할 수 있다. Man..

대학원 컨택의 시기가 다가왔습니다! 대학원생이 되고자 하는 대부분의 경우 현재 자신에게 맞는 연구실을 searching하거나, 정해졌다면 CV를 가다듬고 있을 것입니다. (많이 긴장되시죠 ㅜㅜ) 저 같은 경우 학부인턴 때, 선배들이 많이 없어서 물어볼 곳이 없었습니다. 그래서 저 혼자서 어찌어찌 하다가 지금은 UNIST 인공지능대학원에 입학을 했는데요...! 저의 작년 과정들을 공유해 드리려 합니다. 먼저 확인해봐야할 것을 정리하자면, 1. 자신의 연구 분야 결정 - 솔직히 이건 학부생때 연구실 경험없으면 하기 힘드니, 천천히 정하셔도 됩니다. 2. 자신에게 맞는 연구실 searching 3. 학점, 어학성적, 대외활동 등의 스펙 check! 4. CV 및 자기소개서 작성 5. 연구실 컨택 (가장 중요!..

Conditional Mean 두 변수의 연합확률분포(Joint density)에서 다른 변수가 고정된 상태에서 다른 변수의 평균을 계산하는 방법과 의미를 이해해보자. 우리가 이전 포스팅에서 조건부 평균을 구하고자 할 때, 식은 다음과 같았다. 이처럼 두 개의 확률변수가 조건부 평균을 구하고자 한다면 Joint density로써 접근하면 된다. Y는 고정된 조건에서 X의 대한 평균을 구해보자. 분산에 대해서 구해보면, 만약 확률변수가 함수 모양일 때, 그에 대한 평균을 구해보면 어떻게 될까? g(X)라는 함수가 있다고 생각해보자. 이 함수는 확률변수 X가 정해지면 자동으로 함수가 생성된다. g(x) = X^2일 때평균은, Covariance & Correlation Coefficient Covarianc..

Paper : https://arxiv.org/pdf/1412.0767.pdf Pytorch documentation : https://pytorch.org/docs/stable/generated/torch.nn.Conv3d.html Conv3d — PyTorch 2.0 documentation Shortcuts pytorch.org Abstract 3D ConvNets은 시공간적인 특징을 학습하기에 2D ConvNet보다 적합하다. 구조적인 특징으로는 3x3x3의 크기를 가진 kernel이 모든 layer에 적용된다. 학습된 feature인 단순 선형 분류를 가진 C3D는 최첨단의 방법인 4개의 다른 벤치마크를 능가하며, 다른 2개의 벤치마크와 비교할 수 있다. Introduction video dat..