[GAN] GAN optimal point

Proof (GAN optimal point)

GAN은 딥러닝을 연구하는 사람이라면, 한 번쯤은 들어봤을 법한 말이다.

흔히 경찰과 위조지폐범, 즉 minmax 게임과 유사하다고들 한다.

이번 포스팅에서는 GAN의 object function에서 discriminator를 최적화 하는 것이 거리함수와 어떤 연관이 있는지 알아볼 것이다. 더 자세한 설명은 Jonathan Hui의 홈페이지를 방문하면 된다.

GAN을 최적화하는 것은 거리함수인 JS-divergence와 밀접한 관련이 있다.

먼저 GAN의 object function을 정의하면 다음과 같다.

증명을 시작하기 전에, optimal point를 먼저 살펴보자.

• p = q
• the discriminator cannot distinguish the real form the fake D∗ = 1/ 2
• V* equals −2log2−2

proof

먼저 object function에 있는 Expectation부터 풀어내보자.

만약 G를 고정한다면, optimal Discriminator D∗는 다음과 같다.

y∗에 대한 내용은 마지막에 증명할 예정이다.

다음으로, object function V의 optiaml value를 찾는다.

위의 식에 따라, object function이 minimum optimal value를 가지기 위해선 p_r=p_g (D_JS) = 0인 조건에서 성립한다.

Optimal discriminator

다음은 위에서 정의만 했던 y∗에 대해서 설명할 것이다.