[GAN] Gumbel Softmax
내용 참고
- https://towardsdatascience.com/what-is-gumbel-softmax-7f6d9cdcb90e
- Jang, Eric, Shixiang Gu, and Ben Poole. “Categorical reparameterization with gumbel-softmax.” arXiv preprint arXiv:1611.01144 (2016).
- Maddison, Chris J., Andriy Mnih, and Yee Whye Teh. “The concrete distribution: A continuous relaxation of discrete random variables.” arXiv preprint arXiv:1611.00712 (2016).
1. Categorical variable backpropagationPermalink
이때,
위 샘플링 방식은 미분불가능하기 때문에 역전파가 되지 않은데, 이를 해결하기 위한 방법이 gumbel softmax임.
2. The Gumbel-Max trickPermalink
Gumbel max trick의 샘플링은 다음과 같다.
이때,
(*
논문에서는 이를
3. Using sofrmax as a differentiable approximationPermalink
그러나 위에는 여전히 argmax가 들어가므로 미분불가능하다. 단지, argmax 안의 값을 고정된 분포의 함수로 나타내어 해당 부분의 미분이 쉬워졌을 뿐인다.
따라서 argmax에 대한 differentiable한 함수로 근사를 해야하는데, softmax를 사용한다.
이때
Leave a comment