본 논문은 University of Montreal & Yahoo Inc에서 작성한 논문입니다.
논문 링크: https://arxiv.org/abs/1411.1784
1. cGAN
cGAN은 레이블, 텍스트 description, 이미지의 일부 같은 보조 정보를 입력으로 받는 조건부 모델이라고 할 수 있습니다.
빨간색 화살표로 가리키는 부분이 바로 보조 정보(auxiliary information)가 추가되는 부분입니다.
이것 말고는 모델 구조가 기존의 GAN과 동일합니다.
따라서 ojbective function 또한 기존 확률분포에서 조건부 확률로 변환된 것 외의 별 차이는 없습니다.
DCGAN과 마찬가지로 기술적인 cotribution이 많지 않기 때문에 코드를 보면서 조금 더 공부해 보도록 합시다.
2. Generator
처음 입력으로 임배딩된 condition과 latent vector가 concatentation 되어 들어갑니다.
따라서 입력 차원은 110입니다.
그 다음 1x784 크기의 출력을 다시 reshape 시켜 28x28 이미지로 만들어 줍니다.
(코드에서는 1x1024 -> 32x32로 변환하는 것으로 보입니다.)
3. Discriminator
Discriminator는 Generator의 output 뿐만 아니라 임배딩된 condition vector를 입력으로 받습니다.
이후, 여러 개의 Linear 레이어와 sigmoid 함수를 지나서 최종적으로 Real or Fake에 대한 확률을 출력하게 됩니다.
4. Experimental Results
Generated MNIST digits
각 행에 해당하는 숫자를 condition으로 받은 cGAN이 만들어낸 이미지입니다.
꽤나 괜찮은 결과라고 생각합니다.
Parzen window-based log-likelihood estimates for MNIST
log-likelihood 같은 경우 그렇게 높지 않은 값을 가집니다.
저자들이 이 표를 효과성의 증명이라기보다는 개념 검증(proof-of-concept)으로 제시했다고 합니다.
Multimodl test
저자들은 Multimodal 데이터에 대해서도 cGAN이 잘 작동하는 지를 테스트했습니다.
CNN을 이용해 Image feature를 획득한 후, 이를 latent vector와 concatenation 시켜 Generator의 입력으로 사용합니다.
Generator는 입력을 1x200의 word vector로 변환해 줍니다.
(임배딩 차원이 200인 단어로 변환해 준다는 말과 동일합니다.)
Generator가 생성한 word vector는 왼쪽의 GT word vector와 매칭되어 학습됩니다.
학습이 끝난 후 추론을 진행했을 때, Generator는 파란색으로 표시된 단어들을 출력했다고 합니다.
이렇게 간단한 모델로도 Vision Language 모델을 구성할 수 있다는 점이 개인적으로 매우 흥미로운 부분이었습니다.
저의 글이 언제나 여러분께 도움이 되길 바라겠습니다. 👍
궁금한 내용 댓글 남겨주시면 빠르게 답변해 드리도록 하겠습니다. 😍