2023. 5. 26. 20:15ㆍGAN(Generative Adversarial Networks) 정리
Conditional Generative Adversarial Nets
Generative Adversarial Nets [8] were recently introduced as a novel way to train generative models. In this work we introduce the conditional version of generative adversarial nets, which can be constructed by simply feeding the data, y, we wish to conditi
arxiv.org
1. Abstract
이 글에서는 기존의 GAN의 조건부 버전인 CGAN을 소개합니다.
Discriminator와 generator 둘 모두에 조건을 부여하고 데이터를 입력합니다.
이 모델을 multi-modal model의 학습에 어떻게 사용되는지 설명합니다.
이러한 방법이 어떻게 training label에 포함되지 않은 설명 태그를 생성하는 image tagging를 보여줍니다.
2. Related Work
2.1 Multi-modal learning for Image Labelling
GAN에는 한계가 아직 많이 존재합니다.
첫 번째, 방대한 양의 예측된 출력 범주를 수용하기 위해 모델을 확장하는 데 어려움을 가집니다.
두 번째, 현재까지 많은 연구가 입력부터 출력까지 one-to-one 매핑이 중심입니다. 하지만 많은 문제는 one-to-many 매핑에서 발생합니다. 예를 들어 이미지 라벨링의 경우, 주어진 이미지에 적절한 다른 태그들을 부여할 수도 있고, 사람에 따라 똑같은 이미지를 다른 용어를 사용하여 표현이 가능합니다. 이 부분에서 문제가 발생을 합니다.
첫 번째 문제를 해결하기 위한 한 방법으로는 다른 모달리티로부터 추가적인 정보를 사용할 것입니다.
예를 들어 지리적인 관계에 대한 라벨을 위해 자연어 말을 담은 박스를 이용해 벡터 표현을 학습하는 것 입니다. 그러한 공간에서 예측을 할 때, 예측에 에러가 있다고 해도 여전히 다른 예측 사실에 근사하기에 이루어질 수 있습니다. 또한 학습에서 진행한 라벨에 대해 자연스럽게 예측하며 일반화 또한 진행합니다.
두 번째 문제를 해결하기 위한 방법은, 조건부확률 생성 모델을 사용하는 것 입니다. 이는 입력이 조건을 부여하는 변수이고 one-to-many 매핑을 conditional predictive distribution로서 예로 들 수 있습니다.
3. Conditional Adversarial Nets
3.2 Conditional Adversarial Nets
만약, 어떤 추가적인 정보 에 대해 generator와 discriminator에 조건을 부여하면, GAN은 conditional GAN으로 확장될 수 있습니다. 는 클래스 라벨, 다른 모달리티의 데이터 등 아무 종류의 보조적인 정보일 수 있습니다. generator와 discriminator 둘 모두에게 를 추가적인 입력 레이어로 더해 줌으로써 조건을 부여할 수 있습니다.
Generator에서 사전 입력 노이즈 와 는 hidden representation 안에서 결합이 됩니다. 그리고 adversarial training framework는 어떻게 이 hidden representation이 이뤄졌는지에 대해 알려줍니다.
Discriminator에서는 와 는 입력으로 discriminative 함수에 들어가게 됩니다.
