GAN 시리즈 - CGAN

1. Conditional GAN (cGAN)

CGAN 도식화

 

Conditional GAN(CGAN)은 GAN의 확장 모델로, 데이터 생성 시 조건을 입력으로 추가해 보다 제어 가능한 생성 결과를 만들어낸다. 

 

위 수식은 기존 GAN의 수식이다. 반면 CGAN의 경우, G와 D가 추가 정보 y라는 조건이 붙는다면 조건부 생성모델을 만들 수 있다. y는 어떤 보조 정보라도 될 수 있는데, class label이나 다른 modality의 데이터 등이다. 우리는 y를 G와 D의 input layer에 추가로 같이 집어넣음으로써 이를 수행할 수 있다.

 

G에서는 input noise pz(z)와 y가 합쳐진 형태가 된다. 이 적대적 학습 framework는 이 hidden representation이 어떻게 생겼는지에 별 영향을 받지 않는다. D에서는 x와 y가 input으로써 들어가게 된다. 따라서 위 수식을 Conditional 버전으로 변경해보면 아래와 같이 된다.

 

CGAN은 원하는 속성의 데이터가 생성 가능하다는 점, 라벨이 있는 데이터셋을 활용하여 제어 가능한 생성이 가능하다는 점 그리고 이미지 뿐만 아니라 텍스트 음성 등 다양한 모달리티에도 적용 가능하다는 장점이 있다.

 

다만 한계점으로는 무라벨 데이터에서는 적용이 어렵다는 점, 학습이 부족하면 생성물이 조건을 반영하지 못할 수 있다는 점 그리도 단순 GAN 보다 학습이 어렵다는 점을 꼽을 수 있다. 

 

참조

https://bo-10000.tistory.com/116

[GAN Overview] GAN 주요 모델 정리 (GAN survey 논문 리뷰)

 

https://baobao.tistory.com/66

GAN 겉햙기 (GAN 종류)