Large Scale GAN Training for High Fidelity Natural Image Synthesis

[Subin An]

• https://arxiv.org/abs/1809.11096
• BigGAN

[Subin An]

• SAGAN을 base model로 사용

• Shared Embedding

  • FiLM에서 사용한 방법론
  • https://distill.pub/2018/feature-wise-transformations/ 이걸 보는 걸 추천

• Hierarchical Latent Space

  • Noise Vector z를 split해서 사용
  • Shared Embedding과 concat해서 사용

• Truncation Trick
  • Noise Vector를 단순히 Gaussian이 아닌 이 값을 조정
    • 훈련 시에는 일반적으로 훈련, inference 시에는 truncate (threshold 기준으로 잘라서 resampling)
    • 값이 커질수록 퀄리티는 좋아지지만, diversity는 떨어짐
  • saturation artifact라 하여 잘 안되는 모델이 존재
  • Orthogonal Regularization을 사용하여 안정도 향상

[Subin An]

Reference

• PR-109: Large Scale GAN Training for High Fidelity Natural Image Synthesis