A Style-Based Generator Architecture for Generative Adversarial Networks
subinium opened this issue · comments
Subin An commented
- https://arxiv.org/abs/1812.04948
- StyleGAN
Subin An commented
Style-Based Generator
- Scale-specific control 가능
- Stochastic variation으로 디테일한 차이 가능
- GAN의 생성 퀄리티 metric 제시 : (1) Perceptual path length (2) Linear Separability
Mapping Network
- 기존 방법론 latent vector z를 image로 생성
- StyleGAN은 intermediate latent vector w(1x512)를 만들어 이를 feature(attribute)로 사용
- const vector(4x4x512)에서 PGGAN처럼 점진적으로 큰 이미지를 만드는데
- const는 훈련 시에는 gradient 계산, test에는 고정
- 이때 생성 과정에서 AdaIN으로 feature 전달 (Style Transfer 등에서 사용)
Disentanglement
- 기존 z는 실제 데이터의 distribtion에 visual attribute를 non-linaer하게 매핑
- 그래서 조정하는 게 상당히 어렵
- w는 기존 데이터처럼 고정된 distribution을 따를 필요가 없기에 더 유동적
ETC
Style Mixing
- Mixing Regularization : w간의 독립성을 위해 사용되는 방법 (correlate 방지)
- z1, z2에서 w1, w2를 생성
- style layer에서 w1 대입하다가 w2로 대입
- 교체되는 layer는 랜덤하게 선택
- 이렇게 하면 연속된 layer 간의 style correlate를 방지
- Dropout의 역할
- 이러면 layer별 변하는 정도를 확인할 수 있다.
- 역시 correlate 방지는 random을 어떻게 사용하느냐가 관건!
Stochastic Variation
- Style Mixing에서는 할 수 없는 차이
- 항상 같은 결과가 아닌 디테일한 차이를 입력 노이즈로 조정
- AdaIN layer 등을 포함한 Synthesis Network 사이에 Random Noise 추가
Metric (TBD)
Subin An commented
참고자료
- Rani Horev Blog
- Lunit Tech Blog : StyleGAN
- PR12-정지원님 발표
- 고재영님 정리글 1, 2