AIKU-Official / aiku-23-2-haejwo

AIKU 2023-2R Project: 보정...해줘

보정..해줘

📢 2023년-2 AIKU 활동으로 진행한 프로젝트입니다

소개

비전문가가 이미지를 보정하다보면 의도와는 다른 부분이 변형되는 경우가 존재합니다. 이러한 문제를 해결하기 위해 딥러닝 모델을 활용하여 불필요한 부분이 변형되는 것을 최소화하고 텍스트를 통해 보다 쉽게 이미지를 편집하는 것을 목적으로 한 프로젝트입니다.

이번 프로젝트는 StyleCLIP 모델을 활용하여 얼굴 이미지에 한정하여 진행했기 때문에 얼굴 이미지가 아닌 전신 이미지 등에는 성능이 좋지 않을 수 있습니다.

방법론

• 문제 : 이미지 편집을 텍스트를 통해 보다 쉽게, 불필요한 부분이 변형되는 것을 최소화하자
• 방법론 : StyleCLIP, StyleGAN 과 CLIP을 이용해, 원본 이미지를 유지한 채, 텍스트로 쉽게 이미지를 편집하는 모델
  1. StyleGAN Inversion : 사용자 입력 이미지를 StyleGAN space의 latent 이미지 벡터로 변환
  2. StyleCLIP
  • Latent-Optimization : CLIP loss, GAN Inception Loss 이용해 이미지 벡터를 최적화
  • Global Direction : CLIP space와 StyleGAN space direction을 맵핑하여, 이미지 벡터 최적화

환경 설정

Environment Setup

• Poetry : Dependency manager
• Download 2 pretrained stylegan2, face-enocder, shape_predictor, HyperStyle to project txt2fix/models directory
  • Download pretrained StyleGan2
  • Download pretrained FaceEncoder
  • Download pretrained ShapePredictor
  • Download pretrained HyperStyle
  • Download pretrained encoding4editing
  • Download pretrained StyleGan2_Pkl
  • Download pretrained BERT-ViT

사용 방법

Build & Run

# recommend python 3.10 or higher
poetry install
poetry run client

예시 결과

• Latent Optimization : "Really sad face"

팀원

• 김민성: StyleCLIP - LatentMapper/Global-Direction
• 김규민: StyleCLIP - Latent-Optimization
• [황정현](홍길동의 github link): StyleCLIP - LatentMapper/Global-Direction