🎠AIFFEL Hackathon🎠

🎪 TT ( Text Transformer ) 🎪

A technology that converts the text inside an image to another content or language while preserving the style.

TT는 이미지 내부의 텍스트를 다른 내용으로 바꾸어주는 프로젝트로 단순히 텍스트를 바꾸는 것이 아니라 기존의 텍스트 스타일을 유치한 채 변형 시켜준다.

이 프로젝트를 실행시키기 위해 End-to-End 방식으로 Scene Text Editing을 해주는 clova ai에서 제안한 RewriteNet을 사용했다.

Encoder, Generator, Recognizer, Discriminator 총 4개의 네트워크로 구성
- Encoder : Pre-trained ResNet-18
  - Content Encoder : Bidirectional LSTM
- Generator : U-Net
- Recognizer : LSTM with Attention
- Discriminator : Discriminator of PatchGAN
Training phase는 두개로 구성
- Synthetic phase : 합성 이미지를 이용한 훈련으로 Recognizer 부분이 있어서 이미지에서 content를 얼마나 잘 추출해 내는지를 학습
  - Synthetic data는 SynthTIGER 를 이용해서 생성
- Real phase : 실제 이미지를 이용한 훈련으로 잘려진 이미지를 원본의 스타일과 얼마나 비슷하게 만들어 내는지를 훈련
  - Real data는 ICDAR 13, ICDAR 15, ICDAR 17, ICDAR 19, COCO-Text 를 사용
Inference 단계에서는 Encoder와 Generator를 사용