Learning Type-Aware Embeddings for Fashion Compatibility
chullhwan-song opened this issue · comments
abstract
- Outfits = 많은 다른 타입의 구성 > top, bottom, shoes
- similarity vs compatibility
- jointly learns notions of item similarity and compatibility
개념
구조
- image > 18-layer Deep Residual Network
- text > HGLMM Fisher vector encoding [17] of word2vec
Respecting Type in Embedding
- parametern theta를 학습 시키는 embedding feature > 학습 network
- compatibility pairt
taxonomy(분류) 타입
- 이 조건에서, triplet를 구성하기 위해서, u, v 의 type의 개념을 삽입 > similairty 가 아니고 compatibility임을 인식
- image triplet로 구성 > 이 anchor 와 pos, neg는 그 타입(카테고리)이 다르다. 다만, 이때, pos==neg은 같은 타입
- 정리하자면, anchor image 와 카테고리(items in outfit)가 다르지만, (anchor image, positive image) 는 compatible 하고, (anchor image, negative image) 는 non-compatible란 의미
- 이렇게 구성한 triplet를 이용한 loss를 다음과 같이
Constraints on the learned
- 부가적으로 similairty 와 mulit-modal visual semantic embedding 방법을 추가
- similairty
- visual semantic embedding > text와 image간의 embedding기법 > 이전 리뷰들 참고 예 - #1
- 최종 loss