leeesangwon / PyTorch-Image-Retrieval

A PyTorch framework for an image retrieval task including implementation of N-pair Loss (NIPS 2016) and Angular Loss (ICCV 2017).

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

Ensemble models issue

DevKiHyun opened this issue · comments

안녕하세요! 대회 1등 축하드립니다. Cheat Key 팀은 Ensemble 을 적용하셨는지 궁금합니다.
캐글 이미지 검색 대회의 경우 1등의 구조처럼 feature extraction 부분을 3개의 모델에서 나온 feature로 concatenate를 하던데 혹시 시도를 해보셨는지, 안하셨다면 이번 대회에서 단일 모델로만 좋은 성적이 나오신건지 궁금합니다. 또한 어느 부분이 제일 성능 향상에 많은 기여를 했는지 궁금합니다.

@DevKiHyun
안녕하세요.
일단 단일 모델 성능은 대회 평가 기준으로 98.35%였습니다.
최종 성능은 두개의 모델을 앙상블하여 98.67% 입니다.
(2차 예선 때는 3개 ensemble로 그럭저럭 여유로운 시간 안에 성능을 측정하였는데, 오프라인 결선 당일 시스템에 과부하가 걸려서인지 속도가 느려 2개 모델만 사용하였습니다.)
Ensemble은 각 모델마다 query와 reference의 similarity matrix를 만든 후 두개를 평균하는 방식을 사용했습니다.
각 모듈별 성능 향상에 대한 분석은 아직 예정에 없지만, 데이터를 정리하면서 가능하다면 공개하도록 하겠습니다. 감사합니다.

아하 'matrix' 두 개를 평균한 방식을 하신거군요. 감사합니다!