jwkanggist / SSL-narratives-NLP-1

거꾸로 읽는 self-supervised learning in NLP

[스터디 종료] 거꾸로 읽는 self-supervised-learning 시즌2: Contrastive learning on NLP

• [마감] 신청 Google form (8/6까지)
• 거꾸로 읽는 SSL 이번에는 NLP 분야로 넘어 왔습니다! :)
• 이번에는 Contrastive Learning이 적용된 NLP논문에 중하여 역사적으로 의미가 있었던 논문을 살펴봅니다.
• 해당 논문에서 제시하는 메소드의 특징 그리고 역사적으로 평가되는 이유에 대해서 즐겁게 토론하는 시간을 가집니다.
• [스터디 종료] 2022.10.29

기간

• 8/13 ~ 10/29 (11주간, 추석주간 제외)

발표 논문 및 순서

google sheet

In-batch negative training

	paper title	논문 발표	YouTube
1 주차	DPR: Dense Passage Retrieval for Open-Domain Question Answering	김강민	video

Positive mining

	paper title	논문 발표	YouTube
2 주차	ICT: Latent Retrieval for Weakly Supervised Open Domain Question Answering	조성국	video
3 주차	DAPT/TAPT: Don't Stop Pretraining: Adapt Language Models to Domains and Tasks	김동규	video
4 주차	Condenser: a Pre-training Architecture for Dense Retrieval	김희은	video
5 주차	Contriever: Towards Unsupervised Dense Information Retrieval with Contrastive Learning	박이삭	video

Hard negative mining

	paper title	논문 발표	YouTube
6 주차	ANCE: Approximate Nearest Neighbor Negative Contrastive Learning for Dense Text Retrieval	김기범	video
7 주차	coCondensor: Unsupervised Corpus Aware Language Model Pre-training for Dense Passage Retrieval	이유경	video
8 주차	Multi-stage Training with Improved Negative Contrast for Neural Passage Retrieval	이영수	video

Contrastive learning with model scaling

	paper title	논문 발표	YouTube
9 주차	Text and Code Embeddings by Contrastive Pre-Training	이동형	video
10 주차	wrap-up	강재욱	video

관련 링크

• 거꾸로 읽는 self-supervised-learning 파트1 repo
• 거꾸로 읽는 SSL 유튭 채널