long8v / torch_study

torch tutorial and paper implementation mainly about NLP

🔥 torch_study 🔥

environment

torch == 1.7.1
torchtext == 0.8.1

Paper(완료)

🍟 스터디 끝!

🍕 transformers를 사용하지 않고 패키지 형태로 논문 재현하기

🍔 2021.01.06~2021.06.30까지 끝내기 목표

🌮 논문 구현 단계는 이와 같음

논문 읽기 -> reference code 읽기 -> 코드 짜기 -> 동일 조건 실험으로 성능이 재현되는지 확인하기

순번	paper	시작일자	상태	arxiv	notion	reference code
01	Convolutional Neural Networks for Sentence Classification (2014)	0106	Done	paper	notion	reference code official code
02	Sequence to Sequence Learning with Neural Networks (2014)	0203	WIP	paper	notion	reference code1 reference code2
03	Neural Machine Translation by Jointly Learning to Align and Translate (2016)	0303	Done	paper	notion	reference code
04	Attention is All You Need (2017)	0406	WIP	paper	notion	reference code
05	Deep contextualized word representations (2018)	0504	Done	paper	notion	-
06	BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (2019)	0608	Done	paper	notion	-

Tutorial(완료)

🍕 https://tutorials.pytorch.kr/ 노트북 다운 받아서 실행해보고 모르는 것 정리하고, 요약하고 연습문제 만들어서 풀기

🍔 2020.09.30~2020.12.31까지 끝내기 목표

순번	튜토리얼	시작일자	상태	주요내용	링크
01	what is torch.nn?	1010	완료	nn.Functional,nn.Module,nn.Linear,optim	tutorial
02	Tensorboard	1012	완료	tensorboard	tutorial
03	이름분류	1013	완료	nn.Linear,Dataset,DataLoader	tutorial
04	이름생성	1019	완료	nn.GRU,.to(device)	tutorial
05	seq2seq 번역	1030	완료	nn.Embedding,torch.save,torch.load	tutorial
06	torchtext 분류	1023	완료	torchtext,Field,nn.EmbeddingBag	tutorial
07	torchtext 번역	1026	완료	TabularDataset,BucketIterator	tutorial
08	seq2seq 모델링	1022	완료	nn.TransformerEncoder	tutorial