| 공부기간 | 공부목적 |
|---|---|
| 2022.08.08 ~ | ML-product에 대한 이해, torch 모델링 연습 |
- Lecture
- ML-product에 대한 기본 설명
- Lab 1: DNN in PyTorch
- pytorch 기본설명
- notebook
- Lab 2a: PyTorch Lightning
pl.Trainer,pl.LightningModule,pl.LightningDataModule,pl.callbacks,torchmetrics사용법- notebook
issubclass(pl.LightningModule, torch.nn.Module)는 True이다. 즉,torch.nn.Module을 모두 상속받은 상태이다.
- Lab 2b: Training a CNN on Synthtic Handwriting Data
- CNN으로 handwriting data를 분류하는 튜토리얼
- notebook
torch.flatten으로 MLP에 넣을 수 있게 한번에 한줄로 만들 수 있다.
- Lab 3: Transformers and Paragraphs
- transformer으로 handwriting data를 분류하는 튜토리얼
- notebook
- Lecture
- ML development에서 사용되는 도구들에 대한 설명
- Software Engineering
- DL Framework
- Distributed Training
- Resourse Management
- Experiment & Model Management
- ML development에서 사용되는 도구들에 대한 설명
- Lab 4: Experiment Management
- tensorboard, W&B 사용법 (with pytorch lightning)
- [부스트캠프 Tech Talk] 김봉진 WandB로 Auto ML 뿌수기
- notebook
- Lecture
- Testing Software
- Pytest, doctests, Codecov, black, flake8, shellcheck, github action, pre-commit
- Testing ML Systems
- Use Expection Testing: test our data by checking basic properties, Testing ML Example
- Use Memorization Testing: 해당 데이터로 모델 훈련이 잘 되는지 확인하는 것
- Adapt Regression Testing: 하나의 데이터를 뽑아서 예상되는 결과가 나오는지 확인, loss와 metric을 활용할 수도 있다, loss가 큰 데이터를 살펴보기
- Testing Software
- Lab 5: Troubleshooting & Testing
- lint, test, torch profile
- notebook
- Lecture
- Data Sources, Data Exploration, Data Processing, Feature Store, Data Labeling, Data Versiong
- Lab 6: Data Annotation
- Loading annotated data and synthesizing data
- Label Studio
- notebook
- Lecture
- Lab 8: Model Monitoring
- Gantry (model monitoring, continual learning tool)
- notebook
- Lecture
- Fine Tuning, Transformers, Prompt Engineering, Application