sanghoonsim / PyTorch-FastCampus

PyTorch로 시작하는 딥러닝 입문 CAMP (2017.7~2017.12) 강의자료

PyTorch FastCampus

PyTorch로 시작하는 딥러닝 입문 CAMP (www.fastcampus.co.kr/data_camp_pytorch/) 1,2기 강의자료

Requirements

• python 3.6
• Pytorch 0.3.1 (http://pytorch.org/)
• Numpy
• matplotlib

Optional

• visdom (https://github.com/facebookresearch/visdom)

설치방법 PyTorch & Jupyter Notebook

• AWS p2.xlarge(Tesla K80 GPU)
• CUDA 8.0
• CuDNN 5.1
• Anaconda(https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/)
• PyTorch
• Jupyter Notebook

강의자료

1강 Deep Learning & PyTorch

1. 파이썬 기초

2. 프레임워크 비교

3. 파이토치 기본 사용법

2강 Linear Regression & Neural Network

1. Automatic Gradient Calculation

2. 시각화 툴 Visdom 소개

3. 선형회귀모델

4. 선형회귀모델의 한계

5. 인공신경망 모델 - 2차함수근사

6. 인공신경망 모델 - 3차함수근사

7. 인공신경망 모델 - 2D데이터

3강 Convolutional Neural Network - Basic

1. CNN 기본 모듈

2. NN으로 MNIST 풀어보기

3. CNN으로 MNIST 풀어보기

4. CNN으로 CIFAR10 풀어보기

4강 Convolutional Neural Network - Advanced

1. Custom Data 불러오기

2. VGGNet 구현해보기

3. GoogLeNet 구현해보기

4. ResNet 구현해보기

5강 Recurrent Neural Network - Basic

1. RNN 직접 만들어보기

2. LSTM 튜토리얼

3. LSTM으로 문장 기억하기

4. nn.Embedding 사용법

5. Shakespeare 문체 모방하기-RNN

6. Shakespeare 문체 모방하기-GRU

7. Shakespeare 문체 모방하기-LSTM

6강 Problem & Solutions

1. Weight Regularization

2. Dropout

3. Data Augmentation

4. Weight Initialization

5. Learning Rate Scheduler

6. Data Normalization

7. Batch Normalization

8. Gradient Descent Variants

7강 Transfer Learning

1. Transfer Learning Basic 학습된 모델에서 원하는 부분만 뽑아내고 학습시키기

2. Style Transfer 명화의 그림체 모방하기

3. t-SNE Visualization 뽑아낸 스타일들이 어떻게 분포하는지 확인해보기

8강 AutoEncoder & Transposed Convolution

1. Basic Autoencoder

2. Embedding Vector는 어떻게 분포하고 있을까? (돌아온 t-SNE)

3. Convolutional Autoencoder (CNN + Autoencoder)

4. Convolutional Denoising Autoencoder (Noise + CNN + Autoencoder)

5. Variational Autoencoder (latent vector z~N(0,I))

6. Convolutional Variational Autoencoder

7. Convolutional VAE Latent Space Interpolation

9강 Generative Adversarial Networks

1. Basic GAN using NN

2. DCGAN (CNN + GAN)

3. InfoGAN (Mutual Information Maximizing + GAN)

10강 Deep Learning Applications