KotaShimomura / MPRGDeepLearningLectureNotebook

MPRG Deep Learning Lecture Notebook

ゼロから理解するDeep Learning（初級編）

1. PythonプログミングとNumPy
2. 最適化（GD, Momentum, AdaGrad, Adam)
3. MLPによる2クラス分類
4. ミニバッチを用いたMLPの学習
5. MLPによる多クラス分類（MNIST）
6. 正則化（Dropout）
7. Batch Normalizationの導入
8. im2colを用いた効率的な畳み込み処理
9. CNNを用いた画像認識（MNIST）
10. GPUを用いたCNNによる画像認識
11. データ拡張（Data Augmentation）
12. ハイパーパラメータの探索と検証データ

PyTorchで作るモダンネットワーク（中級編1）

1. CNN（データーローダ、データ拡張）
2. CNNの可視化（CAM） 2.5. CNNの可視化（Grad-CAM）
3. ResNet（スキップ構造）
4. SENet
5. Attention Branch Network（ABN）
6. EfficientNet
7. Single Shot Object Detector (SSD)
8. SegNet
9. マルチタスク基礎（分類＋回帰）
10. マルチタスク応用（検出＋セグメンテーション）
11. Knowledge Distillation
12. Deep Mutual Learning
13. 半教師付き学習
14. 自己教師付き学習

PyTorchで作るGAN（中級編2）

1. Variational Autoencoder (VAE)，UMAPによる特徴ベクトルの次元削減
2. Generative Adversarial Networks (GAN)
3. Deep Convolutional GAN (DC-GAN)
4. Conditional DC-GAN
5. CycleGAN（スタイル変換）
6. StyleGAN, BigGAN

PyTorchで作る再帰型ネットワーク（中級編3）

1. RNN (LSTM, GRU)による電力予測
2. Encoder-Decoderによる計算機作成
3. Attention Seq2seqによる計算機作成
4. Attention Seq2seqによる日付変換
5. Transformerによる計算機作成
6. Convolutional LSTMを用いた動画像予測

PyTorchで作る強化学習（中級編4）

1. DQN（クリッピング・リプレイ・ターゲットネットワーク）
2. Policy gradient （DQNの改良）
3. Actor-cltic
4. Mask-Attention

PyTorchで作るGCN（中級編5）

1. グラフ表現
2. GCNによるノード分類
3. ST-GCNによる動作認識
4. STA-GCNによる動作認識
5. グラフ生成