dasepli / nndl-materials

邱锡鹏老师《神经网络与深度学习》一书参考视频及补充材料

机器学习与深度学习

邱锡鹏老师《神经网络与深度学习》一书参考视频及补充材料（非官方），主要是依据邱老师书籍的编排顺序整理了近几年李宏毅老师以及“白板推导系列”的所有内容，视频内容几乎涵盖邱老师书中的所有知识。另外也补充了自己在学习过程中接触过的一些好的资料。还在调整与更新中ing...

教材:

• 神经网络与深度学习，邱锡鹏老师著

视频资料:

• 机器学习与深度学习系列，李宏毅老师
• 白板推导系列

备注：

• 视频资料在B站均有公布，感谢几位老师的分享！

章节	相关视频资料及其他	课后习题
第一部分 入门篇
第1章 绪论
第2章 机器学习概述	李: Intro2017, Intro2019, Where does the error come from?, Regression, Gradient Descent 白：开篇, 线性回归
第3章 线性模型	李: Probabilistic Generative Model, Logistic Regression, SVM 白：线性分类, SVM, 核方法
第二部分 基础模型
第4章 前馈神经网络	李: Introduction of Deep Learning, Backpropagation, Computational Graph, “Hello world” of deep learning 白：前馈神经网络 其他：Backprop by Google, GNN
第5章 卷积神经网络	李: Convolutional Neural Network, Why Deep, Why Deep Structure?
第6章 循环神经网络	李: Recurrent Neural Network, Recursive Network, Highway Network & Grid LSTM
第7章 网络优化与正则化	李: Tips for deep learning, Optimization, Special Training Technology 其他：Batch Normalization分析、BN和Dropout在训练和测试时的差别、BN位置的选择、L2正则化为什么能够缓解过拟合
第8章 注意力机制与外部记忆	李: Attention-based Model, Attention is all you need, Pointer Network
第9章 无监督学习	李: Unsupervised Learning, More Auto-encoder 白：降维, 谱聚类
第10章 模型独立的学习方法	李: Ensemble, Semi-supervised Learning, Transfer Learning, Life-long learning, Meta Learning，Anomaly Detection，Explainable ML，Network Compression，Matrix Factorization，Generalization 其他：王晋东GitHub, Semi-supervised Learning, Self-Taught Learning，Parallel Computing@Shusen Wang
第三部分 进阶模型
第11章 概率图模型	李: Graphical Model, Gibbs Sampling, Markov Logic Network, Structured Learning, SVM^struct, Learning with Hidden Information 白：指数族分布, 概率图模型, EM, EM2, GMM, HMM, CRF, VI, VI2, MCMC
第12章 深度信念网络	李: 受限玻尔兹曼机、深度信念网络参考资料 白：受限玻尔兹曼机，深度信念网络
第13章 深度生成模型	李: Deep Generative Model, Generative Adversarial Network, Adversarial Attack，Flow 其他：CS228 VAE, 科学空间 VAE系列，GAN 和 VAE 的本质区别是什么
第14章 深度强化学习	李: Deep Reinforcement Learning, Deep Reinforcement Learning2 其他：Deep RL@Shusen Wang
第15章 序列生成模型	李: Word Embedding, Sequence-to-sequence and Attention, Transformer, BERT, Seq-to-seq Learning by CNN, Spatial Transformer Layer 其他：word2vec中的数学原理详解，The Annotated Transformer, The Illustrated Transformer, 从Word Embedding到Bert模型，一文读懂BERT
附录	白：数学基础 3BlueBrown：线性代数的本质 刘建平Pinard：机器学习中的矩阵向量求导

补充：

• 卡曼滤波
• 粒子滤波
• 高斯网络
• 贝叶斯线性回归
• 高斯过程回归
• 更多更新请关注博主个人空间：shuhuai008的个人空间

News:

• 2019/10/25：根据目前学的内容，整理了一份机器学习主干知识的统一架构，还没有完全梳理好（尤其是强化学习与概率图模型部分），但是最基本的架构已经确定了，分享出来供大家参考，后面我会继续调整，并做出必要的解释，有疑问或建议欢迎issue！

• 2020/02/22：强烈安利Ben Trevett的一系列PyTorch教程！！

---

推荐资料

入门

• Google: Machine Learning Crash Course
• Neural Networks and Deep Learning, Michael Nielsen

核心

• 《统计学习方法（第二版）》，李航著  [知乎参考读物]
• 《机器学习》， 周志华著；
• CS229: Machine Learning
• 《模式识别与机器学习》， 马春鹏译
  • 机器学习, 白板推导系列 Note
• STA 4273H: Large Scale Machine Learning
• 《深度学习》，Lan Goodfellow等著
  • CMU Introduction to Deep Learning
• 《概率图模型：原理与技术》Daphne Koller著
  • CMU 10-708: Probabilistic Graphical Models
  • Stanford CS228: Probabilistic Graphical Model
  • Samsung Deep Bayes
• CS224W: Machine Learning with Graphs
• CS285: Deep Reinforcement Learning
• CS294-158: Deep Unsupervised Learning
• CS236: Deep Generative Models
• CS229T：Statistical Learning Theory
• CS 330: Deep Multi-Task and Meta Learning

补充

• 机器学习与数据脱敏
• AI算法工程师笔记
• NN4ML,Hinton
• CSC 2541: Differentiable Inference and Generative Models
• Stat212b: Topics Course on Deep Learning, Joan Bruna(Yann LeCun 博士后)
• 36-708 Statistical Methods for Machine Learning
• 《Machine Learning：A Probabilistic Perspective》
• 《An Introduction to Statistical Learning》
  • Stanford Lagunita: Statistical Learning
  • UCB: Introduction to Machine Learning
• 《The Elements of Statistical Learning》
• 其他：机器学习、深度学习，吴恩达；统计机器学习、机器学习导论，张志华；机器学习（各距离之间的关系）、深度学习，邹博；机器学习，徐亦达；机器学习基础、机器学习技法，林轩田；慕课网：Python3玩转机器学习

---

This page maintained by @ dasepli, View on GitHub