dasepli / nndl-materials

邱锡鹏老师《神经网络与深度学习》一书参考视频及补充材料

Home Page:https://dasepli.github.io/nndl-materials/

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

机器学习与深度学习

邱锡鹏老师《神经网络与深度学习》一书参考视频及补充材料(非官方),主要是依据邱老师书籍的编排顺序整理了近几年李宏毅老师以及“白板推导系列”的所有内容,视频内容几乎涵盖邱老师书中的所有知识。另外也补充了自己在学习过程中接触过的一些好的资料。还在调整与更新中ing...

教材:

视频资料:

备注:

  • 视频资料在B站均有公布,感谢几位老师的分享!
章节 相关视频资料及其他 课后习题
第一部分 入门篇
第1章 绪论
第2章 机器学习概述 李: Intro2017, Intro2019, Where does the error come from?, Regression, Gradient Descent
白:开篇, 线性回归
第3章 线性模型 李: Probabilistic Generative Model, Logistic Regression, SVM
白:线性分类, SVM, 核方法
第二部分 基础模型
第4章 前馈神经网络 李: Introduction of Deep Learning, Backpropagation, Computational Graph, “Hello world” of deep learning
白:前馈神经网络
其他:Backprop by Google, GNN
第5章 卷积神经网络 李: Convolutional Neural Network, Why Deep, Why Deep Structure?
第6章 循环神经网络 李: Recurrent Neural Network, Recursive Network, Highway Network & Grid LSTM
第7章 网络优化与正则化 李: Tips for deep learning, Optimization, Special Training Technology
其他:Batch Normalization分析BN和Dropout在训练和测试时的差别BN位置的选择L2正则化为什么能够缓解过拟合
第8章 注意力机制与外部记忆 李: Attention-based Model, Attention is all you need, Pointer Network
第9章 无监督学习 李: Unsupervised Learning, More Auto-encoder
白:降维, 谱聚类
第10章 模型独立的学习方法 李: Ensemble, Semi-supervised Learning, Transfer Learning, Life-long learning, Meta LearningAnomaly DetectionExplainable MLNetwork CompressionMatrix FactorizationGeneralization
其他:王晋东GitHub, Semi-supervised Learning, Self-Taught LearningParallel Computing@Shusen Wang
第三部分 进阶模型
第11章 概率图模型 李: Graphical Model, Gibbs Sampling, Markov Logic Network, Structured Learning, SVM^struct, Learning with Hidden Information
白:指数族分布, 概率图模型, EM, EM2, GMM, HMM, CRF, VI, VI2, MCMC
第12章 深度信念网络 李: 受限玻尔兹曼机、深度信念网络参考资料
白:受限玻尔兹曼机深度信念网络
第13章 深度生成模型 李: Deep Generative Model, Generative Adversarial Network, Adversarial AttackFlow
其他:CS228 VAE, 科学空间 VAE系列GAN 和 VAE 的本质区别是什么
第14章 深度强化学习 李: Deep Reinforcement Learning, Deep Reinforcement Learning2
其他:Deep RL@Shusen Wang
第15章 序列生成模型 李: Word Embedding, Sequence-to-sequence and Attention, Transformer, BERT, Seq-to-seq Learning by CNN, Spatial Transformer Layer
其他:word2vec中的数学原理详解The Annotated Transformer, The Illustrated Transformer, 从Word Embedding到Bert模型一文读懂BERT
附录 白:数学基础
3BlueBrown:线性代数的本质
刘建平Pinard:机器学习中的矩阵向量求导

补充:

News:

  • 2019/10/25:根据目前学的内容,整理了一份机器学习主干知识的统一架构,还没有完全梳理好(尤其是强化学习与概率图模型部分),但是最基本的架构已经确定了,分享出来供大家参考,后面我会继续调整,并做出必要的解释,有疑问或建议欢迎issue!

UnifiedFrame

  • 2020/02/22:强烈安利Ben Trevett的一系列PyTorch教程!!

推荐资料

入门

核心

补充


This page maintained by @ dasepli, View on GitHub
ezoic increase your site revenue

About

邱锡鹏老师《神经网络与深度学习》一书参考视频及补充材料

https://dasepli.github.io/nndl-materials/