craigour / Machine-Learning

Materials about Machine Learning and Deep Learning

主要内容

• 核心内容：神经网路与深度学习，邱锡鹏老师著
• 主要参考：Hung-yi Lee 机器学习与深度学习系列，白板推导系列
• 编程练习：NNDL课程作业，李宏毅机器学习2019HW

章节	补充资料	课后习题	编程练习
第一部分 入门篇
第1章 绪论			chap1
第2章 机器学习概述	Hung-yi Lee: Introduction2017, Introduction2019, BiasAndVar, Regression, Gradient Descent 白板推导系列：开篇, 线性回归
第3章 线性模型	Hung-yi Lee: Probabilistic Generative Model, Logistic Regression、SVM 白板推导系列：线性分类, SVM, 核方法
第二部分 基础模型
第4章 前馈神经网络	Hung-yi Lee: Introduction of Deep Learning, Backpropagation, Computational Graph, “Hello world” of deep learning 白板推导系列：前馈神经网络 其他：Backprop by Google
第5章 卷积神经网络	Hung-yi Lee: Convolutional Neural Network, Why Deep, Why Deep Structure?
第6章 循环神经网络	Hung-yi Lee: Recurrent Neural Network, Recursive Network
第7章 网络优化与正则化	Hung-yi Lee: Tips for deep learning, Optimization, Special Training Technology
第8章 注意力机制与外部记忆	Hung-yi Lee: Attention-based Model, Attention is all you need, Pointer Network
第9章 无监督学习	Hung-yi Lee: Unsupervised Learning, More Auto-encoder 白板推导系列：降维, 谱聚类
第10章 模型独立的学习方法	Hung-yi Lee: Ensemble, Semi-supervised Learning, Transfer Learning, Life-long learning, Meta Learning 其他：王晋东GitHub
第三部分 进阶模型
第11章 概率图模型	Hung-yi Lee: Graphical Model, Gibbs Sampling, Markov Logic Network, Structured Learning, SVM^struct, Learning with Hidden Information 白板推导系列：指数族分布, 概率图模型, EM, EM2, GMM, HMM, CRF, VI, VI2, MCMC
第12章 深度信念网络	Hung-yi Lee: 受限玻尔兹曼机、深度信念网络参考资料 白板推导系列：受限玻尔兹曼机
第13章 深度生成模型	Hung-yi Lee: Deep Generative Model, Generative Adversarial Network
第14章 深度强化学习	Hung-yi Lee: Deep Reinforcement Learning, Deep Reinforcement Learning2
第15章 序列生成模型	Hung-yi Lee: Word Embedding, Sequence-to-sequence and Attention, Transformer, BERT, Seq-to-seq Learning by CNN 其他：The Annotated Transformer, The Illustrated Transformer
附录	白板推导系列：数学基础 邹博：数学基础, 各种距离之间的关系

补充：

• Anomaly Detection
• Adversarial Attack
• Explainable ML
• Network Compression
• Pointer Network
• Matrix Factorization
• Spatial Transformer Layer
• Highway Network & Grid LSTM
• Flow
• Generalization
• 卡曼滤波
• 粒子滤波
• 高斯网络
• 贝叶斯线性回归
• 高斯过程回归

---

推荐资料

入门

• Google: Machine Learning Crash Course
• Neural Networks and Deep Learning, Michael Nielsen

基础

• 《机器学习》， 周志华著；
• 《统计学习方法（第二版）》，李航著  [知乎参考读物]
• 《模式识别与机器学习》， 马春鹏译
  • 机器学习, 白板推导系列 Note
• 《深度学习》，Lan Goodfellow等著
  • CMU Introduction to Deep Learning
• 《概率图模型：原理与技术》Daphne Koller著
  • CMU 10-708: Probabilistic Graphical Models
  • Stanford CS228: Probabilistic Graphical Model

进阶

• NN4ML,Hinton
• Stat212b: Topics Course on Deep Learning, Joan Bruna(Yann LeCun 博士后)
• NYU: MACHINE LEARNING
• Materials for Deep Learning, FDUNLP

附加资料

• AI算法工程师笔记
• CS229，主要看NOTES与最新论文
• 36-708 Statistical Methods for Machine Learning
• CMU 10-715 Advanced Introduction to Machine Learning
• 《Machine Learning：A Probabilistic Perspective》
• 《An Introduction to Statistical Learning》
  • Stanford Lagunita: Statistical Learning
  • UCB: Introduction to Machine Learning
• 《The Elements of Statistical Learning》
• 其他：机器学习、深度学习，吴恩达；统计机器学习、机器学习导论，张志华；机器学习、深度学习，邹博；机器学习，徐亦达；机器学习基础、机器学习技法，林轩田；慕课网：Python3玩转机器学习

---

This page maintained by @ DaSEPeng, View on GitHub