Weilit / DeepLearning

深度学习入门教程&&优秀文章&&Deep Learning Tutorial

DeepLearning Tutorial

一. 入门资料

完备的 AI 学习路线，最详细的中英文资源整理 ⭐

AiLearning: 机器学习 - MachineLearning - ML、深度学习 - DeepLearning - DL、自然语言处理 NL

数学基础

• 矩阵微积分
• 机器学习的数学基础
• CS229线性代数与概率论基础

机器学习基础

快速入门

• 推荐顺序由前到后
• 机器学习算法地图
• 机器学习 吴恩达 Coursera个人笔记  && 视频（含官方笔记）  
• CS229 课程讲义中文翻译 && 机器学习 吴恩达 cs229个人笔记 && 官网（笔记）  && 视频（中文字幕）  
• 百页机器学习

深入理解

• 推荐顺序由前到后
• 《统计学习方法》李航
• 《模式识别与机器学习》 Christopher Bishop
• 《机器学习》 周志华
• 《机器学习实战》 PelerHarrington
• 机器学习与深度学习书单

深度学习基础

快速入门

• 推荐顺序由前到后
• 深度学习思维导图 && 深度学习算法地图
• 《斯坦福大学深度学习基础教程》 Andrew Ng（吴恩达）
• 深度学习 吴恩达 个人笔记  && 视频
• MIT深度学习基础-2019视频课程
• **大学（NTU）李宏毅教授课程
• 图解深度学习_Grokking-Deep-Learning
• 《神经网络与深度学习》 Michael Nielsen    
• CS321-Hinton
• CS230: Deep Learning
• CS294-112

计算机视觉

• CS231 李飞飞 已授权个人翻译笔记 && 视频
• 计算机视觉研究方向

自然语言处理

• CS224n: Natural Language Processing with Deep Learning
• NLP上手教程
• NLP入门推荐书目（2019版）

深度强化学习

• CS234: Reinforcement Learning

深入理解

• 《深度学习》 Yoshua Bengio.Ian GoodFellow⭐  
• 《自然语言处理》Jacob Eisenstein
• 《强化学习》 && 第二版
• hangdong的深度学习博客,论文推荐
• Practical Deep Learning for Coders, v3
• 《Tensorflow实战Google深度学习框架》 郑泽宇 顾思宇

一些书单

• 2019年最新-深度学习、生成对抗、Pytorch优秀教材推荐

工程能力

• 如何系统地学习算法？ && LeetCode && leetcode题解 && 《算法导论》中算法的C++实现
• 机器学习算法实战
• 深度学习框架
• 如何成为一名算法工程师 && 从小白到入门算法，我的经验分享给你～ && 我的研究生这三年 ⭐
• 《AI算法工程师手册》
• 如何准备算法工程师面试，斩获一线互联网公司机器学习岗offer？
• 【完结】深度学习CV算法工程师从入门到初级面试有多远，大概是25篇文章的距离
• 计算机相关技术面试必备 && 面试算法笔记-中文
• 算法工程师面试
• 深度学习面试题目
• 深度学习500问
• AI算法岗求职攻略
• Kaggle实战
  • 常用算法：
    • Feature Engineering：continue variable && categorical variable
    • Classic machine learning algorithm：LR, KNN, SVM, Random Forest, GBDT(XGBoost&&LightGBM), Factorization Machine, Field-aware Factorization Machine, Neural Network
    • Cross validation, model selection：grid search, random search, hyper-opt
    • Ensemble learning
  • Kaggle 项目实战（教程） = 文档 + 代码 + 视频
  • Kaggle入门系列：（一）机器学习环境搭建 && Kaggle入门系列：（二）Kaggle简介 && Kaggle入门系列（三）Titanic初试身手
  • 从 0 到 1 走进 Kaggle
  • Kaggle 入门指南
  • 一个框架解决几乎所有机器学习问题 && Approaching (Almost) Any Machine Learning Problem | Abhishek Thakur
  • 分分钟带你杀入Kaggle Top 1%
  • 如何达到Kaggle竞赛top 2%？这里有一篇特征探索经验帖
  • 如何在 Kaggle 首战中进入前 10%？
• 大数据&机器学习相关竞赛推荐

二. 神经网络模型概览

• 1. 一文看懂25个神经网络模型
• 2. DNN概述论文：详解前馈、卷积和循环神经网络技术
• 3. colah's blog
• 4. Model Zoom
• 5. DNN概述
• 6. 从基本原理到梯度下降，小白都能看懂的神经网络教程
• GitHub上的机器学习/深度学习综述项目合集

CNN

发展史

• 1. 94页论文综述卷积神经网络：从基础技术到研究前景
• 2. 从LeNet-5到DenseNet
• 3. CNN图像分割简史：从R-CNN到Mask R-CNN（译）
• 4. 深度学习之目标检测的前世今生（Mask R-CNN）
• 5. 纵览轻量化卷积神经网络：SqueezeNet、MobileNet、ShuffleNet、Xception
• 6. 深度学习目标检测模型全面综述：Faster R-CNN、R-FCN和SSD
• 7. 图像语义分割(Semantic segmentation) Survey
• 7. 从RCNN到SSD，这应该是最全的一份目标检测算法盘点
• 8. 图像语义分割(Semantic segmentation) Survey
• 9. 语义分割 发展综述
• 深度学习分类网络
• 深度学习笔记（十一）网络 Inception, Xception, MobileNet, ShuffeNet, ResNeXt, SqueezeNet, EfficientNet, MixConv
• CNN网络结构的发展
• 卷积神经网络结构演变（form Hubel and Wiesel to SENet）
• 从VGG到NASNet，一文概览图像分类网络
• From RCNN to YOLO：上，下
• 后 R-CNN时代， Faster R-CNN、SSD、YOLO 各类变体**下的目标检测综述：Faster R-CNN系列胜了吗？
• 目标检测-20种模型的原味代码汇总
• 目标检测算法综述三部曲
  • 基于深度学习的目标检测算法综述（一）
  • 基于深度学习的目标检测算法综述（二）
  • 基于深度学习的目标检测算法综述（三）
• 如何走近深度学习人脸识别？你需要这篇超长综述 | 附开源代码
• 人脸检测和识别算法综述      
  • 人脸检测算法综述          
  • 人脸检测背景介绍和发展现状
  • 人脸识别算法演化史
  • CascadeCNN  
  • MTCNN
  • awesome-Face_Recognition
  • 异质人脸识别研究综述
  • 老板来了：人脸识别+手机推送，老板来了你立刻知道。&& 手把手教你用Python实现人脸识别 && 人脸识别项目，网络模型，损失函数，数据集相关总结
  • 基于深度学习的人脸识别技术综述 && 如何走近深度学习人脸识别？你需要这篇超长综述 && 人脸识别损失函数综述（附开源实现）
• 深度学习图像超分辨率综述
• 目标检测进化史
• 一文看尽21篇目标检测最新论文（腾讯/Google/商汤/旷视/清华/浙大/CMU/华科/中科院等
• Anchor-Free目标检测算法: 第一篇：arxiv2015_baidu_DenseBox， 如何评价最新的anchor-free目标检测模型FoveaBox？, FCOS: 最新的one-stage逐像素目标检测算法 && 最新的Anchor-Free目标检测模型FCOS，现已开源！ && 中科院牛津华为诺亚提出CenterNet，one-stage detector可达47AP，已开源！ && AnchorFreeDetection
• 目标检测算法综述之FPN优化篇
• 聊聊Anchor的"前世今生"（上）&&聊聊Anchor的"前世今生"（下）
• 【CVPR2019正式公布】行人重识别论文，2019 行人再识别年度进展回顾
• 2019CVPR文本检测综述
• 从SRCNN到EDSR，总结深度学习端到端超分辨率方法发展历程
• 【CVPR2019正式公布】行人重识别论文
• 自然场景文本检测识别技术综述
• Awesome-Image-Colorization
• Awesome-Edge-Detection-Papers
• OCR文字处理
• awesome-point-cloud-analysis
• Graph Neural Network（GNN）综述
• 小样本学习（Few-shot Learning）综述
• 超全深度学习细粒度图像分析：项目、综述、教程一网打尽
• 图像检索的十年上、下

教程

• 卷积神经网络工作原理
• 「七夕的礼物」: 一日搞懂卷积神经网络
• A Comprehensive Introduction to Different Types of Convolutions in Deep Learning && 翻译：上、下
• 变形卷积核、可分离卷积
• 对深度可分离卷积、分组卷积、扩张卷积、转置卷积（反卷积）的理解
• 各种卷积
• 卷积有多少种？一文读懂深度学习中的各种卷积
• 反卷积
• Convolution Network及其变种（反卷积、扩展卷积、因果卷积、图卷积）
• 如何评价最新的Octave Convolution？
• 深度学习基础--卷积类型
• Dilated/Atrous conv 空洞卷积/多孔卷积
• CNN模型之ShuffleNet
• 一文简述ResNet及其多种变体
• ResNet解析
• 将CNN引入目标检测的开山之作：R-CNN
• 深度学习（十八）基于R-CNN的物体检测
• R-CNN论文详解
• 深度学习（六十四）Faster R-CNN物体检测
• 先理解Mask R-CNN的工作原理，然后构建颜色填充器应用
• 实例分割--Mask RCNN详解(ROI Align / Loss Function)
• 语义分割卷积神经网络快速入门
• 图像语义分割的工作原理和CNN架构变迁
• CapsNet入门系列
  • CapsNet入门系列之一：胶囊网络背后的直觉
  • CapsNet入门系列之二：胶囊如何工作
  • CapsNet入门系列之三：囊间动态路由算法
  • CapsNet入门系列之四：胶囊网络架构
• YOLO
• 目标检测|YOLOv2原理与实现(附YOLOv3)
• 目标检测模型YOLO v3问世
• Attention， 1，2，3，4，5
• 一文读懂卷积神经网络中的1x1卷积核
• 目标检测之CornerNet, 1, 2, 3
• 目标检测的性能评价指标 && NMS和计算mAP时的置信度阈值和IoU阈值 && 白话mAP
• 人群计数, 1, 2, 3
• RelationNetwork
• ShuffleNet V2和四个网络架构设计准则
• 【Tensorflow】tf.nn.depthwise_conv2d如何实现深度卷积?
• Tensorflow】tf.nn.atrous_conv2d如何实现空洞卷积？
• 【Tensorflow】tf.nn.separable_conv2d如何实现深度可分卷积?
• 【TensorFlow】tf.nn.conv2d_transpose是怎样实现反卷积的？
• 何恺明大神的「Focal Loss」，如何更好地理解？
• CNN 模型所需的计算力（flops）和参数（parameters）数量是怎么计算的？

Action

• 先读懂CapsNet架构然后用TensorFlow实现
• TensorFlow Object Detection API 教程
  • TensorFlow 对象检测 API 教程1
  • TensorFlow 对象检测 API 教程2
  • TensorFlow 对象检测 API 教程3
  • TensorFlow 对象检测 API 教程 4
  • TensorFlow 对象检测 API 教程5
• 在TensorFlow+Keras环境下使用RoI池化一步步实现注意力机制
• mxnet如何查看参数数量 && mxnet查看FLOPS

GAN

• 苏剑林博客，讲解得淋漓尽致

发展史

• 千奇百怪的GAN变体
• The GAN Landscape：Losses, Architectures, Regularization, and Normalization
• 深度学习新星：GAN的基本原理、应用和走向
• GAN生成图像综述

教程

• 1. GAN原理学习笔记
• 2. 极端图像压缩的对抗生成网络
• 3. **大学李宏毅GAN教程
  • Basic
  • Improving
• 4. 2017年GAN 计算机视觉相关paper汇总
• 5. 在Keras上实现GAN：构建消除图片模糊的应用
• 6. CycleGAN：图片风格，想换就换 | ICCV 2017论文解读
• 7. Wasserstein GAN
• 用变分推断统一理解生成模型（VAE、GAN、AAE、ALI）

Action

• 1. GAN学习指南：从原理入门到制作生成Demo
• 2. 机器之心GitHub项目：GAN完整理论推导与实现

RNN

发展史

• 从90年代的SRNN开始，纵览循环神经网络27年的研究进展

教程

• 完全图解RNN、RNN变体、Seq2Seq、Attention机制

• 循环神经网络(RNN, Recurrent Neural Networks)介绍

• RNN以及LSTM的介绍和公式梳理

• （译）理解长短期记忆(LSTM) 神经网络

• 一文读懂LSTM和RNN

• 探索LSTM：基本概念到内部结构

• 翻译：深入理解LSTM系列            

• 深入理解 LSTM 网络 (一)

• 深入理解 LSTM 网络 (二)

• LSTM

• 深度学习其五 循环神经网络                      

• 用循环神经网络进行文件无损压缩：斯坦福大学提出DeepZip

• 吴恩达序列建模课程

  • Coursera吴恩达《序列模型》课程笔记（1）-- 循环神经网络（RNN）
  • Coursera吴恩达《序列模型》课程笔记（2）-- NLP & Word Embeddings
  • Coursera吴恩达《序列模型》课程笔记（3）-- Sequence models & Attention mechanism

• word2vec

  • 原理
    • NLP 秒懂词向量Word2vec的本质
    • 一篇通俗易懂的word2vec
    • YJango的Word Embedding--介绍
    • nlp中的词向量对比：word2vec/glove/fastText/elmo/GPT/bert
    • 词嵌入（word2vec）
    • 谈谈谷歌word2vec的原理
    • Word2Vec中为什么使用负采样？
  • 训练词向量
    • 练习-word2vec
    • word2vec方法的实现和应用
    • 自然语言处理入门 word2vec 使用tensorflow自己训练词向量
    • 使用tensorflow实现word2vec中文词向量的训练
    • 如何用TensorFlow训练词向量

• 聊聊 Transformer

• 基于word2vec训练词向量(一)

• 基于word2vec训练词向量(二)

• 自然语言处理中的自注意力机制（Self-Attention Mechanism）    

• 自然语言处理中注意力机制综述

• YJango的Word Embedding--介绍

Action

• tensorflow中RNNcell源码分析以及自定义RNNCell的方法
• TensorFlow中RNN实现的正确打开方式
• TensorFlow RNN 代码
• Tensorflow实现的深度NLP模型集锦
• nlp-tutorial
• 用tensorflow LSTM如何预测股票价格
• TensorFlow的多层LSTM实践
• 《安娜卡列尼娜》文本生成——利用TensorFlow构建LSTM模型

GNN

发展史

• Graph Neural Network（GNN）综述
• 深度学习时代的图模型，清华发文综述图网络
• 清华大学图神经网络综述：模型与应用
• 图神经网络概述第三弹：来自IEEE Fellow的GNN综述
• GNN最全文献资料整理 && Awesome-Graph-Neural-Networks

教程

• 如何理解 Graph Convolutional Network（GCN）
• 图卷积网络(GCN)新手村完全指南
• 何时能懂你的心——图卷积神经网络（GCN）
• 图卷积网络GCN的理解与介绍
• 一文读懂图卷积GCN

Action

• 图卷积网络到底怎么做，这是一份极简的Numpy实现
• DGL

三. 深度模型的优化    

• 1. 优化算法纵览
• 2. 从梯度下降到Adam
• 3. 从梯度下降到拟牛顿法：盘点训练神经网络的五大学习算法
• 4. 正则化技术总结
  • 史上最全面的正则化技术总结与分析--part1
  • 史上最全面的正则化技术总结与分析--part2
• 5. 最优化算法系列（math）
• 6. 神经网络训练中的梯度消失与梯度爆炸        
• 7. 神经网络的优化及训练
• 8. 通俗讲解查全率和查准率, 全面梳理：准确率,精确率,召回率,查准率,查全率,假阳性,真阳性,PRC,ROC,AUC,F1
• 9. 激活函数一览
• 10. Coursera吴恩达《优化深度神经网络》课程笔记（3）-- 超参数调试、Batch正则化和编程框架
• 11. 机器学习各种熵
• 12. 距离和相似性度量
• 13. 机器学习里的黑色艺术：normalization, standardization, regularization
• 14. LSTM系列的梯度问题
• 15. 损失函数整理
• 16. 详解残差块为何有助于解决梯度弥散问题
• 17. FAIR何恺明等人提出组归一化：替代批归一化，不受批量大小限制
• 18. Batch Normalization（BN）:1 ,2 ,3 ,4 , 5, 6, 7
• 19. 详解深度学习中的Normalization，不只是BN && 如何区分并记住常见的几种 Normalization 算法
• 20. BFGS
• 21. 详解深度学习中的梯度消失、爆炸原因及其解决方法
• 22. Dropout, 1, 2, 3
• 23.谱归一化（Spectral Normalization）的理解，常见向量范数和矩阵范数，谱范数正则（Spectral Norm Regularization）的理解
• 24.L1正则化与L2正则化
• 25.为什么选用交叉熵而不是MSE
• 机器学习笔记四：线性回归回顾与logistic回归
• 反向传播算法（过程及公式推导）
• 交叉熵代价函数（作用及公式推导）
• Softmax：详解softmax函数以及相关求导过程 && softmax的log似然代价函数（公式求导）
• 权重初始化
  • 神经网络中的权重初始化一览：从基础到Kaiming
  • 深度学习入门--权重初始值的优化
  • 谈谈神经网络权重为什么不能初始化为0
  • 神经网络中的偏置（bias）究竟有这么用？
  • 深度学习里面的偏置为什么不加正则？

四. 炼丹术士那些事

调参经验

• 训练的神经网络不工作？一文带你跨过这37个坑
• 神经网络训练trick
• 深度学习与计算机视觉系列(8)_神经网络训练与注意点
• 神经网络训练loss不下降原因集合
• 深度学习：欠拟合问题的几种解决方案 &&过拟合和欠拟合问题
• 机器学习：如何找到最优学习率及实现
• 不平衡数据集处理方法: 其一, 其二, 其三
• 同一个神经网络使用不同激活函数的表达能力是否一致
• 梯度下降优化算法纵览, 1, 2
• 论文笔记之数据增广：mixup
• 避坑指南：数据科学家新手常犯的13个错误
• 凭什么相信CNN的结果?--可视化
  • 凭什么相信你，我的CNN模型？（篇一：CAM和Grad-CAM)
  • 凭什么相信你，我的CNN模型？（篇二：万金油LIME)
  • 论文笔记:Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization
  • CV：基于Keras利用训练好的hdf5模型进行目标检测实现输出模型中的表情或性别的gradcam(可视化)
• 大卷积核还是小卷积核? 1, 2
• 模型可解释性差？你考虑了各种不确定性了吗？
• 炼丹笔记系列
  • 炼丹笔记一：样本不平衡问题
  • 炼丹笔记二：数据清洗
  • 炼丹笔记三：数据增强
  • 炼丹笔记四：小样本问题
  • 炼丹笔记五：数据标注
  • 炼丹笔记六 : 调参技巧
  • 炼丹笔记七：卷积神经网络模型设计

刷排行榜的奇技淫巧

• Kaggle 六大比赛最全面解析（上）

• Kaggle 六大比赛最全面解析（下）

图像分类

• 炼丹笔记三：数据增强 && 数据增强(Data Augmentation)
• 【技术综述】 深度学习中的数据增强（上） && 【技术综述】深度学习中的数据增强（下）
• 《Bag of Tricks for Image Classification with CNN》&& pdf
• 神经网络训练trick
• Kaggle解决方案分享
  • 从0上手Kaggle图像分类挑战：冠军解决方案详解
  • Kaggle 冰山图像分类大赛近日落幕，看冠军团队方案有何亮点
  • 【Kaggle冠军分享】图像识别和分类竞赛，数据增强及优化算法
  • 识别座头鲸，Kaggle竞赛第一名解决方案解读
  • kaggle 首战拿金牌总结
  • 16岁高中生夺冠Kaggle地标检索挑战赛！而且竟然是Kaggle老兵
  • 6次Kaggle计算机视觉类比赛赛后感
  • Kaggle首战斩获第三-卫星图像识别

目标检测

• ensemble
• deformable
• sync bn
• ms train/test
• 目标检测任务的优化策略tricks
• 目标检测小tricks--样本不均衡处理
• 目标检测算法中的常见trick
• Kaggle：肺癌自动诊断系统3D Deep Leaky Noisy-or Network 论文阅读
• 干货|大神教你如何参加kaggle比赛——根据CT扫描图预测肺癌

五. 年度总结

• 新年大礼包：机器之心2018高分教程合集
• CVPR2019目标检测方法进展综述

六. 科研相关

深度学习框架

Python3.x(先修)

• The Python Tutorial
• 廖雪峰Python教程
• 菜鸟教程    
• 给深度学习入门者的Python快速教程 - 基础篇
• Python - 100天从新手到大师

Numpy(先修)

• Quickstart tutorial

• Numpy快速入门(Numpy 1.14 官方文档中文翻译)

• Numpy中文文档

• 给深度学习入门者的Python快速教程 - numpy和Matplotlib篇

Opencv-python

• OpenCV-Python Tutorials
• OpenCV官方教程中文版（For Python）
• 数字图像处理系列
• python+OpenCV图像处理
• 给深度学习入门者的Python快速教程 - 番外篇之Python-OpenCV

Pandas

• Python 数据科学入门教程：Pandas

Tensorflow

• 如何高效地学习 TensorFlow 代码
• 中文教程
• TensorFlow官方文档
• CS20:Tensorflow for DeepLearning Research
• 吴恩达TensorFlow专项课程
• 【干货】史上最全的Tensorflow学习资源汇总
• 《21个项目玩转深度学习———基于TensorFlow的实践详解》  
• 最全Tensorflow2.0 入门教程持续更新
• Github优秀开源教程

MXNet

• Gluon
• GluonCV
• GluonNLP

PyTorch

• Pytorch版动手学深度学习

• PyTorch中文文档

• WELCOME TO PYTORCH TUTORIALS

• 史上最全的PyTorch学习资源汇总

• 【干货】史上最全的PyTorch学习资源汇总

• Hands-on tour to deep learning with PyTorch

Python可视化

• Top 50 matplotlib Visualizations – The Master Plots (with full python code)
• Python之MatPlotLib使用教程
• 十分钟上手matplotlib，开启你的python可视化
• 给深度学习入门者的Python快速教程 - numpy和Matplotlib篇

标注工具

• 目标检测标注工具
  • labelImg
• 语义分割标注工具
  • labelme

数据集

• 1. 25个深度学习相关公开数据集
• 2. 自然语言处理（NLP）数据集
• 3.全唐诗(43030首)
• 4. 伯克利大学公开数据集
• 5. ACL 2018资源：100+ 预训练的中文词向量
• 6. 预训练中文词向量
• 7. 公开数据集种子库
• 8. 计算机视觉，深度学习，数据挖掘数据集整理
• 9. 计算机视觉著名数据集CV Datasets
• 10. 计算机视觉相关数据集和比赛
• 11. 这是一份非常全面的开源数据集，你，真的不想要吗？
• 12. 人群密度估计现有主要数据集特点及其比较
• 13. DANBOORU2017: A LARGE-SCALE CROWDSOURCED AND TAGGED ANIME ILLUSTRATION DATASET
• 14. 行人重识别数据集
• 15. 自然语言处理常见数据集、论文最全整理分享
• 16. paper, code, sota
• 17. 旷视RPC大型商品数据集发布！
• 18. CVPR 2019「准满分」论文：英伟达推出首个跨摄像头汽车跟踪数据集(汽车Re-ID)
• 19.【OCR技术】大批量生成文字训练集
• 20. 语义分析数据集-MSRA

会议列表

• 国际会议日期表
• ai-deadlines
• Keep Up With New Trends
• 计算机会议排名等级
• **计算机学会(CCF)推荐国际学术刊物和会议

论文写作工具

• Windows: Texlive+Texstudio
• Ubuntu: Texlive+Texmaker

论文画图工具

• Visio2016
• Matplotlib

论文写作教程

• 刘知远_如何写一篇合格的NLP论文
• 刘洋_如何写论文_V7
• 如何端到端地写科研论文-邱锡鹏
• 论文Introduction写作其一, 论文Introduction写作其二, 论文Introduction写作其三
• 毕业论文怎么写

ResearchGo

• ResearchGo:研究生活第一帖——文献检索与管理
• ResearchGo:研究生活第二贴——文献阅读
• ResearchGo:研究生活第三帖——阅读辅助
• ResearchGo:研究生活第四帖——文献调研
• ResearchGo:研究生活第五帖——文献综述
• ResearchGo:研究生活第六帖——如何讲论文
• ResearchGo:研究生活第七帖——专利检索与申请
• ResearchGo:研究生活第八帖——写论文、做PPT、写文档必备工具集锦

毕业论文排版

• 吐血推荐收藏的学位论文排版教程（完整版）
• 论文怎么写——如何修改毕业论文格式

---

---

机器学习理论与实战

• 机器学习原理⭐

• ID3、C4.5、CART、随机森林、bagging、boosting、Adaboost、GBDT、xgboost算法总结

• 数据挖掘十大算法简要说明，机器学习十大经典算法入门， 【算法模型】轻松看懂机器学习十大常用算法

• AdaBoost到GBDT系列

  • 当我们在谈论GBDT：从 AdaBoost 到 Gradient Boosting
  • 当我们在谈论GBDT：Gradient Boosting 用于分类与回归
  • 当我们在谈论GBDT：其他 Ensemble Learning 算法

• 集成学习之bagging,stacking,boosting概念理解

• 番外篇之傅里叶变换

  • 傅里叶分析之掐死教程（完整版）更新于2014.06.06
  • 如何简明的总结傅里叶变换？
  • 从连续时间傅里叶级数到快速傅里叶变换
  • 十分简明易懂的FFT（快速傅里叶变换）
  • 傅里叶级数推导过程

机器学习理论篇之经典算法

信息论

• 1. 机器学习中的各种熵    
• 2. 从香农熵到手推KL散度：纵览机器学习中的信息论

多层感知机(MLP)

• 多层感知机（MLP）学习与总结博客

k近邻(KNN)

• 机器学习之KNN（k近邻）算法详解

k均值(K-means)

• Kmeans聚类算法详解

朴素贝叶斯(Naive Bayesian)

• 朴素贝叶斯分类器（Naive Bayesian Classifier）

• 朴素贝叶斯分类器 详细解析

决策树(Decision Tree)

• Python3《机器学习实战》学习笔记（二）：决策树基础篇之让我们从相亲说起
• Python3《机器学习实战》学习笔记（三）：决策树实战篇之为自己配个隐形眼镜
• 机器学习实战教程（十三）：树回归基础篇之CART算法与树剪枝
• 《机器学习实战》基于信息论的三种决策树算法(ID3,C4.5,CART)
• 说说决策树剪枝算法
• 机器学习实战 第九章 树回归
• 决策树值ID3、C4.5实现
• 决策树值CART实现

随机森林(Random Forest)

• 随机森林（Random Forest）入门与实战

逻辑回归(Logistic Regression)

• 【机器学习面试题】逻辑回归篇

支持向量机(SVM)

• SVM通俗导论 July      
• Python3《机器学习实战》学习笔记（八）：支持向量机原理篇之手撕线性SVM （SMO训练过程总结得清晰易懂）      
• svm核函数的理解和选择
• 核函数和径向基核函数 (Radial Basis Function)--RBF                        
• SVM核函数      

提升方法(Adaboost)

• 当我们在谈论GBDT：从 AdaBoost 到 Gradient Boosting

梯度提升决策树(GBDT)

• LightGBM大战XGBoost
• 概述XGBoost、Light GBM和CatBoost的同与不同  
• 梯度提升决策树
• GBDT原理及应用
• XGBOOST原理篇
• xgboost入门与实战（原理篇） && xgboost入门与实战（实战调参篇）
• 【干货合集】通俗理解kaggle比赛大杀器xgboost
• GBDT分类的原理及Python实现
• GBDT原理及利用GBDT构造新的特征-Python实现
• Python+GBDT算法实战——预测实现100%准确率

EM(期望最大化)

• 人人都懂的EM算法
• EM算法入门文章                      

高斯混合模型(GMM)

• 高斯混合模型与EM算法的数学原理及应用实例
• 高斯混合模型（GMM）

马尔科夫决策过程(MDP)

• 马尔科夫决策过程之Markov Processes（马尔科夫过程）
• 马尔科夫决策过程之Markov Reward Process（马尔科夫奖励过程）
• 马尔科夫决策过程之Bellman Equation（贝尔曼方程）
• 马尔科夫决策过程之Markov Decision Process(马尔科夫决策过程)
• 马尔科夫决策过程之最优价值函数与最优策略

条件随机场(CRF, 判别式模型)

• 如何轻松愉快地理解条件随机场
• 如何用简单易懂的例子解释条件随机场（CRF）模型？它和HMM有什么区别？
• HMM ,MHMM,CRF 优缺点与区别

降维算法

• 数据降维算法-从PCA到LargeVis

主成分分析(PCA)

• 主成分分析（PCA）原理详解
• 图文并茂的PCA教程
• PCA数学原理

奇异值分解(SVD)

• 强大的矩阵奇异值分解(SVD)及其应用
• 奇异值分解（SVD）
• 奇异值分解(SVD)原理详解及推导    
• SVD在推荐系统中的应用详解以及算法推导

线性判别分析(LDA)

• 教科书上的LDA为什么长这个样子？

标签传播算法(Label Propagation Algorithm)    

• 标签传播算法（Label Propagation）及Python实现
  • 参考资料

蒙塔卡罗树搜索(MCTS)

• 蒙特卡洛树搜索入门指南

集成(Ensemble)

• 集成学习法之bagging方法和boosting方法
• Bagging,Boosting,Stacking && 常用的模型集成方法介绍：bagging、boosting 、stacking

t分布随机邻居嵌入(TSNE)

• 流形学习-高维数据的降维与可视化
• tSNE

谱聚类(Spectral Clustering)

• 谱聚类（Spectral Clustering）算法介绍
• 聚类5--谱和谱聚类

异常点检测

• 数据挖掘中常见的「异常检测」算法有哪些？
• 异常点检测算法综述

机器学习实战篇

• 15分钟带你入门sklearn与机器学习——分类算法篇 && 如何为你的回归问题选择最合适的机器学习方法？
• 十分钟上手sklearn：安装，获取数据，数据预处理 && 十分钟上手sklearn：特征提取，常用模型，交叉验证
• Machine Learning Course with Python
• Python3机器学习

机器学习、深度学习的一些研究方向

多任务学习

• 模型汇总-14 多任务学习-Multitask Learning概述
• (译)深度神经网络的多任务学习概览(An Overview of Multi-task Learning in Deep Neural Networks)

零次学习(Zero Shot Learning)

• 零次学习（Zero-Shot Learning）入门

小样本学习(Few-Shot Learning)

• few-shot learning是什么
• 零次学习（Zero-Shot Learning）入门
• 小样本学习（Few-shot Learning）综述
• Few-Shot Learning in CVPR 2019
• 当小样本遇上机器学习 fewshot learning

多视觉学习(Multi-View Learning)

• Multi-view Learning 多视角学习入门
• 多视角学习 (Multi-View Learning)

Embedding

• 万物皆Embedding，从经典的word2vec到深度学习基本操作item2vec
• YJango的Word Embedding--介绍

迁移学习

• 1. 迁移学习：经典算法解析
• 2. 什么是迁移学习 (Transfer Learning)？这个领域历史发展前景如何？
• 3. 迁移学习个人笔记  
• 迁移学习总结(One Shot Learning, Zero Shot Learning)

域自适应

• Domain Adaptation视频教程（附PPT）及经典论文分享
• 模型汇总15 领域适应性Domain Adaptation、One-shot/zero-shot Learning概述
• 【深度学习】论文导读：无监督域适应（Deep Transfer Network: Unsupervised Domain Adaptation）
• 【论文阅读笔记】基于反向传播的无监督域自适应研究
• 【Valse大会首发】领域自适应及其在人脸识别中的应用
• CVPR 2018：基于域适应弱监督学习的目标检测

元学习

• OpenAI提出新型元学习方法EPG，调整损失函数实现新任务上的快速训练      

强化学习

• 强化学习（Reinforcement Learning）知识整理
• 强化学习从入门到放弃的资料
• 强化学习入门
  • 强化学习入门 第一讲 MDP
• 强化学习——从Q-Learning到DQN到底发生了什么？
• 从强化学习到深度强化学习（上）                  
• 从强化学习到深度强化学习（下）
• 一文带你理解Q-Learning的搜索策略

推荐系统

• 推荐算法相关的文档整理
• Embedding从入门到专家必读的十篇论文
• 推荐系统之路
  • 推荐系统之路 (1)：走上推荐系统这条路
  • 推荐系统之路 (2)：产品聚类

语义分割相关算法

• 干货 | 一文概览主要语义分割网络
• 深度学习中IU、IoU(Intersection over Union)
• Selective Search for Object Detection （译文）
• NMS——非极大值抑制
• 边框回归(Bounding Box Regression)详解

一些计划

• 有空再整理下整个列表的结构, 再收集下深度学习和机器学习入门的系列教程, 并附以代码实现, 争取全面而简单上手
• 本学期学完《docker_practice》