zhuji423 / paper-reading

深度学习经典、新论文逐段精读

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

深度学习论文精读

日期 标题 封面 时长 视频(4K)
排队中 MoCo
录制中 ViT
录制中 BERT
11/9/21 GAN 逐段精读 46:16 B站, 知乎, YouTube
11/3/21 零基础多图详解 图神经网络(GNN/GCN) 66:19 B站, 知乎, YouTube
10/27/21 Transformer 逐段精读
(视频中提到的文献 1)
87:05 B站, 知乎, YouTube
10/22/21 ResNet 论文逐段精读 53:46 B站, 知乎, YouTube
10/21/21 撑起计算机视觉半边天的 ResNet 11:50 B站, 知乎, YouTube
10/15/21 AlexNet 论文逐段精读 55:21 B站, 知乎, YouTube
10/14/21 9年后重读深度学习奠基作之一:AlexNet 19:59 B站, 知乎, YouTube
10/06/21 如何读论文 06:39 B站, 知乎, YouTube

论文之间的关系:

图示:

候选论文

考虑在之后视频中将要介绍的论文。选取的原则是10年内深度学习里有影响力文章(必读文章),或者近期比较有意思的文章。当然这十年里重要的工作太多了,不可能一一过一遍。在选取的时候我会偏向一些之前 直播课 中没讲到过的。 欢迎大家在 讨论区 里提供(点)建议(歌)。

录一篇文章的时间大概是 8(之前低估成了5)个小时(录制、剪辑、上传),这里不算上读文章的时间。我一般是每天深夜找半个小时或者一个小时做一点。如果没有其他更紧要的事情的话,10天左右可以出一篇。如果大家热情 加⭐ 话,可以多赶一赶🤣

下面列表将会持续更新(数字不代表讲的顺序)。

  1. Adam。深度学习里最常用的优化算法之一。
  2. EfficientNet。通过架构搜索得到的CNN,现在常被使用。
  3. GPT3。朝着zero-shot learning迈了一大步。当然也得讲一讲GPT/GPT-2
  4. CLIP。图片分类从此不用标数据。
  5. Non-deep networks。21年10月的新工作,让不深的网络也能在ImageNet刷到SOTA。
  6. 为什么超大的模型泛化性不错
  7. AlphaGo。让强化学习出圈的一系列工作。
  8. Swin Transformer
  9. Out-of-distribution
  10. AlphaFold
  11. Contrastive learning
  12. Video recognition
  13. Anchor-free object detection
  14. Knowledge graph
  15. Two-stream networks,首次超越手工特征IDT的视频分类架构

Footnotes

  1. 1 斯坦福100+作者的200+页综述,2 对LayerNorm的新研究,3 对Attention在Transformer里面作用的研究

About

深度学习经典、新论文逐段精读

License:Apache License 2.0