EverestRs / CMU10414

深度学习推理框架

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

dlsys

CMU10-414/714: Deep Learning Systems

课程官网

该仓库记录了完成的实验和实验记录(博客)

  • 目前已经将四个hw做完

    • 前3个hw可以通过所有测试
    • 第4个hw虽然实现了CNN,RNN,LSTM等算法,但是没办法通过%100测试。由于已经在实现这些算法的过程中已经了解了算法的原理,并且错误的原因很难定位到是不是之前的代码有bug,所以暂时不准备修复了
  • 这个课程的hw会实现很多op和操作,不过我觉得最精髓的地方是以下几点

  1. 一个个tensor结点通过op联系起来构造一张计算图
  2. 由op的backward操作实现的自动微分
  3. 通过NDArray对象提供了三种不同的底层数组类型
  4. 同时还有一些trick很有意思,比如通过shape,stride和offset就可以将一个基础的C语言中的数组操作得和numpy中的数组一样灵活
  • 在hw的文件夹下的README文件就是对应hw的实验记录
  • 在框架整体研究文件夹中有一些我对于上述第1,2,3点的总结(整体的视角+关键代码)

最后,感谢Kolter和Chen两位老师的课程

About

深度学习推理框架


Languages

Language:Python 52.7%Language:Jupyter Notebook 27.7%Language:C++ 5.3%Language:CMake 5.0%Language:Makefile 3.7%Language:C 3.1%Language:Cuda 2.6%Language:TypeScript 0.0%