从零构建AI推理引擎系列

引言: 现在有很多开源推理引擎，也有很多同学做模型部署相关工作，但大部分仅仅停留在“用工具”的层面。假如你想掌握技术的本源，停留在用工具层面是远远不够的。

我将最近业余玩耍的自建AI推理引擎相关博客文章整理成一个索引，里面记录了一些我在建造过程中踩过的坑，以及一些关于 C++语言、框架架构、算子推理设计、用户体验设计 的一些实践和思考，希望对大家有用。

AI已经到了一个非常成熟的阶段，我们要做的，不仅仅是 python train.py，我们要做的是更进一步的将AI推延到工业领域，而这离不开一个好用的推理引擎。但仅停留在用开源的工具未免有些浅显，比如有社区同学就问我MNN编译的库体积较大如何解决？有人问题我为什么某些框架的layernorm很慢等等，如果你深入知道它背后的实现原理，这些问题自然就知道答案了。