关于 Runtime
qzylalala opened this issue · comments
您好,我最近也在做关于 ASIC 编译流程相关的工作,后端是新型硬件,我希望基于本项目为其做一套完整的编译部署流程。
我看到 TPU Profile工具使用及分析 这篇博客提到 TPU-MLIR 提供了驱动、BMLib 和 TPU-Runtime。由于我本身关注编译优化,对于驱动 、Runtime不是很懂,所以这里想请教一下几个问题(可能很蠢哈):
- 驱动是否具有通用性,比如说换一个完全不一样的架构设计,甚至不是 TPU 的后端。如果没有,一般设计流程是怎样呢?
- libsophon 的设计思路是怎样的,如何将 BMLib 和 TPU-Runtime 结合起来
- Runtime 的设计是怎样的,比如我这里没有 TPU 卡,那么是如何支持模型的执行呢,对其做 mock 吗?
期待您的回复