sophgo / tpu-mlir

Machine learning compiler based on MLIR for Sophgo TPU.

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

关于 Runtime

qzylalala opened this issue · comments

您好,我最近也在做关于 ASIC 编译流程相关的工作,后端是新型硬件,我希望基于本项目为其做一套完整的编译部署流程。
我看到 TPU Profile工具使用及分析 这篇博客提到 TPU-MLIR 提供了驱动、BMLib 和 TPU-Runtime。由于我本身关注编译优化,对于驱动 、Runtime不是很懂,所以这里想请教一下几个问题(可能很蠢哈):

  1. 驱动是否具有通用性,比如说换一个完全不一样的架构设计,甚至不是 TPU 的后端。如果没有,一般设计流程是怎样呢?
  2. libsophon 的设计思路是怎样的,如何将 BMLib 和 TPU-Runtime 结合起来
  3. Runtime 的设计是怎样的,比如我这里没有 TPU 卡,那么是如何支持模型的执行呢,对其做 mock 吗?

期待您的回复