wuba / dl_inference

通用深度学习推理工具,可在生产环境中快速上线由TensorFlow、PyTorch、Caffe框架训练出的深度学习模型。

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

您好,问下这个推理框架可以结合TensorRT进行使用吗?

WuShaogui opened this issue · comments

您好,主要担心推理速度是否达到实时,所以问问,关于结合TensorRT,您有什么思路?

可以结合TensorRT使用,月内会有更新,此次更新有TensorRT结合使用的示例。

dl_inference当前已经更新,集成TensorRT推理,详细可参见https://mp.weixin.qq.com/s/XQrhdD3dwY4gMMdWppHpXw

dl_inference当前已经更新,集成TensorRT推理,详细可参见https://mp.weixin.qq.com/s/XQrhdD3dwY4gMMdWppHpXw

谢谢回复,你们的工作很厉害,我在工作中也使用了TensorRT,由于是工业场景,所以要求速度较快,最终选择使用C++开发的DLL 接口,然后供其他语言调用