Giters

wuba / dl_inference

通用深度学习推理工具，可在生产环境中快速上线由TensorFlow、PyTorch、Caffe框架训练出的深度学习模型。

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

自定义算子和模型相关

520jefferson opened this issue · comments

commented

1，请教下triton pytorch model上线的话，是否支持自定义算子，因为有些推理有话的需求在里面。我看triton官方是支持的
https://github.com/triton-inference-server/server/blob/main/docs/custom_operations.md
2，上线模型有T5的case吗？