Giters

OpenBMB / MiniCPM-V

MiniCPM-Llama3-V 2.5: A GPT-4V Level Multimodal LLM on Your Phone

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

关于多batch加速

middleknight opened this issue · comments

commented

请问离线模型部署支持多batch加速么？

commented

您好，目前版本并不支持batch推理，非常欢迎自行实现并提交您的PR～