使用TGI本地部署时无法并行

[perryhe]

在使用TGI本地部署并通过text-generation-launcher运行模型时，会一直报错：Server error: Expected all tensors to be on the same device, but found at least two devices, cuda:0 and cuda:1!

[ZZR0]

您好，非常感谢您对CodeShell项目的支持。现阶段，由于官方TGI项目尚未开始原生地支持CodeShell模型，因此使用官方镜像并不能实现对CodeShell模型的多卡部署。

如果您需要实现多卡部署CodeShell模型，我们邀您试用我们的TGI-CodeShell分支。这一分支成功地实现了CodeShell模型与TGI推理框架的原生对接，以满足CodeShell模型多卡部署的需求。

参照TGI-CodeShell文档，您可以在本地构建TGI环境或者构建TGI-CodeShell Docker镜像。另外，我们也提供了预构建的TGI-CodeShell镜像zzr0/text-generation-inference:codeshell-1.1.1，您可以在满足条件的情况下直接使用。