Start TGI worker
mayilin0714 opened this issue · comments
- 可以参考 Run AgentLM 一节的说明来启动 TGI worker 。
host
和port
是要指定 TGI Worker 的通讯地址,这里127.0.0.1
是默认推理和评测的服务在同一网络环境之中。而端口的配置则是在 docker compose file 中配置的。例如 agentlm-70b.yml 中的默认将端口配置到了 30070。您也可以将端口调整到它调整到其他端口,这时评测时的通讯端口也需要随之改变。