Start TGI worker

[mayilin0714]

您好，我在评估mt_bench时有两个问题 请问如何start TGI worker？ 以及host=127.0.0.1和port=30070都是固定不变的吗？ 非常期待您的回答

[Mingdao Liu]

1. 可以参考 Run AgentLM 一节的说明来启动 TGI worker 。
2. host 和 port 是要指定 TGI Worker 的通讯地址，这里 127.0.0.1 是默认推理和评测的服务在同一网络环境之中。而端口的配置则是在 docker compose file 中配置的。例如 agentlm-70b.yml 中的默认将端口配置到了 30070。您也可以将端口调整到它调整到其他端口，这时评测时的通讯端口也需要随之改变。