[本地部署]: ollama serve +川虎部署失败
taozhiyuai opened this issue · comments
是否已存在现有反馈与解答？
- 我确认没有已有issue或discussion，且已阅读常见问题。
是否是一个代理配置相关的疑问？
- 我确认这不是一个代理配置相关的疑问。
错误描述
不能推理
复现操作
- 模型是qwen:14b-chat-v1.5-fp16
- 运行ollama serve
3.川虎配置文件设置了
"openai_api_key": "ollama",
"extra_models": ["qwen:14b-chat-v1.5-fp16"],
"openai_api_base": "http://localhost:11434/v1",
错误日志
No response
运行环境
- OS: macOS
- Browser: safari
- Gradio version:
- Python version:补充说明
No response
模型列表点击我添加的qwen:14b-chat-v1.5-fp16, 也不能选择
"openai_api_key"设置为openai，api base设置为你的本地api地址，模型选择时选择gpt系列的模型，不要添加新的模型
"openai_api_key"设置为openai，api base设置为你的本地api地址，模型选择时选择gpt系列的模型，不要添加新的模型
lm studio像你说的操作可以.换成ollama server 就出现如图错误附上我的json
config.json
"openai_api_key": "ollama",
"default_model": "GPT3.5 Turbo", // 默认模型
"openai_api_base": "http://localhost:11434/v1",
下面的注释掉了
// "available_models": ["GPT3.5 Turbo", "GPT4 Turbo", "GPT4 Vision"], // 可用的模型列表，将覆盖默认的可用模型列表
// "extra_models": ["模型名称3", "模型名称4", ...], // 额外的模型，将添加到可用的模型列表之后
"openai_api_key"设置为openai，api base设置为你的本地api地址，模型选择时选择gpt系列的模型，不要添加新的模型
试了很多次,总是如图错误.请问怎么办.
ollama 应该在模型选单选 ollama
ollama 应该在模型选单选 ollama
不太明白什么意思,应该如何操作?麻烦介绍清楚点.谢谢. @GaiZhenbiao
我刚才 又确认了一下.在LM STUDIO开API SERVER, 可以改API和BASE, 不管MODEL可以推理. 但是用OLLAMA后, 相同的修改配置方法, 却不可以推理.
