sanying123 / llama-chat

Chat with Llama via Web.

llama-chat

Chat with Llama via Web.

下载模型

到hugginface.co下载对应版本的LLaMA模型weights，保存到/data/models/llama目录下。

本地运行

安装依赖包

pip install -r requirements.txt

运行

streamlit run web.py 

容器化运行

构建镜像

docker build . -t llama-chat

运行容器

docker run -d --rm --name llama-chat -v /data:/data -p 8501:8501 llama-chat

如果前面使用nginx进行返现代理，需要关闭CORS和XSRF。

Llama SFT系列模型运行

基于llama-chat镜像运行DoctorGPT。

# 下载DoctorGPT模型参数 https://huggingface.co/llSourcell/medllama2_7b
git clone [e-mail]:llSourcell/medllama2_7b /data/models/medllama2_7b

# 运行Web服务
# MODEL_NAME环境变量指定模型名称。
# MODEL_PATH环境变量指定模型参数路径。
# 服务导出端口是8501。
docker run -it -d --rm --name doctor-gpt -v /data:/data/ -p 8501:8501 -e MODEL_NAME=DoctorGPT -e MODEL_PATH=/data/models/medllama2_7b llama-chat