本项目提供基于HuggingFace社区和ModelScope魔搭社区的在线体验, 欢迎尝试和反馈!
受langchain-ChatGLM启发, 利用LangChain和ChatGLM-6B系列模型制作的Webui, 提供基于本地知识的大模型应用.
目前支持上传 txt、docx、md、pdf等文本格式文件, 提供包括ChatGLM-6B系列的模型文件以及GanymedeNil/text2vec-large-chinese、nghuyong/ernie-3.0-base-zh、nghuyong/ernie-3.0-nano-zh等Embedding模型.
效果如下:
提供ModelScope版本和HuggingFace版本.
需要Python>=3.8.1
- git clone本项目:
git clone https://github.com/thomas-yanxin/LangChain-ChatGLM-Webui.git - 进入本项目目录：
cd LangChain-ChatGLM-Webui - 安装依赖包：
pip3 install -r requirements.txt - 执行app.py：
python3 app.py
- 编译镜像：
docker build -t langchain-chatglm-webui . - 运行镜像：
docker run -it --rm --runtime=nvidia --gpus all --network host -v /home/nodecloud/ptuning/chatglm-6b:/data/chatglm-6b langchain-chatglm-webui - 访问服务：
http://ip:7861
自适应多GPU场景, 增加多GPU并行处理能力.
若存在网络问题可点击以下链接快速下载:
| large language model | Embedding model |
|---|---|
| ChatGLM-6B | text2vec-large-chinese |
| ChatGLM-6B-int8 | ernie-3.0-base-zh |
| ChatGLM-6B-int4 | ernie-3.0-nano-zh |
| ChatGLM-6B-int4-qe | ernie-3.0-xbase-zh |
| Vicuna-7b-1.1 | |
| BELLE-LLaMA-7B-2M.zip | |
| Minimax |
详情请见: 更新日志
项目处于初期阶段, 有很多可以做的地方和优化的空间, 欢迎感兴趣的社区大佬们一起加入!
- ChatGLM-6B: ChatGLM-6B: 开源双语对话语言模型
- LangChain: Building applications with LLMs through composability
- langchain-ChatGLM: 基于本地知识的 ChatGLM 应用实现
- langchain-ChatGLM提供的基础框架
- 魔搭ModelScope提供展示空间
- OpenI启智社区提供调试算力
- @online2311进行多卡测试、增加外部访问支持、增加ChatGLM-6b-local 本地模型读取路径、修复text2vec 无法加载的错误、增加 Dockerfile、增加Docker 使用说明
