zhangjiekui / api-for-open-llm

Openai style api for open large language models, using LLMs just as chatgpt! Support for LLaMA, LLaMA-2, BLOOM, Falcon, Baichuan, Qwen, Xverse, SqlCoder, CodeLLaMA etc. 开源大模型的统一后端接口

API for Open LLMs

图片来自于论文: [A Survey of Large Language Models](https://arxiv.org/pdf/2303.18223.pdf)

🐧 QQ交流群：870207830

📢 新闻

• 【2023.09.27】 添加 Qwen-14B-Chat-Int4 模型支持，启动方式链接

• 【2023.09.07】 添加 baichuan2 模型支持，启动方式链接

• 【2023.08.28】 添加 transformers.TextIteratorStreamer 流式输出支持，只需将环境变量修改为 USE_STREAMER_V2=true

• 【2023.08.26】 添加 code-llama 模型支持，启动方式链接，使用示例链接

• 【2023.08.23】 添加 sqlcoder 模型支持，启动方式链接，使用示例链接

• 【2023.08.22】 添加 xverse-13b-chat 模型支持，启动方式链接

• 【2023.08.10】 添加 vLLM 推理加速支持，使用文档

• 【2023.08.03】 添加 qwen-7b-chat 模型支持，启动方式链接

更多新闻和历史请转至 此处

---

此项目主要内容

此项目为开源大模型的推理实现统一的后端接口，与 OpenAI 的响应保持一致，具有以下特性：

• ✨ 以 OpenAI ChatGPT API 的方式调用各类开源大模型

• 🖨️ 支持流式响应，实现打印机效果

• 📖 实现文本嵌入模型，为文档知识问答提供支持

• 🦜️ 支持大规模语言模型开发工具 langchain 的各类功能

• 🙌 只需要简单的修改环境变量即可将开源模型作为 chatgpt 的替代模型，为各类应用提供后端支持

• 🚀 支持加载经过自行训练过的 lora 模型

• ⚡ 支持 vLLM 推理加速和处理并发请求

内容导引

章节	描述
💁🏻‍♂支持模型	此项目支持的开源模型以及简要信息
🚄启动方式	启动模型的环境配置和启动命令
⚡vLLM启动方式	使用 vLLM 启动模型的环境配置和启动命令
💻调用方式	启动模型之后的调用方式
❓常见问题	一些常见问题的回复
📚相关资源	关于开源模型训练和推理的相关资源

🐼 支持模型

语言模型

模型	基座模型	参数量	语言	模型权重链接
baichuan2	Baichuan	7/13	en, zh	baichuan-inc/Baichuan2-13B-Chat
codellama	LLaMA2	7/13/34B	multi	codellama/CodeLlama-7b-Instruct-hf
xverse-13b-chat	Xverse	13B	multi	xverse/XVERSE-13B-Chat
qwen-7b-chat	Qwen	7B	en, zh	Qwen/Qwen-7B-Chat
baichuan-13b-chat	Baichuan	13B	en, zh	baichuan-inc/Baichuan-13B-Chat
InternLM	InternLM	7B	en, zh	internlm/internlm-chat-7b
ChatGLM2	GLM	6/130B	en, zh	THUDM/chatglm2-6b
baichaun-7b	Baichuan	7B	en, zh	baichuan-inc/baichuan-7B
Guanaco	LLaMA	7/33/65B	en	timdettmers/guanaco-33b-merged
YuLan-Chat	LLaMA	13/65B	en, zh	RUCAIBox/YuLan-Chat-13b-delta
TigerBot	BLOOMZ	7/180B	en, zh	TigerResearch/tigerbot-7b-sft
OpenBuddy	LLaMA、Falcon	7B	multi	OpenBuddy
MOSS	CodeGen	16B	en, zh	fnlp/moss-moon-003-sft-int4
Phoenix	BLOOMZ	7B	multi	FreedomIntelligence/phoenix-inst-chat-7b
BAIZE	LLaMA	7/13/30B	en	project-baize/baize-lora-7B
Chinese-LLaMA-Alpaca	LLaMA	7/13B	en, zh	ziqingyang/chinese-alpaca-plus-lora-7b
BELLE	BLOOMZ	7B	zh	BelleGroup/BELLE-7B-2M
ChatGLM	GLM	6B	en, zh	THUDM/chatglm-6b

嵌入模型

模型	维度	权重链接
bge-large-zh	1024	bge-large-zh
m3e-large	1024	moka-ai/m3e-large
text2vec-large-chinese	1024	text2vec-large-chinese

🤖 使用方式

环境变量

• OPENAI_API_KEY: 此处随意填一个字符串即可

• OPENAI_API_BASE: 后端启动的接口地址，如：http://192.168.0.xx:80/v1

聊天界面

cd streamlit-demo
pip install -r requirements.txt
streamlit run streamlit_app.py

openai

👉 Chat Completions

import openai

openai.api_base = "http://192.168.0.xx:80/v1"

# Enter any non-empty API key to pass the client library's check.
openai.api_key = "xxx"

# Enter any non-empty model name to pass the client library's check.
completion = openai.ChatCompletion.create(
    model="chatglm-6b",
    messages=[
        {"role": "user", "content": "你好"},
    ],
    stream=False,
)

print(completion.choices[0].message.content)
# 你好👋！我是人工智能助手 ChatGLM-6B，很高兴见到你，欢迎问我任何问题。

👉 Completions

import openai

openai.api_base = "http://192.168.0.xx:80/v1"

# Enter any non-empty API key to pass the client library's check.
openai.api_key = "xxx"

# Enter any non-empty model name to pass the client library's check.
completion = openai.Completion.create(prompt="你好", model="chatglm-6b")

print(completion.choices[0].text)
# 你好👋！我是人工智能助手 ChatGLM-6B，很高兴见到你，欢迎问我任何问题。

👉 Embeddings

import openai

openai.api_base = "http://192.168.0.xx:80/v1"

# Enter any non-empty API key to pass the client library's check.
openai.api_key = "xxx"

# compute the embedding of the text
embedding = openai.Embedding.create(
    input="什么是chatgpt？", 
    model="text2vec-large-chinese"
)

print(embedding['data'][0]['embedding'])

langchain

👉 Chat Completions

import os

os.environ["OPENAI_API_BASE"] = "http://192.168.0.xx:80/v1"
os.environ["OPENAI_API_KEY"] = "xxx"

from langchain.chat_models import ChatOpenAI
from langchain.schema import HumanMessage

chat = ChatOpenAI()
print(chat([HumanMessage(content="你好")]))
# content='你好👋！我是人工智能助手 ChatGLM-6B，很高兴见到你，欢迎问我任何问题。' additional_kwargs={}

👉 Completions

import os

os.environ["OPENAI_API_BASE"] = "http://192.168.0.xx:80/v1"
os.environ["OPENAI_API_KEY"] = "xxx"

from langchain.llms import OpenAI

llm = OpenAI()
print(llm("你好"))
# 你好👋！我是人工智能助手 ChatGLM-6B，很高兴见到你，欢迎问我任何问题。

👉 Embeddings

import os

os.environ["OPENAI_API_BASE"] = "http://192.168.0.xx:80/v1"
os.environ["OPENAI_API_KEY"] = "xxx"

from langchain.embeddings import OpenAIEmbeddings

embeddings = OpenAIEmbeddings()
query_result = embeddings.embed_query("什么是chatgpt？")
print(query_result)

可接入的项目

通过修改上面的 OPENAI_API_BASE 环境变量，大部分的 chatgpt 应用和前后端项目都可以无缝衔接！

• ChatGPT-Next-Web: One-Click to deploy well-designed ChatGPT web UI on Vercel

docker run -d -p 3000:3000 \
   -e OPENAI_API_KEY="sk-xxxx" \
   -e BASE_URL="http://192.168.0.xx:80" \
   yidadaa/chatgpt-next-web

• dify: An easy-to-use LLMOps platform designed to empower more people to create sustainable, AI-native applications

# 在docker-compose.yml中的api和worker服务中添加以下环境变量
OPENAI_API_BASE: http://192.168.0.xx:80/v1
DISABLE_PROVIDER_CONFIG_VALIDATION: 'true'

📜 License

此项目为 Apache 2.0 许可证授权，有关详细信息，请参阅 LICENSE 文件。

🚧 References

• ChatGLM: An Open Bilingual Dialogue Language Model

• BLOOM: A 176B-Parameter Open-Access Multilingual Language Model

• LLaMA: Open and Efficient Foundation Language Models

• Efficient and Effective Text Encoding for Chinese LLaMA and Alpaca

• Phoenix: Democratizing ChatGPT across Languages

• MOSS: An open-sourced plugin-augmented conversational language model

• FastChat: An open platform for training, serving, and evaluating large language model based chatbots

• LangChain: Building applications with LLMs through composability

• ChuanhuChatgpt