percent4/llm_4_doc_qa

本项目用于文档问答，使用向量嵌入 + ES 做召回，使用Rerank模型作为精排，再使用LLM做文档问答，Web框架使用Flask。

项目的整体架构如图：

本项目对应的博客文章：

启动方式

安装ElasticSearch（版本7.17.0），建议使用Docker搭建环境，参考文件：docs/docker-compose-es.yml，具体配置方法参考：https://github.com/percent4/ES_Learning
安装Milvus（版本2.2.1），建议使用Docker搭建环境，参考文件：docs/docker-compose-milvus.yml
安装Python第三方模块，参考requirements.txt
启动web服务: python3 server.py
可视化web页面启动: server_gradio.py`

HTTP请求

文档问答接口

curl --location 'localhost:5000/api/doc_qa' \
--header 'Content-Type: application/json' \
--data '{
    "question": "戚发轫的头衔是什么？",
    "model_name": "gpt-3.5-turbo-1106"
}'

文档上传

在浏览器中输入 http://localhost:5000//api/uploads 即可。

可视化问答页面

启动server_gradio.py脚本即可，采用Gradio工具开发。

支持模型

Embedding模型:

Baichuan-13B-Chat
text-embedding-ada-002

大模型（LLM）:

Baichuan-13B-Chat
LLAMA-2-Chinese-13b-Chat
internlm-chat-7b
ChatGPT model: GPT-3.5, GPT-4

功能特性

数据分析可视化

文件类型，共五种：

txt: txt文件
docx: docx文件
pdf: pdf文件
url: 用户输入的网址
string: 用户自定义输入

在Kibana中使用可视化功能进行数据分析，首先统计每种文件类型的chunk（对文本内容进行划分，每个单位记为一个chunk）数据表格及柱状图、饼图：

每个文件类型的文件数量（使用source.keyword字段进行统计）：

文件插入时间与chunk数量的折线图（可用于记录不同时间段，插入的chunk数量统计）：

效果测试

txt文件：

今年上半年的GDP增长率是多少？

根据文档知识，2021年上半年的GDP增长率为5.5%。

你知道格里芬的职务吗？

格里芬的职务是美国宇航局局长。

格里芬发表演说时讲了什么？

根据文档知识，格里芬发表演说时讲了如下内容：他认为如果**人愿意，2020年他们可以实现载人登月工程。此外，叶培建院士也曾发表自己的观点，认为2025年比较合适。然而，根据**科学院编制的50年长远规划，**要实现载人登月工程是2030年。

日本的国土面积多大？

\n根据文档知识：日本的国土面积为377,915平方千米。根据外部知识：日本是世界上国土面积第64大的国家，排名在它前面的有俄罗斯、加拿大、美国、**和澳大利亚等国家。

一个地区如果回流生数量多会有什么影响？

根据文档知识，一个地区如果回流生数量多可能会对常年在本地上学的学生造成一定的影响，导致学位紧张。但同时，也存在一些家长和学生通过投机行为，试图利用回流生的机会获得更好的教育资源。为了防止这种情况，需要采取措施震慑不法分子。同时，回流生的存在可能对本地学生产生一定的竞争压力，但主要还是要看学生的个人学习表现。

今年暑期档电影有哪些？

今年暑期档电影市场活跃度持续升温，已有多部电影陆续上映。根据灯塔专业版统计，今年暑期档共有119部新片上映，涵盖了动画、冒险、剧情、儿童、纪录片、惊悚、科幻等多种题材。截至7月22日，暑期档总票房已突破100亿元，预计今年暑期档总票房将在160亿元以上。业内人士预测，今年暑期档有望成为“史上最强暑期档”。