Table of Contents / Содержание
Link to project in GitHub: https://github.com/RomiconEZ/Telegram-RAG-bot
Данный проект создан в рамках МегаШколы ИТМО по треку ИИ. Разработан работающий прототип RAG-системы, который демонстрирует улучшение качества ответов с помощью методов извлечения информации из внешних источников данных. Прототип представлен в виде кода с документацией, включая инструкции по установке, настройке и использованию системы. Также прилагается видео демо работы сервиса.
Данный бот является продолжение идеи, представленной в презентации ко 2-ому заданию.
В качестве LLM используется локально развернутая IlyaGusev/saiga_mistral_7b_gguf с помощью LM studio
В качестве модели для эмбеддингов используется "sentence-transformers/all-MiniLM-L6-v2"
Chroma используется для создания и использования векторного представления текстовых данных.
LangChain используется для обработки и управления текстовыми данными.
База знаний содержит файл с информацией о туроператоре (все совпадения случайны):
Адрес туроператора/турагента “Туры Карелии” - 185035, Республика Карелия, г. Петрозаводск, ул.Гоголя
Телефон туроператора/турагента “Туры Карелии” - (8142)763031, тел. (8142)763215
e-mail туроператора/турагента “Туры Карелии”: karelia.tours@gmail.com
Сайт туроператора/турагента “Туры Карелии”: http://www.karelia-tour.ru
- Docker: https://www.docker.com/get-started
- LM studio: https://lmstudio.ai
- Download the IlyaGusev/saiga_mistral_7b_gguf model in LM studio
-
Clone the repository.
-
Copy the
.env.examplefile in the directory and change the name to.env. Replace the value of TG_BOT_TOKEN with your bot's token. -
Launch the server in LM studio
- In the terminal, navigate to the root directory of the cloned repository. Build the Docker containers with the following command:
To run telegram bot:
make build
make run
Distributed under the MIT License.
Roman Neronov:
- email: roman.nieronov@gmail.com / roman.nieronov@mail.ru
- telegram: @Romiconchik