Kotyga / smiles-rag

RAG c дополнительной информацией о качестве эмбеддингов

Проблемы

RAG зависит от качества извлечения информации.

Вопросы вне домена

Модели часто используют системы RAG для решения специфических задач или приложений, таких как обслуживание клиентов в банковском секторе или планирование поездок. Эти модели должны уметь обрабатывать запросы, выходящие за пределы их назначенной области, и обеспечивать определенность в своих ответах.

Неясные запросы

Запросы пользователей могут быть непреднамеренно неясными и сложными для понимания систем RAG.

Отказ в ответе

Системы RAG должны уметь определять, когда они не знают ответа.

Наше решение

Результаты

Pipeline	faithfulness	answer_relevance	context_precision	context_recall	Неопределенность
LLM only	0.68	0.72	0.66	0.70	0.1
RAG only	0.79	0.81	0.78	0.80	0.05
RAG + clustering	0.82	0.83	0.82	0.84	0.2

Contributors

πRAGi-team

• Котыга М.М.
• Шепелев Лев
• Ильин Г.Р
• Маслов Е.М.