SofiaKhutsieva / LLM_experiments

Эксперименты с LLM (инференс, rag, дообучение)

LLM_experiments

• llm_llama_cpp_ner.ipynb - Инференс через LlamaCpp обычного промпта и промта под задачу NER. Модели gguf llama и mistral.
• llm_llama_cpp_rag_qa.ipynb - QA по документу с помощью RAG. Модель - gguf mistral.
• llm_mistral_finetune_ner.ipynb - Дообучение модели mistral под задачу NER.