hotchpotch / youri-7b-sft-qa-context-jaqket

youri-7b を SFT で Q&A + RAG形式に特化したフォーマットで学習

youri-7b-sft-qa-context-jaqket

youri-7b-instruction を使って SFT で Q&A + コンテキスト形式を学習するコード各種や サンプルコード。詳しくは以下を参照ください。

• Q&A + RAG に特化したLLMをSFTで学習させ4bit量子化モデルを作り、GPT3.5以上の性能を7Bモデルで達成する
• 学習コードや評価コード
• hotchpotch/youri-7b-sft-qa-context-jaqket-gptq
  • AutoGPTQ で量子化したモデル
• hotchpotch/youri-7b-sft-qa-context-jaqket-awq
  • AutoAWQ で量子化したモデル