📌 SakuraLLM Roadmap
pipixia244 opened this issue · comments
模型训练
- 发布v0.9模型
- 0.10版本模型(14B,7B,1.8B)
- prompt内字典
- 提高指令遵循能力
- 提高上下文能力
- 继续增加领域内数据
- 根据收集的偏好数据进行DPO训练(实验性)
- 增加润色功能(实验性)
- Qwen1.5-32B模型
- 中日韩任意双向互译模型(14B,7B,1.8B)
- Orion模型
- Qwen2模型
- MoE模型
- deepseek-v2
- Yi-34B模型
模型量化
- 发布imatrix量化模型
模型评估
- 人工问卷形式评估各量化模型性能
- GPT4评估各量化模型性能
Sakura API
- 将
dev_server分支合并到主分支，并将api格式改为openai like api格式。 - 支持多种后端至v0.9
-
llama.cpp server -
llama-cpp-python -
autogptq -
vllm(同时支持gptq与awq模型)
-
- 适配翻译工具
- LunaTranslator(新API)
- GalTransl
- BallonsTranslator
- 提供Python部署一键包
- 支持多线程
- 支持Batch Inference
- 支持输出logits
或許也可以使用在日文語料訓練微調過的模型試試，此 repo 整理了許多日文的模型，其中 rinna/nekomata-14b 是 qwen-14b continual pre-training在日文語料的模型，可能能增強模型性能
或許也可以使用在日文語料訓練微調過的模型試試，此 repo 整理了許多日文的模型，其中 rinna/nekomata-14b 是 qwen-14b continual pre-training在日文語料的模型，可能能增強模型性能
这类模型普遍是日英数据微调，中文能力很差/弱化严重，暂时不做考虑。
是否有计划开源全精度模型，这样可以借助现在的一些开源推理工具进行部署，它们很多宣传速度已经超过了vllm