第一个开源的基于QLoRA的33B中文大语言模型，支持了基于DPO的对齐训练。
我们也开源了100K输入窗口的开源模型Anima100K，基于Llama2，可商用。
Read this in English.
[2023/09/06] 更新支持100k 上下文的基于Llama2的可商用大模型
[2023/06/29] 更新基于DPO+QLoRA的Human Feedback训练
[2023/06/12] 开源了第一个基于QLoRA的中文33B大语言模型
因此我们认为QLoRA 的工作很重要，重要到可能是个Game Changer。通过QLoRA的优化方法，第一次让33B规模的模型可以比较**化的，比较低成本的finetune训练，并且普及使用。我们认为33B模型既可以发挥大规模模型的比较强的reasoning能力，又可以针对私有业务领域数据进行灵活的finetune训练提升对于LLM的控制力。
具体详见：这里。
Anima模型又开源了基于QLoRA的最新的DPO技术。
DPO是最新的最高效的RLHF训练方法。RLHF一直是生成式AI训练的老大难问题，也被认为是OpenAI的压箱底独家秘笈。DPO技术改变了这一切，让RLHF彻底傻瓜化！
我们开源了RLHF的低成本QLoRA的实现，一台GPU机器就可以训练33B模型的DPO！
具体详见：这里。
当输入长度支持100k，你甚至可以把整个知识库都放入Prompt交给模型。或者可以把一本书直接放到Prompt里边。再也不用各种费劲的向量化，文本分割。。。。
我们堆了各种最新的猛料：XEntropy，Paged 8bit Adamw, LORA, Flashattention2，并且专门针对长输入对于training和Inference代码都做了修改定制，使得单卡100G就可以训练100k窗口。单卡40G就可以进行推理。
训练数据上，从几十种公开数据集中精选了专门针对长输入的30k～100k长度的长文本训练数据，专门针对100K输入对模型进行了训练。
具体详见：这里。
扫码：
扫码进群：
欢迎大家参与贡献本项目 🙏
如果你喜欢我们的项目，请帮忙点个⭐吧!
此工作来自于艾写科技。我们团队来自于硅谷，有多年中、美大厂的一线AI工作经验。
我们致力于通过最新的AGI，LLM技术为内容创作提供下一代的内容创作工具。欢迎试用我们的产品。