基于Llama3,通过进一步CPT,SFT,ORPO得到的中文版Llama3
=log: 2024/04/21 12:00=: 本仓库是出于 学习目的 而进行的一个实践项目。
[2024/04/22] We release the first version of Llama3-Chinese-ORPO.
模型名称 | 模型简介 | ModelScope下载链接 | Huggingface下载链接 |
---|---|---|---|
Llama3-Chinese-pro-8.4B-sft-1M | 在对llama3-8b的base版本(meta-llama/Meta-Llama-3-8B)进行llama-pro拓展了两层后,进而通过一百万条SFT数据训练而得到。 | Llama3-Chinese-pro-8.4B-sft-1M | |
Llama3-Chinese-pro-8.4B-sft-1M-ORPO | 基于上一行产出的模型继续做ORPO进而得到 | ||
排名不分先后
linjh1118 @ Northeastern University Llama3-Chinese-ORPO项目的核心贡献者 |
Charon-ops @ Tsinghua University Llama3-Chinese-ORPO项目的核心贡献者 |
zzlf @ Northeastern University Llama3-Chinese-ORPO项目的核心贡献者 |
AIR-hl @ Northeastern University Llama3-Chinese-ORPO项目的核心贡献者 |
yanyi74 @ Northeastern University Llama3-Chinese-ORPO项目的核心贡献者 |
MrChen-NEU @ Northeastern University Llama3-Chinese-ORPO项目的核心贡献者 |
非常非常感谢前人的优秀工作:https://github.com/CrazyBoyM/llama3-Chinese-chat (全球第一个中文llama3)