黄钟健 训练了本项目的第一个模型
李鲁鲁发起了项目，并提出了后续使用feature进行蒸馏的思路。
黄钟健 训练了本项目的第一个模型，并且实现了训练框架
后续如果更多其他的同学训练小模型，我们也会陆续加入到作者列表中
受到LaMini-LM项目的启发，迷你骆驼是一组小型高效的语言模型，是从ChatGPT蒸馏而来，并使用1500万条指令的大规模数据集进行训练。我们将应用不同模型架构、大小进行训练。并争取在后续评估他们的效果。目前我们已经释放了3.5B的模型。
骆驼嵌入是Luotuo(骆驼)的子项目之一, 后者由李鲁鲁, 冷子昂, 陈启源发起。
初步的Colab代码：
3.5B 模型：
312M 模型：
TODO: 实现一个gradio的代码
你可以在下面的表格中，找到迷你骆驼系列模型的下载链接。
| 基模型(预训练) | 迷你骆驼系列(#parameters) | |||
|---|---|---|---|---|
| GPT2(Wenzhong) | 110M (v0.1) | Mini-Luotuo-3.5B | ||
| GPT2(zero_nlp) | 312M(v0.1) | |||
我们使用Luotuo项目中的翻译数据以及其他项目提供的数据。具体训练文件名以及所含指令数量如下包含：
| Dataset Name | Instruction Number |
|---|---|
| luotuo_all_data.json | 168886 |
| alpaca_gpt4_data_zh.json | 48818 |
| coig_data.json | 165531 |
| baike_all_data_rs150000.json | 150000 |
| web_text_all_data_rs150000.json | 150000 |
- Luotuo_all是骆驼项目收集的部分翻译数据。
- alpaca_gpt4_data_zh 从这里进行下载
后三个数据集参考的PandasLLM的数据集，并进行了重新整理与采样。
- Chinese Open Instruction Generalist (COIG)
- 百科问答(baike2018qa)，150万个带问题类型的问答
- 社区问答json版(webtext2019zh)社区问答json版(webtext2019zh)
我们将会研究数据协议，如果这些子项目的协议允许的话，我们会陆续发布完整或者抽样后的训练集。
训练代码使用的Llama-x, 并进行相应的修改。
If you are interested in sponsoring the Luotuo Project, please click on the major project or view the sponsorship form.
如果您在项目中使用了我们的模型、代码或者数据，请引用这个repo。
Please cite the repo if you use the data or code in this repo.
@misc{alpaca,
author={Jianzhong Huang, Cheng Li},
title = {Mini-Luotuo: A Diverse Herd of Distilled Chinese Models from Large-Scale Instructions},
year = {2023},
publisher = {GitHub},
journal = {GitHub repository},
howpublished = {\url{https://github.com/LC1332/Mini-Luotuo}},
}
原来项目的repo
@misc{alpaca,
author={Ziang Leng, Qiyuan Chen and Cheng Li},
title = {Luotuo: An Instruction-following Chinese Language model, LoRA tuning on LLaMA},
year = {2023},
publisher = {GitHub},
journal = {GitHub repository},
howpublished = {\url{https://github.com/LC1332/Luotuo-Chinese-LLM}},
}