ziwang-com / zero-lora

zero零训练llm调参

Home Page:http://www.m-f.vip

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

Alpaca-CoT:具有指令数据收集和统一大语言模型接口的指令微调平台

ziwang-com opened this issue · comments

https://github.com/PhoebusSi/Alpaca-CoT
Alpaca-CoT:具有指令数据收集和统一大语言模型接口的指令微调平台
LICENSE torch data model wandb colab

这是该项目的存储库,旨在构建一个指令微调(IFT)平台,该平台具有广泛的指令集合(特别是CoT数据集)以及各种大型语言模型和参数高效方法的统一接口。我们正在不断扩展我们的指令调整数据收集,并集成更多的LLM和更参数高效的方法。此外,我们还创建了一个新的分支tabular_llm来构建用于解决表智能任务的表格 LLM。Alpaca-CoT

热忱欢迎您向我们提供任何未收集的指令调整数据集(或其来源)。我们将统一格式化它们,使用这些数据集训练 Alpaca 模型(以及早期的其他 LLM),开源模型检查点,并进行广泛的实证研究。我们希望我们的项目能够为大型语言模型的开源过程做出一点贡献,并降低NLP研究人员入门的门槛。