ziwang-com / zero-lora

zero零训练llm调参

Home Page:http://www.m-f.vip

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

xTuring提供快速、高效和简单的LLM微调

ziwang-com opened this issue · comments

https://github.com/stochasticai/xturing

xTuring提供快速、高效和简单的LLM微调,如LLaMA,GPT-J,Galactica等。通过提供一个易于使用的界面来微调LLM到您自己的数据和应用程序,xTuring使构建,自定义和控制LLM变得简单。整个过程可以在您的计算机内部或私有云中完成,确保数据隐私和安全。
有了你可以,xTuring

从不同来源摄取数据并将其预处理为LLM可以理解的格式
从单个 GPU 扩展到多个 GPU,以便更快地进行微调
利用内存高效方法(即 INT4、LoRA 微调)将硬件成本降低多达 90%
探索不同的微调方法并对其进行基准测试,以找到性能最佳的模型
根据明确定义的指标评估微调模型以进行深入分析