简单，快捷训练/微调具有 LoRA 支持的中型 GPT。

[www.ziwang.com]

https://github.com/danielgrittner/nanoGPT-LoRA
用于训练/微调中型 GPT 的最简单、最快的存储库。这是对minGPT的改写，将牙齿置于教育之上。仍在积极开发中，但目前该文件在OpenWebText上重现GPT-2（124M），在大约4天的训练中在单个8XA100 40GB节点上运行。代码本身简单易读：是一个 ~300 行的样板训练循环和一个 ~300 行的 GPT 模型定义，可以选择从 OpenAI 加载 GPT-2 权重。