mgilgamesh / big_model

大模型训练

1. gpt_2_example里面是训练gpt2模型的代码，recipe是德语菜谱数据集，code文件夹下的代码是训练代码,gpt2_model里是模型文件。
2. llama_2_example里面是使用lora微调1.3B参数的大模型，code_llama2里的train是训练代码，use_model是使用的代码，llama2_model_ch1.3是模型文件，llama2-chinese-couplet-1k是数据文件。
3. gpt2模型文件地址是链接：https://pan.baidu.com/s/1AORJrnNQZ6dkvXFzT-hyIw 提取码：ddx6
4. llama2模型文件地址是 链接：https://pan.baidu.com/s/14b_KzpIqWA5xziQ3ie_vAg 提取码：xjm2