您们好,能针对特定层进行预训练吗?
win10ogod opened this issue · comments
win10ogod commented
您们好,能针对特定层进行预训练吗?
例如:单独预训练使用此脚本新增的层, 並冻结原始模型块
https://github.com/TencentARC/LLaMA-Pro/blob/main/scripts/block_expansion.py
Firefly: 大模型训练工具,支持训练Qwen2、Yi1.5、Phi-3、Llama3、Gemma、MiniCPM、Yi、Deepseek、Orion、Xverse、Mixtral-8x7B、Zephyr、Mistral、Baichuan2、Llma2、Llama、Qwen、Baichuan、ChatGLM2、InternLM、Ziya2、Vicuna、Bloom等大模型
win10ogod opened this issue · comments
您们好,能针对特定层进行预训练吗?
例如:单独预训练使用此脚本新增的层, 並冻结原始模型块
https://github.com/TencentARC/LLaMA-Pro/blob/main/scripts/block_expansion.py