运行chatglm2单卡微调的时候遇到了ModuleNotFoundError: No module named 'peft'问题
Alan-JW opened this issue · comments
Alan-JW commented
@liucongg @ZhishanQ ,运行chatglm2单卡微调的时候遇到了这个问题。
CUDA_VISIBLE_DEVICES=0 deepspeed --master_port 520 train.py
--train_path data/spo_0.json
--model_name_or_path ChatGLM2-6B/
--per_device_train_batch_size 1
--max_len 1560
--max_src_len 1024
--learning_rate 1e-4
--weight_decay 0.1
--num_train_epochs 2
--gradient_accumulation_steps 4
--warmup_ratio 0.1
--mode glm2
--train_type freeze
--freeze_module_name "layers.27.,layers.26.,layers.25.,layers.24."
--seed 1234
--ds_file ds_zero2_no_offload.json
--gradient_checkpointing
--show_loss_step 10
--output_dir ./output-glm2
Dehai Min commented
环境下没有peft包
Alan-JW commented
抱歉,我打错了