为什么训练阶段的显存一直在往上涨？一会就 OOM 了

[Amazing-J]

CUDA_VISIBLE_DEVICES=4 python baichuan_lora_tuning.py
--tokenized_dataset hc3_chatgpt_zh_specific_qa_baichuan-7B
--lora_rank 4
--per_device_train_batch_size 64
--gradient_accumulation_steps 2
--num_train_epochs 2
--save_steps 200
--save_total_limit 2
--learning_rate 1e-4
--fp16
--remove_unused_columns false
--logging_steps 20
--output_dir weights/hc3_chatgpt_zh_specific_qa_baichuan-7B

[beyondguo]

你这个batch size有点奢侈了，显存也是动态的，如果训练前期的文本都不长，可能显存还够，后面碰到一个超长的文本，可能就不够了