0.python:3.8 pytorch:1.8.0
1.Train model（GPU）：python run_classifier_2.py --model_type bert --model_name_or_path roberta_tiny_clue --task_name my --do_train --data_dir data --max_seq_length 500 --per_gpu_train_batch_size 8 --per_gpu_eval_batch_size 8 --learning_rate 1e-5 --num_train_epochs 4.0 --logging_steps 3000 --save_steps 3000 --output_dir output --overwrite_output_dir Train model（CPU）：python run_classifier_2.py --model_type bert --model_name_or_path roberta_tiny_clue --task_name my --do_train --data_dir data --max_seq_length 500 --per_gpu_train_batch_size 8 --per_gpu_eval_batch_size 8 --learning_rate 1e-5 --num_train_epochs 4.0 --logging_steps 3000 --save_steps 3000 --output_dir output --overwrite_output_dir --no_CUDA
2.Predict：python run_classifier_2.py --model_type bert --model_name_or_path outputbert --task_name my --do_predict --data_dir data --output_dir output --max_seq_length 500
3.data： Train dev and test set
4.roberta_tiny_clue文件夹： Pretrained model inside
5run_classifier_2.py
Args:
--model_type bert (model type)
--model_name_or_path roberta_tiny_clue (model path)
--do_train (train or not)
--do_eval (eval or not)
--do_predict (predict or not)
--data_dir data2 data_path
--max_seq_length 500
--per_gpu_train_batch_size 16
--per_gpu_eval_batch_size 16
--no_CUDA
--learning_rate 1e-5
--num_train_epochs 4.0
--logging_steps 1000
--save_steps 1000
--output_dir DistillOutput2
--overwrite_output_dir
--save_best_model (default = True)