更改微调训练参数

.gitignore

@@ -9,3 +9,5 @@ build
 .DS_Store
 
 /private/
+output_qwen/
+output_qwen*/

finetune/finetune_lora_single_gpu.sh

@@ -41,7 +41,7 @@ python finetune.py \
   --data_path $DATA \
   --bf16 True \
   --output_dir output_qwen \
-  --num_train_epochs 5 \
+  --num_train_epochs 16 \
   --per_device_train_batch_size 2 \
   --per_device_eval_batch_size 1 \
   --gradient_accumulation_steps 8 \
@@ -56,7 +56,7 @@ python finetune.py \
   --lr_scheduler_type "cosine" \
   --logging_steps 1 \
   --report_to "none" \
-  --model_max_length 512 \
+  --model_max_length 3072 \
   --lazy_preprocess True \
   --gradient_checkpointing \
   --use_lora