diff --git a/finetune/finetune_lora_single_gpu.sh b/finetune/finetune_lora_single_gpu.sh index 4096df6..3d8be58 100644 --- a/finetune/finetune_lora_single_gpu.sh +++ b/finetune/finetune_lora_single_gpu.sh @@ -34,3 +34,6 @@ python finetune.py \ --lazy_preprocess True \ --gradient_checkpointing \ --use_lora + +# If you use fp16 instead of bf16, you should use deepspeed +# --fp16 True --deepspeed finetune/ds_config_zero2.json