From 1c5691dc51ed4f85fe42c850af1d332b2392e4b2 Mon Sep 17 00:00:00 2001 From: Ren Xuancheng Date: Tue, 12 Mar 2024 15:50:48 +0800 Subject: [PATCH] Update README_CN.md --- README_CN.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/README_CN.md b/README_CN.md index 92d74e7..fef3db1 100644 --- a/README_CN.md +++ b/README_CN.md @@ -611,7 +611,7 @@ model = AutoModelForCausalLM.from_pretrained( ### 使用方法 我们提供了`finetune.py`这个脚本供用户实现在自己的数据上进行微调的功能，以接入下游任务。此外，我们还提供了shell脚本减少用户的工作量。这个脚本支持 [DeepSpeed](https://github.com/microsoft/DeepSpeed) 和 [FSDP](https://engineering.fb.com/2021/07/15/open-source/fsdp/) 。我们提供的shell脚本使用了DeepSpeed，因此建议您确保已经安装DeepSpeed和Peft（注意：DeepSpeed可能不兼容最新的pydantic版本，请确保`pydantic<2.0`）。你可以使用如下命令安装： ```bash -pip install peft deepspeed +pip install "peft<0.8.0" deepspeed ``` 首先，你需要准备你的训练数据。你需要将所有样本放到一个列表中并存入json文件中。每个样本对应一个字典，包含id和conversation，其中后者为一个列表。示例如下所示：