|
|
|
@ -611,7 +611,7 @@ model = AutoModelForCausalLM.from_pretrained(
|
|
|
|
|
### 使用方法
|
|
|
|
|
我们提供了`finetune.py`这个脚本供用户实现在自己的数据上进行微调的功能,以接入下游任务。此外,我们还提供了shell脚本减少用户的工作量。这个脚本支持 [DeepSpeed](https://github.com/microsoft/DeepSpeed) 和 [FSDP](https://engineering.fb.com/2021/07/15/open-source/fsdp/) 。我们提供的shell脚本使用了DeepSpeed,因此建议您确保已经安装DeepSpeed和Peft(注意:DeepSpeed可能不兼容最新的pydantic版本,请确保`pydantic<2.0`)。你可以使用如下命令安装:
|
|
|
|
|
```bash
|
|
|
|
|
pip install peft deepspeed
|
|
|
|
|
pip install "peft<0.8.0" deepspeed
|
|
|
|
|
```
|
|
|
|
|
|
|
|
|
|
首先,你需要准备你的训练数据。你需要将所有样本放到一个列表中并存入json文件中。每个样本对应一个字典,包含id和conversation,其中后者为一个列表。示例如下所示:
|
|
|
|
|