|
|
|
@ -415,7 +415,7 @@ model = AutoPeftModelForCausalLM.from_pretrained(
|
|
|
|
|
).eval()
|
|
|
|
|
```
|
|
|
|
|
|
|
|
|
|
如果你觉得这样一步到位的方式让你很不安心或者影响你接入下游应用,你可以选择先合并并存储模型,再用常规方式读取你的新模型,示例如下:
|
|
|
|
|
如果你觉得这样一步到位的方式让你很不安心或者影响你接入下游应用,你可以选择先合并并存储模型(LoRA支持合并,Q-LoRA不支持),再用常规方式读取你的新模型,示例如下:
|
|
|
|
|
|
|
|
|
|
```python
|
|
|
|
|
from peft import AutoPeftModelForCausalLM
|
|
|
|
|