From 7b2090371ab6f6bcd96a87f9a570a3e06c76b0b7 Mon Sep 17 00:00:00 2001 From: Yang An Date: Sat, 5 Aug 2023 22:00:18 +0800 Subject: [PATCH] Update README_CN.md --- README_CN.md | 10 +++++----- 1 file changed, 5 insertions(+), 5 deletions(-) diff --git a/README_CN.md b/README_CN.md index 4ff25f0..e55b23f 100644 --- a/README_CN.md +++ b/README_CN.md @@ -59,7 +59,7 @@ Qwen-7B在多个全面评估自然语言理解与生成、数学运算解题、 在开始前,请确保你已经配置好环境并安装好相关的代码包。最重要的是,确保你的pytorch版本高于`1.12`,然后安装相关的依赖库。 ```bash -pip install transformers==4.31.0 accelerate tiktoken einops +pip install -r requirements.txt ``` 如果你的显卡支持fp16或bf16精度,我们还推荐安装[flash-attention](https://github.com/Dao-AILab/flash-attention)来提高你的运行效率以及降低显存占用。(**flash-attention只是可选项,不安装也可正常运行该项目**) @@ -81,9 +81,7 @@ pip install csrc/rotary from transformers import AutoModelForCausalLM, AutoTokenizer from transformers.generation import GenerationConfig -# 请注意:我们的分词器做了对特殊token攻击的特殊处理。因此,你不能输入诸如<|endoftext|>这样的token,会出现报错。 -# 如需移除此策略,你可以加入这个参数`allowed_special`,可以接收"all"这个字符串或者一个特殊tokens的`set`。 -# 举例: tokens = tokenizer(text, allowed_special="all") +# 请注意:分词器默认行为已更改为默认关闭特殊token攻击防护。相关使用指引,请见examples/tokenizer_showcase.ipynb tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen-7B-Chat", trust_remote_code=True) # 建议先判断当前机器是否支持BF16,命令如下所示: # import torch @@ -120,9 +118,10 @@ print(response) ``` 运行Qwen-7B同样非常简单。 +
运行Qwen-7B - + ```python from transformers import AutoModelForCausalLM, AutoTokenizer from transformers.generation import GenerationConfig @@ -144,6 +143,7 @@ pred = model.generate(**inputs) print(tokenizer.decode(pred.cpu()[0], skip_special_tokens=True)) # 蒙古国的首都是乌兰巴托(Ulaanbaatar)\n冰岛的首都是雷克雅未克(Reykjavik)\n埃塞俄比亚的首都是亚的斯亚贝巴(Addis Ababa)... ``` +
#### 🤖 ModelScope