|
|
@ -667,7 +667,8 @@ merged_model.save_pretrained(new_model_directory, max_shard_size="2048MB", safe_
|
|
|
|
### vLLM
|
|
|
|
### vLLM
|
|
|
|
如希望部署及加速推理,我们建议你使用vLLM和FastChat。首先安装相应的代码库:
|
|
|
|
如希望部署及加速推理,我们建议你使用vLLM和FastChat。首先安装相应的代码库:
|
|
|
|
```bash
|
|
|
|
```bash
|
|
|
|
pip install vllm fastchat
|
|
|
|
pip install vllm
|
|
|
|
|
|
|
|
pip install "fschat[model_worker,webui]"
|
|
|
|
```
|
|
|
|
```
|
|
|
|
你也可以通过`git clone`和`pip install -e .`的方式通过源码安装。如果遇到安装问题,请阅读它们的官方文档。
|
|
|
|
你也可以通过`git clone`和`pip install -e .`的方式通过源码安装。如果遇到安装问题,请阅读它们的官方文档。
|
|
|
|
|
|
|
|
|
|
|
|