|
|
|
@ -254,7 +254,7 @@ BF16の精度とInt4の量子化レベルの下で、それぞれ2048個と8192
|
|
|
|
|
| Quantization Level | Peak Usage for Encoding 2048 Tokens | Peak Usage for Generating 8192 Tokens |
|
|
|
|
|
| ------------------ | :---------------------------------: | :-----------------------------------: |
|
|
|
|
|
| BF16 | 18.99GB | 24.40GB |
|
|
|
|
|
| In4 | 10.20GB | 15.61GB |
|
|
|
|
|
| Int4 | 10.20GB | 15.61GB |
|
|
|
|
|
|
|
|
|
|
上記のスピードとメモリーのプロファイリングは、[このスクリプト](https://qianwen-res.oss-cn-beijing.aliyuncs.com/profile.py)を使用しています。
|
|
|
|
|
|
|
|
|
|