hyperzlib
/
Isekai-Qwen
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity

Update README_JA.md

Browse Source
main
Junyang Lin 1 year ago committed by GitHub
parent ff2bfa57d6
commit c8209f7328
No known key found for this signature in database
GPG Key ID: 4AEE18F83AFDEB23
1 changed files with 4 additions and 4 deletions
Show Stats Download Patch File Download Diff File

4
README_JA.md
Unescape Escape View File

@ -259,8 +259,8 @@ BF16 の精度と Int4 の量子化レベルの下で、それぞれ 2048 個と
また、BF16またはInt4の量子化レベルで、それぞれ2048トークンをコンテキストとしてエンコードした場合（および単一のトークンを生成した場合）と、8192トークンを生成した場合（単一のトークンをコンテキストとして生成した場合）のGPUメモリ使用量のピーク値をプロファイリングしました。その結果を以下に示します。 また、BF16またはInt4の量子化レベルで、それぞれ2048トークンをコンテキストとしてエンコードした場合（および単一のトークンを生成した場合）と、8192トークンを生成した場合（単一のトークンをコンテキストとして生成した場合）のGPUメモリ使用量のピーク値をプロファイリングしました。その結果を以下に示します。
| Quantization | Peak Usage for Encoding 2048 Tokens | Peak Usage for Generating 8192 Tokens | | Quantization Level | Peak Usage for Encoding 2048 Tokens | Peak Usage for Generating 8192 Tokens |
| -------------- | :-----------------------------------: | :-------------------------------------: | | ------------------ | :---------------------------------: | :-----------------------------------: |
| BF16 | 17.66GB | 22.58GB | | BF16 | 17.66GB | 22.58GB |
| Int4 | 8.21GB | 13.62GB | | Int4 | 8.21GB | 13.62GB |

Write Preview
Loading…
Cancel
Save