Update README_JA.md

main
Junyang Lin 2 years ago committed by GitHub
parent 0393da1773
commit ff2bfa57d6
No known key found for this signature in database
GPG Key ID: 4AEE18F83AFDEB23

@ -248,10 +248,10 @@ response, history = model.chat(tokenizer, "Hi", history=None, generation_config=
BF16 の精度と Int4 の量子化レベルの下で、それぞれ 2048 個と 8192 個のトークンを生成する平均推論速度(tokens/s)を測定しました。
| Quantization | Speed (2048 tokens) | Speed (8192 tokens) |
| -------------- | :-------------------: | :-------------------: |
| BF16 | 30.34 | 29.32 |
| Int4 | 43.56 | 33.92 |
| Quantization | Speed (2048 tokens) | Speed (8192 tokens) |
| ------------- | :------------------:| :------------------:|
| BF16 | 30.34 | 29.32 |
| Int4 | 43.56 | 33.92 |
詳細には、プロファイリングの設定は、1 コンテクストトークンで 8192 個の新しいトークンを生成しています。プロファイリングは、PyTorch 2.0.1 と CUDA 11.4 を搭載したシングル A100-SXM4-80G GPU で実行されました。推論速度は生成された 8192 個のトークンの平均値となります。

Loading…
Cancel
Save