From f91e7b3c872cd902acd366335750acd34ba85430 Mon Sep 17 00:00:00 2001 From: Junyang Lin Date: Sun, 13 Aug 2023 12:49:26 +0800 Subject: [PATCH] Update README_JA.md --- README_JA.md | 32 ++++++++++++++++++++++++++++++++ 1 file changed, 32 insertions(+) diff --git a/README_JA.md b/README_JA.md index 7d5ad32..2cf61f5 100644 --- a/README_JA.md +++ b/README_JA.md @@ -273,6 +273,38 @@ pip install -r requirements_web_demo.txt python web_demo.py ``` +## API +OpenAI APIをベースにローカルAPIをデプロイする方法を提供する(@hanpenggitに感謝)。始める前に、必要なパッケージをインストールしてください: + +```bash +pip install fastapi uvicorn openai pydantic sse_starlette +``` + +それから、APIをデプロイするコマンドを実行する: + +```bash +python openai_api.py +``` + +チェックポイント名やパスには `-c` 、CPU デプロイメントには `--cpu-only` など、引数を変更できます。APIデプロイメントを起動する際に問題が発生した場合は、パッケージを最新バージョンに更新することで解決できる可能性があります。 + +APIの使い方も簡単だ。以下の例をご覧ください: + +```python +import openai +openai.api_base = "http://localhost:8000/v1" +openai.api_key = "none" +for chunk in openai.ChatCompletion.create( + model="Qwen-7B", + messages=[ + {"role": "user", "content": "你好"} + ], + stream=True +): + if hasattr(chunk.choices[0].delta, "content"): + print(chunk.choices[0].delta.content, end="", flush=True) +``` + ## ツールの使用 Qwen-7B-Chat は、API、データベース、モデルなど、ツールの利用に特化して最適化されており、ユーザは独自の Qwen-7B ベースの LangChain、エージェント、コードインタプリタを構築することができます。ツール利用能力を評価するための評価[ベンチマーク](eval/EVALUATION.md)では、Qwen-7B は安定した性能に達しています。