MilvusでFastGPTを展開する

FastGPTは、LLM大規模言語モデル上に構築された知識ベースの質問応答システムであり、データ処理とモデル呼び出しのためのすぐに使える機能を提供します。さらに、Flow可視化によるワークフローオーケストレーションが可能で、複雑な質疑応答シナリオを容易にします。このチュートリアルでは、Milvusを使用して独自のFastGPTアプリケーションを迅速にデプロイする方法を説明します。

docker-compose.yml のダウンロード

Docker Composeが既にインストールされていることを確認してください。
以下のコマンドを実行し、docker-compose.ymlファイルをダウンロードしてください。

$ mkdir fastgpt
$ cd fastgpt
$ curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json

# milvus version
$ curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-milvus.yml
# zilliz version
# curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-zilliz.yml

Zillizバージョンを使用している場合は、docker-compose.ymlファイルのMILVUS_ADDRESS とMILVUS_TOKEN linkパラメータを調整してください。これはZilliz Cloudの Public EndpointとApi keyに対応しています。

コンテナの起動

docker-compose.ymlと同じディレクトリで実行します。docker-composeのバージョンが理想的には2.17以上であることを確認してください。そうでない場合、一部の自動化コマンドが機能しない可能性があります。

# Launch the container
$ docker compose up -d
# Wait for 10s, OneAPI typically needs to restart a few times to initially connect to Mysql
$ sleep 10
# Restart oneapi (Due to certain issues with the default Key of OneAPI, it will display 'channel not found' if not restarted, this can be temporarily resolved by manually restarting once, while waiting for the author's fix)
$ docker restart oneapi

OneAPIにアクセスしてモデルを追加する

OneAPI にはip:3001 からアクセスできる。デフォルトのユーザー名は root で、パスワードは 123456 です。パスワードはログイン後に変更できます。
OpenAIのモデルを例にして、"Channel" タブをクリックし、"Models" でチャットモデルと埋め込みモデルを選択します。
Secrets "にOpenAIのAPI Keyを入力します。
OpenAI以外のモデルの利用や詳細については、One APIを参照してください。

トークンの設定

Tokens "タブをクリックします。デフォルトでは、トークンInitial Root Token が用意されています。新しいトークンを作成し、自分でクォータを設定することもできます。
このトークンの値が docker-compose.yml ファイルで設定したCHAT_API_KEY の値と一致することを確認して、トークンの "Copy" をクリックします。

FastGPT へのアクセス

現在、FastGPT にはip:3000 から直接アクセスできます（ファイアウォールに注意してください）。ログインユーザー名は root で、パスワードは docker-compose.yml 環境変数でDEFAULT_ROOT_PSW に設定します。ドメイン名でのアクセスが必要な場合は、自分でNginxをインストールして設定する必要があります。

コンテナを停止する

以下のコマンドを実行してコンテナを停止する。

$ docker compose down