Milvusを使用したKotaemon RAG

Kotaemonは、ドキュメントとチャットするためのオープンソースのクリーンでカスタマイズ可能なRAG UIです。エンドユーザーと開発者の両方を念頭に置いて構築されています。

Kotaemonは、ローカルおよびAPIベースのLLMをサポートするカスタマイズ可能なマルチユーザドキュメントQAウェブUIを提供します。全文およびベクトル検索、図表を含む文書のマルチモーダルQA、および文書プレビューを含む高度な引用を含むハイブリッドRAGパイプラインを提供します。ReActやReWOOのような複雑な推論手法をサポートし、検索と生成のための設定可能な機能を提供します。

このチュートリアルでは、Milvusを使用したkotaemonアプリケーションのカスタマイズ方法について説明します。

前提条件

インストール

この方法でkotaemonをインストールすることをお勧めします：

# optional (setup env)
conda create -n kotaemon python=3.10
conda activate kotaemon

git clone https://github.com/Cinnamon/kotaemon
cd kotaemon

pip install -e "libs/kotaemon[all]"
pip install -e "libs/ktem"

この方法以外に、kotaemonをインストールする方法がいくつかあります。詳細は公式ドキュメントをご参照ください。

Milvusをデフォルトベクターストレージに設定する

デフォルトベクターストレージをMilvusに変更するには、KH_VECTORSTORE を切り替えて、flowsettings.py ファイルを変更する必要があります：

"__type__": "kotaemon.storages.MilvusVectorStore"

環境変数の設定

LLMとエンベッディングモデルに接続するために必要な情報を.env ファイル経由で設定することができます。例：OpenAI、Azure、Ollamaなど。

Kotaemonの実行

環境変数を設定し、ベクターストレージを変更した後、以下のコマンドを実行することでkotaemonを実行することができます：

python app.py

デフォルトのユーザー名/パスワードは admin /admin

kotaemonでRAGを起動する

1.AIモデルの追加

Resources タブでは、LLMとエンベッディングモデルを追加・設定することができます。複数のモデルを追加し、アクティブまたは非アクティブに設定することができます。少なくとも1つのみを提供する必要があります。また、複数のモデルを用意し、切り替えて使用することもできます。

2.ドキュメントのアップロード

File Index タブに移動し、カスタムドキュメントをアップロードし、管理することができます。

デフォルトでは、すべてのアプリケーションデータは./ktem_app_data フォルダに保存されます。Milvusデータベースデータは./ktem_app_data/user_data/vectorstore に保存されます。このフォルダをバックアップまたはコピーすることで、インストールを新しいマシンに移動することができます。

3.ドキュメントとチャットする

Chat タブに戻ってください。チャットタブは3つの領域で構成されています：会話とファイル参照を管理する会話設定パネル、チャットボットと対話するためのチャットパネル、回答の裏付け証拠、信頼度スコア、関連性評価を表示する情報パネルです。

会話設定パネルで文書を選択することができます。そして、入力ボックスにメッセージを入力し、チャットボットに送信することで、RAGを開始することができます。

kotaemonの使い方を深く知りたい場合は、公式ドキュメントをご覧ください。