質問応答システム
このチュートリアルでは、オープンソースのベクトルデータベースであるMilvusを使って、質問応答(QA)システムを構築する方法を示します。
使用したMLモデルとサードパーティソフトウェアは以下の通りです:
- BERT
- MySQL
- Towhee
質問応答システムは、自然言語処理分野に属する一般的な実世界アプリケーションである。典型的なQAシステムには、オンラインカスタマーサービスシステム、QAチャットボットなどがある。ほとんどの質問応答システムは、生成または検索、シングルラウンドまたはマルチラウンド、オープンドメインまたは特定の質問応答システムに分類されます。
このチュートリアルでは、ベクターデータベースに保存された膨大な回答に新しいユーザーの質問をリンクできるQAシステムを構築する方法を学びます。このようなチャットボットを構築するには、質問とそれに対応する回答の独自のデータセットを準備します。質問と回答は、リレーショナル・データベースであるMySQLに保存する。次に、自然言語処理(NLP)の機械学習(ML)モデルであるBERTを使用して、質問をベクトルに変換する。これらの質問ベクトルは、Milvusに保存され、インデックス化される。 ユーザーが新しい質問を入力すると、同様にBERTモデルによってベクトルに変換され、Milvusはこの新しいベクトルに最も類似した質問ベクトルを検索する。QAシステムは、最も類似した質問に対応する回答を返す。
QA_チャットボット
QA_チャットボットデモ