モデルランカーの概要Compatible with Milvus 2.6.x

従来のベクトル検索は、高次元空間におけるベクトルの一致度、つまり純粋に数学的な類似性に基づいて検索結果をランク付けします。このアプローチは効率的ですが、真の意味でのセマンティックな関連性を見逃してしまうことがよくあります。例えば、「データベース最適化のベストプラクティス」を検索する場合を考えてみましょう。ベクトルの類似度が高く、これらの用語が頻繁に言及されているドキュメントが表示されるかもしれませんが、実際には実行可能な最適化戦略が提供されていない可能性があります。

Model Rankerは、クエリとドキュメント間の意味的な関係を理解する高度な言語モデルを統合することで、Milvusの検索機能を一新します。ベクトル類似性のみに依存するのではなく、コンテンツの意味や文脈を評価することで、より知的で関連性の高い検索結果を提供します。

制限事項

  • モデルランカーは、グループ化検索では使用できません。

  • モデルによる再ランク付けに使用されるフィールドは、テキスト型(VARCHAR )である必要があります。

  • 各モデルランカーは、評価に一度に 1 つのVARCHAR フィールドのみを使用できます。

仕組み

モデルランカーは、明確に定義されたワークフローを通じて、言語モデルの理解機能を Milvus の検索プロセスに統合します。

Model Ranker Overview モデルランカーの概要

  1. 初期クエリ:アプリケーションが Milvus にクエリを送信します

  2. ベクトル検索:Milvusが標準的なベクトル検索を実行し、候補ドキュメントを特定します

  3. 候補の抽出:システムはベクトル類似度に基づいて、最初の候補ドキュメントセットを特定します

  4. モデル評価:モデルランカー関数がクエリとドキュメントのペアを処理します:

    • 元のクエリと候補ドキュメントを外部のモデルサービスに送信します

    • 言語モデルが、クエリと各ドキュメント間の意味的関連性を評価します

    • 各文書には、意味的理解に基づいて関連性スコアが割り当てられる

  5. インテリジェントな再ランク付け:モデルによって生成された関連性スコアに基づいて、文書の順序が再編成されます

  6. 検索結果の向上:アプリケーションには、単なるベクトル類似度ではなく、意味的関連性に基づいてランク付けされた検索結果が提供されます

ニーズに合ったモデルプロバイダーを選択

Milvusは、再ランク付けのために以下のモデルサービスプロバイダーをサポートしており、それぞれに独自の特性があります:

プロバイダー

適した用途

特徴

使用例

vLLM

深い意味理解とカスタマイズを必要とする複雑なアプリケーション

  • 様々な大規模言語モデルに対応

  • 柔軟な導入オプション

  • より高い計算リソースが必要

  • カスタマイズの可能性がさらに広がる

法律用語や判例間の関係を理解する、ドメイン特化型モデルを導入した法律研究プラットフォーム

TEI

リソースを効率的に活用した迅速な導入

  • テキスト操作に最適化された軽量なサービス

  • リソース要件を抑え、導入を容易に

  • 事前に最適化された再ランク付けモデル

  • インフラのオーバーヘッドを最小限に抑える

標準的な要件を満たしつつ、効率的な再ランク付け機能を必要とするコンテンツ管理システム

Cohere

信頼性と統合の容易さを優先するエンタープライズアプリケーション

  • エンタープライズレベルの信頼性とスケーラビリティ

  • インフラの保守が不要なマネージドサービス

  • 多言語対応の再ランク付け機能

  • 組み込みのレート制限およびエラー処理

一貫したAPIパフォーマンスと多言語商品カタログを備えた、高可用性の検索機能を必要とするEコマースプラットフォーム

Voyage AI

特定のパフォーマンスおよびコンテキスト要件を持つRAGアプリケーション

  • 再ランク付けタスク向けに特別にトレーニングされたモデル

  • 多様なドキュメント長に対応したきめ細かな切り捨て制御

  • 本番環境のワークロード向けに最適化された推論

  • 複数のモデルバリエーション(rerank-2、rerank-liteなど)

文書長が様々で、微調整された性能制御と専門的な意味理解を必要とする研究用データベース

SiliconFlow

費用対効果を優先した長文ドキュメントの処理アプリケーション

  • オーバーラップを構成可能な高度なドキュメントチャンキング

  • チャンクベースのスコアリング(最高スコアのチャンクが文書を代表する)

  • 多様な再ランク付けモデルのサポート

  • スタンダード版とプロ版のモデルバリエーションにより、コスト効率に優れる

インテリジェントなセグメンテーションとオーバーラップ制御を必要とする、長文のマニュアルや論文を処理する技術文書検索システム

Hugging Face

ホスト型Hugging Face文類似度モデルを活用したアプリケーション

  • ホスト型hf-inference プロバイダーを利用

  • Hugging Face Hubからモデルを選択

  • 候補ごとに1つの文類似度スコアを算出

  • APIキーによる認証を使用

別途推論サービスを運用することなく、Hugging Faceモデルを使用して候補テキストの再ランク付けを行いたいセマンティック検索アプリケーション

各モデルサービスの実装に関する詳細については、専用のドキュメントを参照してください:

実装

Model Ranker を実装する前に、以下の準備が整っていることを確認してください:

  • 再ランク付け対象のテキストを含む「VARCHAR 」フィールドを持つMilvusコレクション

  • Milvusインスタンスからアクセス可能な、稼働中の外部モデルサービス

  • Milvusと選択したモデルサービス間の適切なネットワーク接続

モデルランカーは、標準のベクトル検索およびハイブリッド検索操作の両方にシームレスに統合されます。実装には、再ランク付けの設定を定義するFunctionオブジェクトを作成し、それを検索操作に渡す作業が含まれます。

モデルランカーの作成

モデル再ランク付けを実装するには、まず適切な設定を持つFunctionオブジェクトを定義します。この例では、サービスプロバイダーとしてTEIを使用します:

from pymilvus import MilvusClient, Function, FunctionType

# Connect to your Milvus server
client = MilvusClient(
    uri="http://localhost:19530"  # Replace with your Milvus server URI
)

# Create a model ranker function
model_ranker = Function(
    name="semantic_ranker",  # Function identifier
    input_field_names=["document"],  # VARCHAR field to use for reranking
    function_type=FunctionType.RERANK,  # Must be set to RERANK
    params={
        "reranker": "model",  # Specify model reranker. Must be "model"
        "provider": "tei",  # Choose provider: "tei", "vllm", etc.
        "queries": ["machine learning for time series"],  # Query text
        "endpoint": "http://model-service:8080",  # Model service endpoint
        # "maxBatch": 32  # Optional: batch size for processing
    }
)
import io.milvus.v2.client.ConnectConfig;
import io.milvus.v2.client.MilvusClientV2;
import io.milvus.v2.service.vector.request.ranker.ModelRanker;

MilvusClientV2 client = new MilvusClientV2(ConnectConfig.builder()
        .uri("http://localhost:19530")
        .build());

ModelRanker ranker = ModelRanker.builder()
        .name("semantic_ranker")
        .inputFieldNames(Collections.singletonList("document"))
        .provider("tei")
        .queries(Collections.singletonList("machine learning for time series"))
        .endpoint("http://model-service:8080")
        .build();
// nodejs
// go
# restful

パラメータ

必須?

説明

値 / 例

name

はい

検索の実行時に使用される、関数の識別子。

"semantic_ranker"

input_field_names

はい

再ランク付けに使用するテキストフィールドの名前。

VARCHAR 型のフィールドである必要があります。

["document"]

function_type

はい

作成する関数のタイプを指定します。

すべてのモデルランカーについて、RERANK に設定する必要があります。

FunctionType.RERANK

params

はい

モデルベースの再ランク付け関数の設定を含む辞書。使用可能なパラメータ(キー)は、サービスプロバイダによって異なります。

{...}

params.reranker

はい

モデル再ランク付けを有効にするには、"model" に設定する必要があります。

"model"

params.provider

はい

再ランク付けに使用するモデルサービスプロバイダー。

"tei"

params.queries

はい

再ランク付けモデルが関連性スコアを計算するために使用するクエリ文字列のリスト。

クエリ文字列の数は、検索操作におけるクエリの数と完全に一致している必要があります(テキストの代わりにクエリベクトルを使用している場合でも同様です)。一致しない場合、エラーが報告されます。

["search query"]

params.endpoint

はい

モデルサービスの URL。

"http://localhost:8080"

max_client_batch_size

いいえ

1回のバッチで処理するドキュメントの最大数。値を大きくするとスループットは向上しますが、より多くのメモリが必要になります。

32 (デフォルト)

モデルランカーを定義したら、検索操作の際に `ranker` パラメータに指定することで適用できます:

# Use the model ranker in standard vector search
results = client.search(
    collection_name,
    data=[your_query_vector], # Number of query vectors must match that specified in model_ranker.params["queries"] 
    anns_field="vector_field",
    limit=10,
    output_fields=["document"],  # Include the text field in outputs
    ranker=model_ranker,  # Apply the model ranker here
    consistency_level="Bounded"
)
import io.milvus.v2.common.ConsistencyLevel;
import io.milvus.v2.service.vector.request.SearchReq;
import io.milvus.v2.service.vector.response.SearchResp;
import io.milvus.v2.service.vector.request.data.EmbeddedText;

SearchReq searchReq = SearchReq.builder()
        .collectionName(COLLECTION_NAME)
        .data(Collections.singletonList(new EmbeddedText("machine learning for time series")))
        .annsField("vector_field")
        .limit(10)
        .outputFields(Collections.singletonList(document))
        .functionScore(FunctionScore.builder()
                .addFunction(ranker)
                .build())
        .consistencyLevel(ConsistencyLevel.BOUNDED)
        .build();
SearchResp searchResp = client.search(searchReq);
// nodejs
// go
# restful

翻訳DeepL

マネージド Milvus を無料で試す

Zilliz Cloud は手間いらず、Milvus を基盤に 10 倍高速です。

始める
フィードバック

このページは役に立ちましたか ?