IVF_RABITQ_FASTSCANCompatible with Milvus 3.0.x

IVF_RABITQ_FASTSCAN は、IVFパーティショニング、RaBitQバイナリ量子化、およびFastScanバッチ処理を組み合わせたものです。データベースベクトルに対して1ビットのRaBitQコードを格納し、SIMDに適した32個のデータベースベクトル単位のブロックでコードを処理します。これにより、近似結果が許容される、高スループットかつメモリ制約のあるワークロードに適しています。

検索で多数の候補をスキャンし、スループットが最優先される場合は、IVF_RABITQではなくIVF_RABITQ_FASTSCAN を選択してください。 FastScanのクエリごとのセットアップコストは、パックされたコードブロック全体に分散されるため、通常は大規模なデータセットや長いIVFリストの場合に有利です。小規模なコレクションや、候補をほとんど検査しない検索の場合は、代わりにIVF_RABITQ を使用してください。また、設定可能なクエリ量子化、より多くの精緻化タイプ、およびイテレータもサポートしています。

仕組み

IVF_RABITQ_FASTSCAN 以下の段階を経て処理を行います:

  1. IVFによる分割:IVFはベクトルをnlist クラスタにグループ化し、nprobe で最も近いクラスタを検索します。
  2. RaBitQエンコーディング:各ベクトルの残差は、次元ごとに1ビットのRaBitQコードとしてエンコードされます。
  3. FastScan:インデックスは、キャッシュ効率に優れたSIMDバッチ処理のためにコードをパックします。各バッチで32個のデータベースベクトルを評価します。
  4. オプションの精緻化:有効にすると、Milvusが最終結果を返す前に、FP32リファイナーが候補のスコアを再計算します。

基盤となるFaissインデックスはIndexIVFRaBitQFastScan です。Knowhereはこれにランダム回転変換を適用し、オプションでFP32リファイナーを追加します。

FastScanは、パックされたコードブロックをスキャンする前に、クエリに関連するルックアップテーブルの構築や量子化など、クエリごとのセットアップ作業を実行します。ご自身のデータと検索パラメータを使用して、IVF_RABITQ とIVF_RABITQ_FASTSCAN の両方をベンチマークしてください。

インデックスの構築

Milvus のベクトルフィールド上にIVF_RABITQ_FASTSCAN インデックスを構築するには、add_index() メソッドを使用し、index_type 、metric_type 、およびインデックスの追加パラメータを指定します。

from pymilvus import MilvusClient

# Prepare index building params
index_params = MilvusClient.prepare_index_params()

index_params.add_index(
    field_name="your_vector_field_name", # Name of the vector field to be indexed
    index_type="IVF_RABITQ_FASTSCAN", # Type of the index to create
    index_name="vector_index", # Name of the index to create
    metric_type="L2", # Metric type used to measure similarity
    params={
        "nlist": 1024, # Number of clusters for the index
        "refine": True, # Enable refinement for higher recall
        "refine_type": "FP32" # Refinement data format
    } # Index building params
)

この設定では:

  • index_type: 構築するインデックスのタイプ。この例では、値を `IVF_RABITQ_FASTSCAN` に設定します。

  • metric_type: ベクトル間の距離を計算するために使用されるメソッド。サポートされている値には、COSINE 、L2 、IP などがあります。詳細については、「メトリックタイプ」を参照してください。

  • params: インデックスの構築に関する追加の設定オプション。詳細については、「インデックス構築パラメータ」を参照してください。

インデックスパラメータの設定が完了したら、create_index() メソッドを直接使用するか、create_collection メソッドにインデックスパラメータを渡すことで、インデックスを作成できます。詳細については、「コレクションの作成」を参照してください。

インデックスでの検索

インデックスの構築とエンティティの挿入が完了すると、そのインデックスに対して類似度検索を実行できます。

nprobe を設定して、検索対象となる IVF クラスタの数を制御します。インデックスがリファインメント機能を使用して構築された場合は、refine_k を使用して、FP32 リファイナーに渡される候補プールを制御します。

client = MilvusClient(uri="http://localhost:19530") # Replace with your Milvus server address

search_params = {
    "params": {
        "nprobe": 128, # Number of clusters to search
        "refine_k": 2 # Refinement magnification factor
    }
}

res = client.search(
    collection_name="your_collection_name", # Collection name
    anns_field="your_vector_field_name", # Vector field name
    data=[[0.1, 0.2, 0.3, 0.4, 0.5]], # Query vector
    limit=3, # TopK results to return
    search_params=search_params
)

この設定では:

IVF_RABITQ とは異なり、IVF_RABITQ_FASTSCAN はrbq_bits_query 検索パラメータを受け付けません。FastScanは内部で常に8ビットのクエリ量子化を使用するため、rbq_bits_query を省略するか、0 に設定してください。これより大きい値は拒否されます。

インデックスパラメータ

このセクションでは、インデックスの構築およびインデックスでの検索に使用されるパラメータの概要を説明します。

インデックス構築パラメータ

次の表は、params でインデックスを構築する際に設定可能なパラメータの一覧です。

パラメータ

説明

値の範囲

チューニングの推奨事項

IVF

nlist

インデックス構築時に k-means アルゴリズムを使用して作成するクラスタの数。各クラスタは中心点(セントロイド)によって表され、ベクトルのリストを格納します。このパラメータの値を大きくすると、各クラスタに含まれるベクトルの数が減り、より小さく、より焦点を絞ったパーティションが作成されます。

型:整数
範囲:[1, 65536]
デフォルト値:128

nlist の値を大きくすると、より精細なクラスターが生成されリコール率が向上しますが、インデックス構築時間が長くなります。データセットのサイズと利用可能なリソースに基づいて最適化してください。ほとんどの場合、[32, 4096]の範囲内の値を設定することを推奨します。

RaBitQ

refine

精緻化プロセスを有効にし、精緻化されたデータを保存します。IVF_RABITQ_FASTSCAN はFP32形式での精緻化のみをサポートしています。

型: ブール型
範囲:[true,false]
デフォルト値:false

0.9以上のリコール率が必要な場合は、true に設定してください。リファインを有効にすると精度は向上しますが、ストレージ要件とインデックス構築時間が増加します。

refine_type

refine が有効な場合に、リファインメントに使用されるデータ表現を定義します。refine がtrue である場合にのみ必須です。

型: 文字列
範囲: [FP32,FLAT]
デフォルト値:なし

IVF_RABITQ_FASTSCAN FP32 の精緻化のみをサポートしており、FLAT はFP32 と同一です。値の一致判定では大文字と小文字は区別されません。

インデックス固有の検索パラメータ

以下の表は、インデックスでの検索時に search_params.params で設定可能なパラメータの一覧です。

パラメータ

説明

値の範囲

チューニングの推奨事項

IVF

nprobe

候補を検索するクラスタの数。値を大きくすると、より多くのクラスタを検索できるようになり、検索範囲を拡大することでリコール率が向上しますが、その代償としてクエリのレイテンシが増加します。

型: 整数
範囲: [1,nlist]
デフォルト値:8

この値を大きくするとリコール率は向上しますが、検索速度が低下する可能性があります。速度と精度のバランスをとるには、`nprobe ` を `nlist ` に比例して設定してください。ほとんどの場合、[1,nlist] の範囲内の値を設定することを推奨します。

RaBitQ

refine_k

精緻化プロセスでは、より高品質な量子化を用いて、IVF_RABITQ_FASTSCANで選択された候補プール(refine_k 倍の規模)から、必要な数の最近傍を選択します。精緻化が無効になっている場合は、この設定は効果を持ちません。

型: Float
範囲:[1,float_max)
デフォルト値:1

refine_k の値を大きくするとQPSは低下しますが、リコール率は向上します。まず1 から始め、2 、3 、4 、5 の各値をテストして、データセットに適したQPSとリコール率の最適なバランスを見つけてください。

rbq_bits_query

クエリベクトルに対して追加のスカラー量子化を適用するかどうかを設定します。 IVF_RABITQ_FASTSCAN ではサポートされていません。このインデックスは内部で常に8ビットのクエリ量子化を使用します。このパラメータを省略するか、0 に設定してください。0 より大きい値は拒否されます。

型:整数
範囲:[0, 0]
デフォルト値:0

設定しないでください。クエリ量子化を設定可能な場合は、代わりにIVF_RABITQを使用してください。

制限事項

  • FastScan は、固定の 1 ビット RaBitQ データベースエンコーディングと 8 ビットのクエリ量子化を使用します。rbq_bits_query は省略するか、0 に設定する必要があります。
  • FP32(FLAT と同等)による精緻化のみがサポートされています。
  • イテレータはサポートされていません。
  • これは CPU インデックスです。GPU では実行されません。
  • 実際のパフォーマンスは、CPUのSIMDサポート、ベクトルの次元、nlist 、nprobe 、およびデータの分布によって異なります。本番環境に導入する前に、ご自身のワークロードでベンチマークテストを行ってください。

FastScan 以外の RaBitQ バリアントおよびその追加の精緻化オプションについては、IVF_RABITQ を参照してください。

翻訳DeepL

マネージド Milvus を無料で試す

Zilliz Cloud は手間いらず、Milvus を基盤に 10 倍高速です。

始める
フィードバック

このページは役に立ちましたか ?