IVF_RABITQ_FASTSCANCompatible with Milvus 3.0.x

IVF_RABITQ_FASTSCAN 結合了 IVF 分區、RaBitQ 二進位量化以及 FastScan 批次處理技術。它為資料庫向量儲存一位元的 RaBitQ 碼,並以 32 個資料庫向量為一組(此組結構適合 SIMD 運算)來處理這些碼。這使其成為高吞吐量、記憶體受限且可接受近似結果的工作負載之理想選擇。

當搜尋需掃描大量候選項且吞吐量為首要目標時,應選擇IVF_RABITQ_FASTSCAN 而非IVF_RABITQ。 FastScan 的每查詢設定成本會分攤至各壓縮碼區塊中,因此對於大型資料集或長 IVF 清單而言,通常更具效益。若為小型資料集或僅需檢查少量候選項的搜尋,請改用IVF_RABITQ 。它亦支援可配置的查詢量化、更多精細化類型以及迭代器。

運作原理

IVF_RABITQ_FASTSCAN 包含以下階段:

  1. IVF 分區:IVF 將向量分組為nlist 個簇,並搜尋nprobe 個最接近的簇。
  2. RaBitQ 編碼:每個向量殘差皆被編碼為每維度一位元的 RaBitQ 碼。
  3. FastScan:索引模組會將代碼打包,以利進行對快取友善的 SIMD 批次處理。每批次會評估 32 個資料庫向量。
  4. 可選精細化:啟用此功能時,FP32 精細化器會在 Milvus 返回最終結果之前,對候選項進行重新評分。

底層的 Faiss 索引為IndexIVFRaBitQFastScan 。Knowhere 會透過隨機旋轉變換對其進行封裝,並可選擇性地添加 FP32 精細化模組。

FastScan 會在掃描封裝的程式碼區塊之前,執行每筆查詢的設定工作,例如建立並量化與查詢相關的查表。請使用您的資料和搜尋參數,分別對IVF_RABITQ 和IVF_RABITQ_FASTSCAN 進行效能測試。

建立索引

若要在 Milvus 的向量場上建立IVF_RABITQ_FASTSCAN 索引,請使用add_index() 方法,並指定index_type 、metric_type 以及索引的其他參數。

from pymilvus import MilvusClient

# Prepare index building params
index_params = MilvusClient.prepare_index_params()

index_params.add_index(
    field_name="your_vector_field_name", # Name of the vector field to be indexed
    index_type="IVF_RABITQ_FASTSCAN", # Type of the index to create
    index_name="vector_index", # Name of the index to create
    metric_type="L2", # Metric type used to measure similarity
    params={
        "nlist": 1024, # Number of clusters for the index
        "refine": True, # Enable refinement for higher recall
        "refine_type": "FP32" # Refinement data format
    } # Index building params
)

在此設定中:

  • index_type: 要建立的索引類型。在此範例中,將值設定為 `IVF_RABITQ_FASTSCAN`。

  • metric_type: 用於計算向量之間距離的方法。支援的值包括COSINE 、L2 以及IP 。詳細資訊請參閱「度量類型」。

  • params: 建立索引的額外設定選項。詳細資訊請參閱「索引建立參數」。

配置完索引參數後,您可以直接使用create_index() 方法,或透過create_collection 方法傳入索引參數來建立索引。詳情請參閱「建立集合」。

在索引上進行搜尋

建立索引並插入實體後,即可對該索引執行相似度搜尋。

設定 `nprobe ` 以控制要搜尋的 IVF 叢集數量。若索引是透過精細化功能建立的,請使用 `refine_k ` 來控制傳遞給 FP32 精細化器的候選叢集。

client = MilvusClient(uri="http://localhost:19530") # Replace with your Milvus server address

search_params = {
    "params": {
        "nprobe": 128, # Number of clusters to search
        "refine_k": 2 # Refinement magnification factor
    }
}

res = client.search(
    collection_name="your_collection_name", # Collection name
    anns_field="your_vector_field_name", # Vector field name
    data=[[0.1, 0.2, 0.3, 0.4, 0.5]], # Query vector
    limit=3, # TopK results to return
    search_params=search_params
)

在此設定中:

與 `IVF_RABITQ` 不同,`IVF_RABITQ_FASTSCAN ` 不接受 `rbq_bits_query ` 搜尋參數。FastScan 內部始終使用 8 位元查詢量化,因此請省略 `rbq_bits_query ` 或將其設定為 `0`;較大的數值將被拒絕。

索引參數

本節概述用於建立索引及對索引執行搜尋的參數。

索引建立參數

下表列出了在params 中建立索引時可配置的參數。

參數

說明

值範圍

調校建議

IVF

nlist

在建立索引時,使用 k-means 演算法所建立的聚類數。每個聚類由一個聚類中心代表,並儲存一組向量清單。增加此參數值會減少每個聚類中的向量數量,從而產生規模較小且更精準的分區。

類型:整數
範圍:[1, 65536]
預設值:128

較大的nlist 值可透過建立更精細的聚類來提升召回率,但會增加索引建置時間。請根據資料集大小及可用資源進行優化。在大多數情況下,我們建議您將值設定在此範圍內:[32, 4096]。

RaBitQ

refine

啟用精細化處理並儲存經精細化的資料。IVF_RABITQ_FASTSCAN 僅支援 FP32 精細化。

類型:布林值
範圍:[true,false]
預設值:false

若需達到 0.9 以上的召回率,請設定為true 。啟用精細化可提升準確度,但會增加儲存需求及索引建置時間。

refine_type

用於定義在啟用 `refine ` 時,精細化所採用的資料表示形式。僅當 `refine ` 設定為 `true` 時才為必填。

類型:字串
範圍:[FP32,FLAT]
預設值:無

IVF_RABITQ_FASTSCAN 僅支援 FP32 精細化,且FLAT 與FP32 完全相同。值比對不區分大小寫。

索引專用的搜尋參數

下表列出了在索引上進行搜尋時,可在search_params.params 中設定的參數。

參數

說明

值範圍

調優建議

IVF

nprobe

用於搜尋候選項的叢集數量。較高的數值可讓系統搜尋更多叢集,透過擴大搜尋範圍來提升召回率,但代價是會增加查詢延遲。

類型:整數
範圍:[1,nlist]
預設值:8

增加此值可提升召回率,但可能會減慢搜尋速度。請將 `nprobe ` 設定為與 `nlist ` 成比例的數值,以平衡速度與準確度。在大多數情況下,我們建議您將值設定在此範圍內:[1,nlist]。

RaBitQ

refine_k

精細化過程會採用更高品質的量化技術,從透過 IVF_RABITQ_FASTSCAN 選出的、規模為refine_k 倍的候選集合中,篩選出所需數量的最近鄰。若已停用精細化功能,此參數將無效。

類型:浮點數
範圍:[1,float_max)
預設值:1

較高的refine_k 值會降低每秒查詢次數(QPS),但能提高召回率。建議從1 開始,並測試2 、3 、4 及5 等值,以針對您的資料集找出QPS與召回率之間的最佳平衡點。

rbq_bits_query

設定是否對查詢向量套用額外的標量量化。此功能不支援IVF_RABITQ_FASTSCAN :該索引在內部始終使用 8 位元查詢量化。請省略此參數或將其設定為0 ;大於0 的值將被拒絕。

類型:整數
範圍:[0, 0]
預設值:0

請勿設定此參數。若需可配置的查詢量化,請改用IVF_RABITQ。

限制

  • FastScan 採用固定的 1 位元 RaBitQ 資料庫編碼及 8 位元查詢量化。rbq_bits_query 必須省略,或設定為0 。
  • 僅支援 FP32(等同於FLAT )的精細化。
  • 不支援迭代器。
  • 此為 CPU 索引,無法在 GPU 上執行。
  • 實際效能取決於 CPU 的 SIMD 支援能力、向量維度、nlist 、nprobe 以及資料分佈。在部署至生產環境前,請先使用您的工作負載進行效能測試。

關於非 FastScan 版本的 RaBitQ 及其額外的精細化選項,請參閱IVF_RABITQ。

翻譯者DeepL

免費嘗試托管的 Milvus

Zilliz Cloud 無縫接入,由 Milvus 提供動力,速度提升 10 倍。

開始使用
反饋

這個頁面有幫助嗎?