IVF_RABITQ_FASTSCANCompatible with Milvus 3.0.x

IVF_RABITQ_FASTSCAN 结合了IVF分区、RaBitQ二进制量化和FastScan批处理技术。它为数据库向量存储一位元的RaBitQ编码,并以32个数据库向量为单位(该单位适合SIMD处理)对这些编码进行处理。这使其成为适用于高吞吐量、内存受限且可接受近似结果的工作负载的理想选择。

当搜索涉及大量候选项且吞吐量是首要目标时,应选择IVF_RABITQ_FASTSCAN 而非IVF_RABITQ。 FastScan的每次查询初始化开销会分摊到打包的代码块中,因此对于大型数据集或较长的IVF列表通常更为有利。对于小型Collection或仅需检查少量候选项的搜索,请改用IVF_RABITQ 。它还支持可配置的查询量化、更多细化类型以及迭代器。

工作原理

IVF_RABITQ_FASTSCAN 包含以下阶段:

  1. IVF 分区:IVF 将向量分组为nlist 个簇,并搜索nprobe 个最近的簇。
  2. RaBitQ 编码:每个向量残差都被编码为每维一位的 RaBitQ 代码。
  3. FastScan:索引将代码打包,以实现适合缓存的SIMD批处理。它每批评估32个数据库向量。
  4. 可选精化:启用后,FP32精化器会在Milvus返回最终结果前对候选项进行重新评分。

底层的 Faiss 索引位于IndexIVFRaBitQFastScan 。Knowhere 对其进行了随机旋转变换封装,并可选地添加了 FP32 精化器。

FastScan 在扫描打包的代码块之前,会执行每条查询的准备工作,例如构建和量化与查询相关的查找表。请使用您的数据和搜索参数对IVF_RABITQ 和IVF_RABITQ_FASTSCAN 进行基准测试。

构建索引

要在 Milvus 中针对向量字段构建IVF_RABITQ_FASTSCAN 索引,请使用add_index() 方法,并指定index_type 、metric_type 以及索引的其他参数。

from pymilvus import MilvusClient

# Prepare index building params
index_params = MilvusClient.prepare_index_params()

index_params.add_index(
    field_name="your_vector_field_name", # Name of the vector field to be indexed
    index_type="IVF_RABITQ_FASTSCAN", # Type of the index to create
    index_name="vector_index", # Name of the index to create
    metric_type="L2", # Metric type used to measure similarity
    params={
        "nlist": 1024, # Number of clusters for the index
        "refine": True, # Enable refinement for higher recall
        "refine_type": "FP32" # Refinement data format
    } # Index building params
)

在此配置中:

  • index_type: 要构建的索引类型。在此示例中,将值设置为IVF_RABITQ_FASTSCAN 。

  • metric_type: 用于计算向量之间距离的方法。支持的值包括COSINE 、L2 和IP 。有关详细信息,请参阅《度量类型》。

  • params: 用于构建索引的其他配置选项。详情请参阅“索引构建参数”。

配置好索引参数后,您可以直接使用create_index() 方法创建索引,或在create_collection 方法中传入索引参数。详情请参阅“创建Collection”。

在索引上进行搜索

索引构建完成且实体插入后,即可对索引执行相似度搜索。

设置 `nprobe ` 以控制要搜索的 IVF 聚类数量。如果索引是在启用精化功能的情况下构建的,请使用 `refine_k ` 来控制传递给 FP32 精化器的候选项池。

client = MilvusClient(uri="http://localhost:19530") # Replace with your Milvus server address

search_params = {
    "params": {
        "nprobe": 128, # Number of clusters to search
        "refine_k": 2 # Refinement magnification factor
    }
}

res = client.search(
    collection_name="your_collection_name", # Collection name
    anns_field="your_vector_field_name", # Vector field name
    data=[[0.1, 0.2, 0.3, 0.4, 0.5]], # Query vector
    limit=3, # TopK results to return
    search_params=search_params
)

在此配置中:

与IVF_RABITQ 不同,IVF_RABITQ_FASTSCAN 不支持rbq_bits_query 搜索参数。FastScan内部始终使用8位查询量化,因此请省略rbq_bits_query 或将其设置为0 ;更大的数值将被拒绝。

索引参数

本节概述了用于构建索引以及在索引上执行搜索的参数。

索引构建参数

下表列出了在params 中构建索引时可配置的参数。

参数

描述

值范围

调优建议

IVF

nlist

在构建索引时,使用 k-means 算法创建的聚类数量。每个聚类由一个质心表示,并存储一个向量列表。增加此参数值会减少每个聚类中的向量数量,从而生成更小、更集中的分区。

类型:整数
范围:[1, 65536]
默认值:128

较大的nlist 值可通过创建更精细的聚类来提高召回率,但会增加索引构建时间。请根据数据集大小和可用资源进行优化。在大多数情况下,建议将该值设置在[32, 4096]范围内。

RaBitQ

refine

启用精化过程并存储精化后的数据。IVF_RABITQ_FASTSCAN 仅支持FP32精化。

类型:布尔型
范围:[true,false]
默认值:false

若需要 0.9 以上的召回率,请设置为true 。启用精化可提高准确率,但会增加存储需求并延长索引构建时间。

refine_type

定义在启用refine 时用于细化的数据表示形式。仅当refine 为true 时才为必填项。

类型:字符串
取值范围:[FP32,FLAT]
默认值:无

IVF_RABITQ_FASTSCAN 仅支持 FP32 细化,且FLAT 与FP32 完全相同。值匹配不区分大小写。

索引特定搜索参数

下表列出了在索引上进行搜索时,可在search_params.params 中配置的参数。

参数

描述

值范围

调优建议

IVF

nprobe

用于搜索候选对象的簇数。数值越大,可搜索的簇数越多,通过扩大搜索范围来提高召回率,但会增加查询延迟。

类型:整数
范围:[1,nlist]
默认值:8

增加此值可提高召回率,但可能会减慢搜索速度。请将nprobe 与nlist 成比例设置,以平衡速度与准确性。在大多数情况下,建议您将该值设置在此范围内:[1,nlist]。

RaBitQ

refine_k

精化过程采用更高质量的量化,从通过 IVF_RABITQ_FASTSCAN 选出的、规模为refine_k 倍的候选集合中,筛选出所需数量的最近邻。若禁用精化功能,则此参数无效。

类型:浮点数
范围:[1,float_max)
默认值:1

更大的refine_k 值会降低每秒查询数(QPS),但会提高召回率。建议从1 开始,并测试2 、3 、4 和5 等值,以针对您的数据集找到QPS与召回率之间的最佳平衡点。

rbq_bits_query

用于设置是否对查询向量应用额外的标量量化。 IVF_RABITQ_FASTSCAN 不支持此功能:该索引在内部始终使用8位查询量化。请省略此参数或将其设置为0 ;大于0 的值将被拒绝。

类型:整数
范围:[0, 0]
默认值:0

请勿设置此参数。若需配置查询量化,请改用IVF_RABITQ。

限制

  • FastScan 使用固定的 1 位 RaBitQ 数据库编码和 8 位查询量化。rbq_bits_query 必须省略或设置为0 。
  • 仅支持 FP32(等同于FLAT )的细化。
  • 不支持迭代器。
  • 这是一个 CPU 索引。它无法在 GPU 上运行。
  • 实际性能取决于 CPU 的 SIMD 支持情况、向量维度、nlist 、nprobe 以及数据分布。在将其部署到生产环境之前,请使用您的工作负载进行基准测试。

有关非 FastScan 版本的 RaBitQ 及其额外的细化选项,请参阅IVF_RABITQ。

翻译自DeepL

想要更快、更简单、更好用的 Milvus SaaS服务 ?

Zilliz Cloud是基于Milvus的全托管向量数据库,拥有更高性能,更易扩展,以及卓越性价比

免费试用 Zilliz Cloud
反馈

此页对您是否有帮助?