IVF_RABITQ_FASTSCANCompatible with Milvus 3.0.x

IVF_RABITQ_FASTSCAN IVF_RABITQ_FASTSCAN은 IVF 분할, RaBitQ 이진 양자화 및 FastScan 일괄 처리를 결합한 알고리즘입니다. 이 알고리즘은 데이터베이스 벡터에 대한 1비트 RaBitQ 코드를 저장하고, SIMD 처리에 적합한 32개의 데이터베이스 벡터 단위로 코드를 처리합니다. 따라서 근사값을 허용할 수 있는 고처리량, 메모리 제약이 있는 워크로드에 적합한 선택입니다.

검색 시 많은 후보를 스캔해야 하고 처리량이 최우선 목표인 경우에는 IVF_RABITQ 대신 IVF_RABITQ_FASTSCAN 을 선택하십시오. FastScan의 쿼리당 초기화 비용은 압축된 코드 블록 전체에 분산되므로, 일반적으로 대규모 데이터셋이나 긴 IVF 목록에 더 유리합니다. 소규모 컬렉션이나 후보를 적게 검토하는 검색의 경우, 대신 IVF_RABITQ 를 사용하십시오. 또한 이 기능은 구성 가능한 쿼리 양자화, 더 다양한 정제 유형 및 반복자를 지원합니다.

작동 원리

IVF_RABITQ_FASTSCAN 다음과 같은 단계를 거칩니다:

  1. IVF 분할: IVF는 벡터를 nlist 클러스터로 그룹화하고, nprobe 에서 가장 가까운 클러스터를 검색합니다.
  2. RaBitQ 인코딩: 각 벡터 잔차는 차원당 1비트인 RaBitQ 코드로 인코딩됩니다.
  3. FastScan: 인덱스는 캐시 친화적인 SIMD 배치 처리를 위해 코드를 압축합니다. 각 배치에서 32개의 데이터베이스 벡터를 평가합니다.
  4. 선택적 정제: 이 기능이 활성화되면, Milvus가 최종 결과를 반환하기 전에 FP32 정제기가 후보들에 대해 재평가를 수행합니다.

기반이 되는 Faiss 인덱스는 IndexIVFRaBitQFastScan 입니다. Knowhere는 이를 무작위 회전 변환으로 감싸고, 선택적으로 FP32 정밀화기를 추가합니다.

FastScan은 압축된 코드 블록을 스캔하기 전에 쿼리 관련 조회 테이블을 구축하고 양자화하는 등 쿼리별 설정 작업을 수행합니다. 사용자의 데이터와 검색 매개변수를 사용하여 IVF_RABITQ 및 IVF_RABITQ_FASTSCAN 를 모두 벤치마킹해 보십시오.

인덱스 구축

Milvus의 벡터 필드에 IVF_RABITQ_FASTSCAN 인덱스를 구축하려면 add_index() 메서드를 사용하여 index_type, metric_type 및 인덱스에 대한 추가 매개변수를 지정하십시오.

from pymilvus import MilvusClient

# Prepare index building params
index_params = MilvusClient.prepare_index_params()

index_params.add_index(
    field_name="your_vector_field_name", # Name of the vector field to be indexed
    index_type="IVF_RABITQ_FASTSCAN", # Type of the index to create
    index_name="vector_index", # Name of the index to create
    metric_type="L2", # Metric type used to measure similarity
    params={
        "nlist": 1024, # Number of clusters for the index
        "refine": True, # Enable refinement for higher recall
        "refine_type": "FP32" # Refinement data format
    } # Index building params
)

이 구성에서:

  • index_type: 생성할 인덱스의 유형입니다. 이 예제에서는 값을 IVF_RABITQ_FASTSCAN 로 설정합니다.

  • metric_type: 벡터 간의 거리를 계산하는 데 사용되는 방법입니다. 지원되는 값으로는 COSINE, L2, IP 등이 있습니다. 자세한 내용은 ‘메트릭 유형’을 참조하십시오.

  • params: 인덱스 구축을 위한 추가 구성 옵션입니다. 자세한 내용은 ‘인덱스 구축 매개변수’를 참조하십시오.

인덱스 매개변수 구성이 완료되면, ` create_index() ` 메서드를 직접 사용하거나 ` create_collection ` 메서드에 인덱스 매개변수를 전달하여 인덱스를 생성할 수 있습니다. 자세한 내용은 ‘컬렉션 생성’을 참조하십시오.

인덱스 검색

인덱스가 구축되고 엔티티가 삽입되면, 인덱스를 사용하여 유사도 검색을 수행할 수 있습니다.

nprobe 를 설정하여 검색할 IVF 클러스터 수를 제어할 수 있습니다. 인덱스가 정제(refinement) 기능과 함께 구축된 경우, refine_k 를 사용하여 FP32 정제기에 전달되는 후보 풀을 제어하십시오.

client = MilvusClient(uri="http://localhost:19530") # Replace with your Milvus server address

search_params = {
    "params": {
        "nprobe": 128, # Number of clusters to search
        "refine_k": 2 # Refinement magnification factor
    }
}

res = client.search(
    collection_name="your_collection_name", # Collection name
    anns_field="your_vector_field_name", # Vector field name
    data=[[0.1, 0.2, 0.3, 0.4, 0.5]], # Query vector
    limit=3, # TopK results to return
    search_params=search_params
)

이 구성에서는:

IVF_RABITQ 와 달리, IVF_RABITQ_FASTSCAN 는 rbq_bits_query 검색 매개변수를 허용하지 않습니다. FastScan은 내부적으로 항상 8비트 쿼리 양자화를 사용하므로, rbq_bits_query 를 생략하거나 0 로 설정하십시오. 이보다 큰 값은 거부됩니다.

인덱스 매개변수

이 섹션에서는 인덱스를 생성하고 인덱스를 기반으로 검색을 수행하는 데 사용되는 매개변수에 대한 개요를 제공합니다.

인덱스 생성 매개변수

다음 표에는 인덱스를 생성할 때 params 에서 구성할 수 있는 매개변수가 나열되어 있습니다.

매개변수

설명

값 범위

튜닝 권장 사항

IVF

nlist

인덱스 생성 시 k-means 알고리즘을 사용하여 생성할 클러스터의 수입니다. 중심점(centroid)으로 표현되는 각 클러스터는 벡터 목록을 저장합니다. 이 매개변수의 값을 늘리면 각 클러스터에 포함된 벡터의 수가 줄어들어, 더 작고 집중된 파티션이 생성됩니다.

유형: 정수
범위: [1, 65536]
기본값: 128

nlist 값을 크게 설정하면 더 정교한 클러스터가 생성되어 리콜이 향상되지만, 인덱스 구축 시간이 늘어납니다. 데이터셋 크기와 사용 가능한 리소스를 고려하여 최적화하십시오. 대부분의 경우 [32, 4096] 범위 내의 값을 설정하는 것이 좋습니다.

RaBitQ

refine

정제 프로세스를 활성화하고 정제된 데이터를 저장합니다. IVF_RABITQ_FASTSCAN 는 FP32 정제만 지원합니다.

유형: 부울
범위: [true, false]
기본값: false

0.9 이상의 리콜률이 필요한 경우 true 로 설정하십시오. 정제 기능을 활성화하면 정확도는 향상되지만, 저장 공간 요구량과 인덱스 생성 시간이 증가합니다.

refine_type

refine 이 활성화된 경우 정밀화 시 사용되는 데이터 표현 방식을 정의합니다. refine 이 true 일 때만 필수입니다.

유형: 문자열
범위: [FP32, FLAT]
기본값: 없음

IVF_RABITQ_FASTSCAN FP32 정제만 지원하며, FLAT 은 FP32 과 동일합니다. 값 일치 시 대소문자를 구분하지 않습니다.

인덱스별 검색 매개변수

다음 표에는 인덱스에서 검색할 때 search_params.params 에서 구성할 수 있는 매개변수가 나열되어 있습니다.

매개변수

설명

값 범위

조정 권장 사항

IVF

nprobe

후보 클러스터를 검색할 클러스터 수입니다. 값이 높을수록 더 많은 클러스터를 검색할 수 있어 검색 범위를 확장함으로써 리콜률을 향상시키지만, 쿼리 지연 시간이 증가하는 단점이 있습니다.

유형: 정수
범위: [1, nlist]
기본값: 8

이 값을 높이면 재현율이 향상되지만 검색 속도가 느려질 수 있습니다. 속도와 정확도의 균형을 맞추려면 ` nprobe `을 ` nlist `에 비례하여 설정하십시오. 대부분의 경우 [1, nlist] 범위 내의 값을 설정하는 것을 권장합니다.

RaBitQ

refine_k

정제 과정에서는 더 높은 품질의 양자화를 사용하여, IVF_RABITQ_FASTSCAN을 통해 선택된 후보 풀( refine_k 배 더 큰 규모)에서 필요한 수의 가장 가까운 이웃을 선별합니다. 정제 기능이 비활성화된 경우에는 효과가 없습니다.

유형: 부동소수점
범위: [1, float_max)
기본값: 1

refine_k 값이 높을수록 QPS는 감소하지만 리콜률은 증가합니다. 1 으로 시작하여 2, 3, 4, 5 등의 값을 테스트하여 데이터셋에 맞는 QPS와 리콜률 간의 최적의 균형을 찾으십시오.

rbq_bits_query

쿼리 벡터에 대한 추가 스칼라 양자화를 적용할지 여부를 설정합니다. IVF_RABITQ_FASTSCAN 에서는 지원되지 않습니다. 이 인덱스는 내부적으로 항상 8비트 쿼리 양자화를 사용합니다. 이 매개변수를 생략하거나 0 로 설정하십시오. 0 보다 큰 값은 거부됩니다.

유형: 정수
범위: [0, 0]
기본값: 0

설정하지 마십시오. 쿼리 양자화를 구성하려면 대신 IVF_RABITQ를 사용하십시오.

제한 사항

  • FastScan은 고정된 1비트 RaBitQ 데이터베이스 인코딩과 8비트 쿼리 양자화를 사용합니다. rbq_bits_query 는 생략하거나 0 로 설정해야 합니다.
  • FP32( FLAT 와 동일) 정밀도 조정만 지원됩니다.
  • 이테레이터는 지원되지 않습니다.
  • 이 기능은 CPU 인덱스입니다. GPU에서는 실행되지 않습니다.
  • 실제 성능은 CPU SIMD 지원 여부, 벡터 차원, nlist, nprobe 및 데이터 분포에 따라 달라집니다. 프로덕션 환경에 배포하기 전에 워크로드를 사용하여 벤치마킹을 수행하십시오.

FastScan이 아닌 RaBitQ 변형 및 해당 추가 정제 옵션에 대해서는 IVF_RABITQ를 참조하십시오.

번역DeepL

관리형 Milvus를 무료로 사용해 보세요

Zilliz Cloud는 번거로움이 없으며, Milvus 기반으로 10배 더 빠릅니다.

시작하기
피드백

이 페이지가 도움이 되었나요?