IVF_RABITQ_FASTSCANCompatible with Milvus 3.0.x
IVF_RABITQ_FASTSCAN IVF_RABITQ_FASTSCAN은 IVF 분할, RaBitQ 이진 양자화 및 FastScan 일괄 처리를 결합한 알고리즘입니다. 이 알고리즘은 데이터베이스 벡터에 대한 1비트 RaBitQ 코드를 저장하고, SIMD 처리에 적합한 32개의 데이터베이스 벡터 단위로 코드를 처리합니다. 따라서 근사값을 허용할 수 있는 고처리량, 메모리 제약이 있는 워크로드에 적합한 선택입니다.
검색 시 많은 후보를 스캔해야 하고 처리량이 최우선 목표인 경우에는 IVF_RABITQ 대신 IVF_RABITQ_FASTSCAN 을 선택하십시오. FastScan의 쿼리당 초기화 비용은 압축된 코드 블록 전체에 분산되므로, 일반적으로 대규모 데이터셋이나 긴 IVF 목록에 더 유리합니다. 소규모 컬렉션이나 후보를 적게 검토하는 검색의 경우, 대신 IVF_RABITQ 를 사용하십시오. 또한 이 기능은 구성 가능한 쿼리 양자화, 더 다양한 정제 유형 및 반복자를 지원합니다.
작동 원리
IVF_RABITQ_FASTSCAN 다음과 같은 단계를 거칩니다:
- IVF 분할: IVF는 벡터를
nlist클러스터로 그룹화하고,nprobe에서 가장 가까운 클러스터를 검색합니다. - RaBitQ 인코딩: 각 벡터 잔차는 차원당 1비트인 RaBitQ 코드로 인코딩됩니다.
- FastScan: 인덱스는 캐시 친화적인 SIMD 배치 처리를 위해 코드를 압축합니다. 각 배치에서 32개의 데이터베이스 벡터를 평가합니다.
- 선택적 정제: 이 기능이 활성화되면, Milvus가 최종 결과를 반환하기 전에 FP32 정제기가 후보들에 대해 재평가를 수행합니다.
기반이 되는 Faiss 인덱스는 IndexIVFRaBitQFastScan 입니다. Knowhere는 이를 무작위 회전 변환으로 감싸고, 선택적으로 FP32 정밀화기를 추가합니다.
FastScan은 압축된 코드 블록을 스캔하기 전에 쿼리 관련 조회 테이블을 구축하고 양자화하는 등 쿼리별 설정 작업을 수행합니다. 사용자의 데이터와 검색 매개변수를 사용하여 IVF_RABITQ 및 IVF_RABITQ_FASTSCAN 를 모두 벤치마킹해 보십시오.
인덱스 구축
Milvus의 벡터 필드에 IVF_RABITQ_FASTSCAN 인덱스를 구축하려면 add_index() 메서드를 사용하여 index_type, metric_type 및 인덱스에 대한 추가 매개변수를 지정하십시오.
from pymilvus import MilvusClient
# Prepare index building params
index_params = MilvusClient.prepare_index_params()
index_params.add_index(
field_name="your_vector_field_name", # Name of the vector field to be indexed
index_type="IVF_RABITQ_FASTSCAN", # Type of the index to create
index_name="vector_index", # Name of the index to create
metric_type="L2", # Metric type used to measure similarity
params={
"nlist": 1024, # Number of clusters for the index
"refine": True, # Enable refinement for higher recall
"refine_type": "FP32" # Refinement data format
} # Index building params
)
이 구성에서:
index_type: 생성할 인덱스의 유형입니다. 이 예제에서는 값을IVF_RABITQ_FASTSCAN로 설정합니다.metric_type: 벡터 간의 거리를 계산하는 데 사용되는 방법입니다. 지원되는 값으로는COSINE,L2,IP등이 있습니다. 자세한 내용은 ‘메트릭 유형’을 참조하십시오.params: 인덱스 구축을 위한 추가 구성 옵션입니다. 자세한 내용은 ‘인덱스 구축 매개변수’를 참조하십시오.
인덱스 매개변수 구성이 완료되면, ` create_index() ` 메서드를 직접 사용하거나 ` create_collection ` 메서드에 인덱스 매개변수를 전달하여 인덱스를 생성할 수 있습니다. 자세한 내용은 ‘컬렉션 생성’을 참조하십시오.
인덱스 검색
인덱스가 구축되고 엔티티가 삽입되면, 인덱스를 사용하여 유사도 검색을 수행할 수 있습니다.
nprobe 를 설정하여 검색할 IVF 클러스터 수를 제어할 수 있습니다. 인덱스가 정제(refinement) 기능과 함께 구축된 경우, refine_k 를 사용하여 FP32 정제기에 전달되는 후보 풀을 제어하십시오.
client = MilvusClient(uri="http://localhost:19530") # Replace with your Milvus server address
search_params = {
"params": {
"nprobe": 128, # Number of clusters to search
"refine_k": 2 # Refinement magnification factor
}
}
res = client.search(
collection_name="your_collection_name", # Collection name
anns_field="your_vector_field_name", # Vector field name
data=[[0.1, 0.2, 0.3, 0.4, 0.5]], # Query vector
limit=3, # TopK results to return
search_params=search_params
)
이 구성에서는:
params: 인덱스 검색을 위한 추가 구성 옵션입니다. 자세한 내용은 ‘인덱스별 검색 매개변수’를 참조하십시오.
IVF_RABITQ 와 달리, IVF_RABITQ_FASTSCAN 는 rbq_bits_query 검색 매개변수를 허용하지 않습니다. FastScan은 내부적으로 항상 8비트 쿼리 양자화를 사용하므로, rbq_bits_query 를 생략하거나 0 로 설정하십시오. 이보다 큰 값은 거부됩니다.
인덱스 매개변수
이 섹션에서는 인덱스를 생성하고 인덱스를 기반으로 검색을 수행하는 데 사용되는 매개변수에 대한 개요를 제공합니다.
인덱스 생성 매개변수
다음 표에는 인덱스를 생성할 때 params 에서 구성할 수 있는 매개변수가 나열되어 있습니다.
매개변수 |
설명 |
값 범위 |
튜닝 권장 사항 |
|
|---|---|---|---|---|
IVF |
|
인덱스 생성 시 k-means 알고리즘을 사용하여 생성할 클러스터의 수입니다. 중심점(centroid)으로 표현되는 각 클러스터는 벡터 목록을 저장합니다. 이 매개변수의 값을 늘리면 각 클러스터에 포함된 벡터의 수가 줄어들어, 더 작고 집중된 파티션이 생성됩니다. |
유형: 정수 |
|
RaBitQ |
|
정제 프로세스를 활성화하고 정제된 데이터를 저장합니다. |
유형: 부울 |
0.9 이상의 리콜률이 필요한 경우 |
|
|
유형: 문자열 |
|
인덱스별 검색 매개변수
다음 표에는 인덱스에서 검색할 때 search_params.params 에서 구성할 수 있는 매개변수가 나열되어 있습니다.
매개변수 |
설명 |
값 범위 |
조정 권장 사항 |
|
|---|---|---|---|---|
IVF |
|
후보 클러스터를 검색할 클러스터 수입니다. 값이 높을수록 더 많은 클러스터를 검색할 수 있어 검색 범위를 확장함으로써 리콜률을 향상시키지만, 쿼리 지연 시간이 증가하는 단점이 있습니다. |
유형: 정수 |
이 값을 높이면 재현율이 향상되지만 검색 속도가 느려질 수 있습니다. 속도와 정확도의 균형을 맞추려면 ` |
RaBitQ |
|
정제 과정에서는 더 높은 품질의 양자화를 사용하여, IVF_RABITQ_FASTSCAN을 통해 선택된 후보 풀( |
유형: 부동소수점 |
|
|
쿼리 벡터에 대한 추가 스칼라 양자화를 적용할지 여부를 설정합니다. |
유형: 정수 |
설정하지 마십시오. 쿼리 양자화를 구성하려면 대신 IVF_RABITQ를 사용하십시오. |
제한 사항
- FastScan은 고정된 1비트 RaBitQ 데이터베이스 인코딩과 8비트 쿼리 양자화를 사용합니다.
rbq_bits_query는 생략하거나0로 설정해야 합니다. - FP32(
FLAT와 동일) 정밀도 조정만 지원됩니다. - 이테레이터는 지원되지 않습니다.
- 이 기능은 CPU 인덱스입니다. GPU에서는 실행되지 않습니다.
- 실제 성능은 CPU SIMD 지원 여부, 벡터 차원,
nlist,nprobe및 데이터 분포에 따라 달라집니다. 프로덕션 환경에 배포하기 전에 워크로드를 사용하여 벤치마킹을 수행하십시오.
FastScan이 아닌 RaBitQ 변형 및 해당 추가 정제 옵션에 대해서는 IVF_RABITQ를 참조하십시오.