검색 이터레이터
ANN 검색은 단일 쿼리에서 검색할 수 있는 엔티티 수에 상한이 있으며, 기본 ANN 검색만으로는 대규모 검색 요구 사항을 충족하지 못할 수 있습니다. topK가 16,384를 초과하는 ANN 검색 요청의 경우, SearchIterator 사용을 고려하는 것이 좋습니다. 이 섹션에서는 SearchIterator 사용 방법과 관련 고려 사항을 소개합니다.
개요
Search 요청은 검색 결과를 반환하는 반면, SearchIterator는 이터레이터를 반환합니다. 이 이터레이터의 next() 메서드를 호출하여 검색 결과를 가져올 수 있습니다.
구체적으로 SearchIterator는 다음과 같이 사용할 수 있습니다.
SearchIterator를 생성하고, 검색 요청당 반환할 엔티티 수 와 총 반환 엔티티 수를 설정합니다.
루프 내에서 SearchIterator의 next() 메서드를 호출하여 페이징 방식으로 검색 결과를 가져옵니다.
next() 메서드가 빈 결과를 반환하면, 이터레이터의 close() 메서드를 호출하여 루프를 종료합니다.
SearchIterator 생성
다음 코드 예제는 SearchIterator를 생성하는 방법을 보여줍니다.
from pymilvus import connections, Collection
connections.connect(
uri="http://localhost:19530",
token="root:Milvus"
)
# create iterator
query_vectors = [
[0.3580376395471989, -0.6023495712049978, 0.18414012509913835, -0.26286205330961354, 0.9029438446296592]]
collection = Collection("iterator_collection")
iterator = collection.search_iterator(
data=query_vectors,
anns_field="vector",
param={"metric_type": "L2", "params": {"nprobe": 16}},
batch_size=50,
output_fields=["color"],
limit=20000
)
import io.milvus.v2.client.ConnectConfig;
import io.milvus.v2.client.MilvusClientV2;
import io.milvus.orm.iterator.SearchIterator;
import io.milvus.v2.common.IndexParam.MetricType;
import io.milvus.v2.service.vector.request.data.FloatVec;
import java.util.*;
MilvusClientV2 client = new MilvusClientV2(ConnectConfig.builder()
.uri("http://localhost:19530")
.token("root:Milvus")
.build());
FloatVec queryVector = new FloatVec(new float[]{0.3580376395471989f, -0.6023495712049978f, 0.18414012509913835f, -0.26286205330961354f, 0.9029438446296592f});
SearchIterator searchIterator = client.searchIterator(SearchIteratorReq.builder()
.collectionName("iterator_collection")
.vectors(Collections.singletonList(queryVector))
.vectorFieldName("vector")
.batchSize(500L)
.outputFields(Lists.newArrayList("color"))
.topK(20000)
.metricType(IndexParam.MetricType.COSINE)
.build());
// go
import { MilvusClient } from '@zilliz/milvus2-sdk-node';
const milvusClient = new MilvusClient({
address: 'http://localhost:19530',
token: 'root:Milvus',
});
const queryVectors = [
[0.3580376395471989, -0.6023495712049978, 0.18414012509913835, -0.26286205330961354, 0.9029438446296592],
];
const collectionName = 'iterator_collection';
const iterator = milvusClient.searchIterator({
collection_name: collectionName,
vectors: queryVectors,
anns_field: 'vector',
params: { metric_type: 'L2', params: { nprobe: 16 } },
batch_size: 50,
output_fields: ['color'],
limit: 20000,
});
export CLUSTER_ENDPOINT="http://localhost:19530"
export TOKEN="root:Milvus"
curl --request POST \
--url "${CLUSTER_ENDPOINT}/v2/vectordb/entities/search" \
--header "Authorization: Bearer ${TOKEN}" \
--header "Content-Type: application/json" \
--header "Request-Timeout: 10" \
-d '{
"collectionName": "iterator_collection",
"annsField": "vector",
"data": [[0.3580376395471989, -0.6023495712049978, 0.18414012509913835, -0.26286205330961354, 0.9029438446296592]],
"searchParams": {
"metricType": "L2",
"params": {
"nprobe": 16
}
},
"limit": 50,
"offset": 0,
"outputFields": ["color"]
}'
#include <iostream>
#include <vector>
#include "milvus/MilvusClientV2.h"
auto client = milvus::MilvusClientV2::Create();
auto status = client->Connect(milvus::ConnectParam("http://localhost:19530", "root:Milvus"));
if (!status.IsOk()) {
std::cerr << "Failed to connect: " << status.Message() << std::endl;
return;
}
// create iterator
std::vector<float> queryVector = {
0.35803764F, -0.60234958F, 0.18414013F, -0.26286206F, 0.90294385F
};
milvus::SearchIteratorRequest request;
request.SetCollectionName("iterator_collection");
request.SetAnnsField("vector");
request.SetMetricType(milvus::MetricType::L2);
request.AddExtraParam("nprobe", "16");
request.SetBatchSize(50);
request.AddOutputField("color");
request.SetLimit(20000);
// SearchIterator only accepts one vector
request.AddFloatVector(queryVector);
milvus::SearchIteratorPtr iterator;
status = client->SearchIterator(request, iterator);
if (!status.IsOk()) {
std::cerr << "Failed to create search iterator: " << status.Message() << std::endl;
return;
}
위의 예제에서는 검색당 반환할 엔티티 수(batch_size/batchSize)를 50개로, 반환할 총 엔티티 수(topK)를 20,000개로 설정했습니다.
SearchIterator 사용
SearchIterator가 준비되면 next() 메서드를 호출하여 검색 결과를 페이지 단위로 가져올 수 있습니다.
results = []
while True:
result = iterator.next()
if not result:
iterator.close()
break
for hit in result:
results.append(hit.to_dict())
import io.milvus.response.QueryResultsWrapper;
while (true) {
List<QueryResultsWrapper.RowRecord> res = searchIterator.next();
if (res.isEmpty()) {
searchIterator.close();
break;
}
for (QueryResultsWrapper.RowRecord record : res) {
System.out.println(record);
}
}
// go
for await (const result of iterator) {
console.log(result);
}
export CLUSTER_ENDPOINT="http://localhost:19530"
export TOKEN="root:Milvus"
batch_size=50
limit=20000
offset=0
# Paginate with offset until an empty page is returned. Note that the sum of
# offset and limit in each request must not exceed the server-side result
# window (16,384 by default); SDK search iterators do not have this limit.
while [ "$offset" -lt "$limit" ]; do
response=$(curl --silent --request POST \
--url "${CLUSTER_ENDPOINT}/v2/vectordb/entities/search" \
--header "Authorization: Bearer ${TOKEN}" \
--header "Content-Type: application/json" \
--header "Request-Timeout: 10" \
-d '{
"collectionName": "iterator_collection",
"annsField": "vector",
"data": [[0.3580376395471989, -0.6023495712049978, 0.18414012509913835, -0.26286205330961354, 0.9029438446296592]],
"searchParams": {
"metricType": "L2",
"params": {
"nprobe": 16
}
},
"limit": '"$batch_size"',
"offset": '"$offset"',
"outputFields": ["color"]
}')
count=$(echo "$response" | jq -r '.data | length')
if [ "$count" -eq 0 ]; then
break
fi
echo "$response" | jq -r '.data[]'
offset=$((offset + batch_size))
done
while (true) {
milvus::SingleResult result;
status = iterator->Next(result);
if (!status.IsOk()) {
std::cerr << "Iterator next failed: " << status.Message() << std::endl;
break;
}
if (result.GetRowCount() == 0) {
break;
}
milvus::EntityRows rows;
status = result.OutputRows(rows);
if (!status.IsOk()) {
std::cerr << "Failed to get output rows: " << status.Message() << std::endl;
break;
}
for (const auto& row : rows) {
std::cout << row.dump() << std::endl;
}
}
위의 코드 예제에서는 무한 루프를 생성하고, 루프 내에서 next() 메서드를 호출하여 검색 결과를 변수에 저장한 후, next() 가 아무것도 반환하지 않을 때 이터레이터를 닫았습니다.
