Búsqueda de un solo vector
Una vez que haya insertado sus datos, el siguiente paso es realizar búsquedas de similitud en su colección en Milvus.
Milvus le permite realizar dos tipos de búsquedas, dependiendo del número de campos vectoriales de su colección:
- Búsqueda de un solo vector: Si su colección sólo tiene un campo vectorial, utilice el método
search()
para encontrar las entidades más similares. Este método compara su vector de consulta con los vectores existentes en su colección y devuelve los ID de las coincidencias más cercanas junto con las distancias entre ellos. Opcionalmente, también puede devolver los valores vectoriales y los metadatos de los resultados. - Búsqueda híbrida: Para colecciones con dos o más campos vectoriales, utilice el método
hybrid_search()
método. Este método realiza múltiples peticiones de búsqueda de Vecino más próximo aproximado (RNA) y combina los resultados para devolver las coincidencias más relevantes tras una nueva clasificación.
Esta guía se centra en cómo realizar una búsqueda de un solo vector en Milvus. Para obtener más información sobre la búsqueda híbrida, consulte Búsqueda híbrida.
Visión general
Existe una variedad de tipos de búsqueda para satisfacer diferentes requisitos:
Búsqueda básica: Incluye la búsqueda de vector único, la búsqueda de vector masivo, la búsqueda de partición y la búsqueda con campos de salida especificados.
Búsqueda filtrada: Aplica criterios de filtrado basados en campos escalares para refinar los resultados de la búsqueda.
Búsqueda por rango: Busca vectores dentro de un intervalo de distancia específico desde el vector de consulta.
Búsqueda por grupos: Agrupa los resultados de la búsqueda en función de un campo específico para garantizar la diversidad de los resultados.
Preparativos
El siguiente fragmento de código reutiliza el código existente para establecer una conexión con Milvus y configurar rápidamente una colección.
# 1. Set up a Milvus client
client = MilvusClient(
uri=CLUSTER_ENDPOINT,
token=TOKEN
)
# 2. Create a collection
client.create_collection(
collection_name="quick_setup",
dimension=5,
metric_type="IP"
)
# 3. Insert randomly generated vectors
colors = ["green", "blue", "yellow", "red", "black", "white", "purple", "pink", "orange", "brown", "grey"]
data = []
for i in range(1000):
current_color = random.choice(colors)
data.append({
"id": i,
"vector": [ random.uniform(-1, 1) for _ in range(5) ],
"color": current_color,
"color_tag": f"{current_color}_{str(random.randint(1000, 9999))}"
})
res = client.insert(
collection_name="quick_setup",
data=data
)
print(res)
# Output
#
# {
# "insert_count": 1000,
# "ids": [
# 0,
# 1,
# 2,
# 3,
# 4,
# 5,
# 6,
# 7,
# 8,
# 9,
# "(990 more items hidden)"
# ]
# }
# 6.1 Create partitions
client.create_partition(
collection_name="quick_setup",
partition_name="red"
)
client.create_partition(
collection_name="quick_setup",
partition_name="blue"
)
# 6.1 Insert data into partitions
red_data = [ {"id": i, "vector": [ random.uniform(-1, 1) for _ in range(5) ], "color": "red", "color_tag": f"red_{str(random.randint(1000, 9999))}" } for i in range(500) ]
blue_data = [ {"id": i, "vector": [ random.uniform(-1, 1) for _ in range(5) ], "color": "blue", "color_tag": f"blue_{str(random.randint(1000, 9999))}" } for i in range(500) ]
res = client.insert(
collection_name="quick_setup",
data=red_data,
partition_name="red"
)
print(res)
# Output
#
# {
# "insert_count": 500,
# "ids": [
# 0,
# 1,
# 2,
# 3,
# 4,
# 5,
# 6,
# 7,
# 8,
# 9,
# "(490 more items hidden)"
# ]
# }
res = client.insert(
collection_name="quick_setup",
data=blue_data,
partition_name="blue"
)
print(res)
# Output
#
# {
# "insert_count": 500,
# "ids": [
# 0,
# 1,
# 2,
# 3,
# 4,
# 5,
# 6,
# 7,
# 8,
# 9,
# "(490 more items hidden)"
# ]
# }
import java.util.ArrayList;
import java.util.Arrays;
import java.util.List;
import java.util.Map;
import java.util.Random;
import com.alibaba.fastjson.JSONObject;
import io.milvus.v2.client.ConnectConfig;
import io.milvus.v2.client.MilvusClientV2;
import io.milvus.v2.service.collection.request.CreateCollectionReq;
import io.milvus.v2.service.collection.request.GetLoadStateReq;
import io.milvus.v2.service.vector.request.InsertReq;
import io.milvus.v2.service.vector.response.InsertResp;
String CLUSTER_ENDPOINT = "http://localhost:19530";
// 1. Connect to Milvus server
ConnectConfig connectConfig = ConnectConfig.builder()
.uri(CLUSTER_ENDPOINT)
.build();
MilvusClientV2 client = new MilvusClientV2(connectConfig);
// 2. Create a collection in quick setup mode
CreateCollectionReq quickSetupReq = CreateCollectionReq.builder()
.collectionName("quick_setup")
.dimension(5)
.metricType("IP")
.build();
client.createCollection(quickSetupReq);
GetLoadStateReq loadStateReq = GetLoadStateReq.builder()
.collectionName("quick_setup")
.build();
boolean state = client.getLoadState(loadStateReq);
System.out.println(state);
// Output:
// true
// 3. Insert randomly generated vectors into the collection
List<String> colors = Arrays.asList("green", "blue", "yellow", "red", "black", "white", "purple", "pink", "orange", "brown", "grey");
List<JSONObject> data = new ArrayList<>();
for (int i=0; i<1000; i++) {
Random rand = new Random();
String current_color = colors.get(rand.nextInt(colors.size()-1));
JSONObject row = new JSONObject();
row.put("id", Long.valueOf(i));
row.put("vector", Arrays.asList(rand.nextFloat(), rand.nextFloat(), rand.nextFloat(), rand.nextFloat(), rand.nextFloat()));
row.put("color_tag", current_color + "_" + String.valueOf(rand.nextInt(8999) + 1000));
data.add(row);
}
InsertReq insertReq = InsertReq.builder()
.collectionName("quick_setup")
.data(data)
.build();
InsertResp insertResp = client.insert(insertReq);
System.out.println(JSONObject.toJSON(insertResp));
// Output:
// {"insertCnt": 1000}
// 6.1. Create a partition
CreatePartitionReq partitionReq = CreatePartitionReq.builder()
.collectionName("quick_setup")
.partitionName("red")
.build();
client.createPartition(partitionReq);
partitionReq = CreatePartitionReq.builder()
.collectionName("quick_setup")
.partitionName("blue")
.build();
client.createPartition(partitionReq);
// 6.2 Insert data into the partition
data = new ArrayList<>();
for (int i=1000; i<1500; i++) {
Random rand = new Random();
String current_color = "red";
JSONObject row = new JSONObject();
row.put("id", Long.valueOf(i));
row.put("vector", Arrays.asList(rand.nextFloat(), rand.nextFloat(), rand.nextFloat(), rand.nextFloat(), rand.nextFloat()));
row.put("color", current_color);
row.put("color_tag", current_color + "_" + String.valueOf(rand.nextInt(8999) + 1000));
data.add(row);
}
insertReq = InsertReq.builder()
.collectionName("quick_setup")
.data(data)
.partitionName("red")
.build();
insertResp = client.insert(insertReq);
System.out.println(JSONObject.toJSON(insertResp));
// Output:
// {"insertCnt": 500}
data = new ArrayList<>();
for (int i=1500; i<2000; i++) {
Random rand = new Random();
String current_color = "blue";
JSONObject row = new JSONObject();
row.put("id", Long.valueOf(i));
row.put("vector", Arrays.asList(rand.nextFloat(), rand.nextFloat(), rand.nextFloat(), rand.nextFloat(), rand.nextFloat()));
row.put("color", current_color);
row.put("color_tag", current_color + "_" + String.valueOf(rand.nextInt(8999) + 1000));
data.add(row);
}
insertReq = InsertReq.builder()
.collectionName("quick_setup")
.data(data)
.partitionName("blue")
.build();
insertResp = client.insert(insertReq);
System.out.println(JSONObject.toJSON(insertResp));
// Output:
// {"insertCnt": 500}
const { MilvusClient, DataType, sleep } = require("@zilliz/milvus2-sdk-node")
const address = "http://localhost:19530"
// 1. Set up a Milvus Client
client = new MilvusClient({address});
// 2. Create a collection in quick setup mode
await client.createCollection({
collection_name: "quick_setup",
dimension: 5,
metric_type: "IP"
});
// 3. Insert randomly generated vectors
const colors = ["green", "blue", "yellow", "red", "black", "white", "purple", "pink", "orange", "brown", "grey"]
data = []
for (let i = 0; i < 1000; i++) {
current_color = colors[Math.floor(Math.random() * colors.length)]
data.push({
id: i,
vector: [Math.random(), Math.random(), Math.random(), Math.random(), Math.random()],
color: current_color,
color_tag: `${current_color}_${Math.floor(Math.random() * 8999) + 1000}`
})
}
var res = await client.insert({
collection_name: "quick_setup",
data: data
})
console.log(res.insert_cnt)
// Output
//
// 1000
//
await client.createPartition({
collection_name: "quick_setup",
partition_name: "red"
})
await client.createPartition({
collection_name: "quick_setup",
partition_name: "blue"
})
// 6.1 Insert data into partitions
var red_data = []
var blue_data = []
for (let i = 1000; i < 1500; i++) {
red_data.push({
id: i,
vector: [Math.random(), Math.random(), Math.random(), Math.random(), Math.random()],
color: "red",
color_tag: `red_${Math.floor(Math.random() * 8999) + 1000}`
})
}
for (let i = 1500; i < 2000; i++) {
blue_data.push({
id: i,
vector: [Math.random(), Math.random(), Math.random(), Math.random(), Math.random()],
color: "blue",
color_tag: `blue_${Math.floor(Math.random() * 8999) + 1000}`
})
}
res = await client.insert({
collection_name: "quick_setup",
data: red_data,
partition_name: "red"
})
console.log(res.insert_cnt)
// Output
//
// 500
//
res = await client.insert({
collection_name: "quick_setup",
data: blue_data,
partition_name: "blue"
})
console.log(res.insert_cnt)
// Output
//
// 500
//
Búsqueda básica
Al enviar una solicitud a search
, puede proporcionar uno o varios valores vectoriales que representen sus incrustaciones de consulta y un valor limit
que indique el número de resultados que se devolverán.
Dependiendo de los datos y del vector de consulta, es posible que obtenga menos resultados que limit
. Esto ocurre cuando limit
es mayor que el número de vectores que coinciden con la consulta.
Búsqueda monovectorial
La búsqueda monovectorial es la forma más sencilla de las operaciones search
en Milvus, diseñada para encontrar los vectores más similares a un vector de consulta dado.
Para realizar una búsqueda monovectorial, especifique el nombre de la colección de destino, el vector de consulta y el número de resultados deseado (limit
). Esta operación devuelve un conjunto de resultados que incluye los vectores más similares, sus ID y las distancias desde el vector de consulta.
A continuación se muestra un ejemplo de búsqueda de las 5 entidades más similares al vector de consulta:
# Single vector search
res = client.search(
collection_name="test_collection", # Replace with the actual name of your collection
# Replace with your query vector
data=[[0.3580376395471989, -0.6023495712049978, 0.18414012509913835, -0.26286205330961354, 0.9029438446296592]],
limit=5, # Max. number of search results to return
search_params={"metric_type": "IP", "params": {}} # Search parameters
)
# Convert the output to a formatted JSON string
result = json.dumps(res, indent=4)
print(result)
// 4. Single vector search
List<List<Float>> query_vectors = Arrays.asList(Arrays.asList(0.3580376395471989f, -0.6023495712049978f, 0.18414012509913835f, -0.26286205330961354f, 0.9029438446296592f));
SearchReq searchReq = SearchReq.builder()
.collectionName("quick_setup")
.data(query_vectors)
.topK(3) // The number of results to return
.build();
SearchResp searchResp = client.search(searchReq);
System.out.println(JSONObject.toJSON(searchResp));
// 4. Single vector search
var query_vector = [0.3580376395471989, -0.6023495712049978, 0.18414012509913835, -0.26286205330961354, 0.9029438446296592],
res = await client.search({
collection_name: "quick_setup",
data: [query_vector],
limit: 3, // The number of results to return
})
console.log(res.results)
Parámetro | Descripción |
---|---|
collection_name |
El nombre de una colección existente. |
data |
Una lista de incrustaciones vectoriales. Milvus busca las incrustaciones vectoriales más similares a las especificadas. |
limit |
El número total de entidades a devolver. Puede utilizar este parámetro en combinación con offset en param para habilitar la paginación. La suma de este valor y offset en param debe ser inferior a 16.384. |
search_params |
Los ajustes de parámetros específicos de esta operación.
|
Parámetro | Descripción |
---|---|
collectionName |
El nombre de una colección existente. |
data |
Una lista de incrustaciones vectoriales. Milvus busca las incrustaciones vectoriales más similares a las especificadas. |
topK |
El número de registros a devolver en el resultado de la búsqueda. Este parámetro utiliza la misma sintaxis que el parámetro límite, por lo que sólo debe establecer uno de ellos. Puede utilizar este parámetro en combinación con offset en param para activar la paginación. La suma de este valor y offset en param debe ser inferior a 16.384. |
Parámetro | Descripción |
---|---|
collection_name |
El nombre de una colección existente. |
data |
Una lista de incrustaciones vectoriales. Milvus busca las incrustaciones vectoriales más similares a las especificadas. |
limit |
El número total de entidades a devolver. Puede utilizar este parámetro en combinación con offset en param para habilitar la paginación. La suma de este valor y offset en param debe ser inferior a 16.384. |
La salida es similar a la siguiente:
[
[
{
"id": 0,
"distance": 1.4093276262283325,
"entity": {}
},
{
"id": 4,
"distance": 0.9902134537696838,
"entity": {}
},
{
"id": 1,
"distance": 0.8519943356513977,
"entity": {}
},
{
"id": 5,
"distance": 0.7972343564033508,
"entity": {}
},
{
"id": 2,
"distance": 0.5928734540939331,
"entity": {}
}
]
]
{"searchResults": [[
{
"score": 1.263043,
"fields": {
"vector": [
0.9533119,
0.02538395,
0.76714665,
0.35481733,
0.9845762
],
"id": 740
}
},
{
"score": 1.2377806,
"fields": {
"vector": [
0.7411156,
0.08687937,
0.8254139,
0.08370924,
0.99095553
],
"id": 640
}
},
{
"score": 1.1869997,
"fields": {
"vector": [
0.87928146,
0.05324632,
0.6312755,
0.28005534,
0.9542448
],
"id": 455
}
}
]]}
[
{ score: 1.7463608980178833, id: '854' },
{ score: 1.744946002960205, id: '425' },
{ score: 1.7258622646331787, id: '718' }
]
El resultado muestra los 5 vecinos más cercanos a su vector de consulta, incluidos sus ID únicos y las distancias calculadas.
Búsqueda masiva
La búsqueda masiva de vectores amplía el concepto de búsqueda de un solo vector al permitir la búsqueda de varios vectores de consulta en una única solicitud. Este tipo de búsqueda es ideal para situaciones en las que es necesario encontrar vectores similares para un conjunto de vectores de consulta, lo que reduce significativamente el tiempo y los recursos informáticos necesarios.
En una búsqueda masiva de vectores, puede incluir varios vectores de consulta en el campo data
. El sistema procesa estos vectores en paralelo y devuelve un conjunto de resultados distinto para cada vector de consulta, cada uno de los cuales contiene las coincidencias más próximas encontradas en la colección.
A continuación se muestra un ejemplo de búsqueda de dos conjuntos distintos de las entidades más similares a partir de dos vectores de consulta:
# Bulk-vector search
res = client.search(
collection_name="test_collection", # Replace with the actual name of your collection
data=[
[0.19886812562848388, 0.06023560599112088, 0.6976963061752597, 0.2614474506242501, 0.838729485096104],
[0.3172005263489739, 0.9719044792798428, -0.36981146090600725, -0.4860894583077995, 0.95791889146345]
], # Replace with your query vectors
limit=2, # Max. number of search results to return
search_params={"metric_type": "IP", "params": {}} # Search parameters
)
result = json.dumps(res, indent=4)
print(result)
// 5. Batch vector search
query_vectors = Arrays.asList(
Arrays.asList(0.3580376395471989f, -0.6023495712049978f, 0.18414012509913835f, -0.26286205330961354f, 0.9029438446296592f),
Arrays.asList(0.19886812562848388f, 0.06023560599112088f, 0.6976963061752597f, 0.2614474506242501f, 0.838729485096104f)
);
searchReq = SearchReq.builder()
.collectionName("quick_setup")
.data(query_vectors)
.topK(2)
.build();
searchResp = client.search(searchReq);
System.out.println(JSONObject.toJSON(searchResp));
// 5. Batch vector search
var query_vectors = [
[0.3580376395471989, -0.6023495712049978, 0.18414012509913835, -0.26286205330961354, 0.9029438446296592],
[0.19886812562848388, 0.06023560599112088, 0.6976963061752597, 0.2614474506242501, 0.838729485096104]
]
res = await client.search({
collection_name: "quick_setup",
data: query_vectors,
limit: 2,
})
console.log(res.results)
La salida es similar a la siguiente:
[
[
{
"id": 1,
"distance": 1.3017789125442505,
"entity": {}
},
{
"id": 7,
"distance": 1.2419954538345337,
"entity": {}
}
], # Result set 1
[
{
"id": 3,
"distance": 2.3358664512634277,
"entity": {}
},
{
"id": 8,
"distance": 0.5642921924591064,
"entity": {}
}
] # Result set 2
]
// Two sets of vectors are returned as expected
{"searchResults": [
[
{
"score": 1.263043,
"fields": {
"vector": [
0.9533119,
0.02538395,
0.76714665,
0.35481733,
0.9845762
],
"id": 740
}
},
{
"score": 1.2377806,
"fields": {
"vector": [
0.7411156,
0.08687937,
0.8254139,
0.08370924,
0.99095553
],
"id": 640
}
}
],
[
{
"score": 1.8654699,
"fields": {
"vector": [
0.4671427,
0.8378432,
0.98844475,
0.82763994,
0.9729997
],
"id": 638
}
},
{
"score": 1.8581753,
"fields": {
"vector": [
0.735541,
0.60140246,
0.86730254,
0.93152493,
0.98603314
],
"id": 855
}
}
]
]}
[
[
{ score: 2.3590476512908936, id: '854' },
{ score: 2.2896690368652344, id: '59' }
[
{ score: 2.664059638977051, id: '59' },
{ score: 2.59483003616333, id: '854' }
]
]
Los resultados incluyen dos conjuntos de vecinos más próximos, uno para cada vector de consulta, lo que demuestra la eficacia de las búsquedas de vectores masivos para manejar varios vectores de consulta a la vez.
Búsqueda por partición
La búsqueda por partición reduce el alcance de la búsqueda a un subconjunto o partición específicos de la colección. Esto resulta especialmente útil para conjuntos de datos organizados en los que los datos están segmentados en divisiones lógicas o categóricas, lo que permite realizar operaciones de búsqueda más rápidas al reducir el volumen de datos que hay que escanear.
Para realizar una búsqueda por particiones, sólo tiene que incluir el nombre de la partición de destino en partition_names
de su solicitud de búsqueda. Esto especifica que la operación search
sólo considera vectores dentro de la partición especificada.
He aquí un ejemplo de búsqueda de entidades en red
:
# 6.2 Search within a partition
query_vector = [0.3580376395471989, -0.6023495712049978, 0.18414012509913835, -0.26286205330961354, 0.9029438446296592]
res = client.search(
collection_name="quick_setup",
data=[query_vector],
limit=5,
search_params={"metric_type": "IP", "params": {"level": 1}},
partition_names=["red"]
)
print(res)
// 6.3 Search within partitions
query_vectors = Arrays.asList(Arrays.asList(0.3580376395471989f, -0.6023495712049978f, 0.18414012509913835f, -0.26286205330961354f, 0.9029438446296592f));
searchReq = SearchReq.builder()
.collectionName("quick_setup")
.data(query_vectors)
.partitionNames(Arrays.asList("red"))
.topK(5)
.build();
searchResp = client.search(searchReq);
System.out.println(JSONObject.toJSON(searchResp));
// 6.2 Search within partitions
query_vector = [0.3580376395471989, -0.6023495712049978, 0.18414012509913835, -0.26286205330961354, 0.9029438446296592]
res = await client.search({
collection_name: "quick_setup",
data: [query_vector],
partition_names: ["red"],
limit: 5,
})
console.log(res.results)
La salida es similar a la siguiente:
[
[
{
"id": 16,
"distance": 0.9200337529182434,
"entity": {}
},
{
"id": 14,
"distance": 0.4505271911621094,
"entity": {}
},
{
"id": 15,
"distance": 0.19924677908420563,
"entity": {}
},
{
"id": 17,
"distance": 0.0075093843042850494,
"entity": {}
},
{
"id": 13,
"distance": -0.14609718322753906,
"entity": {}
}
]
]
{"searchResults": [
[
{
"score": 1.1677284,
"fields": {
"vector": [
0.9986977,
0.17964739,
0.49086612,
0.23155272,
0.98438674
],
"id": 1435
}
},
{
"score": 1.1476475,
"fields": {
"vector": [
0.6952647,
0.13417172,
0.91045254,
0.119336545,
0.9338931
],
"id": 1291
}
},
{
"score": 1.0969629,
"fields": {
"vector": [
0.3363194,
0.028906643,
0.6675426,
0.030419827,
0.9735209
],
"id": 1168
}
},
{
"score": 1.0741848,
"fields": {
"vector": [
0.9980543,
0.36063594,
0.66427994,
0.17359233,
0.94954175
],
"id": 1164
}
},
{
"score": 1.0584627,
"fields": {
"vector": [
0.7187005,
0.12674773,
0.987718,
0.3110777,
0.86093885
],
"id": 1085
}
}
],
[
{
"score": 1.8030131,
"fields": {
"vector": [
0.59726167,
0.7054632,
0.9573117,
0.94529945,
0.8664103
],
"id": 1203
}
},
{
"score": 1.7728865,
"fields": {
"vector": [
0.6672442,
0.60448086,
0.9325822,
0.80272985,
0.8861626
],
"id": 1448
}
},
{
"score": 1.7536311,
"fields": {
"vector": [
0.59663296,
0.77831805,
0.8578314,
0.88818026,
0.9030075
],
"id": 1010
}
},
{
"score": 1.7520742,
"fields": {
"vector": [
0.854198,
0.72294194,
0.9245805,
0.86126596,
0.7969224
],
"id": 1219
}
},
{
"score": 1.7452049,
"fields": {
"vector": [
0.96419,
0.943535,
0.87611496,
0.8268136,
0.79786557
],
"id": 1149
}
}
]
]}
[
{ score: 3.0258803367614746, id: '1201' },
{ score: 3.004319190979004, id: '1458' },
{ score: 2.880324363708496, id: '1187' },
{ score: 2.8246407508850098, id: '1347' },
{ score: 2.797295093536377, id: '1406' }
]
A continuación, busque entidades en blue
:
res = client.search(
collection_name="quick_setup",
data=[query_vector],
limit=5,
search_params={"metric_type": "IP", "params": {"level": 1}},
partition_names=["blue"]
)
print(res)
searchReq = SearchReq.builder()
.collectionName("quick_setup")
.data(query_vectors)
.partitionNames(Arrays.asList("blue"))
.topK(5)
.build();
searchResp = client.search(searchReq);
System.out.println(JSONObject.toJSON(searchResp));
res = await client.search({
collection_name: "quick_setup",
data: [query_vector],
partition_names: ["blue"],
limit: 5,
})
console.log(res.results)
La salida es similar a la siguiente:
[
[
{
"id": 20,
"distance": 2.363696813583374,
"entity": {}
},
{
"id": 26,
"distance": 1.0665391683578491,
"entity": {}
},
{
"id": 23,
"distance": 1.066049575805664,
"entity": {}
},
{
"id": 29,
"distance": 0.8353596925735474,
"entity": {}
},
{
"id": 28,
"distance": 0.7484277486801147,
"entity": {}
}
]
]
{"searchResults": [
[
{
"score": 1.1628494,
"fields": {
"vector": [
0.7442872,
0.046407282,
0.71031404,
0.3544345,
0.9819991
],
"id": 1992
}
},
{
"score": 1.1470042,
"fields": {
"vector": [
0.5505825,
0.04367262,
0.9985836,
0.18922359,
0.93255126
],
"id": 1977
}
},
{
"score": 1.1450152,
"fields": {
"vector": [
0.89994013,
0.052991092,
0.8645576,
0.6406729,
0.95679337
],
"id": 1573
}
},
{
"score": 1.1439825,
"fields": {
"vector": [
0.9253267,
0.15890503,
0.7999555,
0.19126713,
0.898583
],
"id": 1552
}
},
{
"score": 1.1029172,
"fields": {
"vector": [
0.95661926,
0.18777144,
0.38115507,
0.14323527,
0.93137646
],
"id": 1823
}
}
],
[
{
"score": 1.8005109,
"fields": {
"vector": [
0.5953582,
0.7794224,
0.9388869,
0.79825854,
0.9197286
],
"id": 1888
}
},
{
"score": 1.7714822,
"fields": {
"vector": [
0.56805456,
0.89422905,
0.88187534,
0.914824,
0.8944365
],
"id": 1648
}
},
{
"score": 1.7561421,
"fields": {
"vector": [
0.83421993,
0.39865613,
0.92319834,
0.42695504,
0.96633124
],
"id": 1688
}
},
{
"score": 1.7553532,
"fields": {
"vector": [
0.89994013,
0.052991092,
0.8645576,
0.6406729,
0.95679337
],
"id": 1573
}
},
{
"score": 1.7543385,
"fields": {
"vector": [
0.16542226,
0.38248396,
0.9888778,
0.80913955,
0.9501492
],
"id": 1544
}
}
]
]}
[
{ score: 2.8421106338500977, id: '1745' },
{ score: 2.838560104370117, id: '1782' },
{ score: 2.8134000301361084, id: '1511' },
{ score: 2.718268871307373, id: '1679' },
{ score: 2.7014894485473633, id: '1597' }
]
Los datos de red
difieren de los de blue
. Por lo tanto, los resultados de la búsqueda se limitarán a la partición especificada, reflejando las características únicas y la distribución de datos de ese subconjunto.
Búsqueda con campos de salida
La búsqueda con campos de salida permite especificar qué atributos o campos de los vectores coincidentes deben incluirse en los resultados de la búsqueda.
Puede especificar output_fields
en una petición para devolver resultados con campos específicos.
A continuación se muestra un ejemplo de devolución de resultados con valores de atributo color
:
# Search with output fields
res = client.search(
collection_name="test_collection", # Replace with the actual name of your collection
data=[[0.3580376395471989, -0.6023495712049978, 0.18414012509913835, -0.26286205330961354, 0.9029438446296592]],
limit=5, # Max. number of search results to return
search_params={"metric_type": "IP", "params": {}}, # Search parameters
output_fields=["color"] # Output fields to return
)
result = json.dumps(res, indent=4)
print(result)
// 7. Search with output fields
query_vectors = Arrays.asList(Arrays.asList(0.3580376395471989f, -0.6023495712049978f, 0.18414012509913835f, -0.26286205330961354f, 0.9029438446296592f));
searchReq = SearchReq.builder()
.collectionName("quick_setup")
.data(query_vectors)
.outputFields(Arrays.asList("color"))
.topK(5)
.build();
searchResp = client.search(searchReq);
System.out.println(JSONObject.toJSON(searchResp));
// 7. Search with output fields
query_vector = [0.3580376395471989, -0.6023495712049978, 0.18414012509913835, -0.26286205330961354, 0.9029438446296592]
res = await client.search({
collection_name: "quick_setup",
data: [query_vector],
limit: 5,
output_fields: ["color"],
})
console.log(res.results)
La salida es similar a la siguiente:
[
[
{
"id": 0,
"distance": 1.4093276262283325,
"entity": {
"color": "pink_8682"
}
},
{
"id": 16,
"distance": 1.0159327983856201,
"entity": {
"color": "yellow_1496"
}
},
{
"id": 4,
"distance": 0.9902134537696838,
"entity": {
"color": "red_4794"
}
},
{
"id": 14,
"distance": 0.9803846478462219,
"entity": {
"color": "green_2899"
}
},
{
"id": 1,
"distance": 0.8519943356513977,
"entity": {
"color": "red_7025"
}
}
]
]
{"searchResults": [
[
{
"score": 1.263043,
"fields": {}
},
{
"score": 1.2377806,
"fields": {}
},
{
"score": 1.1869997,
"fields": {}
},
{
"score": 1.1748955,
"fields": {}
},
{
"score": 1.1720343,
"fields": {}
}
]
]}
[
{ score: 3.036271572113037, id: '59', color: 'orange' },
{ score: 3.0267879962921143, id: '1745', color: 'blue' },
{ score: 3.0069446563720703, id: '854', color: 'black' },
{ score: 2.984386682510376, id: '718', color: 'black' },
{ score: 2.916019916534424, id: '425', color: 'purple' }
]
Junto con los vecinos más próximos, los resultados de la búsqueda incluirán el campo especificado color
, lo que proporciona un conjunto más rico de información para cada vector coincidente.
Búsqueda filtrada
La búsqueda filtrada aplica filtros escalares a las búsquedas vectoriales, permitiéndole refinar los resultados de la búsqueda basándose en criterios específicos. Encontrará más información sobre las expresiones de filtrado en Reglas de expresiones booleanas y ejemplos en Obtener y consulta escalar.
Utilice el operador like
El operador like
mejora las búsquedas de cadenas evaluando patrones que incluyen prefijos, infijos y sufijos:
- Coincidencia de prefijos: para buscar valores que empiecen por un prefijo específico, utilice la sintaxis
'like "prefix%"'
. - Coincidencia de infijos: para buscar valores que contengan una secuencia específica de caracteres en cualquier lugar de la cadena, utilice la sintaxis
'like "%infix%"'
. - Búsqueda por sufijos: para buscar valores que terminen con un sufijo determinado, utilice la sintaxis
'like "%suffix"'
.
Para la búsqueda de un solo carácter, el guión bajo (_
) actúa como comodín para un carácter, por ejemplo, 'like "y_llow"'
.
Caracteres especiales en las cadenas de búsqueda
Si desea buscar una cadena que contenga caracteres especiales como guiones bajos (_
) o signos de porcentaje (%
), que normalmente se utilizan como comodines en los patrones de búsqueda (_
para cualquier carácter individual y %
para cualquier secuencia de caracteres), debe escapar estos caracteres para tratarlos como caracteres literales. Utilice una barra invertida (\
) para escapar caracteres especiales, y recuerde escapar la propia barra invertida. Por ejemplo:
- Para buscar un guión bajo literal, utilice
\\_
. - Para buscar un signo de porcentaje literal, utilice
\\%
.
Así, si necesita buscar el texto "_version_"
, su consulta debe tener el formato 'like "\\_version\\_"'
para garantizar que los guiones bajos se tratan como parte del término de búsqueda y no como comodines.
Filtra los resultados cuyo color tenga el prefijo rojo:
# Search with filter
res = client.search(
collection_name="test_collection", # Replace with the actual name of your collection
data=[[0.3580376395471989, -0.6023495712049978, 0.18414012509913835, -0.26286205330961354, 0.9029438446296592]],
limit=5, # Max. number of search results to return
search_params={"metric_type": "IP", "params": {}}, # Search parameters
output_fields=["color"], # Output fields to return
filter='color like "red%"'
)
result = json.dumps(res, indent=4)
print(result)
// 8. Filtered search
query_vectors = Arrays.asList(Arrays.asList(0.3580376395471989f, -0.6023495712049978f, 0.18414012509913835f, -0.26286205330961354f, 0.9029438446296592f));
searchReq = SearchReq.builder()
.collectionName("quick_setup")
.data(query_vectors)
.outputFields(Arrays.asList("color_tag"))
.filter("color_tag like \"red%\"")
.topK(5)
.build();
searchResp = client.search(searchReq);
System.out.println(JSONObject.toJSON(searchResp));
// 8. Filtered search
// 8.1 Filter with "like" operator and prefix wildcard
query_vector = [0.3580376395471989, -0.6023495712049978, 0.18414012509913835, -0.26286205330961354, 0.9029438446296592]
res = await client.search({
collection_name: "quick_setup",
data: [query_vector],
limit: 5,
filters: "color_tag like \"red%\"",
output_fields: ["color_tag"]
})
console.log(res.results)
La salida es similar a la siguiente:
[
[
{
"id": 4,
"distance": 0.9902134537696838,
"entity": {
"color": "red_4794"
}
},
{
"id": 1,
"distance": 0.8519943356513977,
"entity": {
"color": "red_7025"
}
},
{
"id": 6,
"distance": -0.4113418459892273,
"entity": {
"color": "red_9392"
}
}
]
]
{"searchResults": [
[
{
"score": 1.1869997,
"fields": {"color_tag": "red_3026"}
},
{
"score": 1.1677284,
"fields": {"color_tag": "red_9030"}
},
{
"score": 1.1476475,
"fields": {"color_tag": "red_3744"}
},
{
"score": 1.0969629,
"fields": {"color_tag": "red_4168"}
},
{
"score": 1.0741848,
"fields": {"color_tag": "red_9678"}
}
]
]}
[
{ score: 2.5080761909484863, id: '1201', color_tag: 'red_8904' },
{ score: 2.491129159927368, id: '425', color_tag: 'purple_8212' },
{ score: 2.4889798164367676, id: '1458', color_tag: 'red_6891' },
{ score: 2.42964243888855, id: '724', color_tag: 'black_9885' },
{ score: 2.4004223346710205, id: '854', color_tag: 'black_5990' }
]
Filtra los resultados cuyo color contenga las letras ll en cualquier parte de la cadena:
# Infix match on color field
res = client.search(
collection_name="test_collection", # Replace with the actual name of your collection
data=[[0.3580376395471989, -0.6023495712049978, 0.18414012509913835, -0.26286205330961354, 0.9029438446296592]],
limit=5, # Max. number of search results to return
search_params={"metric_type": "IP", "params": {}}, # Search parameters
output_fields=["color"], # Output fields to return
filter='color like "%ll%"' # Filter on color field, infix match on "ll"
)
result = json.dumps(res, indent=4)
print(result)
// 8. Filtered search
query_vectors = Arrays.asList(Arrays.asList(0.3580376395471989f, -0.6023495712049978f, 0.18414012509913835f, -0.26286205330961354f, 0.9029438446296592f));
searchReq = SearchReq.builder()
.collectionName("quick_setup")
.data(query_vectors)
.outputFields(Arrays.asList("color_tag"))
.filter("color like \"%ll%\"")
.topK(5)
.build();
searchResp = client.search(searchReq);
System.out.println(JSONObject.toJSON(searchResp));
// 8. Filtered search
// 8.1 Filter with "like" operator and prefix wildcard
query_vector = [0.3580376395471989, -0.6023495712049978, 0.18414012509913835, -0.26286205330961354, 0.9029438446296592]
res = await client.search({
collection_name: "quick_setup",
data: [query_vector],
limit: 5,
filters: "color_tag like \"%ll%\"",
output_fields: ["color_tag"]
})
console.log(res.results)
La salida es similar a la siguiente:
[
[
{
"id": 5,
"distance": 0.7972343564033508,
"entity": {
"color": "yellow_4222"
}
}
]
]
{"searchResults": [
[
{
"score": 1.1869997,
"fields": {"color_tag": "yellow_4222"}
}
]
]}
[
{ score: 2.5080761909484863, id: '1201', color_tag: 'yellow_4222' }
]
Búsqueda por rango
La búsqueda por rango permite encontrar vectores que se encuentren dentro de un rango de distancia especificado con respecto al vector de consulta.
Si define radius
y, opcionalmente, range_filter
, puede ajustar la amplitud de su búsqueda para incluir vectores que sean algo similares al vector de consulta, lo que proporciona una visión más completa de las posibles coincidencias.
radius
: Define el límite exterior del espacio de búsqueda. Sólo los vectores que se encuentran a esta distancia del vector de consulta se consideran coincidencias potenciales.range_filter
: Mientras queradius
establece el límite exterior de la búsqueda,range_filter
puede utilizarse opcionalmente para definir un límite interior, creando un rango de distancias dentro del cual deben encontrarse los vectores para ser considerados coincidentes.
# Conduct a range search
search_params = {
"metric_type": "IP",
"params": {
"radius": 0.8, # Radius of the search circle
"range_filter": 1.0 # Range filter to filter out vectors that are not within the search circle
}
}
res = client.search(
collection_name="test_collection", # Replace with the actual name of your collection
data=[[0.3580376395471989, -0.6023495712049978, 0.18414012509913835, -0.26286205330961354, 0.9029438446296592]],
limit=3, # Max. number of search results to return
search_params=search_params, # Search parameters
output_fields=["color"], # Output fields to return
)
result = json.dumps(res, indent=4)
print(result)
// 9. Range search
query_vectors = Arrays.asList(Arrays.asList(0.3580376395471989f, -0.6023495712049978f, 0.18414012509913835f, -0.26286205330961354f, 0.9029438446296592f));
searchReq = SearchReq.builder()
.collectionName("quick_setup")
.data(query_vectors)
.outputFields(Arrays.asList("color_tag"))
.searchParams(Map.of("radius", 0.1, "range", 1.0))
.topK(5)
.build();
searchResp = client.search(searchReq);
System.out.println(JSONObject.toJSON(searchResp));
// 9. Range search
query_vector = [0.3580376395471989, -0.6023495712049978, 0.18414012509913835, -0.26286205330961354, 0.9029438446296592]
res = await client.search({
collection_name: "quick_setup",
data: [query_vector],
limit: 5,
params: {
radius: 0.1,
range: 1.0
},
output_fields: ["color_tag"]
})
console.log(res.results)
La salida es similar a la siguiente:
[
[
{
"id": 4,
"distance": 0.9902134537696838,
"entity": {
"color": "red_4794"
}
},
{
"id": 14,
"distance": 0.9803846478462219,
"entity": {
"color": "green_2899"
}
},
{
"id": 1,
"distance": 0.8519943356513977,
"entity": {
"color": "red_7025"
}
}
]
]
{"searchResults": [
[
{
"score": 1.263043,
"fields": {"color_tag": "green_2052"}
},
{
"score": 1.2377806,
"fields": {"color_tag": "purple_3709"}
},
{
"score": 1.1869997,
"fields": {"color_tag": "red_3026"}
},
{
"score": 1.1748955,
"fields": {"color_tag": "black_1646"}
},
{
"score": 1.1720343,
"fields": {"color_tag": "green_4853"}
}
]
]}
[
{ score: 2.3387961387634277, id: '718', color_tag: 'black_7154' },
{ score: 2.3352415561676025, id: '1745', color_tag: 'blue_8741' },
{ score: 2.290485382080078, id: '1408', color_tag: 'red_2324' },
{ score: 2.285870313644409, id: '854', color_tag: 'black_5990' },
{ score: 2.2593345642089844, id: '1309', color_tag: 'red_8458' }
]
Observará que todas las entidades devueltas tienen una distancia comprendida entre 0,8 y 1,0 respecto al vector de consulta.
Los ajustes de los parámetros radius
y range_filter
varían según el tipo de métrica utilizado.
Tipo de métrica | Características | Rango Ajustes de búsqueda |
---|---|---|
L2 | Las distancias L2 más pequeñas indican una mayor similitud. | Para excluir los vectores más cercanos de los resultados, asegúrese de que:range_filter <= distancia < radius |
IP | Las distancias IP mayores indican mayor similitud. | Para excluir los vectores más cercanos de los resultados, asegúrese de que:radius < distancia <= range_filter |
COSINE | Un mayor valor del coseno indica una mayor similitud. | Para excluir los vectores más cercanos de los resultados, asegúrese de que:radius < distancia <= range_filter |
JACCARD | Las distancias de Jaccard más pequeñas indican una mayor similitud. | Para excluir los vectores más cercanos de los resultados, asegúrese de que:range_filter <= distancia < radius |
HAMMING | Las distancias de Hamming más pequeñas indican una mayor similitud. | Para excluir los vectores más cercanos de los resultados, asegúrese de que:range_filter <= distancia < radius |
Para obtener más información sobre los tipos de métricas de distancia, consulte Métricas de similitud.
Búsqueda por agrupación
En Milvus, agrupar la búsqueda por un campo específico puede evitar la redundancia del mismo elemento de campo en los resultados. Puede obtener un conjunto variado de resultados para el campo específico.
Considere una colección de documentos, cada documento se divide en varios pasajes. Cada pasaje está representado por un vector incrustado y pertenece a un documento. Para encontrar documentos relevantes en lugar de pasajes similares, puede incluir el argumento group_by_field
en la opearción search()
para agrupar los resultados por el ID del documento. Esto ayuda a devolver los documentos más relevantes y únicos, en lugar de pasajes separados del mismo documento.
He aquí el código de ejemplo para agrupar los resultados de la búsqueda por campos:
# Connect to Milvus
client = MilvusClient(uri='http://localhost:19530') # Milvus server address
# Load data into collection
client.load_collection("group_search") # Collection name
# Group search results
res = client.search(
collection_name="group_search", # Collection name
data=[[0.14529211512077012, 0.9147257273453546, 0.7965055218724449, 0.7009258593102812, 0.5605206522382088]], # Query vector
search_params={
"metric_type": "L2",
"params": {"nprobe": 10},
}, # Search parameters
limit=10, # Max. number of search results to return
group_by_field="doc_id", # Group results by document ID
output_fields=["doc_id", "passage_id"]
)
# Retrieve the values in the `doc_id` column
doc_ids = [result['entity']['doc_id'] for result in res[0]]
print(doc_ids)
La salida es similar a la siguiente:
[5, 10, 1, 7, 9, 6, 3, 4, 8, 2]
En el resultado obtenido puede observarse que las entidades devueltas no contienen valores duplicados de doc_id
.
Para comparar, comentemos group_by_field
y realicemos una búsqueda normal:
# Connect to Milvus
client = MilvusClient(uri='http://localhost:19530') # Milvus server address
# Load data into collection
client.load_collection("group_search") # Collection name
# Search without `group_by_field`
res = client.search(
collection_name="group_search", # Collection name
data=query_passage_vector, # Replace with your query vector
search_params={
"metric_type": "L2",
"params": {"nprobe": 10},
}, # Search parameters
limit=10, # Max. number of search results to return
# group_by_field="doc_id", # Group results by document ID
output_fields=["doc_id", "passage_id"]
)
# Retrieve the values in the `doc_id` column
doc_ids = [result['entity']['doc_id'] for result in res[0]]
print(doc_ids)
La salida es similar a la siguiente:
[1, 10, 3, 10, 1, 9, 4, 4, 8, 6]
En la salida dada, puede observarse que las entidades devueltas contienen valores doc_id
duplicados.
Limitaciones
Indexación: Esta función de agrupación sólo funciona para colecciones indexadas con el tipo HNSW, IVF_FLAT o FLAT. Para más información, consulte Índice en memoria.
Vector: Actualmente, la búsqueda de agrupaciones no admite un campo vectorial de tipo BINARY_VECTOR. Para obtener más información sobre los tipos de datos, consulte Tipos de datos admitidos.
Campo: Actualmente, la búsqueda de agrupación sólo permite una única columna. No es posible especificar varios nombres de campo en la configuración de
group_by_field
. Además, la búsqueda de agrupación es incompatible con los tipos de datos JSON, FLOAT, DOUBLE, ARRAY o campos vectoriales.Impacto en el rendimiento: Tenga en cuenta que el rendimiento disminuye al aumentar el número de vectores de consulta. Utilizando como ejemplo un clúster con 2 núcleos de CPU y 8 GB de memoria, el tiempo de ejecución de la búsqueda de agrupación aumenta proporcionalmente con el número de vectores de consulta de entrada.
Funcionalidad: Actualmente, la búsqueda por agrupamiento no es compatible con la búsqueda por rango, los iteradores de búsqueda ni la búsqueda híbrida.
Parámetros de búsqueda
En las búsquedas anteriores, excepto en la búsqueda por rango, se aplican los parámetros de búsqueda por defecto. En casos normales, no es necesario establecer manualmente los parámetros de búsqueda.
# In normal cases, you do not need to set search parameters manually
# Except for range searches.
search_parameters = {
'metric_type': 'L2',
'params': {
'nprobe': 10,
'level': 1,
'radius': 1.0
'range_filter': 0.8
}
}
La siguiente tabla enumera todos los ajustes posibles en los parámetros de búsqueda.
Nombre del parámetro | Parámetro Descripción |
---|---|
metric_type | Forma de medir la similitud entre las incrustaciones vectoriales. Los valores posibles son IP , L2 , COSINE , JACCARD , y HAMMING , y el valor predeterminado es el del archivo de índice cargado. |
params.nprobe | Número de unidades a consultar durante la búsqueda. El valor se encuentra en el intervalo [1, nlist[1]]. |
params.level | Nivel de precisión de la búsqueda. Los valores posibles son 1 , 2 y 3 , y el valor predeterminado es 1 . Los valores más altos producen resultados más precisos pero un rendimiento más lento. |
params.radius | Define el límite exterior del espacio de búsqueda. Sólo los vectores que se encuentran a esta distancia del vector de consulta se consideran coincidencias potenciales. El intervalo de valores viene determinado por el parámetro metric_type . Por ejemplo, si metric_type se establece en L2 , el intervalo de valores válido es [0, ∞] . Si metric_type se establece en COSINE , el intervalo de valores válido es [-1, 1] . Para más información, consulte Métricas de similitud. |
params.range_filter | Mientras que radius establece el límite exterior de la búsqueda, range_filter puede utilizarse opcionalmente para definir un límite interior, creando un rango de distancias dentro del cual deben encontrarse los vectores para ser considerados coincidentes.El rango de valores viene determinado por el parámetro metric_type . Por ejemplo, si metric_type se establece en L2 , el rango de valores válido es [0, ∞] . Si metric_type se establece en COSINE , el rango de valores válido es [-1, 1] . Para más información, consulte Métricas de similitud. |
notas
[1] Número de unidades de clúster tras la indexación. Al indexar una colección, Milvus subdivide los datos vectoriales en múltiples unidades de cluster, cuyo número varía con la configuración real del índice.
[2] Número de entidades a devolver en una búsqueda.