Поле JSON
JSON (JavaScript Object Notation) - это легкий формат обмена данными, который обеспечивает гибкий способ хранения и запроса сложных структур данных. В Milvus вы можете хранить дополнительную структурированную информацию наряду с векторными данными с помощью полей JSON, что позволяет выполнять расширенный поиск и запросы, сочетающие сходство векторов и структурированную фильтрацию.
Поля JSON идеально подходят для приложений, которым требуются метаданные для оптимизации результатов поиска. Например, в электронной коммерции векторы товаров могут быть дополнены такими атрибутами, как категория, цена и бренд. В рекомендательных системах векторы пользователей могут быть объединены с предпочтениями и демографической информацией. Ниже приведен пример типичного поля JSON.
{
"category": "electronics",
"price": 99.99,
"brand": "BrandA"
}
Добавить JSON-поле
Чтобы использовать JSON-поля в Milvus, определите соответствующий тип поля в схеме коллекции, установив datatype
на поддерживаемый тип JSON, т. е. JSON
.
Вот как определить схему коллекции, включающую поле JSON.
from pymilvus import MilvusClient, DataType
client = MilvusClient(uri="http://localhost:19530")
schema = client.create_schema(
auto_id=False,
enable_dynamic_fields=True,
)
schema.add_field(field_name="metadata", datatype=DataType.JSON)
schema.add_field(field_name="pk", datatype=DataType.INT64, is_primary=True)
schema.add_field(field_name="embedding", datatype=DataType.FLOAT_VECTOR, dim=3)
import io.milvus.v2.client.ConnectConfig;
import io.milvus.v2.client.MilvusClientV2;
import io.milvus.v2.common.DataType;
import io.milvus.v2.service.collection.request.AddFieldReq;
import io.milvus.v2.service.collection.request.CreateCollectionReq;
MilvusClientV2 client = new MilvusClientV2(ConnectConfig.builder()
.uri("http://localhost:19530")
.build());
CreateCollectionReq.CollectionSchema schema = client.createSchema();
schema.setEnableDynamicField(true);
schema.addField(AddFieldReq.builder()
.fieldName("metadata")
.dataType(DataType.JSON)
.build());
schema.addField(AddFieldReq.builder()
.fieldName("pk")
.dataType(DataType.Int64)
.isPrimaryKey(true)
.build());
schema.addField(AddFieldReq.builder()
.fieldName("embedding")
.dataType(DataType.FloatVector)
.dimension(3)
.build());
import { MilvusClient, DataType } from "@zilliz/milvus2-sdk-node";
const schema = [
{
name: "metadata",
data_type: DataType.JSON,
},
{
name: "pk",
data_type: DataType.Int64,
is_primary_key: true,
},
{
name: "embedding",
data_type: DataType.FloatVector,
dim: 3,
},
];
export jsonField='{
"fieldName": "metadata",
"dataType": "JSON"
}'
export pkField='{
"fieldName": "pk",
"dataType": "Int64",
"isPrimary": true
}'
export vectorField='{
"fieldName": "embedding",
"dataType": "FloatVector",
"elementTypeParams": {
"dim": 3
}
}'
export schema="{
\"autoID\": false,
\"fields\": [
$jsonField,
$pkField,
$vectorField
]
}"
В этом примере мы добавляем поле JSON под названием metadata
для хранения дополнительных метаданных, связанных с векторными данными, таких как категория товара, цена и информация о бренде.
Первичное поле и векторное поле являются обязательными при создании коллекции. Основное поле уникально идентифицирует каждую сущность, а векторное поле необходимо для поиска по сходству. Дополнительные сведения см. в разделах Первичное поле и автоидентификатор, Плотный вектор, Двоичный вектор или Разреженный вектор.
Создание коллекции
При создании коллекции необходимо создать индекс для векторного поля, чтобы обеспечить производительность поиска. В этом примере мы используем AUTOINDEX
, чтобы упростить настройку индекса. Дополнительные сведения см. в разделе АВТОИНДЕКС.
index_params = client.prepare_index_params()
index_params.add_index(
field_name="embedding",
index_type="AUTOINDEX",
metric_type="COSINE"
)
import io.milvus.v2.common.IndexParam;
import java.util.*;
List<IndexParam> indexes = new ArrayList<>();
indexes.add(IndexParam.builder()
.fieldName("embedding")
.indexType(IndexParam.IndexType.AUTOINDEX)
.metricType(IndexParam.MetricType.COSINE)
.build());
const indexParams = {
index_name: 'embedding_index',
field_name: 'embedding',
metricType: MetricType.CONSINE,
index_type: IndexType.AUTOINDEX,
);
export indexParams='[
{
"fieldName": "embedding",
"metricType": "COSINE",
"indexType": "AUTOINDEX"
}
]'
Используйте заданную схему и параметры индекса для создания коллекции.
client.create_collection(
collection_name="my_json_collection",
schema=schema,
index_params=index_params
)
CreateCollectionReq requestCreate = CreateCollectionReq.builder()
.collectionName("my_json_collection")
.collectionSchema(schema)
.indexParams(indexes)
.build();
client.createCollection(requestCreate);
client.create_collection({
collection_name: "my_json_collection",
schema: schema,
index_params: indexParams
})
curl --request POST \
--url "${CLUSTER_ENDPOINT}/v2/vectordb/collections/create" \
--header "Authorization: Bearer ${TOKEN}" \
--header "Content-Type: application/json" \
-d "{
\"collectionName\": \"my_json_collection\",
\"schema\": $schema,
\"indexParams\": $indexParams
}"
Вставка данных
После создания коллекции вы можете вставить данные, включающие поля JSON.
# Data to be inserted
data = [
{
"metadata": {"category": "electronics", "price": 99.99, "brand": "BrandA"},
"pk": 1,
"embedding": [0.12, 0.34, 0.56]
},
{
"metadata": {"category": "home_appliances", "price": 249.99, "brand": "BrandB"},
"pk": 2,
"embedding": [0.56, 0.78, 0.90]
},
{
"metadata": {"category": "furniture", "price": 399.99, "brand": "BrandC"},
"pk": 3,
"embedding": [0.91, 0.18, 0.23]
}
]
# Insert data into the collection
client.insert(
collection_name="your_collection_name",
data=data
)
import com.google.gson.Gson;
import com.google.gson.JsonObject;
import io.milvus.v2.service.vector.request.InsertReq;
import io.milvus.v2.service.vector.response.InsertResp;
List<JsonObject> rows = new ArrayList<>();
Gson gson = new Gson();
rows.add(gson.fromJson("{\"metadata\": {\"category\": \"electronics\", \"price\": 99.99, \"brand\": \"BrandA\"}, \"pk\": 1, \"embedding\": [0.1, 0.2, 0.3]}", JsonObject.class));
rows.add(gson.fromJson("{\"metadata\": {\"category\": \"home_appliances\", \"price\": 249.99, \"brand\": \"BrandB\"}, \"pk\": 2, \"embedding\": [0.4, 0.5, 0.6]}", JsonObject.class));
rows.add(gson.fromJson("{\"metadata\": {\"category\": \"furniture\", \"price\": 399.99, \"brand\": \"BrandC\"}, \"pk\": 3, \"embedding\": [0.7, 0.8, 0.9]}", JsonObject.class));
InsertResp insertR = client.insert(InsertReq.builder()
.collectionName("my_json_collection")
.data(rows)
.build());
const data = [
{
"metadata": {"category": "electronics", "price": 99.99, "brand": "BrandA"},
"pk": 1,
"embedding": [0.12, 0.34, 0.56]
},
{
"metadata": {"category": "home_appliances", "price": 249.99, "brand": "BrandB"},
"pk": 2,
"embedding": [0.56, 0.78, 0.90]
},
{
"metadata": {"category": "furniture", "price": 399.99, "brand": "BrandC"},
"pk": 3,
"embedding": [0.91, 0.18, 0.23]
}
]
client.insert({
collection_name: "my_json_collection",
data: data
});
curl --request POST \
--url "${CLUSTER_ENDPOINT}/v2/vectordb/entities/insert" \
--header "Authorization: Bearer ${TOKEN}" \
--header "Content-Type: application/json" \
-d '{
"data": [
{
"metadata": {"category": "electronics", "price": 99.99, "brand": "BrandA"},
"pk": 1,
"embedding": [0.12, 0.34, 0.56]
},
{
"metadata": {"category": "home_appliances", "price": 249.99, "brand": "BrandB"},
"pk": 2,
"embedding": [0.56, 0.78, 0.90]
},
{
"metadata": {"category": "furniture", "price": 399.99, "brand": "BrandC"},
"pk": 3,
"embedding": [0.91, 0.18, 0.23]
}
],
"collectionName": "my_json_collection"
}'
В этом примере.
Каждая запись данных включает первичное поле (
pk
),metadata
в виде JSON-поля для хранения такой информации, как категория товара, цена и бренд.embedding
это 3-мерное векторное поле, используемое для поиска векторного сходства.
Поиск и запрос
JSON-поля позволяют скалярную фильтрацию при поиске, что расширяет возможности векторного поиска в Milvus. Вы можете делать запросы на основе свойств JSON, а также на основе векторного сходства.
Фильтр запросов
Вы можете фильтровать данные на основе свойств JSON, например, искать определенные значения или проверять, попадает ли число в определенный диапазон.
filter = 'metadata["category"] == "electronics" and metadata["price"] < 150'
res = client.query(
collection_name="my_json_collection",
filter=filter,
output_fields=["metadata"]
)
print(res)
# Output
# data: ["{'metadata': {'category': 'electronics', 'price': 99.99, 'brand': 'BrandA'}, 'pk': 1}"]
import io.milvus.v2.service.vector.request.QueryReq;
import io.milvus.v2.service.vector.response.QueryResp;
String filter = "metadata[\"category\"] == \"electronics\" and metadata[\"price\"] < 150";
QueryResp resp = client.query(QueryReq.builder()
.collectionName("my_json_collection")
.filter(filter)
.outputFields(Collections.singletonList("metadata"))
.build());
System.out.println(resp.getQueryResults());
// Output
//
// [QueryResp.QueryResult(entity={metadata={"category":"electronics","price":99.99,"brand":"BrandA"}, pk=1})]
client.query({
collection_name: 'my_scalar_collection',
filter: 'metadata["category"] == "electronics" and metadata["price"] < 150',
output_fields: ['metadata']
});
curl --request POST \
--url "${CLUSTER_ENDPOINT}/v2/vectordb/entities/query" \
--header "Authorization: Bearer ${TOKEN}" \
--header "Content-Type: application/json" \
-d '{
"collectionName": "my_json_collection",
"filter": "metadata[\"category\"] == \"electronics\" and metadata[\"price\"] < 150",
"outputFields": ["metadata"]
}'
{"code":0,"cost":0,"data":[{"metadata":"{\"category\": \"electronics\", \"price\": 99.99, \"brand\": \"BrandA\"}","pk":1}]}
В приведенном выше запросе Milvus отфильтровывает сущности, в которых поле metadata
имеет категорию "electronics"
и цену ниже 150, возвращая сущности, соответствующие этим критериям.
Векторный поиск с фильтрацией JSON
Комбинируя векторное сходство с фильтрацией JSON, вы можете гарантировать, что полученные данные не только соответствуют семантике, но и отвечают конкретным бизнес-условиям, делая результаты поиска более точными и соответствующими потребностям пользователей.
filter = 'metadata["brand"] == "BrandA"'
res = client.search(
collection_name="my_json_collection",
data=[[0.3, -0.6, 0.1]],
limit=5,
search_params={"params": {"nprobe": 10}},
output_fields=["metadata"],
filter=filter
)
print(res)
# Output
# data: ["[{'id': 1, 'distance': -0.2479381263256073, 'entity': {'metadata': {'category': 'electronics', 'price': 99.99, 'brand': 'BrandA'}}}]"]
import io.milvus.v2.service.vector.request.SearchReq;
import io.milvus.v2.service.vector.response.SearchResp;
String filter = "metadata[\"brand\"] == \"BrandA\"";
SearchResp resp = client.search(SearchReq.builder()
.collectionName("my_json_collection")
.annsField("embedding")
.data(Collections.singletonList(new FloatVec(new float[]{0.3f, -0.6f, 0.1f})))
.topK(5)
.outputFields(Collections.singletonList("metadata"))
.filter(filter)
.build());
System.out.println(resp.getSearchResults());
// Output
//
// [[SearchResp.SearchResult(entity={metadata={"category":"electronics","price":99.99,"brand":"BrandA"}}, score=-0.2364331, id=1)]]
client.search({
collection_name: 'my_json_collection',
data: [0.3, -0.6, 0.1],
limit: 5,
output_fields: ['metadata'],
filter: 'metadata["category"] == "electronics" and metadata["price"] < 150',
});
curl --request POST \
--url "${CLUSTER_ENDPOINT}/v2/vectordb/entities/search" \
--header "Authorization: Bearer ${TOKEN}" \
--header "Content-Type: application/json" \
-d '{
"collectionName": "my_json_collection",
"data": [
[0.3, -0.6, 0.1]
],
"annsField": "embedding",
"limit": 5,
"searchParams":{
"params":{"nprobe":10}
},
"outputFields": ["metadata"],
"filter": "metadata[\"brand\"] == \"BrandA\""
}'
## {"code":0,"cost":0,"data":[{"distance":-0.24793813,"id":1,"metadata":"{\"category\": \"electronics\", \"price\": 99.99, \"brand\": \"BrandA\"}"}]}
В этом примере Milvus возвращает 5 сущностей, наиболее похожих на вектор запроса, с полем metadata
, содержащим бренд "BrandA"
.
Кроме того, Milvus поддерживает расширенные операторы фильтрации JSON, такие как JSON_CONTAINS
, JSON_CONTAINS_ALL
, и JSON_CONTAINS_ANY
, которые могут еще больше расширить возможности запроса. Более подробную информацию см. в разделе Фильтрация метаданных.
Ограничения
Ограничения индексирования: Из-за сложности структур данных индексирование полей JSON не поддерживается.
Сопоставление типов данных: если ключевое значение поля JSON является целым числом или плавающей точкой, его можно сравнивать только с другим целым числом или плавающей точкой, а также с полями
INT32/64
илиFLOAT32/64
. Если значение ключа является строкой (VARCHAR
), его можно сравнивать только с другим строковым ключом.Ограничения на именование: При именовании JSON-ключей рекомендуется использовать только буквы, цифры и символы подчеркивания, так как другие символы могут вызвать проблемы при фильтрации или поиске.
Работа со строковыми значениями: Для строковых значений (
VARCHAR
) Milvus хранит строки полей JSON как есть, без семантического преобразования. Например:'a"b'
,"a'b"
,'a\\'b'
и"a\\"b"
сохраняются в том виде, в котором они были введены; однако'a'b'
и"a"b"
считаются недействительными.Работа с вложенными словарями: Любые вложенные словари в значениях полей JSON рассматриваются как строки.
Ограничение размера поля JSON: размер полей JSON ограничен 65 536 байтами.