ICUCompatible with Milvus 2.5.11+

Токенайзер icu построен на базе проекта с открытым исходным кодом Internationalization Components of Unicode (ICU), который предоставляет ключевые инструменты для интернационализации программного обеспечения. Используя алгоритм разбиения слов ICU, токенизатор может точно разделять текст на слова на большинстве языков мира.

Конфигурация

Чтобы сконфигурировать анализатор, использующий токенизатор icu, установите tokenizer на icu в analyzer_params.

analyzer_params = {
    "tokenizer": "icu",
}

Map<String, Object> analyzerParams = new HashMap<>();
analyzerParams.put("tokenizer", "icu");

// node

analyzerParams = map[string]any{"tokenizer": "icu"}

# curl

Токенайзер icu может работать в сочетании с одним или несколькими фильтрами. Например, следующий код определяет анализатор, который использует токенизатор icu и фильтр remove punct:

analyzer_params = {
    "tokenizer": "icu",
    "filter": ["removepunct"]
}

Map<String, Object> analyzerParams = new HashMap<>();
analyzerParams.put("tokenizer", "icu");
analyzerParams.put("filter", Collections.singletonList("removepunct"));

// node

analyzerParams = map[string]any{"tokenizer": "icu", "filter": []string{"removepunct"}}

# curl

Определив analyzer_params, вы можете применить их к полю VARCHAR при определении схемы коллекции. Это позволит Milvus обрабатывать текст в этом поле с помощью указанного анализатора для эффективной токенизации и фильтрации. Подробнее см. в разделе Примеры использования.

Примеры

Прежде чем применять конфигурацию анализатора к схеме коллекции, проверьте его работу с помощью метода run_analyzer.

Конфигурация анализатора

analyzer_params = {
    "tokenizer": "icu",
}

Map<String, Object> analyzerParams = new HashMap<>();
analyzerParams.put("tokenizer", "icu");

// node

analyzerParams = map[string]any{"tokenizer": "icu"}

# curl

Проверка с помощью run_analyzer

from pymilvus import (
    MilvusClient,
)

client = MilvusClient(uri="http://localhost:19530")

# Sample text to analyze
sample_text = "Привет! Как дела?"

# Run the standard analyzer with the defined configuration
result = client.run_analyzer(sample_text, analyzer_params)
print("Standard analyzer output:", result)

import io.milvus.v2.client.ConnectConfig;
import io.milvus.v2.client.MilvusClientV2;
import io.milvus.v2.service.vector.request.RunAnalyzerReq;
import io.milvus.v2.service.vector.response.RunAnalyzerResp;

ConnectConfig config = ConnectConfig.builder()
        .uri("http://localhost:19530")
        .build();
MilvusClientV2 client = new MilvusClientV2(config);

List<String> texts = new ArrayList<>();
texts.add("Привет! Как дела?");

RunAnalyzerResp resp = client.runAnalyzer(RunAnalyzerReq.builder()
        .texts(texts)
        .analyzerParams(analyzerParams)
        .build());
List<RunAnalyzerResp.AnalyzerResult> results = resp.getResults();

// javascript

import (
    "context"
    "encoding/json"
    "fmt"

    "github.com/milvus-io/milvus/client/v2/milvusclient"
)

client, err := milvusclient.New(ctx, &milvusclient.ClientConfig{
    Address: "localhost:19530",
    APIKey:  "root:Milvus",
})
if err != nil {
    fmt.Println(err.Error())
    // handle error
}

bs, _ := json.Marshal(analyzerParams)
texts := []string{"Привет! Как дела?"}
option := milvusclient.NewRunAnalyzerOption(texts).
    WithAnalyzerParams(string(bs))

result, err := client.RunAnalyzer(ctx, option)
if err != nil {
    fmt.Println(err.Error())
    // handle error
}

# restful

Ожидаемый результат

['Привет', '!', ' ', 'Как', ' ', 'дела', '?']