ICUCompatible with Milvus 2.5.11+

Tokenizer icu dibangun di atas proyek sumber terbuka Internationalization Components of Unicode (ICU), yang menyediakan alat utama untuk internasionalisasi perangkat lunak. Dengan menggunakan algoritme pemisah kata ICU, tokenizer ini dapat secara akurat memecah teks menjadi kata-kata di sebagian besar bahasa di dunia.

Konfigurasi

Untuk mengonfigurasi penganalisis menggunakan icu tokenizer, setel tokenizer ke icu di analyzer_params.

analyzer_params = {
    "tokenizer": "icu",
}

Map<String, Object> analyzerParams = new HashMap<>();
analyzerParams.put("tokenizer", "icu");

// node

analyzerParams = map[string]any{"tokenizer": "icu"}

# curl

Tokenizer icu dapat bekerja bersama dengan satu atau beberapa filter. Sebagai contoh, kode berikut ini mendefinisikan penganalisis yang menggunakan tokenizer icu dan filter hapus punct:

analyzer_params = {
    "tokenizer": "icu",
    "filter": ["removepunct"]
}

Map<String, Object> analyzerParams = new HashMap<>();
analyzerParams.put("tokenizer", "icu");
analyzerParams.put("filter", Collections.singletonList("removepunct"));

// node

analyzerParams = map[string]any{"tokenizer": "icu", "filter": []string{"removepunct"}}

# curl

Setelah mendefinisikan analyzer_params, Anda dapat menerapkannya ke bidang VARCHAR ketika mendefinisikan skema koleksi. Hal ini memungkinkan Milvus untuk memproses teks di dalam bidang tersebut menggunakan penganalisis yang ditentukan untuk tokenisasi dan pemfilteran yang efisien. Untuk detailnya, lihat Contoh penggunaan.

Contoh

Sebelum menerapkan konfigurasi penganalisis ke skema koleksi Anda, verifikasi perilakunya menggunakan metode run_analyzer.

Konfigurasi penganalisis

analyzer_params = {
    "tokenizer": "icu",
}

Map<String, Object> analyzerParams = new HashMap<>();
analyzerParams.put("tokenizer", "icu");

// node

analyzerParams = map[string]any{"tokenizer": "icu"}

# curl

Verifikasi menggunakan run_analyzer

from pymilvus import (
    MilvusClient,
)

client = MilvusClient(uri="http://localhost:19530")

# Sample text to analyze
sample_text = "Привет! Как дела?"

# Run the standard analyzer with the defined configuration
result = client.run_analyzer(sample_text, analyzer_params)
print("Standard analyzer output:", result)

import io.milvus.v2.client.ConnectConfig;
import io.milvus.v2.client.MilvusClientV2;
import io.milvus.v2.service.vector.request.RunAnalyzerReq;
import io.milvus.v2.service.vector.response.RunAnalyzerResp;

ConnectConfig config = ConnectConfig.builder()
        .uri("http://localhost:19530")
        .build();
MilvusClientV2 client = new MilvusClientV2(config);

List<String> texts = new ArrayList<>();
texts.add("Привет! Как дела?");

RunAnalyzerResp resp = client.runAnalyzer(RunAnalyzerReq.builder()
        .texts(texts)
        .analyzerParams(analyzerParams)
        .build());
List<RunAnalyzerResp.AnalyzerResult> results = resp.getResults();

// javascript

import (
    "context"
    "encoding/json"
    "fmt"

    "github.com/milvus-io/milvus/client/v2/milvusclient"
)

client, err := milvusclient.New(ctx, &milvusclient.ClientConfig{
    Address: "localhost:19530",
    APIKey:  "root:Milvus",
})
if err != nil {
    fmt.Println(err.Error())
    // handle error
}

bs, _ := json.Marshal(analyzerParams)
texts := []string{"Привет! Как дела?"}
option := milvusclient.NewRunAnalyzerOption(texts).
    WithAnalyzerParams(string(bs))

result, err := client.RunAnalyzer(ctx, option)
if err != nil {
    fmt.Println(err.Error())
    // handle error
}

# restful

Keluaran yang diharapkan

['Привет', '!', ' ', 'Как', ' ', 'дела', '?']