Angka DesimalCompatible with Milvus 3.0.0+

Filter ` decimaldigit ` adalah filter token bawaan yang mengubah digit desimal Unicode dari skrip yang didukung menjadi digit ASCII. Hal ini memastikan konsistensi token numerik di seluruh bahasa dan sistem penulisan.

Konfigurasi

Untuk menggunakan filter " decimaldigit " dalam penganalisis kustom, tambahkan filter tersebut ke bagian " filter " di analyzer_params:

analyzer_params = {
    "tokenizer": "standard",
    "filter": ["decimaldigit"],
}

Filter ` decimaldigit ` tidak memiliki parameter yang dapat dikonfigurasi.

Filter ini mengubah digit desimal Unicode, termasuk digit Arab-India, Thailand, Devanagari, Bengali, dan digit lebar penuh, menjadi digit ASCII. Filter ini beroperasi pada token yang dihasilkan oleh tokenizer. Konfigurasi di atas sengaja dibuat sebagai contoh penganalisis khusus dan tidak mencakup pipa pemrosesan bahasa Arab secara lengkap.

Contoh

Sebelum menerapkan konfigurasi penganalisis ke skema koleksi Anda, verifikasi perilakunya menggunakan metode ` run_analyzer `.

Konfigurasi penganalisis

analyzer_params = {
    "tokenizer": "standard",
    "filter": ["decimaldigit"],
}

Verifikasi menggunakan run_analyzer

from pymilvus import MilvusClient

client = MilvusClient(uri="http://localhost:19530")

sample_text = "Arabic ١٢٣ Thai ๑๒๓ Devanagari १२३ Fullwidth １２３"

result = client.run_analyzer(sample_text, analyzer_params)
print(result)

Hasil yang diharapkan

['Arabic', '123', 'Thai', '123', 'Devanagari', '123', 'Fullwidth', '123']