Cifra decimaleCompatible with Milvus 3.0.0+
Il filtro decimaldigit è un filtro token integrato che converte le cifre decimali Unicode provenienti dagli script supportati in cifre ASCII. Ciò garantisce la coerenza dei token numerici tra le diverse lingue e i diversi sistemi di scrittura.
Configurazione
Per il testo in arabo, l'analizzatore integrato arabic include già il filtro " decimaldigit ". Utilizzare direttamente " decimaldigit " quando è necessaria la normalizzazione delle cifre in una pipeline di analizzatori personalizzata.
Per utilizzare il filtro " decimaldigit " in un analizzatore personalizzato, aggiungerlo alla sezione " filter " in analyzer_params:
analyzer_params = {
"tokenizer": "standard",
"filter": ["decimaldigit"],
}
Il filtro " decimaldigit " non presenta parametri configurabili.
Il filtro converte le cifre decimali Unicode, comprese quelle arabo-indiane, thailandesi, devanagari, bengalesi e a larghezza intera, in cifre ASCII. Opera sui token generati dal tokenizer. La configurazione sopra riportata è volutamente un esempio di analizzatore personalizzato e non include la pipeline completa di elaborazione araba.
Esempi
Prima di applicare la configurazione dell’analizzatore allo schema della propria raccolta, verificarne il comportamento utilizzando il metodo ` run_analyzer `.
Configurazione dell’analizzatore
analyzer_params = {
"tokenizer": "standard",
"filter": ["decimaldigit"],
}
Verifica tramite run_analyzer
from pymilvus import MilvusClient
client = MilvusClient(uri="http://localhost:19530")
sample_text = "Arabic ١٢٣ Thai ๑๒๓ Devanagari १२३ Fullwidth １２３"
result = client.run_analyzer(sample_text, analyzer_params)
print(result)
Output previsto
['Arabic', '123', 'Thai', '123', 'Devanagari', '123', 'Fullwidth', '123']
