Dígito decimalCompatible with Milvus 3.0.0+
O filtro « decimaldigit » é um filtro de tokens integrado que converte dígitos decimais Unicode de sistemas de escrita suportados em dígitos ASCII. Isto garante a consistência dos tokens numéricos entre diferentes línguas e sistemas de escrita.
Configuração
Para texto em árabe, o analisador integrado arabic já inclui o filtro « decimaldigit ». Utilize « decimaldigit » diretamente quando necessitar de normalização de dígitos num pipeline de analisadores personalizados.
Para utilizar o filtro « decimaldigit » num analisador personalizado, adicione-o à secção « filter » em « analyzer_params »:
analyzer_params = {
"tokenizer": "standard",
"filter": ["decimaldigit"],
}
O filtro « decimaldigit » não tem parâmetros configuráveis.
O filtro converte dígitos decimais Unicode, incluindo dígitos árabes-indianos, tailandeses, devanágari, bengalis e de largura total, em dígitos ASCII. Funciona sobre tokens gerados pelo tokenizador. A configuração acima é, intencionalmente, um exemplo de analisador personalizado e não inclui o pipeline completo de processamento árabe.
Exemplos
Antes de aplicar a configuração do analisador ao esquema da sua coleção, verifique o seu comportamento utilizando o método ` run_analyzer `.
Configuração do analisador
analyzer_params = {
"tokenizer": "standard",
"filter": ["decimaldigit"],
}
Verificação utilizando run_analyzer
from pymilvus import MilvusClient
client = MilvusClient(uri="http://localhost:19530")
sample_text = "Arabic ١٢٣ Thai ๑๒๓ Devanagari १२३ Fullwidth １２３"
result = client.run_analyzer(sample_text, analyzer_params)
print(result)
Saída esperada
['Arabic', '123', 'Thai', '123', 'Devanagari', '123', 'Fullwidth', '123']
