Dígito decimalCompatible with Milvus 3.0.0+
El filtro « decimaldigit » es un filtro de tokens integrado que convierte los dígitos decimales Unicode de los alfabetos compatibles en dígitos ASCII. Esto garantiza la coherencia de los tokens numéricos en todos los idiomas y sistemas de escritura.
Configuración
Para el texto en árabe, el analizador integrado arabic ya incluye el filtro « decimaldigit ». Utiliza « decimaldigit » directamente cuando necesites normalizar los dígitos en una cadena de análisis personalizada.
Para utilizar el filtro « decimaldigit » en un analizador personalizado, añádelo a la sección « filter » en analyzer_params:
analyzer_params = {
"tokenizer": "standard",
"filter": ["decimaldigit"],
}
El filtro « decimaldigit » no tiene parámetros configurables.
El filtro convierte los dígitos decimales Unicode —incluidos los dígitos arábigo-indios, tailandeses, devanagari, bengalíes y de ancho completo— a dígitos ASCII. Actúa sobre los tokens generados por el tokenizador. La configuración anterior es, intencionadamente, un ejemplo de analizador personalizado y no incluye el proceso completo de procesamiento del árabe.
Ejemplos
Antes de aplicar la configuración del analizador al esquema de su colección, compruebe su comportamiento utilizando el método ` run_analyzer `.
Configuración del analizador
analyzer_params = {
"tokenizer": "standard",
"filter": ["decimaldigit"],
}
Verificación mediante run_analyzer
from pymilvus import MilvusClient
client = MilvusClient(uri="http://localhost:19530")
sample_text = "Arabic ١٢٣ Thai ๑๒๓ Devanagari १२३ Fullwidth １２３"
result = client.run_analyzer(sample_text, analyzer_params)
print(result)
Salida esperada
['Arabic', '123', 'Thai', '123', 'Devanagari', '123', 'Fullwidth', '123']
