Plegado ASCII

El filtro asciifolding** ** convierte los caracteres que quedan fuera del bloque Unicode latino básico (los 127 primeros caracteres ASCII) en sus equivalentes ASCII. Por ejemplo, transforma caracteres como í en i, lo que simplifica y hace más coherente el tratamiento de textos, especialmente para contenidos multilingües.

Configuración

El filtro asciifolding está integrado en Milvus. Para utilizarlo, basta con especificar su nombre en la sección filter dentro de analyzer_params.

analyzer_params = {
    "tokenizer": "standard",
    "filter": ["asciifolding"],
}

El filtro asciifolding funciona con los términos generados por el tokenizador, por lo que debe utilizarse en combinación con un tokenizador.

Después de definir analyzer_params, puede aplicarlos a un campo VARCHAR al definir un esquema de colección. Esto permite a Milvus procesar el texto de ese campo utilizando el analizador especificado para una tokenización y filtrado eficientes. Para más detalles, consulte Ejemplo de uso.

Ejemplo de salida

A continuación se muestra un ejemplo de cómo procesa el texto el filtro asciifolding.

Texto original.

"Café Möller serves crème brûlée and piñatas."

Salida esperada.

["Cafe", "Moller", "serves", "creme", "brulee", "and", "pinatas"]