Minúsculas
El filtro lowercase
convierte los términos generados por un tokenizador a minúsculas, con lo que las búsquedas no distinguen entre mayúsculas y minúsculas. Por ejemplo, puede convertir ["High", "Performance", "Vector", "Database"]
en ["high", "performance", "vector", "database"]
.
Configuración
El filtro lowercase
está integrado en Milvus. Para utilizarlo, basta con especificar su nombre en la sección filter
dentro de analyzer_params
.
analyzer_params = {
"tokenizer": "standard",
"filter": ["lowercase"],
}
El filtro lowercase
funciona con los términos generados por el tokenizador, por lo que debe utilizarse en combinación con un tokenizador.
Después de definir analyzer_params
, puede aplicarlos a un campo VARCHAR
al definir un esquema de colección. Esto permite a Milvus procesar el texto de ese campo utilizando el analizador especificado para una tokenización y filtrado eficientes. Para más detalles, consulte Ejemplo de uso.
Ejemplo de salida
A continuación se muestra un ejemplo de cómo procesa el texto el filtro lowercase
.
Texto original.
"The Lowercase Filter Ensures Uniformity In Text Processing."
Salida esperada.
["the", "lowercase", "filter", "ensures", "uniformity", "in", "text", "processing"]