Stemmer
El filtro stemmer reduce las palabras a su forma base o raíz (lo que se conoce como stemming), lo que facilita la búsqueda de palabras con significados similares en distintas inflexiones. El filtro stemmer es compatible con varios idiomas, lo que permite realizar búsquedas e indexaciones eficaces en diversos contextos lingüísticos.
Configuración
El filtro stemmer es un filtro personalizado de Milvus. Para utilizarlo, especifique "type": "stemmer" en la configuración del filtro, junto con un parámetro language para seleccionar el idioma deseado para el stemming.
analyzer_params = {
"tokenizer": "standard",
"filter":[{
"type": "stemmer", # Specifies the filter type as stemmer
"language": "english", # Sets the language for stemming to English
}],
}
El filtro stemmer acepta los siguientes parámetros configurables.
Parámetro | Descripción |
|---|---|
| Especifica el idioma para el proceso de stemming. Los idiomas admitidos son: |
El filtro stemmer opera sobre los términos generados por el tokenizador, por lo que debe utilizarse en combinación con un tokenizador.
Después de definir analyzer_params, puede aplicarlos a un campo VARCHAR al definir un esquema de colección. Esto permite a Milvus procesar el texto de ese campo utilizando el analizador especificado para una tokenización y filtrado eficientes. Para más detalles, consulte Ejemplo de uso.
Ejemplo de salida
A continuación se muestra un ejemplo de cómo procesa el texto el filtro stemmer.
Texto original.
"running runs looked ran runner"
Salida esperada (con language: "english").
["run", "run", "look", "ran", "runner"]
