Minuscules

Le filtre lowercase convertit les termes générés par un tokenizer en minuscules, ce qui rend les recherches insensibles à la casse. Par exemple, il peut convertir ["High", "Performance", "Vector", "Database"] en ["high", "performance", "vector", "database"].

Configuration

Le filtre lowercase est intégré à Milvus. Pour l'utiliser, il suffit de spécifier son nom dans la section filter de analyzer_params.

analyzer_params = {
    "tokenizer": "standard",
    "filter": ["lowercase"],
}

Le filtre lowercase fonctionne sur les termes générés par le tokenizer, il doit donc être utilisé en combinaison avec un tokenizer.

Après avoir défini analyzer_params, vous pouvez les appliquer à un champ VARCHAR lors de la définition d'un schéma de collecte. Cela permet à Milvus de traiter le texte de ce champ à l'aide de l'analyseur spécifié pour une tokenisation et un filtrage efficaces. Pour plus de détails, voir Exemple d'utilisation.

Exemple de sortie

Voici un exemple de traitement du texte par le filtre lowercase.

Texte original.

"The Lowercase Filter Ensures Uniformity In Text Processing."

Résultat attendu.

["the", "lowercase", "filter", "ensures", "uniformity", "in", "text", "processing"]