Alphanumonly

Le filtre alphanumonly supprime les termes qui contiennent des caractères non ASCII, en ne conservant que les termes alphanumériques. Ce filtre est utile pour traiter des textes ne contenant que des lettres et des chiffres de base, à l'exclusion de tout caractère ou symbole spécial.

Configuration

Le filtre alphanumonly est intégré à Milvus. Pour l'utiliser, il suffit de spécifier son nom dans la section filter de analyzer_params.

analyzer_params = {
    "tokenizer": "standard",
    "filter": ["alphanumonly"],
}

Le filtre alphanumonly fonctionne sur les termes générés par le tokenizer, il doit donc être utilisé en combinaison avec un tokenizer.

Après avoir défini analyzer_params, vous pouvez les appliquer à un champ VARCHAR lors de la définition d'un schéma de collecte. Cela permet à Milvus de traiter le texte de ce champ à l'aide de l'analyseur spécifié pour une tokenisation et un filtrage efficaces. Pour plus de détails, voir Exemple d'utilisation.

Exemple de sortie

Voici un exemple de traitement du texte par le filtre alphanumonly.

Texte original.

"Milvus 2.0 @ Scale! #AI #Vector_Databasé"

Résultat attendu.

["Milvus", "2", "0", "Scale", "AI", "Vector"]