milvus-logo
LFAI
Home
  • Guide de l'utilisateur

Alphanumonly

Le filtre alphanumonly supprime les termes qui contiennent des caractères non ASCII, en ne conservant que les termes alphanumériques. Ce filtre est utile pour traiter des textes ne contenant que des lettres et des chiffres de base, à l'exclusion de tout caractère ou symbole spécial.

Configuration

Le filtre alphanumonly est intégré à Milvus. Pour l'utiliser, il suffit de spécifier son nom dans la section filter de analyzer_params.

analyzer_params = {
    "tokenizer": "standard",
    "filter": ["alphanumonly"],
}

Le filtre alphanumonly fonctionne sur les termes générés par le tokenizer, il doit donc être utilisé en combinaison avec un tokenizer.

Après avoir défini analyzer_params, vous pouvez les appliquer à un champ VARCHAR lors de la définition d'un schéma de collecte. Cela permet à Milvus de traiter le texte de ce champ à l'aide de l'analyseur spécifié pour une tokenisation et un filtrage efficaces. Pour plus de détails, voir Exemple d'utilisation.

Exemple de sortie

Voici un exemple de traitement du texte par le filtre alphanumonly.

Texte original.

"Milvus 2.0 @ Scale! #AI #Vector_Databasé"

Résultat attendu.

["Milvus", "2", "0", "Scale", "AI", "Vector"]

Traduit parDeepLogo

Try Managed Milvus for Free

Zilliz Cloud is hassle-free, powered by Milvus and 10x faster.

Get Started
Feedback

Cette page a-t - elle été utile ?