milvus-logo
LFAI
Home
  • Benutzerhandbuch

Wortstammfilter

Der Filter stemmer reduziert Wörter auf ihre Grund- oder Wurzelform (bekannt als Stemming), wodurch es einfacher wird, Wörter mit ähnlicher Bedeutung in verschiedenen Beugungsformen zu finden. Der Filter stemmer unterstützt mehrere Sprachen und ermöglicht so eine effektive Suche und Indizierung in verschiedenen sprachlichen Kontexten.

Konfiguration

Der stemmer Filter ist ein benutzerdefinierter Filter in Milvus. Um ihn zu verwenden, geben Sie "type": "stemmer" in der Filterkonfiguration an, zusammen mit einem language Parameter, um die gewünschte Sprache für das Stemming auszuwählen.

analyzer_params = {
    "tokenizer": "standard",
    "filter":[{
        "type": "stemmer", # Specifies the filter type as stemmer
        "language": "english", # Sets the language for stemming to English
    }],
}

Der Filter stemmer akzeptiert die folgenden konfigurierbaren Parameter.

Parameter

Beschreibung

language

Gibt die Sprache für den Stemming-Prozess an. Unterstützte Sprachen sind: "arabic", "danish", "dutch", "english", "finnish", "french", "german", "greek", "hungarian", "italian", "norwegian", "portuguese", "romanian", "russian", "spanish", "swedish", "tamil", "turkish"

Der Filter stemmer arbeitet mit den vom Tokenizer erzeugten Begriffen, muss also in Kombination mit einem Tokenizer verwendet werden.

Nachdem Sie analyzer_params definiert haben, können Sie sie bei der Definition eines Sammelschemas auf ein VARCHAR Feld anwenden. Dadurch kann Milvus den Text in diesem Feld unter Verwendung des angegebenen Analysators für eine effiziente Tokenisierung und Filterung verarbeiten. Einzelheiten finden Sie unter Beispielanwendung.

Beispiel-Ausgabe

Hier ist ein Beispiel dafür, wie der stemmer Filter Text verarbeitet.

Ursprünglicher Text.

"running runs looked ran runner"

Erwartete Ausgabe (mit language: "english").

["run", "run", "look", "ran", "runner"]

Übersetzt vonDeepL

Try Managed Milvus for Free

Zilliz Cloud is hassle-free, powered by Milvus and 10x faster.

Get Started
Feedback

War diese Seite hilfreich?