Kleinbuchstaben
Der Filter lowercase
wandelt von einem Tokenizer erzeugte Begriffe in Kleinbuchstaben um, so dass bei der Suche die Groß-/Kleinschreibung keine Rolle spielt. Er kann zum Beispiel ["High", "Performance", "Vector", "Database"]
in ["high", "performance", "vector", "database"]
umwandeln.
Konfiguration
Der lowercase
Filter ist in Milvus integriert. Um ihn zu verwenden, geben Sie einfach seinen Namen im Abschnitt filter
unter analyzer_params
an.
analyzer_params = {
"tokenizer": "standard",
"filter": ["lowercase"],
}
Der Filter lowercase
arbeitet mit den vom Tokenizer erzeugten Begriffen, muss also in Kombination mit einem Tokenizer verwendet werden.
Nachdem Sie analyzer_params
definiert haben, können Sie sie bei der Definition eines Sammelschemas auf ein VARCHAR
Feld anwenden. Dadurch kann Milvus den Text in diesem Feld unter Verwendung des angegebenen Analysators für eine effiziente Tokenisierung und Filterung verarbeiten. Einzelheiten finden Sie unter Beispielanwendung.
Beispiel-Ausgabe
Hier ist ein Beispiel dafür, wie der lowercase
Filter Text verarbeitet.
Ursprünglicher Text.
"The Lowercase Filter Ensures Uniformity In Text Processing."
Erwartete Ausgabe.
["the", "lowercase", "filter", "ensures", "uniformity", "in", "text", "processing"]