Jieba
Der jieba
Tokenizer verarbeitet chinesischen Text, indem er ihn in seine einzelnen Wörter zerlegt.
Konfiguration
Um einen Analyzer zu konfigurieren, der den jieba
Tokenizer verwendet, setzen Sie tokenizer
auf jieba
in analyzer_params
.
analyzer_params = {
"tokenizer": "jieba",
}
Nachdem Sie analyzer_params
definiert haben, können Sie sie bei der Definition eines Sammelschemas auf ein VARCHAR
Feld anwenden. Dadurch kann Milvus den Text in diesem Feld unter Verwendung des angegebenen Analyzers für eine effiziente Tokenisierung und Filterung verarbeiten. Einzelheiten finden Sie unter Beispielanwendung.
Beispiel-Ausgabe
Hier ist ein Beispiel dafür, wie der jieba
Tokenizer Text verarbeitet.
Ursprünglicher Text.
"Milvus 是一个高性能、可扩展的向量数据库!"
Erwartete Ausgabe.
["Milvus", " ", "是", "一个", "高性", "性能", "高性能", "、", "可", "扩展", "的", "向量", "数据", "据库", "数据库", "!"]