空白
whitespace
トークナイザーは、単語と単語の間にスペースがある場合、テキストを単語に分割します。
構成
whitespace
トークン化器を使用する解析器を設定するには、analyzer_params
でtokenizer
をwhitespace
に設定します。
analyzer_params = {
"tokenizer": "whitespace",
}
空白トークナイザは、1 つ以上のフィルタと組み合わせて使用できます。たとえば、次のコードでは、whitespace
トークナイザーと lowercase filter
:
analyzer_params = {
"tokenizer": "whitespace",
"filter": ["lowercase"]
}
analyzer_params
を定義した後、コレクション・スキーマを定義するときに、VARCHAR
フィールドに適用できます。これにより、Milvusは指定されたアナライザを使用してそのフィールドのテキストを処理し、効率的なトークン化とフィルタリングを行うことができます。詳細については、使用例を参照してください。
出力例
whitespace
トークン化器がテキストをどのように処理するかの例を示します。
元のテキスト。
"The Milvus vector database is built for scale!"
期待される出力
["The", "Milvus", "vector", "database", "is", "built", "for", "scale!"]