空白

whitespace トークナイザーは、単語と単語の間にスペースがある場合、テキストを単語に分割します。

構成

whitespace トークン化器を使用する解析器を設定するには、analyzer_params でtokenizer をwhitespace に設定します。

analyzer_params = {
    "tokenizer": "whitespace",
}

空白トークナイザは、1 つ以上のフィルタと組み合わせて使用できます。たとえば、次のコードでは、whitespace トークナイザーと lowercase filter:

analyzer_params = {
    "tokenizer": "whitespace",
    "filter": ["lowercase"]
}

analyzer_params を定義した後、コレクション・スキーマを定義するときに、VARCHAR フィールドに適用できます。これにより、Milvusは指定されたアナライザを使用してそのフィールドのテキストを処理し、効率的なトークン化とフィルタリングを行うことができます。詳細については、使用例を参照してください。

出力例

whitespace トークン化器がテキストをどのように処理するかの例を示します。

元のテキスト。

"The Milvus vector database is built for scale!"

期待される出力

["The", "Milvus", "vector", "database", "is", "built", "for", "scale!"]