空格

只要单词之间有空格，whitespace 标记符号器就会将文本划分为术语。

配置

要配置使用whitespace 标记符号器的分析器，请在analyzer_params 中将tokenizer 设置为whitespace 。

analyzer_params = {
    "tokenizer": "whitespace",
}

空白标记符可以与一个或多个过滤器结合使用。例如，以下代码定义了一个使用whitespace 标记符和 lowercase filter:

analyzer_params = {
    "tokenizer": "whitespace",
    "filter": ["lowercase"]
}

定义analyzer_params 后，可以在定义 Collections Schema 时将它们应用到VARCHAR 字段。这样，Milvus 就可以使用指定的分析器对该字段中的文本进行处理，从而实现高效的标记化和过滤。有关详情，请参阅示例使用。

输出示例

下面是whitespace 标记化器处理文本的示例。

原始文本。

"The Milvus vector database is built for scale!"

预期输出。

["The", "Milvus", "vector", "database", "is", "built", "for", "scale!"]