공백

whitespace 토큰화 도구는 단어 사이에 공백이 있을 때마다 텍스트를 용어로 나눕니다.

구성

whitespace 토큰화기를 사용하여 분석기를 구성하려면 analyzer_params 에서 tokenizer 을 whitespace 로 설정하세요.

analyzer_params = {
    "tokenizer": "whitespace",
}

공백 토큰화 도구는 하나 이상의 필터와 함께 사용할 수 있습니다. 예를 들어, 다음 코드는 whitespace 토큰화기를 사용하는 분석기와 lowercase filter:

analyzer_params = {
    "tokenizer": "whitespace",
    "filter": ["lowercase"]
}

analyzer_params 를 정의한 후 컬렉션 스키마를 정의할 때 VARCHAR 필드에 적용할 수 있습니다. 이렇게 하면 Milvus가 지정된 분석기를 사용하여 해당 필드의 텍스트를 처리하여 효율적인 토큰화 및 필터링을 수행할 수 있습니다. 자세한 내용은 사용 예시를 참조하세요.

예제 출력

다음은 whitespace 토큰화기가 텍스트를 처리하는 방법의 예시입니다.

원본 텍스트.

"The Milvus vector database is built for scale!"

예상 출력.

["The", "Milvus", "vector", "database", "is", "built", "for", "scale!"]