표준
Milvus의 standard 토큰화 도구는 공백과 문장 부호를 기준으로 텍스트를 분할하므로 대부분의 언어에 적합합니다.
구성
standard 토큰화기를 사용하여 분석기를 구성하려면 analyzer_params 에서 tokenizer 을 standard 로 설정하세요.
analyzer_params = {
"tokenizer": "standard",
}
standard 토큰화 도구는 하나 이상의 필터와 함께 사용할 수 있습니다. 예를 들어, 다음 코드는 standard 토큰화 도구와 lowercase 필터를 사용하는 분석기를 정의합니다.
analyzer_params = {
"tokenizer": "standard",
"filter": ["lowercase"]
}
보다 간단한 설정을 위해 다음과 같이 standard analyzer토큰라이저와 standard 토큰라이저를 결합하는 lowercase filter.
analyzer_params 를 정의한 후 컬렉션 스키마를 정의할 때 VARCHAR 필드에 적용할 수 있습니다. 이렇게 하면 Milvus가 효율적인 토큰화 및 필터링을 위해 지정된 분석기를 사용하여 해당 필드의 텍스트를 처리할 수 있습니다. 자세한 내용은 사용 예시를 참조하세요.
예제 출력
다음은 standard 토큰화기가 텍스트를 처리하는 방법의 예시입니다.
원본 텍스트.
"The Milvus vector database is built for scale!"
예상 출력.
["The", "Milvus", "vector", "database", "is", "built", "for", "scale"]
