Jieba

jieba 토큰화 도구는 중국어 텍스트를 구성 단어로 분해하여 처리합니다.

구성

jieba 토큰화기를 사용하여 분석기를 구성하려면 analyzer_params 에서 tokenizer 을 jieba 로 설정하세요.

analyzer_params = {
    "tokenizer": "jieba",
}

analyzer_params 을 정의한 후 컬렉션 스키마를 정의할 때 VARCHAR 필드에 적용할 수 있습니다. 이렇게 하면 Milvus가 효율적인 토큰화 및 필터링을 위해 지정된 분석기를 사용하여 해당 필드의 텍스트를 처리할 수 있습니다. 자세한 내용은 사용 예시를 참조하세요.

예제 출력

다음은 jieba 토큰화기가 텍스트를 처리하는 방법의 예시입니다.

원본 텍스트.

"Milvus 是一个高性能、可扩展的向量数据库！"

예상 출력.

["Milvus", " ", "是", "一个", "高性", "性能", "高性能", "、", "可", "扩展", "的", "向量", "数据", "据库", "数据库", "！"]