합성어 분해기

decompounder 필터는 지정된 사전을 기반으로 복합어를 개별 구성 요소로 분할하여 복합어의 일부를 더 쉽게 검색할 수 있도록 해줍니다. 이 필터는 독일어와 같이 복합어를 자주 사용하는 언어에 특히 유용합니다.

구성

decompounder 필터는 Milvus의 사용자 지정 필터입니다. 이 필터를 사용하려면 필터 구성에 "type": "decompounder" 을 지정하고 인식할 단어 구성 요소의 사전을 제공하는 word_list 매개 변수를 지정하세요.

analyzer_params = {
    "tokenizer": "standard",
    "filter":[{
        "type": "decompounder", # Specifies the filter type as decompounder
        "word_list": ["dampf", "schiff", "fahrt", "brot", "backen", "automat"],
    }],
}

decompounder 필터는 다음과 같은 구성 가능한 매개변수를 허용합니다.

decompounder 필터는 토큰화기에 의해 생성된 용어에 대해 작동하므로 토큰화기와 함께 사용해야 합니다.

analyzer_params 을 정의한 후 컬렉션 스키마를 정의할 때 VARCHAR 필드에 적용할 수 있습니다. 이렇게 하면 Milvus가 지정된 분석기를 사용하여 해당 필드의 텍스트를 처리하여 효율적인 토큰화 및 필터링을 수행할 수 있습니다. 자세한 내용은 사용 예시를 참조하세요.

예제 출력

다음은 decompounder 필터가 텍스트를 처리하는 방법의 예입니다.

원본 텍스트.

"dampfschifffahrt brotbackautomat"

예상 출력 ( word_list: ["dampf", "schiff", "fahrt", "brot", "backen", "automat"] 포함).

["dampf", "schiff", "fahrt", "brotbackautomat"]