어간

stemmer 필터는 단어를 기본 또는 어근 형태(어간이라고 함)로 축소하여 다양한 변형에서 비슷한 의미를 가진 단어를 쉽게 찾을 수 있도록 해줍니다. stemmer 필터는 여러 언어를 지원하므로 다양한 언어적 맥락에서 효과적으로 검색하고 색인을 생성할 수 있습니다.

구성

stemmer 필터는 Milvus의 사용자 정의 필터입니다. 이 필터를 사용하려면 필터 구성에서 "type": "stemmer" 을 language 매개변수와 함께 지정하여 원하는 어간 언어를 선택합니다.

analyzer_params = {
    "tokenizer": "standard",
    "filter":[{
        "type": "stemmer", # Specifies the filter type as stemmer
        "language": "english", # Sets the language for stemming to English
    }],
}

stemmer 필터는 다음과 같은 구성 가능한 매개 변수를 허용합니다.

stemmer 필터는 토큰 생성기에 의해 생성된 용어에 대해 작동하므로 토큰 생성기와 함께 사용해야 합니다.

analyzer_params 을 정의한 후 컬렉션 스키마를 정의할 때 VARCHAR 필드에 적용할 수 있습니다. 이렇게 하면 Milvus가 지정된 분석기를 사용하여 해당 필드의 텍스트를 처리하여 효율적인 토큰화 및 필터링을 수행할 수 있습니다. 자세한 내용은 사용 예시를 참조하세요.

예제 출력

다음은 stemmer 필터가 텍스트를 처리하는 방법의 예입니다.

원본 텍스트.

"running runs looked ran runner"

예상 출력 ( language: "english" 포함).

["run", "run", "look", "ran", "runner"]