길이

length 필터는 지정된 길이 요건을 충족하지 않는 토큰을 제거하여 텍스트 처리 중에 유지되는 토큰의 길이를 제어할 수 있도록 합니다.

구성

length 필터는 Milvus의 사용자 지정 필터로, 필터 구성에서 "type": "length" 을 설정하여 지정합니다. analyzer_params 내에서 사전으로 구성하여 길이 제한을 정의할 수 있습니다.

analyzer_params = {
    "tokenizer": "standard",
    "filter":[{
        "type": "length", # Specifies the filter type as length
        "max": 10, # Sets the maximum token length to 10 characters
    }],
}

length 필터는 다음과 같은 구성 가능한 매개변수를 허용합니다.

length 필터는 토큰 생성기에 의해 생성된 용어에 대해 작동하므로 토큰 생성기와 함께 사용해야 합니다.

analyzer_params 을 정의한 후 컬렉션 스키마를 정의할 때 VARCHAR 필드에 적용할 수 있습니다. 이렇게 하면 Milvus가 지정된 분석기를 사용하여 해당 필드의 텍스트를 처리하여 효율적인 토큰화 및 필터링을 수행할 수 있습니다. 자세한 내용은 사용 예시를 참조하세요.

예제 출력

다음은 length 필터가 텍스트를 처리하는 방법의 예입니다.

예제 텍스트.

"The length filter allows control over token length requirements for text processing."

예상 출력 ( max: 10 포함).

["length", "filter", "allows", "control", "over", "token", "length", "for", "text"]