ASCII 접기

asciifolding** ** 필터는 기본 라틴 유니코드 블록 (처음 127개의 ASCII 문자) 외부의 문자를 해당 문자에 해당하는 ASCII 문자로 변환합니다. 예를 들어 í 같은 문자를 i 으로 변환하여 특히 다국어 콘텐츠의 텍스트 처리를 더 간단하고 일관성 있게 만듭니다.

구성

asciifolding 필터는 Milvus에 내장되어 있습니다. 사용하려면 analyzer_params 내의 filter 섹션에서 이름을 지정하기만 하면 됩니다.

analyzer_params = {
    "tokenizer": "standard",
    "filter": ["asciifolding"],
}

asciifolding 필터는 토큰화 도구에서 생성된 용어에 대해 작동하므로 토큰화 도구와 함께 사용해야 합니다.

analyzer_params 을 정의한 후 컬렉션 스키마를 정의할 때 VARCHAR 필드에 적용할 수 있습니다. 이렇게 하면 Milvus가 지정된 분석기를 사용하여 해당 필드의 텍스트를 처리하여 효율적인 토큰화 및 필터링을 수행할 수 있습니다. 자세한 내용은 사용 예시를 참조하세요.

예제 출력

다음은 asciifolding 필터가 텍스트를 처리하는 방법의 예입니다.

원본 텍스트.

"Café Möller serves crème brûlée and piñatas."

예상 출력

["Cafe", "Moller", "serves", "creme", "brulee", "and", "pinatas"]