십진수 자릿수Compatible with Milvus 3.0.0+

decimaldigit 필터는 지원되는 문자 체계의 유니코드 십진수 자릿수를 ASCII 자릿수로 변환하는 내장 토큰 필터입니다. 이를 통해 다양한 언어와 문자 체계에 걸쳐 숫자 토큰의 일관성을 유지할 수 있습니다.

구성

사용자 정의 분석기에서 ` decimaldigit ` 필터를 사용하려면 ` analyzer_params` 파일의 ` filter ` 섹션에 다음을 추가하십시오:

analyzer_params = {
    "tokenizer": "standard",
    "filter": ["decimaldigit"],
}

decimaldigit 필터에는 구성 가능한 매개변수가 없습니다.

이 필터는 아랍-인도 문자, 태국어, 데바나가리, 벵골어 및 전각 숫자를 포함한 유니코드 십진수 숫자를 ASCII 숫자로 변환합니다. 이 필터는 토큰화기가 생성한 토큰을 대상으로 작동합니다. 위의 구성은 의도적으로 사용자 정의 분석기의 예시이며, 완전한 아랍어 처리 파이프라인을 포함하지 않습니다.

예시

분석기 구성을 컬렉션 스키마에 적용하기 전에, ` run_analyzer ` 메서드를 사용하여 동작을 확인하십시오.

분석기 구성

analyzer_params = {
    "tokenizer": "standard",
    "filter": ["decimaldigit"],
}

다음 메서드를 사용한 검증 run_analyzer

from pymilvus import MilvusClient

client = MilvusClient(uri="http://localhost:19530")

sample_text = "Arabic ١٢٣ Thai ๑๒๓ Devanagari १२३ Fullwidth １２３"

result = client.run_analyzer(sample_text, analyzer_params)
print(result)

예상 출력

['Arabic', '123', 'Thai', '123', 'Devanagari', '123', 'Fullwidth', '123']