Десятичная цифраCompatible with Milvus 3.0.0+
Фильтр « decimaldigit » — это встроенный фильтр токенов, который преобразует десятичные цифры в формате Unicode из поддерживаемых алфавитов в цифры в формате ASCII. Это обеспечивает единообразие числовых токенов во всех языках и системах письма.
Настройка
Для арабского текста встроенный arabic анализатор уже содержит фильтр « decimaldigit ». Используйте « decimaldigit » напрямую, если вам требуется нормализация цифр в конвейере пользовательского анализатора.
Чтобы использовать фильтр « decimaldigit » в пользовательском анализаторе, добавьте его в раздел « filter » в файле « analyzer_params »:
analyzer_params = {
"tokenizer": "standard",
"filter": ["decimaldigit"],
}
Фильтр « decimaldigit » не имеет настраиваемых параметров.
Фильтр преобразует десятичные цифры Unicode, включая арабско-индийские, тайские, деванагари, бенгальские и полноширинные цифры, в цифры ASCII. Он работает с токенами, сгенерированными токенизатором. Приведенная выше конфигурация является примером пользовательского анализатора и не включает полный конвейер обработки арабского языка.
Примеры
Прежде чем применять конфигурацию анализатора к схеме вашей коллекции, проверьте его поведение с помощью метода ` run_analyzer `.
Конфигурация анализатора
analyzer_params = {
"tokenizer": "standard",
"filter": ["decimaldigit"],
}
Проверка с помощью run_analyzer
from pymilvus import MilvusClient
client = MilvusClient(uri="http://localhost:19530")
sample_text = "Arabic ١٢٣ Thai ๑๒๓ Devanagari १२३ Fullwidth １２３"
result = client.run_analyzer(sample_text, analyzer_params)
print(result)
Ожидаемый результат
['Arabic', '123', 'Thai', '123', 'Devanagari', '123', 'Fullwidth', '123']
