الأرقام العشريةCompatible with Milvus 3.0.0+
يُعد مرشح " decimaldigit " مرشحًا مدمجًا للرموز، يعمل على تحويل الأرقام العشرية المكتوبة برموز Unicode من الأنظمة الكتابية المدعومة إلى أرقام ASCII. وهذا يضمن اتساق الرموز الرقمية عبر اللغات وأنظمة الكتابة المختلفة.
التكوين
بالنسبة للنص العربي، يتضمن محلل arabic مرشح « decimaldigit » بالفعل. استخدم « decimaldigit » مباشرةً عندما تحتاج إلى توحيد الأرقام في مسار محلل مخصص.
لاستخدام مرشح « decimaldigit » في محلل مخصص، أضفه إلى قسم « filter » في « analyzer_params »:
analyzer_params = {
"tokenizer": "standard",
"filter": ["decimaldigit"],
}
لا يحتوي مرشح « decimaldigit » على معلمات قابلة للتكوين.
يقوم المرشح بتحويل الأرقام العشرية في Unicode، بما في ذلك الأرقام العربية-الهندية، والتايلاندية، والديفاناغارية، والبنغالية، والأرقام ذات العرض الكامل، إلى أرقام ASCII. ويعمل على الرموز التي يولدها أداة تحليل الرموز. التكوين أعلاه هو مثال متعمد لمحلل مخصص ولا يتضمن مسار المعالجة الكامل للغة العربية.
أمثلة
قبل تطبيق تكوين المحلل على مخطط المجموعة الخاص بك، تحقق من سلوكه باستخدام طريقة run_analyzer.
تكوين المحلل
analyzer_params = {
"tokenizer": "standard",
"filter": ["decimaldigit"],
}
التحقق باستخدام run_analyzer
from pymilvus import MilvusClient
client = MilvusClient(uri="http://localhost:19530")
sample_text = "Arabic ١٢٣ Thai ๑๒๓ Devanagari १२३ Fullwidth １２３"
result = client.run_analyzer(sample_text, analyzer_params)
print(result)
الناتج المتوقع
['Arabic', '123', 'Thai', '123', 'Devanagari', '123', 'Fullwidth', '123']
