طي ASCII

يحول المرشح asciifolding** ** الأحرف خارج كتلة يونيكود اللاتينية الأساسية (أول 127 حرف ASCII) إلى معادلاتها من ASCII. على سبيل المثال، يقوم بتحويل أحرف مثل í إلى i ، مما يجعل معالجة النص أبسط وأكثر اتساقًا، خاصة للمحتوى متعدد اللغات.

التكوين

تم تضمين عامل التصفية asciifolding في ميلفوس. لاستخدامه، ما عليك سوى تحديد اسمه في القسم filter داخل analyzer_params.

analyzer_params = {
    "tokenizer": "standard",
    "filter": ["asciifolding"],
}

يعمل مرشح asciifolding على المصطلحات التي تم إنشاؤها بواسطة أداة الترميز، لذلك يجب استخدامه مع أداة الترميز.

بعد تحديد analyzer_params ، يمكنك تطبيقها على حقل VARCHAR عند تحديد مخطط المجموعة. يسمح ذلك لميلفوس بمعالجة النص في ذلك الحقل باستخدام المحلل المحدد من أجل الترميز والتصفية الفعالة. لمزيد من التفاصيل، راجع مثال الاستخدام.

مثال على الإخراج

فيما يلي مثال على كيفية معالجة عامل التصفية asciifolding للنص.

النص الأصلي.

"Café Möller serves crème brûlée and piñatas."

الإخراج المتوقع.

["Cafe", "Moller", "serves", "creme", "brulee", "and", "pinatas"]