إزالة علامات الترقيمCompatible with Milvus 2.5.11+

يقوم عامل التصفية removepunct بإزالة علامات الترقيم والمسافات وفواصل الأسطر التي تحتفظ بها عادةً بعض أدوات الترميز - مثل jieba و lindera و icu. استخدمه عندما تريد دفق رموز أنظف يحتوي فقط على رموز نصية ذات معنى، خالية من الفواصل والنقاط وعلامات الترقيم الأخرى.

التكوين

عامل التصفية removepunct مدمج في ميلفوس. لاستخدامه، ما عليك سوى تحديد اسمه في القسم filter داخل analyzer_params.

{
    "tokenizer": "jieba",
    "filter": ["removepunct"]
}

// java

// node

// go

# restful

يعمل عامل التصفية removepunct على المصطلحات التي تم إنشاؤها بواسطة أداة الترميز، لذلك يجب استخدامه مع أداة الترميز.

بعد تحديد analyzer_params ، يمكنك تطبيقها على حقل VARCHAR عند تحديد مخطط المجموعة. يسمح ذلك لميلفوس بمعالجة النص في ذلك الحقل باستخدام المحلل المحدد من أجل الترميز والتصفية الفعالة. للحصول على التفاصيل، راجع أمثلة الاستخدام.

أمثلة

قبل تطبيق تكوين المحلل على مخطط المجموعة الخاص بك، تحقق من سلوكه باستخدام الأسلوب run_analyzer.

تكوين المحلّل

{
    "tokenizer": "icu",
    "filter": ["removepunct"]
}

// java

// node

// go

# restful

التحقق باستخدام run_analyzer

# Sample text to analyze
sample_text = "Привет! Как дела?"

# Run the standard analyzer with the defined configuration
result = MilvusClient.run_analyzer(sample_text, analyzer_params)
print(result)

// java

// javascript

// go

# restful

المخرجات المتوقعة

['Привет', 'Как', 'дела']