🚀 جرب Zilliz Cloud، الـ Milvus المدارة بالكامل، مجاناً — تجربة أداء أسرع بـ 10 أضعاف! جرب الآن>>

milvus-logo
LFAI
الصفحة الرئيسية
  • دليل المستخدم
  • Home
  • Docs
  • دليل المستخدم

  • المخطط وحقول البيانات

  • المحلل

  • التوكنات

  • وايت سبيس

المسافات البيضاء

يقوم أداة الترميز whitespace بتقسيم النص إلى مصطلحات كلما كانت هناك مسافة بين الكلمات.

التكوين

لتكوين محلل باستخدام أداة ترميز whitespace ، قم بتعيين tokenizer إلى whitespace في analyzer_params.

analyzer_params = {
    "tokenizer": "whitespace",
}

يمكن لأداة ترميز المسافات البيضاء أن تعمل بالاقتران مع واحد أو أكثر من عوامل التصفية. على سبيل المثال، يُعرّف الرمز التالي محللاً يستخدم أداة الترميز whitespace و lowercase filter:

analyzer_params = {
    "tokenizer": "whitespace",
    "filter": ["lowercase"]
}

بعد تعريف analyzer_params ، يمكنك تطبيقها على حقل VARCHAR عند تعريف مخطط المجموعة. يسمح هذا لميلفوس بمعالجة النص في هذا الحقل باستخدام المحلل المحدد من أجل الترميز والتصفية الفعالة. لمزيد من التفاصيل، راجع مثال الاستخدام.

مثال على الإخراج

فيما يلي مثال على كيفية معالجة أداة الترميز whitespace للنص.

النص الأصلي.

"The Milvus vector database is built for scale!"

الإخراج المتوقع.

["The", "Milvus", "vector", "database", "is", "built", "for", "scale!"]

جرب Managed Milvus مجاناً

Zilliz Cloud خالي من المتاعب، ويعمل بواسطة Milvus ويعمل بسرعة 10 أضعاف.

ابدأ
التعليقات

هل كانت هذه الصفحة مفيدة؟