مقاييس التشابه

في ميلفوس، تُستخدم مقاييس التشابه لقياس أوجه التشابه بين المتجهات. يساعد اختيار مقياس مسافة جيد في تحسين أداء التصنيف والتجميع بشكل كبير.

يوضح الجدول التالي كيفية ملاءمة مقاييس التشابه المستخدمة على نطاق واسع مع مختلف أشكال البيانات المدخلة وفهارس ملفوس. يدعم Milvus حاليًا أنواعًا مختلفة من البيانات، بما في ذلك تضمينات النقطة العائمة (المعروفة غالبًا باسم متجهات النقطة العائمة أو المتجهات الكثيفة)، والتضمينات الثنائية (المعروفة أيضًا باسم المتجهات الثنائية)، والتضمينات المتفرقة (المعروفة أيضًا باسم المتجهات المتفرقة).

الأنواع المترية أنواع الفهرس
  • المسافة الإقليدية (L2)
  • الضرب الداخلي (IP)
  • تشابه جيب التمام (COSINE)
  • مسطح
  • IVF_FLAT
  • IVF_SQ8
  • IVF_PQ
  • GPU_IVF_FLAT
  • GPU_IVF_PQ
  • HNSW
  • DISKANN
أنواع المقاييس أنواع الفهرس
  • جاكارد
  • هامينغ
  • BIN_FLAT
  • BIN_IVF_FLAT
الأنواع المترية أنواع الفهرس
IP
  • الفهرس_المتفرق_المقلوب_الفهرس
  • SPARSE_WAND

المسافة الإقليدية (L2)

بشكل أساسي، تقيس المسافة الإقليدية طول القطعة التي تربط بين نقطتين.

معادلة المسافة الإقليدية هي كما يلي:

euclidean المسافة الإقليدية

حيث a = (a0،a1،...،...،an-1) و b = (b0،b0،...، bn-1) نقطتان في الفضاء الإقليديدي ن

إنه مقياس المسافة الأكثر استخدامًا وهو مفيد جدًا عندما تكون البيانات متصلة.

يحسب ميلفوس القيمة فقط قبل تطبيق الجذر التربيعي عند اختيار المسافة الإقليدية كمقياس للمسافة.

الضرب الداخلي (IP)

تُعرَّف المسافة IP بين تضمينينين متجهين على النحو التالي:

ip IP

يكون IP أكثر فائدة إذا كنت بحاجة إلى مقارنة بيانات غير طبيعية أو عندما تهتم بالمقدار والزاوية.

إذا قمت بتطبيق مقياس المسافة IP على التضمينات المطبعة، فستكون النتيجة مكافئة لحساب تشابه جيب التمام بين التضمينات.

لنفترض أن X' تم تطبيعه من التضمين X:

normalize تطبيع

يكون الارتباط بين التضمينين على النحو التالي:

normalization التطبيع

تشابه جيب التمام

يستخدم تشابه جيب التمام جيب تمام الزاوية بين مجموعتين من المتجهات لقياس مدى تشابههما. يمكنك التفكير في مجموعتي المتجهات على أنهما قطعتان مستقيمتان تبدآن من نقطة الأصل نفسها ([0،0،...]) ولكنهما تشيران في اتجاهين مختلفين.

لحساب التشابه في جيب التمام بين مجموعتين من المتجهات A = (a0،a1،...،an-1) وB = (b0،b1،...، bn-1)، استخدم الصيغة التالية:

cosine_similarity تشابه_جيب_التمام

يكون تشابه جيب التمام دائمًا في الفترة [-1, 1]. على سبيل المثال، يكون التشابه بين متجهين متناسبين بجيب التمام يساوي ويكون التشابه بين متجهين متعامدين متعامدين يساوي ويكون التشابه بين متجهين متعاكسين يساوي -1. كلما كان جيب التمام أكبر، كانت الزاوية بين المتجهين أصغر، مما يشير إلى أن هذين المتجهين أكثر تشابهًا مع بعضهما البعض.

بطرح جيب التمام من 1، يمكنك الحصول على مسافة جيب التمام بين متجهين.

مسافة جاكارد

يقيس معامل جاكارد للتشابه التشابه بين مجموعتين من العينات، ويُعرَّف بأنه مقدار التشابه بين مجموعتين محددتين مقسومًا على مقدار التشابه بين مجموعتين محددتين. لا يمكن تطبيقه إلا على مجموعات العينات المحدودة.

Jaccard similarity coefficient معامل تشابه جاكارد

تقيس مسافة جاكارد التباين بين مجموعات البيانات ويتم الحصول عليها بطرح معامل تشابه جاكارد من 1. بالنسبة للمتغيرات الثنائية، تعادل مسافة جاكارد معامل تانيموتو.

Jaccard distance مسافة جاكارد

مسافة هامينج

تقيس مسافة هامينج سلاسل البيانات الثنائية. المسافة بين سلسلتين متساويتين في الطول هي عدد مواضع البتات التي تختلف عندها البتات.

على سبيل المثال، لنفترض أن هناك سلسلتين، 1101 1001 و1101 1101.

11011001 ⊕ 10011101 = 01000100. وبما أن هذا يحتوي على اثنين من 1، فإن مسافة هامينغ، د (11011001، 10011101) = 2.

التشابه الهيكلي

عندما تظهر بنية كيميائية ما كجزء من بنية كيميائية أكبر، تسمى الأولى بنية فرعية والثانية تسمى بنية فوقية. على سبيل المثال، الإيثانول هو بنية فرعية لحمض الأسيتيك، وحمض الأسيتيك هو بنية فوقية للإيثانول.

يُستخدم التشابه البنائي لتحديد ما إذا كانت هناك صيغتان كيميائيتان متشابهتان من حيث كون إحداهما بنية فوقية أو بنية فرعية للأخرى.

لتحديد ما إذا كان A بنية فوقية ل B، استخدم الصيغة التالية:

superstructure البنية الفوقية

حيث:

  • أ هو التمثيل الثنائي للصيغة الكيميائية المراد استرجاعها
  • B هو التمثيل الثنائي للصيغة الكيميائية في قاعدة البيانات

بمجرد إرجاعها 0 ، فإن A ليست بنية فوقية لـ B. وإلا فإن النتيجة تكون العكس.

لتحديد ما إذا كانت A بنية فرعية لـ B، استخدم الصيغة التالية

substructure البنية الفرعية

حيث:

  • أ هو التمثيل الثنائي للصيغة الكيميائية المراد استرجاعها
  • B هو التمثيل الثنائي للصيغة الكيميائية في قاعدة البيانات

بمجرد إرجاعها 0 ، فإن A ليست بنية فرعية لـ B. وإلا فإن النتيجة تكون العكس.

الأسئلة الشائعة

لماذا لا تكون نتيجة أعلى 1 من البحث المتجه هي متجه البحث نفسه، إذا كان نوع المقياس هو الضرب الداخلي؟يحدث هذا إذا لم تقم بتطبيع المتجهات عند استخدام الضرب الداخلي كمقياس للمسافة.
ما هو التطبيع؟ لماذا يلزم التطبيع؟

يشير التطبيع إلى عملية تحويل التضمين (المتجه) بحيث يساوي معياره 1. إذا كنت تستخدم الضرب الداخلي لحساب أوجه تشابه التضمينات، فيجب عليك تطبيع التضمينات. بعد التطبيع، يساوي حاصل الضرب الداخلي تشابه جيب التمام.

راجع ويكيبيديا لمزيد من المعلومات.

لماذا أحصل على نتائج مختلفة باستخدام المسافة الإقليدية (L2) والضرب الداخلي (IP) كمقياس للمسافة؟تحقق مما إذا كانت المتجهات طبيعية. إذا لم تكن كذلك، فأنت بحاجة إلى تطبيع المتجهات أولاً. من الناحية النظرية، تختلف أوجه التشابه التي تم التوصل إليها بواسطة L2 عن أوجه التشابه التي تم التوصل إليها بواسطة IP، إذا لم يتم تطبيع المتجهات.

ما التالي

جرب Managed Milvus مجاناً

Zilliz Cloud خالي من المتاعب، ويعمل بواسطة Milvus ويعمل بسرعة 10 أضعاف.

ابدأ
التعليقات

هل كانت هذه الصفحة مفيدة؟