أنواع المقاييس

تُستخدم مقاييس التشابه لقياس أوجه التشابه بين المتجهات. يساعد اختيار مقياس المسافة المناسب في تحسين أداء التصنيف والتجميع بشكل كبير.

يدعم ميلفوس حاليًا هذه الأنواع من مقاييس التشابه: المسافة الإقليدية (L2)، الضرب الداخلي (IP)، تشابه جيب التمام (COSINE)، JACCARD و HAMMING و BM25 (المصممة خصيصًا للبحث عن النص الكامل على المتجهات المتفرقة).

يلخص الجدول أدناه التعيين بين أنواع الحقول المختلفة وأنواع المقاييس المقابلة لها.

نوع الحقل	نطاق البعد	أنواع المقاييس المدعومة	نوع القياس الافتراضي
FLOAT_VECTOR	2-32,768	COSINE L2 IP	COSINE
FLOAT16_VECTOR	2-32,768	COSINE L2, IP	COSINE
BFLOAT16_VECTOR	2-32,768	COSINE L2, IP	COSINE
INT8_VECTOR	2-32,768	COSINE L2, IP	COSINE
SPARSE\_FLOAT\_VECTOR	لا حاجة لتحديد البُعد	IP، BM25 (يستخدم فقط للبحث عن النص الكامل)	IP
BINARY_VECTOR	8-32,768*8	HAMMING JACCARD ، , MHJACCARD	HAMMING

يلخص الجدول أدناه خصائص قيم مسافة التشابه لجميع أنواع المقاييس المدعومة ونطاق قيمها.

نوع المقياس	خصائص قيم مسافات التشابه في المسافة	نطاق قيمة مسافة التشابه
L2	تشير القيمة الأصغر إلى تشابه أكبر.	[0, ∞)
IP	تشير القيمة الأكبر إلى تشابه أكبر.	[-1, 1]
COSINE	تشير القيمة الأكبر إلى تشابه أكبر.	[-1, 1]
JACCARD	تشير القيمة الأصغر إلى تشابه أكبر.	[0, 1]
MHJACCARD	تقديرات تشابه جاكارد من بتات توقيع MinHash؛ مسافة أصغر = تشابه أكبر	[0, 1]
HAMMING	تشير القيمة الأصغر إلى تشابه أكبر.	[0، خافت (متجه)]
BM25	تقدير الصلة استنادًا إلى تكرار المصطلح وتكرار المستند المقلوب وتطبيع المستند.	[0, ∞)

المسافة الإقليدية (L2)

بشكل أساسي، تقيس المسافة الإقليدية طول القطعة التي تربط بين نقطتين.

فيما يلي صيغة المسافة الإقليدية:

المسافة الإقليدية الإقليدية

حيث a = (_a0،a1،...،...،_an-1) و b = (_b0،b1،...،...، _bn-1) نقطتان في الفضاء الإقليدي الإقليدي ن.

إنه مقياس المسافة الأكثر استخدامًا وهو مفيد جدًا عندما تكون البيانات متصلة.

الضرب الداخلي (IP)

يتم تعريف المسافة IP بين تضمينينين على النحو التالي:

صيغة IP

يكون IP أكثر فائدة إذا كنت بحاجة إلى مقارنة بيانات غير طبيعية أو عندما تهتم بالمقدار والزاوية.

لنفترض أن X' تم تطبيعه من تضمين X:

صيغة التطبيع

يكون الارتباط بين التضمينين على النحو التالي:

الارتباط بين التضمينين

تشابه جيب التمام

يستخدم تشابه جيب التمام جيب تمام الزاوية بين مجموعتين من المتجهات لقياس مدى تشابههما. يمكنك التفكير في مجموعتي المتجهات على أنهما قطعتان مستقيمتان تبدآن من نفس النقطة، مثل [0،0،...]، لكنهما تشيران في اتجاهين مختلفين.

لحساب تشابه جيب التمام بين مجموعتين من المتجهين A = (_a0،a1،...،_an-1) وB = (_b0،b1،...، _bn-1)، استخدم الصيغة التالية:

تشابه جيب التمام

يكون تشابه جيب التمام دائمًا في الفترة [-1، 1]. على سبيل المثال، متجهان متناسبان يكون تشابه جيب التمام بينهما 1، ومتجهان متعامدان يكون التشابه بينهما 0، ومتجهان متعاكسان يكون التشابه بينهما -1. كلما كان جيب التمام أكبر، كانت الزاوية بين المتجهين أصغر، ما يشير إلى أن هذين المتجهين أكثر تشابهًا مع بعضهما البعض.

بطرح التشابه في جيب التمام من 1، يمكنك الحصول على مسافة جيب التمام بين المتجهين.

مسافة JACCARD

يقيس معامل المسافة JACCARD التشابه بين مجموعتين من العينات، ويُعرَّف بأنه مقدار التشابه بين مجموعتين محددتين مقسومًا على مقدار التشابه بين مجموعتين محددتين. يمكن تطبيقه فقط على مجموعات العينات المحدودة.

صيغة معامل التشابه JACCARD

تقيس المسافة JACCARD التباين بين مجموعات البيانات ويتم الحصول عليها بطرح معامل التشابه JACCARD من 1. بالنسبة للمتغيرات الثنائية، تعادل المسافة JACCARD معامل تانيموتو.

صيغة المسافة JACCARD

MHJACCARD

MinHash Jaccard (MHJACCARD) هو نوع متري يستخدم للبحث الفعال والتقريبي عن التشابه على مجموعات كبيرة - مثل مجموعات كلمات المستندات، أو مجموعات علامات المستخدم، أو مجموعات k-مير الجينومية. وبدلاً من مقارنة المجموعات الخام مباشرة، يقارن MHJACCARD تواقيع MinHash، وهي عبارة عن تمثيلات مضغوطة مصممة لتقدير تشابه جاكارد بكفاءة.

هذا النهج أسرع بكثير من حساب تشابه جاكارد الدقيق وهو مفيد بشكل خاص في السيناريوهات واسعة النطاق أو عالية الأبعاد.

نوع المتجه القابل للتطبيق

• BINARY_VECTORحيث يخزن كل متجه توقيع MinHash. يتوافق كل عنصر مع الحد الأدنى لقيمة التجزئة تحت إحدى دوال التجزئة المستقلة المطبقة على المجموعة الأصلية.

تعريف المسافة

يقيس MHJACCARD عدد المواضع في توقيعين من MinHash متطابقين. كلما كانت نسبة التطابق أعلى، كلما كانت المجموعتان الأساسيتان متشابهتان.

تقارير ميلفوس

• المسافة = 1 - التشابه المقدر (نسبة التطابق)

تتراوح قيمة المسافة من 0 إلى 1:

• 0 تعني0 أن توقيعات MinHash متطابقة (تشابه جاكارد المقدر = 1)

• 1 يعني عدم وجود تطابق في أي موضع (تشابه جاكارد المقدر = 0)

للحصول على معلومات حول التفاصيل الفنية، راجع MINHASH_LSH.

مسافة HAMMING

تقيس مسافة HAMMING سلاسل البيانات الثنائية. المسافة بين سلسلتين متساويتين في الطول هي عدد مواضع البتات التي تختلف فيها البتات.

على سبيل المثال، لنفترض أن هناك سلسلتين، 1101 1001 و1001 1101.

11011001 ⊕ 10011101 = 01000100. وبما أن هذا يحتوي على اثنين من 1، فإن المسافة بين السلسلتين هي د (11011001، 10011101) = 2.

تشابه BM25

BM25 هي طريقة قياس صلة النص المستخدمة على نطاق واسع، وهي مصممة خصيصًا للبحث في النص الكامل. وهي تجمع بين العوامل الرئيسية الثلاثة التالية:

• تردد المصطلح (TF): يقيس مدى تكرار ظهور المصطلح في المستند. في حين أن الترددات الأعلى غالبًا ما تشير إلى أهمية أكبر، تستخدم BM25 معلمة التشبع $k1k_1$ k 1 لمنع المصطلحات المتكررة بشكل مفرط من الهيمنة على درجة الصلة.

• تردد المستند العكسي (IDF): يعكس أهمية المصطلح عبر المجموعة بأكملها. وتحصل المصطلحات التي تظهر في عدد أقل من المستندات على قيمة أعلى لتكرار المستند (IDF)، مما يشير إلى مساهمة أكبر في الأهمية.

• تطبيع طول المستند: تميل المستندات الأطول إلى الحصول على درجات أعلى بسبب احتوائها على مصطلحات أكثر. يخفف BM25 من هذا التحيز من خلال تطبيع أطوال المستندات، حيث يتحكم المعامل $bb$ b في قوة هذا التطبيع.

يتم حساب نقاط BM25 على النحو التالي:

$$score(D, Q)=\sum_{i=1}^{n}IDF(q_i)\cdot {{TF(q_i,D)\cdot(k_1+1)}\over{TF(q_i, D)+k_1\cdot(1-b+b\cdot {{|D|}\over{avgdl}})}}$$

وصف المعلمة:

• $QQ$ Q: نص الاستعلام المقدم من المستخدم.

• $DD$ D: المستند الذي يتم تقييمه.

• $TF(q_i, D)$ TF$(q$i, D$)$: تكرار المصطلح الذي يمثل عدد مرات ظهور المصطلح $qiq_i$q iفي المستند $DD$ D.

• $IDF(q_i)$i): تردد المستند العكسي، محسوبًا على النحو التالي:

  $$IDF(q_i)=\log({N-n(q_i)+0.5\over n(q_i)+0.5} + 1)$$

  حيث $NN$ N هو العدد الإجمالي للمستندات في مجموعة المستندات،$n(q_i) n(q_i)$ n$(q$i ) هو عدد المستندات التي تحتوي على المصطلح $qq_i$ q i.

• $∣D∣|D|$: طول المستند $DD$ D (إجمالي عدد المصطلحات).

• $avgdlavgdlavgdl$: متوسط طول جميع المستندات في مجموعة المستندات.

• $k1k_1$ k 1: يتحكم في تأثير تكرار المصطلح على النتيجة. تزيد القيم الأعلى من أهمية تكرار المصطلح. النطاق النموذجي هو [1.2، 2.0]، بينما يسمح ميلفوس بنطاق [0، 3].

• $bb$ b: تتحكم في درجة تطبيع الطول، وتتراوح من 0 إلى 1. عندما تكون القيمة 0، لا يتم تطبيق أي تطبيع؛ وعندما تكون القيمة 1، يتم تطبيق التطبيع الكامل.