Типы метрик

Метрики сходства используются для измерения сходства между векторами. Выбор подходящей метрики расстояния позволяет значительно улучшить производительность классификации и кластеризации.

В настоящее время Milvus поддерживает такие типы метрик сходства: Евклидово расстояние (L2), внутреннее произведение (IP), косинусное сходство (COSINE), JACCARD, HAMMING, и BM25 (специально разработанная для полнотекстового поиска по разреженным векторам).

В таблице ниже приведены соответствия между различными типами полей и соответствующими им типами метрик.

Тип поля	Диапазон измерений	Поддерживаемые метрические типы	Метрический тип по умолчанию
FLOAT_VECTOR	2-32,768	COSINE, L2, IP	COSINE
FLOAT16_VECTOR	2-32,768	COSINE, L2, IP	COSINE
BFLOAT16_VECTOR	2-32,768	COSINE, L2, IP	COSINE
INT8_VECTOR	2-32,768	COSINE, L2, IP	COSINE
SPARSE\_FLOAT\_VECTOR	Размерность указывать не нужно.	IP, BM25 (используется только для полнотекстового поиска)	IP
BINARY_VECTOR	8-32,768*8	HAMMING, JACCARD, MHJACCARD	HAMMING

В таблице ниже приведены характеристики значений расстояния сходства для всех поддерживаемых метрических типов и диапазон их значений.

Тип метрики	Характеристики значений расстояния сходства	Диапазон значений расстояния сходства
L2	Меньшее значение указывает на большее сходство.	[0, ∞)
IP	Большее значение указывает на большее сходство.	[-1, 1]
COSINE	Большее значение указывает на большее сходство.	[-1, 1]
JACCARD	Меньшее значение указывает на большее сходство.	[0, 1]
MHJACCARD	Оценивает сходство по Жаккарду на основе битов подписи MinHash; меньшее расстояние = большее сходство	[0, 1]
HAMMING	Меньшее значение указывает на большее сходство.	[0, dim(vector)]
BM25	Оценка релевантности на основе частоты терминов, инвертированной частоты документов и нормализации документов.	[0, ∞)

Евклидово расстояние (L2)

По сути, евклидово расстояние измеряет длину отрезка, соединяющего две точки.

Формула для евклидова расстояния выглядит следующим образом:

Евклидова метрика

где a = (_a0, _a1,...,_an-1) и b = (_b0, _b1,..., _bn-1) - две точки в n-мерном евклидовом пространстве.

Это наиболее часто используемая метрика расстояния, которая очень полезна, когда данные непрерывны.

Внутреннее произведение (IP)

Расстояние IP между двумя вкраплениями определяется следующим образом:

Формула IP

IP более полезно, если вам нужно сравнить ненормированные данные или если вам важны величина и угол.

Предположим, что X' нормализовано из вкрапления X:

Формула нормализации

Корреляция между двумя эмбеддингами выглядит следующим образом:

Корреляция между эмбеддингами

Косинусное сходство

Косинусное сходство использует косинус угла между двумя наборами векторов для измерения того, насколько они похожи. Можно представить два набора векторов как отрезки прямых, начинающиеся из одной и той же точки, например [0,0,...], но направленные в разные стороны.

Чтобы вычислить косинусоидальное сходство между двумя наборами векторов A = (_a0, _a1,...,_an-1) и B = (_b0, _b1,..., _bn-1), используйте следующую формулу:

Косинусное сходство

Косинусное сходство всегда находится в интервале [-1, 1]. Например, косинус сходства двух пропорциональных векторов равен 1, двух ортогональных векторов - 0, а двух противоположных векторов - -1. Чем больше косинус, тем меньше угол между двумя векторами, что говорит о том, что эти два вектора более похожи друг на друга.

Вычитая косинус сходства из 1, вы можете получить косинусоидальное расстояние между двумя векторами.

Расстояние JACCARD

Коэффициент расстояния JACCARD измеряет сходство между двумя выборочными совокупностями и определяется как кардинальность пересечения заданных совокупностей, деленная на кардинальность их объединения. Он может быть применен только к конечным выборочным совокупностям.

Формула коэффициента сходства JACCARD

Расстояние JACCARD измеряет несходство между наборами данных и получается путем вычитания коэффициента сходства JACCARD из 1. Для бинарных переменных расстояние JACCARD эквивалентно коэффициенту Танимото.

Формула расстояния JACCARD

MHJACCARD

MinHash Jaccard (MHJACCARD) - это метрика, используемая для эффективного, приблизительного поиска сходства в больших наборах, таких как наборы слов документов, наборы тегов пользователей или наборы геномных к-меров. Вместо того чтобы сравнивать исходные наборы напрямую, MHJACCARD сравнивает сигнатуры MinHash, которые являются компактными представлениями, разработанными для эффективной оценки сходства по Жаккарду.

Этот подход значительно быстрее, чем вычисление точного сходства по Жаккарду, и особенно полезен в крупномасштабных или высокоразмерных сценариях.

Применяемый тип вектора

• BINARY_VECTOR, где каждый вектор хранит подпись MinHash. Каждый элемент соответствует минимальному хэш-значению по одной из независимых хэш-функций, примененных к исходному множеству.

Определение расстояния

MHJACCARD измеряет, сколько позиций в двух подписях MinHash совпадает. Чем выше коэффициент совпадения, тем более похожи исходные наборы.

Milvus сообщает:

• Расстояние = 1 - оценка сходства (коэффициент совпадения).

Значение расстояния варьируется от 0 до 1:

• 0 означает, что сигнатуры MinHash идентичны (оценочное сходство по Жаккарду = 1).

• 1 означает, что совпадений нет ни в одной позиции (расчетное сходство по Жаккарду = 0).

Для получения информации о технических деталях обратитесь к разделу MINHASH_LSH.

Расстояние HAMMING

Расстояние HAMMING измеряет бинарные строки данных. Расстояние между двумя строками одинаковой длины - это количество битовых позиций, в которых биты различаются.

Например, пусть есть две строки, 1101 1001 и 1001 1101.

11011001 ⊕ 10011101 = 01000100. Поскольку они содержат две 1, расстояние HAMMING, d (11011001, 10011101) = 2.

Сходство BM25

BM25 - это широко используемый метод измерения релевантности текста, специально разработанный для полнотекстового поиска. Он объединяет следующие три ключевых фактора:

• Частота терминов (TF): Измеряет, насколько часто термин встречается в документе. Хотя более высокая частота часто указывает на большую важность, BM25 использует параметр насыщенности $k1k_1$ k 1, чтобы предотвратить доминирование слишком частых терминов в оценке релевантности.

• Обратная частота документа (IDF): Отражает важность термина во всем корпусе документов. Термины, встречающиеся в меньшем количестве документов, получают более высокое значение IDF, что указывает на больший вклад в релевантность.

• Нормализация длины документа: Длинные документы имеют тенденцию получать более высокие оценки, так как содержат больше терминов. BM25 уменьшает это смещение путем нормализации длины документов, а параметр $bb$ b управляет силой этой нормализации.

Оценка BM25 рассчитывается следующим образом:

$$score(D, Q)=\sum_{i=1}^{n}IDF(q_i)\cdot {{TF(q_i,D)\cdot(k_1+1)}\over{TF(q_i, D)+k_1\cdot(1-b+b\cdot {{|D|}\over{avgdl}})}}$$

Описание параметра:

• $QQ$ Q: текст запроса, предоставленный пользователем.

• $DD$ D: оцениваемый документ.

• $TF(q_i, D)$i, D$)$: Частота термина, показывающая, как часто термин $qiq_i$q iвстречается в документе $DD$ D.

• $IDF(q_i)$i): Обратная частота документа, рассчитывается как:

  $$IDF(q_i)=\log({N-n(q_i)+0.5\over n(q_i)+0.5} + 1)$$

  где $NN$ N - общее количество документов в корпусе,$n(q_i)$ n$(q$i ) - количество документов, содержащих термин $qiq_i$ q i.

• $∣D∣|D|$ Длина документа $DD$ D (общее количество терминов).

• $avgdlavgdl$: средняя длина всех документов в корпусе.

• $k1k_1$ k1: Регулирует влияние частоты терминов на оценку. Более высокие значения увеличивают важность частоты терминов. Типичный диапазон - [1.2, 2.0], в то время как Milvus допускает диапазон [0, 3].

• $bb$ b: Регулирует степень нормализации длины, в диапазоне от 0 до 1. Если значение равно 0, нормализация не применяется; если значение равно 1, применяется полная нормализация.