Метрики сходства векторов: коэффициент сходства по косинусу ( L2), косинус и внутреннее произведение

Что такое метрика?

Метрика — это просто функция, которая принимает два вектора и возвращает одно число, указывающее, насколько они похожи (или отличаются). Векторный поиск, по сути, заключается в том, чтобы «найти K векторов с наилучшим показателем метрики по отношению к моему запросу». Всё остальное — индексы, кластеры, графы — это всего лишь вспомогательные средства, позволяющие избежать вычисления этого показателя для каждого вектора в базе данных.

Выбранная вами метрика определяет, что означает «похожий» для ваших данных. Два вложения могут быть «близкими» по одной метрике и «далекими» по другой — одни и те же данные, разный ответ. Именно поэтому этот выбор происходит ещё до того, как вы начнёте строить индекс.

Три термина, с которыми вы столкнётесь на практике

• L2 (Евклидово): расстояние по прямой. Чем меньше значение, тем лучше. Используется, когда важны как направление, так и величина — вложения изображений, географические координаты, исходные показания датчиков. Значение по умолчанию для большинства моделей машинного обучения.
• Косинус: угол между векторами, без учёта длины. Чем выше, тем лучше. Используйте, когда важно только направление — вложения текста (BERT, OpenAI и т. д.), системы рекомендаций, где «популярность» вектора не должна доминировать.
• Внутреннее произведение (IP): скалярное произведение, учитывает как совпадение, так и величину. Чем выше значение, тем лучше. Используйте с моделями, которые явно нормализуют по коэффициенту вызова-повтора ( IP ) (DPR, многие модели поиска). Математически идентично косинусу, когда векторы имеют единичную длину.

Два практических правила

• Соотносите метрику с моделью. Модели встраивания обучаются с учётом конкретной метрики. Использование другой метрики во время поиска незаметно ухудшит ваш показатель recall. Перед выбором проверьте карточку модели.
• Соблюдайте последовательность. Все векторы в коллекции должны использовать одну и ту же метрику. Нельзя смешивать их в рамках одного индекса, а также невозможно проводить значимое сравнение оценок по разным метрикам.

Попробуйте следующее: перетащите точку запроса ближе к началу координат и переключайтесь между режимами «Cosine» и « L2 ». Понаблюдайте, как режим «Cosine» учитывает только «направление», в котором указывает запрос — точки, расположенные на противоположной стороне от начала координат, могут быть «близкими» в режиме « L2 », но «далекими» в режиме «Cosine». Эта визуализация и есть суть всей концепции.