벡터 유사도 측정 기준: L2, 코사인 및 내적

메트릭이란 무엇인가?

메트릭은 두 벡터를 입력으로 받아, 이 둘이 얼마나 유사한지(또는 다른지)를 나타내는 단일 숫자를 반환하는 함수일 뿐입니다. 벡터 검색의 핵심은 “내 쿼리에 대해 메트릭 점수가 가장 높은 K개의 벡터를 찾아라”는 것입니다. 그 외의 모든 것 — 인덱스, 클러스터, 그래프 — 는 데이터베이스 내의 모든 벡터에 대해 이 점수를 계산하는 수고를 덜기 위한 관리 작업에 불과합니다.

선택한 측정 기준에 따라 데이터에서 “유사함”의 의미가 정의됩니다. 두 임베딩은 한 측정 기준에서는 “가깝게” 보일 수 있지만, 다른 측정 기준에서는 “멀게” 보일 수 있습니다. 동일한 데이터라도 답이 달라질 수 있는 것입니다. 그렇기 때문에 인덱스를 구축하기 전에 이 선택을 해야 합니다.

실전에서 자주 접하게 될 세 가지

• L2 (유클리드): 직선 거리. 수치가 낮을수록 좋습니다. 방향과 크기가 모두 중요한 경우(이미지 임베딩, 지리적 좌표, 원시 센서 측정값 등)에 사용합니다. 대부분의 컴퓨터 비전(CV) 모델에서 기본값으로 사용됩니다.
• 코사인(Cosine): 길이는 무시하고 벡터 간의 각도를 나타냅니다. 수치가 높을수록 좋습니다. 방향만 중요한 경우 — 텍스트 임베딩(BERT, OpenAI 등), 벡터의 “인기”가 지배적이어서는 안 되는 추천 시스템 — 에 사용하십시오.
• 내적(IP): 점곱(dot product)으로, 정렬도와 크기를 모두 평가합니다. 수치가 높을수록 좋습니다. 코사인 내적( IP,DPR, 많은 검색 모델)을 명시적으로 정규화하는 모델과 함께 사용하십시오. 벡터의 길이가 1일 때 수학적으로 코사인과 동일합니다.

두 가지 실용적인 규칙

• 메트릭을 모델에 맞춰야 합니다. 임베딩 모델은 특정 메트릭을 염두에 두고 훈련됩니다. 검색 시 다른 메트릭을 사용하면 리콜이 눈에 띄지 않게 저하됩니다. 선택하기 전에 모델 카드를 확인하십시오.
• 일관성을 유지하십시오. 컬렉션 내의 모든 벡터는 동일한 측정 기준을 사용해야 합니다. 단일 인덱스 내에서 측정 기준을 혼합할 수 없으며, 서로 다른 측정 기준 간의 점수를 의미 있게 비교할 수도 없습니다.

다음과 같이 시도해 보세요: 쿼리 점을 원점 근처로 드래그한 다음, 코사인(Cosine)과 벡터 거리( L2) 사이를 전환해 보세요. 코사인이 쿼리가 가리키는 ‘방향’만을 고려한다는 점을 확인해 보세요. 원점의 반대편에 있는 점들은 벡터 거리( L2 ) 기준으로는 ‘가까운’ 위치일 수 있지만, 코사인 기준으로는 ‘먼’ 위치일 수 있습니다. 이 시각적 효과가 바로 이 개념의 전부입니다.