Milvus 로드맵
🌌 차세대 멀티모달 데이터베이스 및 벡터 레이크베이스를 향하여
Milvus 제품 로드맵
Milvus 로드맵에 오신 것을 환영합니다!
저희는 Milvus를 구조화 데이터에서 비구조화 데이터까지, 실시간 검색에서 오프라인 분석까지, 단일 클러스터 성능에서 글로벌 벡터 레이크베이스 아키텍처에 이르기까지 아우르는 차세대 멀티모달 데이터베이스의 새로운 시대로 이끌고 있습니다 .
이 로드맵은 Milvus v3.0(공개 베타) 및 Milvus v3.1(장기 개발)의 핵심 목표와 Zilliz 벡터 레이크베이스의 진화 계획을 개괄적으로 설명합니다.
🌠 Milvus v3.0 (공개 베타)
공개 베타: 2026년 5월
중점: 엔진 내 정렬, 집계 및 다중 벡터 검색 기능을 갖춘 시맨틱 네이티브 쿼리 엔진 구축과, 데이터 마이그레이션 없이도 컴퓨팅이 데이터에 접근할 수 있도록 하는 Zilliz Vector Lakebase의 레이크 네이티브 기반 구축.
🎯 주요 특징
🔹 스키마 및 데이터 유형 진화
- 인덱스를 재구축하거나 서비스 제공을 중단하지 않고 런타임에 ALTER COLLECTION ADD COLUMN 및 DROP COLUMN을 지원합니다.
- 새 컬럼에 대해 두 가지 백필 경로를 제공합니다: Spark 커넥터를 통한 외부 경로와, 쓰기 시점에 자동 생성되는 BM25 스파스 벡터를 활용한 내부 경로입니다.
- BM25 및 텍스트 매칭을 지원하며, 벡터와 함께 원본 텍스트를 저장하는 일류 데이터 유형으로 TEXT를 도입했습니다.
🔹 쿼리 실행 방식 전면 개편
- 세그먼트별 정렬 및 쿼리 노드 간 병합 정렬을 통해 Order By를 엔진 내부로 통합합니다.
- 커널 내에서 계산되는 SQL 스타일의 쿼리 집계 (COUNT, SUM, AVG, MIN, MAX를 포함한 GROUP BY)를 추가합니다.
- 버킷별 통계 및 서버 측 중첩 하위 패싯을 지원하는 ANN 결과에 대한 검색 패싯을 도입합니다.
- 클러스터 측에 등록된 사용자 정의 사전 및 동의어 테이블을 지원하여 CJK 및 도메인별 리콜률을 개선했습니다.
🔹 다중 벡터 및 후기 상호작용 지원
- StructList를 도입하여 하나의 엔티티를 여러 벡터가 포함된 단일 행으로 표현하며, MAX_SIM을 통해 네이티브 지연 상호작용(ColBERT, ColPali)을 지원합니다.
- StructList 필드에 대한 요소 수준 및 엔티티 수준 검색을 지원하며, 엔티티 수준 결과에 대해 구성 가능한 일치 정책을 제공합니다.
- 세 가지 다중 벡터 검색 전략인 TokenANN(전면 검색), Muvera(투영 기반, 훈련 불필요), Lemur(학습된 압축)를 추가했습니다.
🔹 검색 및 인덱스 전면 개편
- 블록 압축, 가중치 양자화 및 영구 저장 형식을 적용하여 스파스 역색인을 전면 개편하고, SINDI를 기본 스파스 역색인 알고리즘으로 도입했습니다.
- 전체 Faiss 제품군 (SVS, Panorama, PQ, IVFPQ, ScaNN) 및 근사 중복 감지를 위한 MinHash DIDO를 통해 인덱스 적용 범위를 확장했습니다.
- 비동기 임베딩 및 누락된 모달리티를 위해 null 허용 벡터 필드를 지원하며, 검색 시 자동 필터링을 적용합니다.
🔹 벡터 Lakebase 스토리지 및 컴퓨팅 아키텍처
- S3 / GCS / Azure 내의 데이터를 그대로 색인화하고 쿼리할 수 있는 External Collection을 도입하며, Lance, Parquet, Iceberg 및 Vortex 테이블 형식을 지원합니다.
- 오브젝트 스토리지에서 효율적인 포인트 읽기를 위한 혼합 형식 스토리지 레이어인 Loon(Storage V3)과 개방형 열 기반 형식인 Vortex를 추가했습니다.
- 서비스가 계속 쓰기 작업을 수행하는 동안 배치 처리를 위해 MVCC 방식의 격리를 적용한 특정 시점 스냅샷을 지원합니다.
- Spark / Databricks / EMR 파이프라인에서 Milvus로 직접 읽고 쓸 수 있도록 Spark DataSource v2 로 통합되었습니다.
🪐 Milvus v3.1 (장기 비전)
일정: 2026년 말 및 그 이후
중점: 스토리지 인텔리전스, 쓰기 경로 무결성, 컴퓨팅 확장성, 그리고 Vector Lakebase와의 상호 운용성 확대.
🎯 주요 특징
🔹 스토리지 및 쓰기 경로
- 스토리지 계층에서 페이지 인덱스 및 블룸 필터 프루닝을 활용한 술어 푸시다운을 추가합니다.
- 쓰기 시 중복을 방지하기 위해 데이터 수집 시 기본 키 중복 제거 기능을 구현합니다.
🔹 컴퓨팅 및 탄력성
- 데이터 플레인에서 엔진 내에서 사용자 정의 로직을 실행할 수 있도록 사용자 정의 함수(UDF)를 지원합니다.
- 사용자 정의 샤딩 키를 지원하여 데이터 증가에 따라 샤드를 재분할할 수 있도록 샤드 분할 기능을 활성화합니다.
🔹 Spark 및 Vector Lakebase 확장
- 더 풍부한 네이티브 배치 연산자 라이브러리를 통해 Spark 커넥터를 확장합니다.
- 타임 트래블, 스키마 진화, 스냅샷 롤백을 포함한 테이블 형식 기능을 추가합니다.
- CDC 기반의 최신 외부 인덱스, Apache Paimon 지원 및 추가 데이터 형식을 통해 Vector Lakebase의 상호 운용성을 확장합니다.
🤝 Milvus의 미래를 함께 만들어 갑시다
Milvus는 전 세계 개발자 커뮤니티가 주도하는 오픈소스 프로젝트입니다. 모든 커뮤니티 구성원들이 차세대 멀티모달 데이터베이스를 함께 만들어 가실 것을 초대합니다:
💬 피드백 공유: GitHub Discussions에서 새로운 기능이나 최적화 아이디어를 제안해 주세요.
🐛 문제 보고: GitHub Issues를 통해 버그를 신고해 주세요.
🔧 코드 기여: PR을 제출하여 핵심 기능 개발에 기여해 주세요.
🗣️ 대화에 참여하세요: Discord, Milvus Office Hours 또는 모든 커뮤니티 채널에서 질문을 하고 유지보수 담당자들을 만나보세요.
⭐ 소문 내기: 모범 사례와 성공 사례를 공유하고, X, LinkedIn, YouTube에서 Milvus를 팔로우해 주세요.
👉 GitHub: milvus-io/milvus
