Peta Jalan Milvus

🌌 Menuju Basis Data Multimodal dan Data Lake Generasi Berikutnya

Peta Jalan Produk Milvus

Selamat datang di Peta Jalan Milvus!

Kami mengantarkan Milvus ke era baru - basis data multimodal generasi berikutnya - yang mencakup data terstruktur hingga data tidak terstruktur, pengambilan data secara real-time hingga analitik offline, dan kinerja cluster tunggal hingga arsitektur data lake global.

Peta jalan ini menguraikan tujuan utama untuk Milvus v2.6 (sedang dalam proses), Milvus v3.0 (ditargetkan pada akhir tahun 2026), dan Milvus v3.1 (pengembangan jangka panjang), beserta rencana evolusi untuk Vector Lake (data lake / Loon).

🧩 Milvus v2.6 (Sedang dalam Proses)

Garis waktu: Pertengahan 2025 - Akhir 2025

Fokus: Meningkatkan model data, melakukan refactoring pada arsitektur streaming, membangun kemampuan tiering panas/dingin, dan meluncurkan Prototipe Vector Lake (v0.1).

🎯 Sorotan Utama

🔹 Peningkatan Model Data

• Memperkenalkan tipe data Tensor / StructList terpadu untuk mendukung struktur penyematan multi-vektor, memungkinkan kompatibilitas dengan ColBERT, CoLQwen, video, dan vektor multimodal.

• Menambahkan dukungan Geo Data, termasuk titik, wilayah, dan pengindeksan spasial (berdasarkan libspatial), untuk memperluas kasus penggunaan dalam LBS dan GIS.

• Dukungan untuk Timestamp dengan tipe data Timezone.

🔹 Refaktor Arsitektur StreamNode

• Menulis ulang pipeline streaming ingestion untuk mengoptimalkan penulisan tambahan dan komputasi real-time.

• Secara signifikan meningkatkan kinerja dan stabilitas konkurensi, meletakkan dasar untuk pemrosesan real-time dan offline yang terpadu.

• Memperkenalkan mesin antrean pesan yang baru: Burung Pelatuk.

🔹 Arsitektur Tiering & Penyimpanan Panas/Dingin (StorageV2)

• Mendukung format penyimpanan ganda: Parquet dan Vortex, meningkatkan konkurensi dan efisiensi memori.

• Menerapkan penyimpanan berjenjang dengan pemisahan data panas/dingin secara otomatis dan penjadwalan yang cerdas.

🔹 Prototipe Danau Vektor (v0.1)

• Terintegrasi dengan Spark / DuckDB / DataFusion melalui FFI, memungkinkan evolusi skema offline dan kueri KNN.

• Menyediakan visualisasi data multimodal dan demo Spark ETL, membangun arsitektur data lake yang mendasar.

🌠 Milvus v3.0 (Ditargetkan pada Awal 2026)

Garis waktu: Akhir 2025 - Awal 2026

Fokus: Peningkatan komprehensif pada pengalaman pencarian, fleksibilitas skema, dan dukungan data tak terstruktur, bersamaan dengan rilis Vector Lake (v0.2).

🎯 Sorotan Utama

🔹 Perombakan Pengalaman Pencarian

• Memperkenalkan pencarian kemiripan More Like This (MLT) dengan dukungan untuk pencarian dengan posisi atau contoh negatif.

• Menambahkan kemampuan pencarian semantik seperti penyorotan dan peningkatan.

• Mendukung kamus khusus dan tabel sinonim, yang memungkinkan definisi aturan leksikal dan semantik pada lapisan Penganalisis.

• Memperkenalkan kemampuan agregasi untuk kueri.

🔹 Multi-Tenancy & Manajemen Sumber Daya

• Mengaktifkan penghapusan multi-penyewa, statistik, dan tiering panas/dingin.

• Meningkatkan isolasi sumber daya dan strategi penjadwalan untuk mendukung jutaan tabel dalam satu cluster.

🔹 Peningkatan Skema & Kunci Utama

• Menerapkan Deduplikasi Kunci Utama Global (Global PK Dedup ) untuk menjamin konsistensi dan keunikan data.

• Mendukung manajemen skema yang fleksibel (menambah/menghapus kolom, pengisian cadangan).

• Mengizinkan nilai NULL dalam bidang vektor.

🔹 Tipe Data Tidak Terstruktur yang Diperluas (BLOB / Teks)

• Memperkenalkan tipe BLOB, yang menyediakan penyimpanan dan referensi asli untuk data biner seperti file, gambar, dan video.

• Memperkenalkan tipe TEXT, yang menyediakan kemampuan pencarian berbasis teks lengkap dan konten yang disempurnakan.

🔹 Kemampuan Kelas Perusahaan

• Mendukung pencadangan dan pemulihan berbasis Snapshot.

• Menyediakan penelusuran ujung ke ujung dan pencatatan audit.

• Menerapkan Ketersediaan Tinggi Siaga Aktif (HA) di seluruh penerapan multi-cluster.

🔹 Vector Lake (v0.2)

• Mendukung penyimpanan TEXT / BLOB dan manajemen snapshot multi-versi.

• Mengintegrasikan Spark untuk pengindeksan offline, pengelompokan, deduplikasi, dan tugas pengurangan dimensi.

• Menghadirkan demo cold-query ChatPDF dan benchmark offline.

Milvus v3.1 (Visi Jangka Panjang)

Garis waktu: Pertengahan 2026

Fokus: Fungsi yang ditentukan pengguna (UDF), integrasi komputasi terdistribusi, pengoptimalan kueri skalar, sharding dinamis, dan rilis resmi Vector Lake (v1.0).

🎯 Sorotan Utama

🔹 UDF & Ekosistem Komputasi Terdistribusi

• Mendukung User-Defined Functions (UDF), yang memungkinkan pengembang untuk menyuntikkan logika khusus ke dalam alur kerja pengambilan dan komputasi.

• Integrasi mendalam dengan Ray Dataset / Daft untuk eksekusi UDF terdistribusi dan pemrosesan data multimodal.

🔹 Kueri Skalar & Evolusi Format Lokal

• Mengoptimalkan kinerja pemfilteran dan agregasi untuk bidang skalar.

• Meningkatkan evaluasi ekspresi dan eksekusi yang dipercepat dengan indeks.

• Mendukung pembaruan di tempat untuk format file lokal.

🔹 Kemampuan Pencarian Tingkat Lanjut

• Menambahkan fitur-fitur berikut: Kueri pencocokan RankBy, OrderBy, Facet, dan Fuzzy.

• Tingkatkan pengambilan teks dengan dukungan untuk:

  • match_phrase_prefix

  • Completion Suggester

  • Term Suggester

  • Phrase Suggester

🔹 Pemecahan & Skalabilitas Dinamis

• Aktifkan pemisahan pecahan otomatis dan penyeimbangan beban untuk penskalaan yang mulus.

• Meningkatkan pembuatan indeks global dan memastikan kinerja pencarian yang terdistribusi.

🔹 Vector Lake V1.0

• Integrasi mendalam dengan Ray / Daft / PyTorch untuk mendukung UDF terdistribusi dan kasus penggunaan Rekayasa Konteks.

• Menyediakan demo RAG (Retrieval-Augmented Generation) dan mengimpor dari tabel Iceberg.

🤝 Bersama Membangun Masa Depan Milvus

Milvus adalah proyek sumber terbuka yang digerakkan oleh komunitas pengembang global.

Kami dengan hangat mengundang semua anggota komunitas untuk membantu membentuk basis data multimodal generasi berikutnya:

• 💬 Memberikan umpan balik: Mengusulkan fitur-fitur baru atau ide pengoptimalan

• 🐛 Melaporkan masalah: Mengajukan bug melalui Masalah GitHub

• 🔧 Kontribusi kode: Mengirimkan PR dan membantu membangun fitur inti

  • Tarik permintaan: Berkontribusi langsung ke basis kode kami. Baik itu memperbaiki bug, menambahkan fitur, atau meningkatkan dokumentasi, kontribusi Anda diterima.

  • Panduan pengembangan: Lihat Panduan Kontributor kami untuk panduan kontribusi kode.

• Menyebarkan berita: Bagikan praktik terbaik dan kisah sukses

👉 GitHub: milvus-io/milvus