Catatan Rilis

Cari tahu apa yang baru di Milvus! Halaman ini merangkum fitur-fitur baru, peningkatan, masalah yang diketahui, dan perbaikan bug di setiap rilis. Anda dapat menemukan catatan rilis untuk setiap versi yang dirilis setelah v2.5.0 di bagian ini. Kami menyarankan agar Anda secara teratur mengunjungi halaman ini untuk mengetahui pembaruan.

v2.5.4

Tanggal rilis: 23 Januari 2025

Versi Milvus	Versi Python SDK	Versi SDK Node.js	Versi Java SDK
2.5.4	2.5.4	2.5.4	2.5.4

Kami sangat senang mengumumkan rilis Milvus 2.5.4, yang memperkenalkan pengoptimalan kinerja utama dan fitur-fitur baru seperti isolasi PartitionKey, Sparse Index dengan DAAT MaxScore, dan mekanisme penguncian yang disempurnakan. Sorotan yang menonjol dari rilis ini adalah dukungannya untuk 10.000 koleksi dan 1 juta partisi, yang menandai tonggak penting untuk kasus penggunaan multi-penyewa. Versi ini juga mengatasi beberapa bug yang meningkatkan stabilitas dan keandalan secara keseluruhan, dua bug kritis dapat menyebabkan kehilangan data. Kami mendorong Anda untuk meng-upgrade atau mencoba rilis terbaru ini, dan kami menantikan umpan balik Anda untuk membantu kami terus menyempurnakan Milvus!

Fitur

• Mendukung isolasi PartitionKey untuk meningkatkan kinerja dengan beberapa kunci partisi(#39245). Untuk informasi lebih lanjut, lihat Gunakan Kunci Partisi.
• Sparse Index kini mendukung DAAT MaxScore knowhere/#1015. Untuk informasi lebih lanjut, lihat Vektor Jarang.
• Menambahkan dukungan untuk is_null dalam ekspresi(#38931)
• Hak akses root dapat disesuaikan(#39324)

Perbaikan

• Mendukung 10 ribu koleksi dan 1 juta partisi dalam satu cluster(#37630)
• Informasi delta segmen yang di-cache untuk mempercepat Koordinator Kueri(#39349)
• Membaca metadata secara bersamaan di tingkat koleksi untuk mempercepat pemulihan kegagalan(#38900)
• Perincian kunci yang disempurnakan di QueryNode(#39282),(#38907)
• Gaya terpadu dengan menggunakan CStatus untuk menangani panggilan CGO NewCollection(#39303)
• Melewatkan pembuatan pembatas partisi jika tidak ada partisi yang ditetapkan(#38911)
• Menambahkan lebih banyak dukungan RESTful API(#38875)(#39425)
• Menghapus Bloom Filter yang tidak perlu di QueryNode dan DataNode untuk mengurangi penggunaan memori(#38913)
• Mempercepat pemuatan data dengan mempercepat pembuatan, penjadwalan, dan eksekusi tugas di QueryCoord(#38905)
• Mengurangi penguncian di DataCoord untuk mempercepat operasi pemuatan dan penyisipan(#38904)
• Menambahkan nama field utama di SearchResult dan QueryResults (#39222)
• Menggunakan ukuran binlog dan ukuran indeks sebagai standar pembatasan kuota disk(#38844)
• Penggunaan memori yang dioptimalkan untuk pencarian teks lengkap knowhere/#1011
• Menambahkan kontrol versi untuk indeks skalar(#39236)
• Meningkatkan kecepatan pengambilan informasi koleksi dari RootCoord dengan menghindari salinan yang tidak perlu(#38902)

Perbaikan Bug Penting

• Memperbaiki kegagalan pencarian untuk kunci utama dengan indeks(#39390)
• Memperbaiki potensi masalah kehilangan data yang disebabkan oleh memulai ulang MixCoord dan melakukan pembilasan secara bersamaan(#39422)
• Memperbaiki kegagalan penghapusan yang dipicu oleh konkurensi yang tidak tepat antara tugas statistik dan pemadatan L0 setelah MixCoord dimulai ulang(#39460)
• Memperbaiki ketidakcocokan indeks terbalik skalar saat meningkatkan dari 2.4 ke 2.5(#39272)

Perbaikan bug

• Memperbaiki masalah kueri lambat yang disebabkan oleh perincian kunci kasar selama pemuatan multi-kolom(#39255)
• Memperbaiki masalah di mana penggunaan alias dapat menyebabkan iterator melintasi database yang salah(#39248)
• Memperbaiki kegagalan pembaruan grup sumber daya saat mengubah basis data(#39356)
• Memperbaiki masalah sporadis di mana indeks tantivy tidak dapat menghapus file indeks selama rilis(#39434)
• Memperbaiki pengindeksan lambat yang disebabkan oleh terlalu banyak utas(#39341)
• Memperbaiki masalah yang mencegah pemeriksaan kuota disk dilewati selama impor massal(#39319)
• Menyelesaikan masalah pembekuan yang disebabkan oleh terlalu banyak konsumen antrean pesan dengan membatasi konkurensi(#38915)
• Memperbaiki batas waktu kueri yang disebabkan oleh MixCoord yang dimulai ulang selama pemadatan skala besar(#38926)
• Memperbaiki masalah ketidakseimbangan saluran yang disebabkan oleh waktu henti node(#39200)
• Memperbaiki masalah yang dapat menyebabkan keseimbangan saluran menjadi macet.(#39160)
• Memperbaiki masalah di mana pemeriksaan tingkat hak istimewa grup kustom RBAC menjadi tidak efektif(#39224)
• Memperbaiki kegagalan untuk mengambil jumlah baris dalam indeks kosong(#39210)
• Memperbaiki estimasi memori yang salah untuk segmen kecil(#38909)

v2.5.3

Tanggal rilis: 13 Januari 2025

Versi Milvus	Versi Python SDK	Versi SDK Node.js	Versi Java SDK
2.5.3	2.5.3	2.5.3	2.5.4

Milvus 2.5.3 memberikan perbaikan bug kritis dan peningkatan kinerja untuk meningkatkan stabilitas, keandalan, dan kegunaan secara keseluruhan. Versi ini menyempurnakan penanganan konkurensi, meningkatkan pengindeksan dan pengambilan data, dan memperbarui beberapa komponen utama untuk pengalaman pengguna yang lebih kuat.

Perbaikan bug

• Memperbaiki masalah di mana menggunakan filter IN pada kunci utama VARCHAR dapat mengembalikan hasil yang kosong.(#39108)
• Memperbaiki masalah konkurensi antara operasi query dan delete yang dapat menyebabkan hasil yang salah.(#39054)
• Memperbaiki kegagalan yang disebabkan oleh pemfilteran berulang ketika expr kosong dalam permintaan kueri.(#39034)
• Memperbaiki masalah di mana kesalahan disk selama pembaruan konfigurasi menyebabkan penggunaan pengaturan konfigurasi default.(#39072)
• Memperbaiki potensi kehilangan data yang dihapus karena pemadatan clustering.(#39133)
• Memperbaiki kueri pencocokan teks yang rusak di segmen data yang sedang tumbuh.(#39113)
• Memperbaiki kegagalan pengambilan yang disebabkan oleh indeks yang tidak berisi data asli untuk vektor yang jarang.(#39146)
• Memperbaiki kemungkinan kondisi perlombaan bidang kolom yang disebabkan oleh kueri dan pemuatan data secara bersamaan.(#39152)
• Memperbaiki kegagalan penyisipan massal ketika bidang yang dapat dinullkan atau nilai_default tidak disertakan dalam data.(#39111)

Perbaikan

• Menambahkan API grup sumber daya untuk antarmuka RESTful.(#39092)
• Mengoptimalkan kinerja pengambilan dengan memanfaatkan metode bitset SIMD.(#39041)
• Menggunakan stempel waktu MVCC sebagai stempel waktu jaminan saat ditentukan.(#39019)
• Menambahkan metrik penghapusan yang hilang.(#38747)
• Memperbarui Etcd ke versi v3.5.16.(#38969)
• Membuat paket Go baru untuk mengelola protos.(#39128)

v2.5.2

Tanggal rilis: 3 Januari 2025

Versi Milvus	Versi Python SDK	Versi SDK Node.js	Versi Java SDK
2.5.2	2.5.3	2.5.3	2.5.3

Milvus 2.5.2 mendukung modifikasi panjang maksimum untuk kolom VARCHAR dan menyelesaikan beberapa masalah kritis yang berkaitan dengan konkurensi, partisi drop, dan penanganan statistik BM25 selama impor. Kami sangat menyarankan untuk melakukan upgrade ke versi ini untuk meningkatkan stabilitas dan performa.

Peningkatan

• Menghasilkan log penggunaan disk hanya jika jalur yang ditentukan tidak ada.(#38822)
• Menambahkan parameter untuk menyetel panjang VARCHAR maksimum dan mengembalikan batasnya ke 65.535.(#38883)
• Mendukung konversi tipe parameter untuk ekspresi.(#38782)

Perbaikan bug

• Memperbaiki potensi kebuntuan dalam skenario konkurensi.(#38863)
• Menghasilkan file index_null_offset hanya untuk bidang yang mendukung nilai nol.(#38834)
• Memperbaiki penggunaan paket retrieve setelah bebas dalam fase pengurangan.(#38841)
• Mengenali ekspresi dengan huruf besar AND dan OR.(#38928)
• Mengizinkan penurunan partisi yang berhasil meskipun pemuatan gagal.(#38874)
• Memperbaiki masalah registrasi file statistik BM25 selama impor.(#38881)

v2.5.1

Tanggal rilis: 26 Desember 2024

Versi Milvus	Versi Python SDK	Versi SDK Node.js	Versi Java SDK
2.5.1	2.5.2	2.5.2	2.5.2

Milvus 2.5.1 berfokus pada serangkaian perbaikan bug yang menangani pemuatan memori, daftar RBAC, penyeimbangan simpul kueri, dan pengindeksan segmen tersegel, sementara juga meningkatkan UI Web dan penyadap. Kami sangat menyarankan untuk meningkatkan ke 2.5.1 untuk meningkatkan stabilitas dan keandalan.

Peningkatan

• Memperbarui halaman koleksi dan kueri UI web.(#38701)

Perbaikan bug

• Memperbaiki masalah OOM dengan menambahkan faktor memori untuk estimasi pemuatan.(#38722)
• Memperbaiki perluasan grup hak istimewa saat mencantumkan kebijakan di RootCoord.(#38760)
• Memperbaiki masalah dengan daftar grup hak istimewa dan koleksi.(#38738)
• Memperbaiki penyeimbang untuk menghindari kelebihan beban berulang kali pada simpul kueri yang sama.(#38724)
• Memperbaiki tugas keseimbangan yang tidak terduga yang dipicu setelah QueryCoord dimulai ulang.(#38725)
• Memperbaiki pembaruan konfigurasi beban yang tidak berlaku untuk memuat koleksi.(#38737)
• Memperbaiki jumlah pembacaan nol selama impor data.(#38695)
• Memperbaiki decoding Unicode untuk kunci JSON dalam ekspresi.(#38653)
• Memperbaiki nama DB pencegat untuk alterCollectionField di 2.5. (#38663)
• Memperbaiki parameter indeks kosong untuk segmen yang disegel saat menggunakan pencarian brute force BM25.(#38752)

v2.5.0

Tanggal rilis: 23 Desember 2024

Versi Milvus	Versi Python SDK	Versi SDK Node.js	Versi Java SDK
2.5.0	2.5.1	2.5.2	2.5.2

Milvus 2.5.0 membawa kemajuan yang signifikan untuk meningkatkan kegunaan, skalabilitas, dan kinerja bagi pengguna yang berurusan dengan pencarian vektor dan manajemen data berskala besar. Dengan rilis ini, Milvus mengintegrasikan fitur-fitur baru yang kuat seperti pencarian berbasis istilah, pemadatan klaster untuk kueri yang dioptimalkan, dan dukungan serbaguna untuk metode pencarian vektor yang jarang dan padat. Peningkatan dalam manajemen klaster, pengindeksan, dan penanganan data memperkenalkan tingkat fleksibilitas dan kemudahan penggunaan yang baru, membuat Milvus menjadi basis data vektor yang lebih kuat dan mudah digunakan.

Fitur Utama

Pencarian Teks Lengkap

Milvus 2.5 mendukung pencarian teks lengkap yang diimplementasikan dengan Sparse-BM25! Fitur ini merupakan pelengkap penting bagi kemampuan pencarian semantik Milvus yang kuat, terutama dalam skenario yang melibatkan kata-kata langka atau istilah teknis. Pada versi sebelumnya, Milvus mendukung vektor jarang untuk membantu skenario pencarian kata kunci. Vektor-vektor jarang ini dihasilkan di luar Milvus oleh model neural seperti SPLADEv2/BGE-M3 atau model statistik seperti algoritma BM25.

Didukung oleh Tantivy, Milvus 2.5 memiliki analisis bawaan dan ekstraksi vektor jarang, memperluas API dari hanya menerima vektor sebagai input menjadi menerima teks secara langsung. Informasi statistik BM25 diperbarui secara real time saat data dimasukkan, sehingga meningkatkan kegunaan dan akurasi. Selain itu, vektor yang jarang berdasarkan algoritma perkiraan tetangga terdekat (ANN) menawarkan kinerja yang lebih kuat daripada sistem pencarian kata kunci standar.

Untuk detailnya, lihat Ikhtisar Penganalisis dan Pencarian Teks Lengkap.

WebUI Manajemen Klaster (Beta)

Untuk mendukung data yang sangat besar dan fitur yang kaya dengan lebih baik, desain Milvus yang canggih mencakup berbagai ketergantungan, banyak peran node, struktur data yang kompleks, dan banyak lagi. Aspek-aspek ini dapat menimbulkan tantangan untuk penggunaan dan pemeliharaan.

Milvus 2.5 memperkenalkan Cluster Management WebUI bawaan, mengurangi kesulitan pemeliharaan sistem dengan memvisualisasikan informasi lingkungan runtime Milvus yang kompleks. Ini termasuk rincian database dan koleksi, segmen, saluran, ketergantungan, status kesehatan node, informasi tugas, kueri yang lambat, dan banyak lagi.

Untuk detailnya, lihat Milvus WebUI.

Pencocokan Teks

Milvus 2.5 memanfaatkan penganalisis dan pengindeksan dari Tantivy untuk prapemrosesan teks dan pembuatan indeks, yang mendukung pencocokan bahasa alami yang tepat untuk data teks berdasarkan istilah-istilah tertentu. Fitur ini terutama digunakan untuk pencarian yang difilter untuk memenuhi kondisi tertentu dan dapat menggabungkan pemfilteran skalar untuk menyempurnakan hasil kueri, sehingga memungkinkan pencarian kemiripan dalam vektor yang memenuhi kriteria skalar.

Untuk detailnya, lihat Ikhtisar Penganalisis dan Pencocokan Teks.

Indeks Bitmap

Indeks data skalar baru telah ditambahkan ke keluarga Milvus. Indeks BitMap menggunakan larik bit, yang panjangnya sama dengan jumlah baris, untuk merepresentasikan keberadaan nilai dan mempercepat pencarian.

Indeks Bitmap secara tradisional efektif untuk bidang dengan kardinalitas rendah, yang memiliki sejumlah kecil nilai yang berbeda-misalnya, kolom yang berisi informasi jenis kelamin dengan hanya dua nilai yang mungkin: laki-laki dan perempuan.

Untuk detailnya, lihat Indeks Bitmap.

Nilai yang Dapat Dinolkan & Nilai Default

Milvus sekarang mendukung pengaturan properti nullable dan nilai default untuk field skalar selain field kunci utama. Untuk field skalar yang ditandai sebagai nullable=True, pengguna dapat menghilangkan field tersebut ketika memasukkan data; sistem akan memperlakukannya sebagai nilai null atau nilai default (jika diatur) tanpa memberikan kesalahan.

Nilai default dan properti yang dapat dinolkan memberikan fleksibilitas yang lebih besar untuk Milvus. Pengguna dapat menggunakan fitur ini untuk field dengan nilai yang tidak pasti ketika membuat koleksi. Fitur ini juga menyederhanakan migrasi data dari sistem basis data lain ke Milvus, yang memungkinkan untuk menangani kumpulan data yang mengandung nilai null dengan tetap mempertahankan pengaturan nilai default yang asli.

Untuk detailnya, lihat Nilai Nullable & Default.

HNSW SQ/PQ/PRQ berbasis Faiss

Melalui kolaborasi erat dengan komunitas Faiss, algoritme HNSW di Faiss telah mengalami peningkatan yang signifikan dalam hal fungsionalitas dan kinerja. Untuk pertimbangan stabilitas dan pemeliharaan, Milvus 2.5 telah secara resmi memigrasikan dukungannya untuk HNSW dari hnswlib ke Faiss.

Berdasarkan Faiss, Milvus 2.5 mendukung berbagai metode kuantisasi pada HNSW untuk memenuhi kebutuhan skenario yang berbeda: SQ (Pengukur Skalar), PQ (Pengukur Produk), dan PRQ (Pengukur Sisa Produk). SQ dan PQ lebih umum digunakan; SQ memberikan kinerja kueri yang baik dan kecepatan pembuatan, sementara PQ menawarkan penarikan yang lebih baik pada rasio kompresi yang sama. Banyak basis data vektor biasanya menggunakan kuantisasi biner, yang merupakan bentuk sederhana dari kuantisasi SQ.

PRQ adalah perpaduan antara PQ dan AQ (Additive Quantizer). Dibandingkan dengan PQ, PRQ membutuhkan waktu pembuatan yang lebih lama untuk menghasilkan penarikan yang lebih baik, terutama pada tingkat kompresi yang tinggi, dengan kata lain kompresi biner.

Pemadatan Pengelompokan (Beta)

Milvus 2.5 memperkenalkan Pemadatan Clustering untuk mempercepat pencarian dan mengurangi biaya dalam koleksi yang besar. Dengan menentukan bidang skalar sebagai kunci pengelompokan, data didistribusikan kembali berdasarkan rentang untuk mengoptimalkan penyimpanan dan pengambilan. Bertindak seperti indeks global, fitur ini memungkinkan Milvus memangkas data secara efisien selama kueri berdasarkan metadata pengelompokan, sehingga meningkatkan kinerja pencarian ketika filter skalar diterapkan.

Untuk detailnya, lihat Pemadatan Klaster.

Fitur Lainnya

Streaming Node (Beta)

Milvus 2.5 memperkenalkan komponen baru yang disebut streaming node, yang menyediakan layanan Write-Ahead Logging (WAL). Hal ini memungkinkan Milvus untuk mencapai konsensus sebelum dan sesudah membaca dan menulis saluran, membuka fitur, fungsi, dan pengoptimalan baru. Fitur ini dinonaktifkan secara default pada Milvus 2.5 dan akan tersedia secara resmi pada versi 3.0.

Dukungan IPv6

Milvus sekarang mendukung IPv6, yang memungkinkan konektivitas dan kompatibilitas jaringan yang lebih luas.

Impor Massal CSV

Selain format JSON dan Parquet, Milvus sekarang mendukung impor data secara langsung dalam format CSV.

Templat Ekspresi untuk Akselerasi Kueri

Milvus sekarang mendukung templat ekspresi, meningkatkan efisiensi penguraian ekspresi, terutama dalam skenario dengan ekspresi yang kompleks.

Untuk detailnya, lihat Templat Filter.

Penyempurnaan Berdasarkan Grup

• Ukuran Grup yang dapatdisesuaikan: Menambahkan dukungan untuk menentukan jumlah entri yang dikembalikan untuk setiap grup.
• Pencarian GroupBy Hybrid: Mendukung pencarian GroupBy hybrid berdasarkan beberapa kolom vektor.

Peningkatan Iterator

• Dukungan MVCC: Pengguna kini dapat menggunakan iterator tanpa terpengaruh oleh perubahan data berikutnya seperti penyisipan dan penghapusan, berkat Kontrol Konkurensi Multi-Versi (MVCC).
• Kursor Persisten: Milvus sekarang mendukung kursor persisten untuk QueryIterator, sehingga pengguna dapat melanjutkan iterasi dari posisi terakhir setelah Milvus dimulai ulang tanpa perlu memulai ulang seluruh proses iterasi.

Peningkatan

Optimalisasi Penghapusan

Meningkatkan kecepatan dan mengurangi penggunaan memori untuk penghapusan berskala besar dengan mengoptimalkan penggunaan kunci dan manajemen memori.

Peningkatan Ketergantungan

Peningkatan ke ETCD 3.5.16 dan Pulsar 3.0.7 LTS, memperbaiki CVE yang ada dan meningkatkan keamanan. Catatan: Upgrade ke Pulsar 3.x tidak kompatibel dengan versi 2.x sebelumnya.

Untuk pengguna yang sudah memiliki penerapan Milvus yang berfungsi, Anda perlu mengupgrade komponen ETCD dan Pulsar sebelum dapat menggunakan fitur dan fungsi baru. Untuk detailnya, lihat Meningkatkan Pulsar dari 2.x ke 3.x

Penyimpanan Lokal V2

Memperkenalkan format file lokal baru di Milvus 2.5, meningkatkan efisiensi pemuatan dan kueri untuk data skalar, mengurangi overhead memori, dan meletakkan dasar untuk pengoptimalan di masa mendatang.

Pengoptimalan Penguraian Ekspresi

Penguraian ekspresi yang lebih baik dengan mengimplementasikan caching untuk ekspresi yang diulang, meningkatkan ANTLR, dan mengoptimalkan kinerja klausa NOT IN.

Peningkatan Kinerja Konkurensi DDL

Mengoptimalkan kinerja konkurensi operasi Data Definition Language (DDL).

Penyelarasan Fitur API RESTful

Menyelaraskan fungsionalitas RESTful API dengan SDK lain untuk konsistensi.

Pembaruan Keamanan & Konfigurasi

TLS yang didukung untuk mengamankan komunikasi antar-simpul di lingkungan yang lebih kompleks atau lingkungan perusahaan. Untuk detailnya, lihat Konfigurasi Keamanan.

Peningkatan Kinerja Pemadatan

Menghapus batasan segmen maksimum dalam pemadatan campuran dan sekarang memprioritaskan segmen yang lebih kecil terlebih dahulu, meningkatkan efisiensi dan mempercepat kueri pada set data yang besar atau terfragmentasi.

Penyeimbangan Saluran Berbasis Skor

Memperkenalkan kebijakan yang secara dinamis menyeimbangkan beban di seluruh saluran, meningkatkan pemanfaatan sumber daya dan stabilitas secara keseluruhan dalam penerapan skala besar.