Batasi Jumlah Koleksi
Sebuah instance Milvus memungkinkan hingga 65.536 koleksi. Namun, koleksi yang terlalu banyak dapat menyebabkan masalah kinerja. Oleh karena itu, disarankan untuk membatasi jumlah koleksi yang dibuat dalam sebuah instans Milvus.
Panduan ini menyediakan instruksi tentang cara menetapkan batasan jumlah koleksi dalam sebuah instans Milvus.
Konfigurasi bervariasi tergantung pada cara Anda menginstal instans Milvus.
Untuk instans Milvus yang diinstal menggunakan Helm Charts
Tambahkan konfigurasi ke file
values.yaml
di bawah bagianconfig
. Untuk detailnya, lihat Mengonfigurasi Milvus dengan Helm Charts.Untuk instans Milvus yang diinstal menggunakan Docker Compose
Tambahkan konfigurasi ke berkas
milvus.yaml
yang Anda gunakan untuk memulai instans Milvus. Untuk detailnya, lihat Mengkonfigurasi Milvus dengan Docker Compose.Untuk instans Milvus yang diinstal menggunakan Operator
Tambahkan konfigurasi ke bagian
spec.components
pada sumber daya kustomMilvus
. Untuk detailnya, lihat Mengkonfigurasi Milvus dengan Operator.
Opsi konfigurasi
rootCoord:
maxGeneralCapacity: 65536
Parameter maxGeneralCapacity
mengatur jumlah maksimum koleksi yang dapat ditampung oleh instans Milvus saat ini. Nilai defaultnya adalah 65536
.
Menghitung jumlah koleksi
Dalam sebuah koleksi, Anda bisa mengatur beberapa pecahan dan partisi. Pecahan adalah unit logika yang digunakan untuk mendistribusikan operasi penulisan data di antara beberapa simpul data. Partisi adalah unit logika yang digunakan untuk meningkatkan efisiensi pengambilan data dengan hanya memuat sebagian data koleksi. Ketika menghitung jumlah koleksi dalam instance Milvus saat ini, Anda juga perlu menghitung pecahan dan partisi.
Sebagai contoh, anggaplah Anda telah membuat 100 koleksi, dengan 2 pecahan dan 4 partisi di 60 koleksi dan dengan 1 pecahan dan 12 partisi di 40 koleksi lainnya. Jumlah total unit koleksi (dihitung sebagai shards Ă— partitions
) dapat ditentukan sebagai berikut:
60 (collections) x 2 (shards) x 4 (partitions) + 40 (collections) x 1 (shard) x 12 (partitions) = 960
Dalam contoh ini, jumlah total 960 unit koleksi yang dihitung mewakili penggunaan saat ini. maxGeneralCapacity
mendefinisikan jumlah maksimum unit koleksi yang dapat didukung oleh sebuah instans, yang diatur ke 65536
secara default. Ini berarti instance dapat menampung hingga 65.536 unit koleksi. Jika jumlah total melebihi batas ini, sistem akan menampilkan pesan kesalahan berikut:
failed checking constraint: sum_collections(parition*shard) exceeding the max general capacity:
Untuk menghindari kesalahan ini, Anda bisa mengurangi jumlah pecahan atau partisi dalam koleksi yang sudah ada atau yang baru, menghapus beberapa koleksi, atau menambah nilai maxGeneralCapacity
.