Skala Ketergantungan Milvus
Milvus bergantung pada berbagai ketergantungan seperti MinIO, Kafka, Pulsar, dan lain-lain. Menskalakan komponen-komponen ini dapat meningkatkan kemampuan beradaptasi Milvus terhadap kebutuhan yang berbeda.
Untuk pengguna Milvus Operator, lihat Mengonfigurasi Penyimpanan Objek dengan Milvus Operator, Mengonfigurasi Penyimpanan Meta dengan Milvus Operator, dan Mengonfigurasi Penyimpanan Pesan dengan Milvus Operator.
Skala MinIO
Meningkatkan sumber daya per pod MinIO
MinIO, sistem penyimpanan objek yang digunakan oleh Milvus, dapat ditingkatkan sumber daya CPU dan memorinya untuk setiap pod.
# new-values.yaml
minio:
resources:
limits:
cpu: 2
memory: 8Gi
Setelah menyimpan file, terapkan perubahan dengan perintah berikut:
helm upgrade <milvus-release> --reuse-values -f new-values.yaml milvus/milvus
Anda juga dapat meningkatkan kapasitas disk untuk cluster MioIO dengan mengubah nilai spec.resources.requests.storage secara manual untuk setiap MioIO Persistent Volume Claim (PVC). Perhatikan bahwa kelas penyimpanan default Anda harus mengizinkan ekspansi volume.
Menambahkan kumpulan server MioIO tambahan (Disarankan)
Anda disarankan untuk menambahkan pool server MioIO ekstra untuk instance Milvus Anda.
# new-values.yam;
minio:
zones: 2
Setelah menyimpan file, terapkan perubahan dengan perintah berikut:
helm upgrade <milvus-release> --reuse-values -f new-values.yaml milvus/milvus
Ini akan menambahkan sebuah pool server tambahan ke cluster MinIO Anda, sehingga Milvus dapat menulis ke pool server MinIO berdasarkan kapasitas disk kosong dari setiap pool server. Sebagai contoh, jika sebuah grup yang terdiri dari tiga pool memiliki total ruang kosong 10 TiB yang didistribusikan di seluruh pool sebagai berikut:
| Ruang kosong | Kemungkinan penulisan | |
|---|---|---|
| Pool A | 3 TiB | 30% (3/10) |
| Pool B | 2 TiB | 20% (2/10) |
| Pool C | 5 TiB | 50% (5/10) |
MinIO tidak secara otomatis menyeimbangkan kembali objek di seluruh pool server baru. Anda dapat memulai prosedur penyeimbangan ulang secara manual dengan mc admin rebalance jika diperlukan.
Kafka
Tingkatkan sumber daya per pod broker Kafka
Tingkatkan kapasitas broker Kafka dengan menyesuaikan sumber daya CPU dan memori untuk setiap pod broker.
# new-values.yaml
kafka:
resources:
limits:
cpu: 2
memory: 12Gi
Setelah menyimpan file, terapkan perubahan dengan perintah berikut:
helm upgrade <milvus-release> --reuse-values -f new-values.yaml milvus/milvus
Anda juga dapat meningkatkan kapasitas disk untuk cluster Kafka dengan mengubah nilai spec.resources.requests.storage secara manual untuk setiap Kafka Persistent Volume Claim (PVC). Pastikan kelas penyimpanan default Anda mengizinkan ekspansi volume.
Tambahkan kumpulan broker Kafka ekstra (Disarankan)
Anda disarankan untuk menambahkan pool server Kafka tambahan untuk instance Milvus Anda.
# new-values.yaml
kafka:
replicaCount: 4
Setelah menyimpan berkas, terapkan perubahan dengan perintah berikut:
helm upgrade <milvus-release> --reuse-values -f new-values.yaml milvus/milvus
Ini akan menambahkan satu broker tambahan ke kluster Kafka Anda.
Kafka tidak secara otomatis menyeimbangkan kembali topik di semua broker. Seimbangkan kembali topik/partisi secara manual di semua broker Kafka menggunakan bin/kafka-reassign-partitions.sh setelah masuk ke setiap pod broker Kafka jika diperlukan.
Pulsar
Pulsar memisahkan komputasi dan penyimpanan. Anda dapat secara mandiri meningkatkan kapasitas broker Pulsar (komputasi) dan bandar judi Pulsar (penyimpanan).
Meningkatkan sumber daya per pod broker Pulsar
# new-values.yaml
pulsar:
broker:
resources:
limits:
cpu: 4
memory: 16Gi
Setelah menyimpan file, terapkan perubahan dengan perintah berikut:
helm upgrade <milvus-release> --reuse-values -f new-values.yaml milvus/milvus
Tingkatkan sumber daya per pod bandar Pulsar
# new-values.yaml
pulsar:
bookkeeper:
resources:
limits:
cpu: 4
memory: 16Gi
Setelah menyimpan file, terapkan perubahan dengan perintah berikut:
helm upgrade <milvus-release> --reuse-values -f new-values.yaml milvus/milvus
Anda juga dapat meningkatkan kapasitas disk untuk cluster Pulsar dengan mengubah nilai spec.resources.requests.storage secara manual untuk setiap Persistent Volume Claim (PVC) bandar Pulsar. Perhatikan bahwa kelas penyimpanan default Anda harus mengizinkan ekspansi volume.
Sebuah pod bandar Pulsar memiliki dua jenis penyimpanan: journal dan legers. Untuk jenis penyimpanan journal, pertimbangkan untuk menggunakan ssd atau gp3 sebagai kelas penyimpanan. Berikut adalah contoh untuk menentukan kelas penyimpanan untuk jurnal pulsar.
pulsar:
bookkeeper:
volumes:
journal:
size: 20Gi
storageClassName: gp3
Menambahkan pod broker Pulsar tambahan
# new-values.yaml
pulsar:
broker:
replicaCount: 3
Setelah menyimpan file, terapkan perubahan dengan perintah berikut:
helm upgrade <milvus-release> --reuse-values -f new-values.yaml milvus/milvus
Tambahkan sebuah pod bandar Pulsar tambahan (Disarankan)
# new-values.yaml
pulsar:
bookkeeper:
replicaCount: 3
Setelah menyimpan file, terapkan perubahan dengan perintah berikut:
helm upgrade <milvus-release> --reuse-values -f new-values.yaml milvus/milvus
etcd
Meningkatkan sumber daya per pod etcd (disarankan)
# new-values.yaml
etcd:
resources:
limits:
cpu: 2
memory: 8Gi
Setelah menyimpan berkas, terapkan perubahan dengan perintah berikut:
helm upgrade <milvus-release> --reuse-values -f new-values.yaml milvus/milvus
Menambahkan pod etcd tambahan
Jumlah total pod etcd harus dalam angka ganjil.
# new-values.yaml
etcd:
replicaCount: 5
Setelah menyimpan berkas, terapkan perubahan dengan perintah berikut:
helm upgrade <milvus-release> --reuse-values -f new-values.yaml milvus/milvus