milvus-logo
LFAI
Casa
  • Guida all'amministrazione
    • Scala

Scala delle dipendenze di Milvus

Milvus si basa su varie dipendenze come MinIO, Kafka, Pulsar e etcd. La scalabilità di questi componenti può migliorare l'adattabilità di Milvus alle diverse esigenze.

Scalare MinIO

Aumentare le risorse per pod MinIO

MinIO, un sistema di archiviazione a oggetti utilizzato da Milvus, può aumentare le risorse di CPU e memoria per ogni pod.

# new-values.yaml
minio:
  resources:
     limits:
       cpu: 2
       memory: 8Gi

Dopo aver salvato il file, applicare le modifiche con il seguente comando:

helm upgrade <milvus-release> --reuse-values -f new-values.yaml milvus/milvus

È inoltre possibile aumentare la capacità del disco per il cluster MioIO modificando manualmente il valore di spec.resources.requests.storage per ogni MioIO Persistent Volume Claim (PVC). Si noti che la classe di archiviazione predefinita deve consentire l'espansione del volume.

Si consiglia di aggiungere un pool di server MioIO supplementare per l'istanza Milvus.

# new-values.yam;
minio:
  zones: 2

Dopo aver salvato il file, applicare le modifiche con il seguente comando:

helm upgrade <milvus-release> --reuse-values -f new-values.yaml milvus/milvus

Questo aggiunge un pool di server aggiuntivo al cluster MinIO, consentendo a Milvus di scrivere sul pool di server MinIO in base alla capacità del disco libero di ciascun pool di server. Ad esempio, se un gruppo di tre pool ha un totale di 10 TiB di spazio libero distribuito tra i pool come segue:

Spazio liberoPossibilità di scrittura
Pool A3 TiB30% (3/10)
Pool B2 TiB20% (2/10)
Pool C5 TiB50% (5/10)

MinIO non ribilancia automaticamente gli oggetti tra i nuovi pool di server. Se necessario, è possibile avviare manualmente una procedura di ribilanciamento con mc admin rebalance.

Kafka

Aumentare le risorse per pod del broker Kafka

Aumentare la capacità del broker Kafka regolando le risorse di CPU e memoria per ogni pod del broker.

# new-values.yaml
kafka:
  resources:
     limits:
        cpu: 2
        memory: 12Gi

Dopo aver salvato il file, applicare le modifiche con il seguente comando:

helm upgrade <milvus-release> --reuse-values -f new-values.yaml milvus/milvus

È anche possibile aumentare la capacità del disco per il cluster Kafka modificando manualmente il valore di spec.resources.requests.storage per ogni Kafka Persistent Volume Claim (PVC). Assicurarsi che la classe di archiviazione predefinita consenta l'espansione del volume.

Si consiglia di aggiungere un pool di server Kafka in più per la propria istanza Milvus.

# new-values.yaml
kafka:
  replicaCount: 4

Dopo aver salvato il file, applicare le modifiche con il seguente comando:

helm upgrade <milvus-release> --reuse-values -f new-values.yaml milvus/milvus

Questo aggiungerà un broker in più al cluster Kafka.

Kafka non riequilibra automaticamente gli argomenti tra tutti i broker. Se necessario, riequilibrare manualmente gli argomenti/partizioni tra tutti i broker Kafka utilizzando bin/kafka-reassign-partitions.sh dopo aver effettuato l'accesso a ciascun pod del broker Kafka.

Pulsar

Pulsar separa calcolo e archiviazione. È possibile aumentare in modo indipendente la capacità dei broker Pulsar (calcolo) e dei bookies Pulsar (storage).

Aumento delle risorse per pod di broker Pulsar

# new-values.yaml
pulsar:
  broker:
    resources:
       limits:
         cpu: 4
         memory: 16Gi

Dopo aver salvato il file, applicare le modifiche con il seguente comando:

helm upgrade <milvus-release> --reuse-values -f new-values.yaml milvus/milvus

Aumenta le risorse per pod di Pulsar bookie

# new-values.yaml
pulsar:
  bookkeeper:
    resources:
       limits:
         cpu: 4
         memory: 16Gi

Dopo aver salvato il file, applicare le modifiche con il seguente comando:

helm upgrade <milvus-release> --reuse-values -f new-values.yaml milvus/milvus

È inoltre possibile aumentare la capacità del disco per il cluster Pulsar modificando manualmente il valore di spec.resources.requests.storage per ogni Persistent Volume Claim (PVC) di Pulsar bookie. Si noti che la classe di storage predefinita deve consentire l'espansione del volume.

Un pod Pulsar bookie ha due tipi di storage: journal e legers. Per il tipo di storage journal, si consiglia di utilizzare ssd o gp3 come classe di storage. Ecco un esempio per specificare la classe di archiviazione per pulsar journal.

pulsar:
  bookkeeper:
    volumes:
      journal:
        size: 20Gi
        storageClassName: gp3

Aggiungere un pod Pulsar broker in più

# new-values.yaml
pulsar:
  broker:
    replicaCount: 3

Dopo aver salvato il file, applicare le modifiche con il seguente comando:

helm upgrade <milvus-release> --reuse-values -f new-values.yaml milvus/milvus
# new-values.yaml
pulsar:
  bookkeeper:
    replicaCount: 3

Dopo aver salvato il file, applicare le modifiche con il seguente comando:

helm upgrade <milvus-release> --reuse-values -f new-values.yaml milvus/milvus

etcd

# new-values.yaml
etcd:
  resources:
     limits:
       cpu: 2
       memory: 8Gi

Dopo aver salvato il file, applicare le modifiche con il seguente comando:

helm upgrade <milvus-release> --reuse-values -f new-values.yaml milvus/milvus

Aggiungi pod etcd extra

Il numero totale di pod eccd deve essere dispari.

# new-values.yaml
etcd:
  replicaCount: 5

Dopo aver salvato il file, applicare le modifiche con il seguente comando:

helm upgrade <milvus-release> --reuse-values -f new-values.yaml milvus/milvus

Tradotto daDeepLogo

Try Managed Milvus for Free

Zilliz Cloud is hassle-free, powered by Milvus and 10x faster.

Get Started
Feedback

Questa pagina è stata utile?