milvus-logo
LFAI
Home
  • Guide d'administration
    • Mise à l'échelle

Dépendances de Scale Milvus

Milvus s'appuie sur diverses dépendances telles que MinIO, Kafka, Pulsar et etcd. La mise à l'échelle de ces composants peut améliorer l'adaptabilité de Milvus à différentes exigences.

Mise à l'échelle de MinIO

Augmenter les ressources par pod MinIO

MinIO, un système de stockage d'objets utilisé par Milvus, peut voir ses ressources CPU et mémoire augmentées pour chaque pod.

# new-values.yaml
minio:
  resources:
     limits:
       cpu: 2
       memory: 8Gi

Après avoir enregistré le fichier, appliquez les modifications à l'aide de la commande suivante :

helm upgrade <milvus-release> --reuse-values -f new-values.yaml milvus/milvus

Vous pouvez également augmenter la capacité du disque pour le cluster MioIO en modifiant manuellement la valeur de spec.resources.requests.storage pour chaque Persistent Volume Claim (PVC) de MioIO. Notez que votre classe de stockage par défaut doit permettre l'extension du volume.

Il est conseillé d'ajouter un pool de serveurs MioIO supplémentaire pour votre instance Milvus.

# new-values.yam;
minio:
  zones: 2

Après avoir enregistré le fichier, appliquez les modifications à l'aide de la commande suivante :

helm upgrade <milvus-release> --reuse-values -f new-values.yaml milvus/milvus

Ceci ajoute un pool de serveurs supplémentaire à votre cluster MinIO, ce qui permet à Milvus d'écrire dans le pool de serveurs MinIO en fonction de la capacité de disque libre de chaque pool de serveurs. Par exemple, si un groupe de trois pools dispose d'un total de 10 TiB d'espace libre réparti entre les pools comme suit :

Espace librePossibilité d'écriture
Pool A3 TiB30% (3/10)
Pool B2 TiB20% (2/10)
Groupe C5 TiB50% (5/10)

MinIO ne rééquilibre pas automatiquement les objets entre les nouveaux pools de serveurs. Vous pouvez lancer manuellement une procédure de rééquilibrage à l'adresse mc admin rebalance si nécessaire.

Kafka

Augmentation des ressources par pod de courtier Kafka

Augmentez la capacité du courtier Kafka en ajustant les ressources de CPU et de mémoire pour chaque pod de courtier.

# new-values.yaml
kafka:
  resources:
     limits:
        cpu: 2
        memory: 12Gi

Après avoir enregistré le fichier, appliquez les modifications à l'aide de la commande suivante :

helm upgrade <milvus-release> --reuse-values -f new-values.yaml milvus/milvus

Vous pouvez également augmenter la capacité du disque pour le cluster Kafka en modifiant manuellement la valeur de spec.resources.requests.storage pour chaque Kafka Persistent Volume Claim (PVC). Assurez-vous que votre classe de stockage par défaut permet l'extension du volume.

Il est conseillé d'ajouter un pool de serveurs Kafka supplémentaire pour votre instance Milvus.

# new-values.yaml
kafka:
  replicaCount: 4

Après avoir enregistré le fichier, appliquez les modifications à l'aide de la commande suivante :

helm upgrade <milvus-release> --reuse-values -f new-values.yaml milvus/milvus

Cela ajoutera un courtier supplémentaire à votre cluster Kafka.

Kafka ne rééquilibre pas automatiquement les sujets entre tous les courtiers. Rééquilibrez manuellement les sujets/partitions entre tous les courtiers Kafka à l'aide de bin/kafka-reassign-partitions.sh après vous être connecté à chaque pod de courtier Kafka si nécessaire.

Pulsar

Pulsar sépare le calcul et le stockage. Vous pouvez augmenter indépendamment la capacité des brokers Pulsar (calcul) et des bookies Pulsar (stockage).

Augmenter les ressources par module de courtier Pulsar

# new-values.yaml
pulsar:
  broker:
    resources:
       limits:
         cpu: 4
         memory: 16Gi

Après avoir enregistré le fichier, appliquez les modifications à l'aide de la commande suivante :

helm upgrade <milvus-release> --reuse-values -f new-values.yaml milvus/milvus

Augmenter les ressources par pod de bookmaker Pulsar

# new-values.yaml
pulsar:
  bookkeeper:
    resources:
       limits:
         cpu: 4
         memory: 16Gi

Après avoir enregistré le fichier, appliquez les changements avec la commande suivante : Augmenter les ressources par module de courtage Pulsar :

helm upgrade <milvus-release> --reuse-values -f new-values.yaml milvus/milvus

Vous pouvez également augmenter la capacité du disque pour le cluster Pulsar en modifiant manuellement la valeur de spec.resources.requests.storage pour chaque revendication de volume persistant (PVC) du bookmaker Pulsar. Notez que votre classe de stockage par défaut doit permettre l'expansion du volume.

Un pod de bookmaker Pulsar dispose de deux types de stockage : journal et legers. Pour le type de stockage journal, envisagez d'utiliser ssd ou gp3 comme classe de stockage. Voici un exemple pour spécifier la classe de stockage pour le journal Pulsar.

pulsar:
  bookkeeper:
    volumes:
      journal:
        size: 20Gi
        storageClassName: gp3

Ajouter un pod de broker Pulsar supplémentaire

# new-values.yaml
pulsar:
  broker:
    replicaCount: 3

Après avoir enregistré le fichier, appliquez les modifications à l'aide de la commande suivante :

helm upgrade <milvus-release> --reuse-values -f new-values.yaml milvus/milvus
# new-values.yaml
pulsar:
  bookkeeper:
    replicaCount: 3

Après avoir sauvegardé le fichier, appliquez les changements avec la commande suivante :

helm upgrade <milvus-release> --reuse-values -f new-values.yaml milvus/milvus

etcd

# new-values.yaml
etcd:
  resources:
     limits:
       cpu: 2
       memory: 8Gi

Après avoir sauvegardé le fichier, appliquez les changements avec la commande suivante :

helm upgrade <milvus-release> --reuse-values -f new-values.yaml milvus/milvus

Ajouter des modules etcd supplémentaires

Le nombre total de pods etcd doit être impair.

# new-values.yaml
etcd:
  replicaCount: 5

Après avoir enregistré le fichier, appliquez les changements avec la commande suivante :

helm upgrade <milvus-release> --reuse-values -f new-values.yaml milvus/milvus

Traduit parDeepLogo

Try Managed Milvus for Free

Zilliz Cloud is hassle-free, powered by Milvus and 10x faster.

Get Started
Feedback

Cette page a-t - elle été utile ?