Exécuter Milvus dans Kubernetes avec Milvus Operator

Cette page explique comment démarrer une instance Milvus dans Kubernetes à l'aide de Milvus Operator.

Présentation

Milvus Operator est une solution qui vous aide à déployer et à gérer une pile complète de services Milvus sur des clusters Kubernetes (K8s). Cette pile comprend tous les composants Milvus et les dépendances associées, telles qu’etcd et MinIO, avec Woodpecker comme file d’attente de messages intégrée.

Prérequis

  • Créez un cluster K8s.

  • Installez une StorageClass. Vous pouvez vérifier la StorageClass installée comme suit.

    $ kubectl get sc
    
    NAME                  PROVISIONER                  RECLAIMPOLICY    VOLUMEBIINDINGMODE    ALLOWVOLUMEEXPANSION     AGE
    standard (default)    k8s.io/minikube-hostpath     Delete           Immediate             false 
    
  • Vérifiez la configuration matérielle et logicielle requise avant l’installation.

  • Avant d’installer Milvus, il est recommandé d’utiliser l’outil de dimensionnement Milvus pour estimer la configuration matérielle requise en fonction du volume de vos données. Cela permet de garantir des performances optimales et une allocation optimale des ressources pour votre installation Milvus.

Si vous rencontrez des difficultés pour récupérer l’image, contactez-nous à l’adresse community@zilliz.com en précisant les détails du problème, et nous vous fournirons l’assistance nécessaire.

Installer Milvus Operator

Milvus Operator définit des ressources personnalisées pour le cluster Milvus en s’appuyant sur les ressources personnalisées de Kubernetes. Une fois ces ressources personnalisées définies, vous pouvez utiliser les API K8s de manière déclarative et gérer la pile de déploiement Milvus afin de garantir son évolutivité et sa haute disponibilité.

Exécutez la commande suivante pour installer Milvus Operator avec Helm.

$ helm install milvus-operator \
  -n milvus-operator --create-namespace \
  --wait --wait-for-jobs \
  https://github.com/zilliztech/milvus-operator/releases/download/v1.3.7/milvus-operator-1.3.7.tgz

Une fois le processus d’installation terminé, vous verrez s’afficher un résultat similaire à celui-ci.

NAME: milvus-operator
LAST DEPLOYED: Thu Jul  7 13:18:40 2022
NAMESPACE: milvus-operator
STATUS: deployed
REVISION: 1
TEST SUITE: None
NOTES:
Milvus Operator Is Starting, use `kubectl get -n milvus-operator deploy/milvus-operator` to check if its successfully installed
If Operator not started successfully, check the checker's log with `kubectl -n milvus-operator logs job/milvus-operator-checker`
Full Installation doc can be found in https://github.com/zilliztech/milvus-operator/blob/main/docs/installation/installation.md
Quick start with `kubectl apply -f https://raw.githubusercontent.com/zilliztech/milvus-operator/main/config/samples/milvus_minimum.yaml`
More samples can be found in https://github.com/zilliztech/milvus-operator/tree/main/config/samples
CRD Documentation can be found in https://github.com/zilliztech/milvus-operator/tree/main/docs/CRD

Si vous avez déjà installé Milvus Operator, mettez-le à jour à l'aide de la commande suivante :

helm upgrade milvus-operator \
  -n milvus-operator --create-namespace \
  --wait --wait-for-jobs \
  https://github.com/zilliztech/milvus-operator/releases/download/v1.3.7/milvus-operator-1.3.7.tgz

Exécutez la commande suivante pour installer Milvus Operator à l'aide d'kubectl.

$ kubectl apply -f https://raw.githubusercontent.com/zilliztech/milvus-operator/main/deploy/manifests/deployment.yaml

Une fois le processus d'installation terminé, vous verrez s'afficher un résultat similaire à celui-ci.

namespace/milvus-operator created
customresourcedefinition.apiextensions.k8s.io/milvusclusters.milvus.io created
serviceaccount/milvus-operator-controller-manager created
role.rbac.authorization.k8s.io/milvus-operator-leader-election-role created
clusterrole.rbac.authorization.k8s.io/milvus-operator-manager-role created
clusterrole.rbac.authorization.k8s.io/milvus-operator-metrics-reader created
clusterrole.rbac.authorization.k8s.io/milvus-operator-proxy-role created
rolebinding.rbac.authorization.k8s.io/milvus-operator-leader-election-rolebinding created
clusterrolebinding.rbac.authorization.k8s.io/milvus-operator-manager-rolebinding created
clusterrolebinding.rbac.authorization.k8s.io/milvus-operator-proxy-rolebinding created
configmap/milvus-operator-manager-config created
service/milvus-operator-controller-manager-metrics-service created
service/milvus-operator-webhook-service created
deployment.apps/milvus-operator-controller-manager created

Vous pouvez vérifier si le pod Milvus Operator est en cours d'exécution comme suit :

$ kubectl get pods -n milvus-operator

NAME                               READY   STATUS    RESTARTS   AGE
milvus-operator-5fd77b87dc-msrk4   1/1     Running   0          46s

Déployer Milvus

1. Déployer un cluster Milvus

Une fois que le pod Milvus Operator est en cours d'exécution, vous pouvez déployer un cluster Milvus comme suit.

$ kubectl apply -f https://raw.githubusercontent.com/zilliztech/milvus-operator/main/config/samples/milvus_cluster_woodpecker.yaml

La commande ci-dessus déploie un cluster Milvus avec Woodpecker comme file d’attente de messages (recommandé pour la version 3.0.5) et tous les nouveaux composants architecturaux, y compris le nœud de streaming.

Points forts de l'architecture dans ce déploiement :

  • File d’attente de messages: utilise Woodpecker (réduit la maintenance de l’infrastructure)
  • Nœud de streaming: activé pour un traitement amélioré des données
  • Coordinateur Mix: composants de coordination consolidés pour une efficacité améliorée

Pour personnaliser ces paramètres, nous vous recommandons d’utiliser l’outil de dimensionnement Milvus afin d’ajuster les configurations en fonction de la taille réelle de vos données, puis de télécharger le fichier YAML correspondant. Pour en savoir plus sur les paramètres de configuration, consultez la liste de contrôle des configurations système Milvus.

  • Le nom de la version ne doit contenir que des lettres, des chiffres et des tirets. Les points ne sont pas autorisés dans le nom de la version.
  • Vous pouvez également déployer une instance Milvus en mode autonome, où tous ses composants sont regroupés dans un seul pod. Pour ce faire, remplacez l’URL du fichier de configuration dans la commande ci-dessus par https://raw.githubusercontent.com/zilliztech/milvus-operator/main/config/samples/milvus_default.yaml

2. Vérifier l’état du cluster Milvus

Exécutez la commande suivante pour vérifier l’état du cluster Milvus

$ kubectl get milvus my-release -o yaml

Une fois votre cluster Milvus prêt, la sortie de la commande ci-dessus devrait ressembler à ce qui suit. Si le champ « status.status » reste « Unhealthy », cela signifie que votre cluster Milvus est encore en cours de création.

apiVersion: milvus.io/v1alpha1
kind: Milvus
metadata:
...
status:
  conditions:
  - lastTransitionTime: "xxxx-xx-xxTxx:xx:xxZ"
    reason: StorageReady
    status: "True"
    type: StorageReady
  - lastTransitionTime: "xxxx-xx-xxTxx:xx:xxZ"
    message: Etcd endpoints is healthy
    reason: EtcdReady
    status: "True"
    type: EtcdReady
  - lastTransitionTime: "xxxx-xx-xxTxx:xx:xxZ"
    message: All Milvus components are healthy
    reason: MilvusClusterHealthy
    status: "True"
    type: MilvusReady
  endpoint: my-release-milvus.default:19530
  status: Healthy

Milvus Operator crée les dépendances de Milvus, telles que etcd et MinIO, puis les composants de Milvus, tels que le proxy, les coordinateurs et les nœuds.

Une fois votre cluster Milvus prêt, l’état de tous les pods du cluster Milvus devrait ressembler à ce qui suit.

$ kubectl get pods

NAME                                             READY   STATUS    RESTARTS   AGE
my-release-etcd-0                                1/1     Running   0          2m36s
my-release-etcd-1                                1/1     Running   0          2m36s
my-release-etcd-2                                1/1     Running   0          2m36s
my-release-milvus-datanode-58955c65b9-j4j7s      1/1     Running   0          92s
my-release-milvus-mixcoord-686f84968f-jcv5d      1/1     Running   0          92s
my-release-milvus-proxy-646f48fc7c-4lctb         1/1     Running   0          92s
my-release-milvus-querynode-0-d89d7677b-x7j7q    1/1     Running   0          91s
my-release-milvus-streamingnode-556bdcc87c-2qwcc 1/1     Running   0          92s
my-release-minio-0                               1/1     Running   0          2m36s
my-release-minio-1                               1/1     Running   0          2m36s
my-release-minio-2                               1/1     Running   0          2m35s
my-release-minio-3                               1/1     Running   0          2m35s

3. Rediriger un port local vers Milvus

Exécutez la commande suivante pour obtenir le port sur lequel votre cluster Milvus est accessible.

$ kubectl get pod my-release-milvus-proxy-84f67cdb7f-pg6wf --template
='{{(index (index .spec.containers 0).ports 0).containerPort}}{{"\n"}}'
19530

La sortie indique que l’instance Milvus est accessible sur le port par défaut 19530.

Si vous avez déployé Milvus en mode autonome, remplacez le nom du pod « my-release-milvus-proxy-xxxxxxxxxx-xxxxx » par « my-release-milvus-xxxxxxxxxx-xxxxx ».

Ensuite, exécutez la commande suivante pour rediriger un port local vers le port sur lequel Milvus est accessible.

$ kubectl port-forward service/my-release-milvus 27017:19530
Forwarding from 127.0.0.1:27017 -> 19530

Vous pouvez également utiliser :19530 à la place de 27017:19530 dans la commande ci-dessus pour laisser kubectl allouer un port local à votre place, ce qui vous évitera d’avoir à gérer les conflits de ports.

Par défaut, la redirection de port de kubectl n’écoute que sur localhost. Utilisez l’indicateur address si vous souhaitez que Milvus écoute sur l’adresse IP sélectionnée ou sur toutes les adresses IP. La commande suivante configure la redirection de port pour qu’elle écoute sur toutes les adresses IP de la machine hôte.

$ kubectl port-forward --address 0.0.0.0 service/my-release-milvus 27017:19530
Forwarding from 0.0.0.0:27017 -> 19530

Vous pouvez désormais vous connecter à Milvus via le port redirigé.

(Facultatif) Mise à jour des configurations de Milvus

Vous pouvez afficher et mettre à jour les configurations de votre cluster Milvus en exécutant la commande ` patch ` comme suit :

  1. Exécutez la commande suivante pour prévisualiser les configurations proposées.

    L'exemple suivant part du principe que vous souhaitez mettre à jour le paramètre ` spec.components.disableMetric ` pour le définir à false ms.

    $ kubectl patch milvus my-release --type='merge'\
      -p '{"spec":{"components":{"disableMetric":false}}}' \
      --dry-run=client -o yaml
    

    Pour les éléments de configuration concernés, reportez-vous à la section « Configuration du système ».

  2. Mettez à jour les configurations.

    $ kubectl patch milvus my-release --type='merge'\
      -p '{"spec":{"components":{"disableMetric":false}}}' 
    

Accéder à l’interface Web de Milvus

Milvus est fourni avec un outil graphique intégré appelé Milvus WebUI, accessible via votre navigateur. Milvus WebUI améliore la visibilité du système grâce à une interface simple et intuitive. Vous pouvez utiliser Milvus WebUI pour consulter les statistiques et les métriques des composants et des dépendances de Milvus, vérifier les détails de la base de données et de la collecte, et afficher la liste détaillée des configurations de Milvus. Pour plus de détails sur Milvus WebUI, consultez la section Milvus WebUI

Pour activer l’accès à Milvus WebUI, vous devez rediriger le port du pod proxy vers un port local.

$ kubectl port-forward --address 0.0.0.0 service/my-release-milvus 27018:9091
Forwarding from 0.0.0.0:27018 -> 9091

Vous pouvez désormais accéder à l’interface Web de Milvus à l’adresse http://localhost:27018.

Désinstaller Milvus

Exécutez la commande suivante pour désinstaller le cluster Milvus.

$ kubectl delete milvus my-release
  • Lorsque vous supprimez le cluster Milvus en utilisant la configuration par défaut, les dépendances telles que etcd et MinIO ne sont pas supprimées. Par conséquent, la prochaine fois que vous installerez la même instance de cluster Milvus, ces dépendances seront réutilisées.
  • Pour supprimer les dépendances et les revendications de volume persistant (PVC) en même temps que le cluster Milvus, consultez le fichier de configuration.

Désinstaller Milvus Operator

Il existe également deux façons de désinstaller Milvus Operator.

Désinstallation avec Helm

$ helm -n milvus-operator uninstall milvus-operator

Désinstallation avec kubectl

$ kubectl delete -f https://raw.githubusercontent.com/zilliztech/milvus-operator/v1.3.7/deploy/manifests/deployment.yaml

Dépendances facultatives

Ce déploiement utilise Woodpecker comme file d’attente de messages, etcd pour les métadonnées et MinIO pour le stockage d’objets, tous provisionnés par Milvus Operator. Pour utiliser un autre backend avec l’Operator, consultez :

Storage V3 est désactivé par défaut. Activez-le avant d’utiliser les fonctionnalités qui en dépendent. Pour connaître les prérequis et les considérations de compatibilité, consultez la section Storage V3.

Prochaines étapes

Une fois Milvus installé dans Docker, vous pouvez :

Traduit parDeepL

Office Hours

Heures de bureau à Milvus

Obtenez de l'aide pour le déploiement de la production de la part de Zilliz, les experts de Milvus.

Réservez une session 1:1 gratuite

Essayez Milvus géré gratuitement

Zilliz Cloud est sans souci, propulsé par Milvus et 10 fois plus rapide.

Commencer
Feedback

Cette page a-t - elle été utile ?