Implementazione di un cluster Milvus su EKS

In questa sezione viene descritto come distribuire un cluster Milvus su Amazon EKS.

Prerequisiti

  • È necessario che AWS CLI sia installato sul proprio PC locale o su un'istanza Amazon EC2, che fungerà da endpoint per eseguire le operazioni descritte in questo documento. Su Amazon Linux 2 o Amazon Linux 2023, gli strumenti AWS CLI sono già installati. Per installare AWS CLI sul proprio PC locale, consultare la guida Come installare AWS CLI.
  • È necessario che Kubernetes e gli strumenti EKS siano installati sul dispositivo endpoint preferito, tra cui:
  • Le autorizzazioni AWS IAM devono essere state concesse correttamente. Il soggetto di sicurezza IAM che si sta utilizzando deve disporre delle autorizzazioni necessarie per utilizzare i ruoli IAM di Amazon EKS, i ruoli relativi ai servizi, AWS CloudFormation, le VPC e altre risorse correlate. È possibile seguire una delle seguenti procedure per concedere al proprio soggetto le autorizzazioni appropriate.
    • (Non consigliato) È sufficiente impostare la policy di associazione dell’utente/ruolo utilizzato sulla policy gestita da AWS AdministratorAccess.
    • (Consigliato vivamente) Per applicare il principio del privilegio minimo, procedere come segue:
      • Per configurare le autorizzazioni per eksctl, fare riferimento a Autorizzazioni minime per eksctl.

      • Per configurare le autorizzazioni relative alla creazione/eliminazione di bucket AWS S3, fare riferimento alle seguenti impostazioni di autorizzazione:

        {
          "Version": "2012-10-17",
          "Statement": [
            {
              "Sid": "S3BucketManagement",
              "Effect": "Allow",
              "Action": [
                "s3:CreateBucket",
                "s3:PutBucketAcl",
                "s3:PutBucketOwnershipControls",
                "s3:DeleteBucket"
              ],
              "Resource": [
                "arn:aws:s3:::milvus-bucket-*"
              ]
            }
          ]
        }
        
      • Per configurare le autorizzazioni relative alla creazione/eliminazione di politiche IAM, fare riferimento alle seguenti impostazioni di autorizzazione. Sostituire YOUR_ACCOUNT_ID con il proprio.

        {
          "Version": "2012-10-17",
          "Statement": [
            {
              "Sid": "IAMPolicyManagement",
              "Effect": "Allow",
              "Action": [
                "iam:CreatePolicy",
                "iam:DeletePolicy"
              ],
              "Resource": "arn:aws:iam::YOUR_ACCOUNT_ID:policy/MilvusS3ReadWrite"
            }
          ]
        }    
        

Configurazione delle risorse AWS

È possibile configurare le risorse AWS necessarie, tra cui un bucket AWS S3 e un cluster EKS, utilizzando la console di gestione AWS, la CLI AWS o strumenti IaC, come Terraform. In questo documento, si preferisce utilizzare la CLI AWS per illustrare come configurare le risorse AWS.

Creazione di un bucket Amazon S3

  • Creare un bucket AWS S3.

    Leggere le Regole di denominazione dei bucket e attenersi a tali regole quando si assegna un nome al proprio bucket AWS S3.

    milvus_bucket_name="milvus-bucket-$(openssl rand -hex 12)"
    
    aws s3api create-bucket --bucket "$milvus_bucket_name" --region 'us-east-2' --acl private  --object-ownership ObjectWriter --create-bucket-configuration LocationConstraint='us-east-2'
    
    
    # Output
    #
    # "Location": "http://milvus-bucket-039dd013c0712f085d60e21f.s3.amazonaws.com/"
    
  • Creare una policy IAM per la lettura e la scrittura di oggetti all’interno del bucket creato in precedenza. Sostituire il nome del bucket con il proprio.

    echo '{
      "Version": "2012-10-17",
      "Statement": [
        {
          "Effect": "Allow",
          "Action": [
            "s3:GetObject",
            "s3:PutObject",
            "s3:ListBucket",
            "s3:DeleteObject"
          ],
          "Resource": [
            "arn:aws:s3:::<bucket-name>",
            "arn:aws:s3:::<bucket-name>/*"
          ]
        }
      ]
    }' > milvus-s3-policy.json
    
    aws iam create-policy --policy-name MilvusS3ReadWrite --policy-document file://milvus-s3-policy.json
    
    
    # Get the ARN from the command output as follows:
    # {
    #     "Policy": {
    #         "PolicyName": "MilvusS3ReadWrite",
    #         "PolicyId": "AN5QQVVPM1BVTFlBNkdZT",
    #         "Arn": "arn:aws:iam::12345678901:policy/MilvusS3ReadWrite",
    #         "Path": "/",
    #         "DefaultVersionId": "v1",
    #         "AttachmentCount": 0,
    #         "PermissionsBoundaryUsageCount": 0,
    #         "IsAttachable": true,
    #         "CreateDate": "2023-11-16T06:00:01+00:00",
    #        "UpdateDate": "2023-11-16T06:00:01+00:00"
    #     }
    # }    
    
  • Associa la policy al tuo utente AWS.

    aws iam attach-user-policy --user-name <your-user-name> --policy-arn "arn:aws:iam::<your-iam-account-id>:policy/MilvusS3ReadWrite"
    

Creare un cluster Amazon EKS

  • Preparare un file di configurazione del cluster come indicato di seguito e denominarlo eks_cluster.yaml.

    apiVersion: eksctl.io/v1alpha5
    kind: ClusterConfig
    
    metadata:
      name: 'milvus-eks-cluster'
      region: 'us-east-2'
      version: "1.27"
    
    iam:
      withOIDC: true
    
      serviceAccounts:
      - metadata:
          name: aws-load-balancer-controller
          namespace: kube-system
        wellKnownPolicies:
          awsLoadBalancerController: true
    
    managedNodeGroups:
      - name: milvus-node-group
        labels: { role: milvus }
        instanceType: m6i.4xlarge
        desiredCapacity: 3
        privateNetworking: true
        
    addons:
    - name: vpc-cni
      version: latest
      attachPolicyARNs:
        - arn:aws:iam::aws:policy/AmazonEKS_CNI_Policy
    - name: coredns
      version: latest
    - name: kube-proxy
      version: latest
    - name: aws-ebs-csi-driver
      version: latest
      wellKnownPolicies:
        ebsCSIController: true
    
  • Esegui il seguente comando per creare un cluster EKS.

    eksctl create cluster -f eks_cluster.yaml
    
  • Recupera il file kubeconfig.

    aws eks update-kubeconfig --region 'us-east-2' --name 'milvus-eks-cluster'
    
  • Verifica il cluster EKS.

    kubectl cluster-info
    
    kubectl get nodes -A -o wide
    

Creare una StorageClass

Milvus utilizza etcd come meta-storage e deve fare affidamento sulla StorageClass gp3 per creare e gestire i PVC.

cat <<EOF | kubectl apply -f -
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: ebs-gp3-sc
  annotations:
    storageclass.kubernetes.io/is-default-class: "true"
provisioner: ebs.csi.aws.com
volumeBindingMode: WaitForFirstConsumer
parameters:
  type: gp3
EOF

Imposta la StorageClass gp2 originale su "non predefinita".

kubectl patch storageclass gp2 -p '{"metadata": {"annotations":{"storageclass.kubernetes.io/is-default-class":"false"}}}'

Installa AWS LoadBalancer Controller

  • Aggiungere il repository Helm chars.

    helm repo add eks https://aws.github.io/eks-charts
    helm repo update
    
  • Installare il controller AWS Load Balancer.

    helm install aws-load-balancer-controller eks/aws-load-balancer-controller \
      -n kube-system \
      --set clusterName='milvus-eks-cluster' \
      --set serviceAccount.create=false \
      --set serviceAccount.name=aws-load-balancer-controller 
    
  • Verificare l'installazione

    kubectl get deployment -n kube-system aws-load-balancer-controller
    

Distribuire Milvus

In questa guida utilizzeremo i chart Helm di Milvus per distribuire un cluster Milvus. Puoi trovare i chart qui.

  • Aggiungere il repository dei chart Helm di Milvus.

    helm repo add milvus https://zilliztech.github.io/milvus-helm/
    helm repo update
    
  • Preparare il file di configurazione di Milvus milvus.yaml e sostituire <bucket-name> <s3-access-key> <s3-secret-key> con il proprio.

    • Per configurare l'alta disponibilità (HA) per il proprio Milvus, consultare questo calcolatore per ulteriori informazioni. È possibile scaricare le configurazioni correlate direttamente dal calcolatore; si raccomanda di rimuovere le configurazioni relative a MinIO.
    • Per implementare distribuzioni con più repliche dei coordinatori, impostare xxCoordinator.activeStandby.enabled su true.

    cluster:
      enabled: true
    
    service:
      type: LoadBalancer
      port: 19530
      annotations: 
        service.beta.kubernetes.io/aws-load-balancer-type: external
        service.beta.kubernetes.io/aws-load-balancer-name: milvus-service
        service.beta.kubernetes.io/aws-load-balancer-scheme: internet-facing
        service.beta.kubernetes.io/aws-load-balancer-nlb-target-type: ip
    
    minio:
      enabled: false
    
    externalS3:
      enabled: true
      host: "s3.us-east-2.amazonaws.com"
      port: "443"
      useSSL: true
      bucketName: "<bucket-name>"
      useIAM: false
      cloudProvider: "aws"
      iamEndpoint: ""
      accessKey: "<s3-access-key>"
      secretKey: "<s3-secret-key>"
      region: "us-east-2"
    
    # HA Configurations
    rootCoordinator:
      replicas: 2
      activeStandby:
        enabled: true
      resources: 
        limits:
          cpu: 1
          memory: 2Gi
    
    indexCoordinator:
      replicas: 2
      activeStandby:
        enabled: true
      resources: 
        limits:
          cpu: "0.5"
          memory: 0.5Gi
    
    queryCoordinator:
      replicas: 2
      activeStandby:
        enabled: true
      resources: 
        limits:
          cpu: "0.5"
          memory: 0.5Gi
    
    dataCoordinator:
      replicas: 2
      activeStandby:
        enabled: true
      resources: 
        limits:
          cpu: "0.5"
          memory: 0.5Gi
    
    proxy:
      replicas: 2
      resources: 
        limits:
          cpu: 1
          memory: 2Gi  
    
  • Installare Milvus.

    helm install milvus-demo milvus/milvus -n milvus -f milvus.yaml
    
  • Attendere che tutti i pod siano in stato " Running".

    kubectl get pods -n milvus
    

    Helm non supporta la pianificazione dell’ordine di creazione dei servizi. È normale che i pod di business si riavviino una o due volte prima che etcd e pulsar siano attivi nella fase iniziale.

  • Ottenere l'indirizzo del servizio Milvus.

    kubectl get svc -n milvus
    

Verifica l'installazione

È possibile seguire la semplice guida riportata di seguito per verificare l’installazione. Per ulteriori dettagli, fare riferimento agli script di esempio nel repository pymilvus.

  • Scaricare il codice di esempio.

    wget https://raw.githubusercontent.com/milvus-io/pymilvus/master/examples/simple.py
    
  • Modificare l’URI di connessione nel codice di esempio sostituendolo con l’indirizzo del servizio Milvus sopra indicato.

    ...
    milvus_client = MilvusClient("http://milvus-service-06b515b1ce9ad10.elb.us-east-2.amazonaws.com:19530")
    ...
    
  • Esegui il codice di esempio.

    python3 simple.py
    

    Lo script crea una collezione denominata hello_milvus, inserisce alcune righe, esegue diverse query e una ricerca vettoriale, quindi elimina la collezione al termine. Se l'operazione viene completata senza errori, il cluster Milvus funziona come previsto.

Operazioni di pulizia

Nel caso in cui sia necessario ripristinare l’ambiente disinstallando Milvus, eliminando il cluster EKS ed eliminando i bucket AWS S3 e le relative politiche IAM.

  • Disinstallare Milvus.

    helm uninstall milvus-demo -n milvus
    
  • Distruggi il cluster EKS.

    eksctl delete cluster --name milvus-eks-cluster --region us-east-2
    
  • Eliminare il bucket AWS S3 e le relative politiche IAM.

    Sostituire il nome del bucket e l'ARN della policy con i propri.

    aws s3 rm s3://milvus-bucket-039dd013c0712f085d60e21f --recursive
    
    aws s3api delete-bucket --bucket milvus-bucket-039dd013c0712f085d60e21f --region us-east-2
    
    aws iam detach-user-policy --user-name <your-user-name> --policy-arn "arn:aws:iam::12345678901:policy/MilvusS3ReadWrite"
    
    aws iam delete-policy --policy-arn 'arn:aws:iam::12345678901:policy/MilvusS3ReadWrite'
    

Prossimi passi

Se vuoi scoprire come distribuire Milvus su altre piattaforme cloud: