Implementazione di un cluster Milvus su EKS
In questa sezione viene descritto come distribuire un cluster Milvus su Amazon EKS.
Prerequisiti
- È necessario che AWS CLI sia installato sul proprio PC locale o su un'istanza Amazon EC2, che fungerà da endpoint per eseguire le operazioni descritte in questo documento. Su Amazon Linux 2 o Amazon Linux 2023, gli strumenti AWS CLI sono già installati. Per installare AWS CLI sul proprio PC locale, consultare la guida Come installare AWS CLI.
- È necessario che Kubernetes e gli strumenti EKS siano installati sul dispositivo endpoint preferito, tra cui:
- Le autorizzazioni AWS IAM devono essere state concesse correttamente. Il soggetto di sicurezza IAM che si sta utilizzando deve disporre delle autorizzazioni necessarie per utilizzare i ruoli IAM di Amazon EKS, i ruoli relativi ai servizi, AWS CloudFormation, le VPC e altre risorse correlate. È possibile seguire una delle seguenti procedure per concedere al proprio soggetto le autorizzazioni appropriate.
- (Non consigliato) È sufficiente impostare la policy di associazione dell’utente/ruolo utilizzato sulla policy gestita da AWS
AdministratorAccess. - (Consigliato vivamente) Per applicare il principio del privilegio minimo, procedere come segue:
Per configurare le autorizzazioni per
eksctl, fare riferimento a Autorizzazioni minime pereksctl.Per configurare le autorizzazioni relative alla creazione/eliminazione di bucket AWS S3, fare riferimento alle seguenti impostazioni di autorizzazione:
{ "Version": "2012-10-17", "Statement": [ { "Sid": "S3BucketManagement", "Effect": "Allow", "Action": [ "s3:CreateBucket", "s3:PutBucketAcl", "s3:PutBucketOwnershipControls", "s3:DeleteBucket" ], "Resource": [ "arn:aws:s3:::milvus-bucket-*" ] } ] }Per configurare le autorizzazioni relative alla creazione/eliminazione di politiche IAM, fare riferimento alle seguenti impostazioni di autorizzazione. Sostituire
YOUR_ACCOUNT_IDcon il proprio.{ "Version": "2012-10-17", "Statement": [ { "Sid": "IAMPolicyManagement", "Effect": "Allow", "Action": [ "iam:CreatePolicy", "iam:DeletePolicy" ], "Resource": "arn:aws:iam::YOUR_ACCOUNT_ID:policy/MilvusS3ReadWrite" } ] }
- (Non consigliato) È sufficiente impostare la policy di associazione dell’utente/ruolo utilizzato sulla policy gestita da AWS
Configurazione delle risorse AWS
È possibile configurare le risorse AWS necessarie, tra cui un bucket AWS S3 e un cluster EKS, utilizzando la console di gestione AWS, la CLI AWS o strumenti IaC, come Terraform. In questo documento, si preferisce utilizzare la CLI AWS per illustrare come configurare le risorse AWS.
Creazione di un bucket Amazon S3
Creare un bucket AWS S3.
Leggere le Regole di denominazione dei bucket e attenersi a tali regole quando si assegna un nome al proprio bucket AWS S3.
milvus_bucket_name="milvus-bucket-$(openssl rand -hex 12)" aws s3api create-bucket --bucket "$milvus_bucket_name" --region 'us-east-2' --acl private --object-ownership ObjectWriter --create-bucket-configuration LocationConstraint='us-east-2' # Output # # "Location": "http://milvus-bucket-039dd013c0712f085d60e21f.s3.amazonaws.com/"Creare una policy IAM per la lettura e la scrittura di oggetti all’interno del bucket creato in precedenza. Sostituire il nome del bucket con il proprio.
echo '{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "s3:GetObject", "s3:PutObject", "s3:ListBucket", "s3:DeleteObject" ], "Resource": [ "arn:aws:s3:::<bucket-name>", "arn:aws:s3:::<bucket-name>/*" ] } ] }' > milvus-s3-policy.json aws iam create-policy --policy-name MilvusS3ReadWrite --policy-document file://milvus-s3-policy.json # Get the ARN from the command output as follows: # { # "Policy": { # "PolicyName": "MilvusS3ReadWrite", # "PolicyId": "AN5QQVVPM1BVTFlBNkdZT", # "Arn": "arn:aws:iam::12345678901:policy/MilvusS3ReadWrite", # "Path": "/", # "DefaultVersionId": "v1", # "AttachmentCount": 0, # "PermissionsBoundaryUsageCount": 0, # "IsAttachable": true, # "CreateDate": "2023-11-16T06:00:01+00:00", # "UpdateDate": "2023-11-16T06:00:01+00:00" # } # }Associa la policy al tuo utente AWS.
aws iam attach-user-policy --user-name <your-user-name> --policy-arn "arn:aws:iam::<your-iam-account-id>:policy/MilvusS3ReadWrite"
Creare un cluster Amazon EKS
Preparare un file di configurazione del cluster come indicato di seguito e denominarlo
eks_cluster.yaml.apiVersion: eksctl.io/v1alpha5 kind: ClusterConfig metadata: name: 'milvus-eks-cluster' region: 'us-east-2' version: "1.27" iam: withOIDC: true serviceAccounts: - metadata: name: aws-load-balancer-controller namespace: kube-system wellKnownPolicies: awsLoadBalancerController: true managedNodeGroups: - name: milvus-node-group labels: { role: milvus } instanceType: m6i.4xlarge desiredCapacity: 3 privateNetworking: true addons: - name: vpc-cni version: latest attachPolicyARNs: - arn:aws:iam::aws:policy/AmazonEKS_CNI_Policy - name: coredns version: latest - name: kube-proxy version: latest - name: aws-ebs-csi-driver version: latest wellKnownPolicies: ebsCSIController: trueEsegui il seguente comando per creare un cluster EKS.
eksctl create cluster -f eks_cluster.yamlRecupera il file kubeconfig.
aws eks update-kubeconfig --region 'us-east-2' --name 'milvus-eks-cluster'Verifica il cluster EKS.
kubectl cluster-info kubectl get nodes -A -o wide
Creare una StorageClass
Milvus utilizza etcd come meta-storage e deve fare affidamento sulla StorageClass gp3 per creare e gestire i PVC.
cat <<EOF | kubectl apply -f -
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: ebs-gp3-sc
annotations:
storageclass.kubernetes.io/is-default-class: "true"
provisioner: ebs.csi.aws.com
volumeBindingMode: WaitForFirstConsumer
parameters:
type: gp3
EOF
Imposta la StorageClass gp2 originale su "non predefinita".
kubectl patch storageclass gp2 -p '{"metadata": {"annotations":{"storageclass.kubernetes.io/is-default-class":"false"}}}'
Installa AWS LoadBalancer Controller
Aggiungere il repository Helm chars.
helm repo add eks https://aws.github.io/eks-charts helm repo updateInstallare il controller AWS Load Balancer.
helm install aws-load-balancer-controller eks/aws-load-balancer-controller \ -n kube-system \ --set clusterName='milvus-eks-cluster' \ --set serviceAccount.create=false \ --set serviceAccount.name=aws-load-balancer-controllerVerificare l'installazione
kubectl get deployment -n kube-system aws-load-balancer-controller
Distribuire Milvus
In questa guida utilizzeremo i chart Helm di Milvus per distribuire un cluster Milvus. Puoi trovare i chart qui.
Aggiungere il repository dei chart Helm di Milvus.
helm repo add milvus https://zilliztech.github.io/milvus-helm/ helm repo updatePreparare il file di configurazione di Milvus
milvus.yamle sostituire<bucket-name> <s3-access-key> <s3-secret-key>con il proprio.- Per configurare l'alta disponibilità (HA) per il proprio Milvus, consultare questo calcolatore per ulteriori informazioni. È possibile scaricare le configurazioni correlate direttamente dal calcolatore; si raccomanda di rimuovere le configurazioni relative a MinIO.
- Per implementare distribuzioni con più repliche dei coordinatori, impostare
xxCoordinator.activeStandby.enabledsutrue.
cluster: enabled: true service: type: LoadBalancer port: 19530 annotations: service.beta.kubernetes.io/aws-load-balancer-type: external service.beta.kubernetes.io/aws-load-balancer-name: milvus-service service.beta.kubernetes.io/aws-load-balancer-scheme: internet-facing service.beta.kubernetes.io/aws-load-balancer-nlb-target-type: ip minio: enabled: false externalS3: enabled: true host: "s3.us-east-2.amazonaws.com" port: "443" useSSL: true bucketName: "<bucket-name>" useIAM: false cloudProvider: "aws" iamEndpoint: "" accessKey: "<s3-access-key>" secretKey: "<s3-secret-key>" region: "us-east-2" # HA Configurations rootCoordinator: replicas: 2 activeStandby: enabled: true resources: limits: cpu: 1 memory: 2Gi indexCoordinator: replicas: 2 activeStandby: enabled: true resources: limits: cpu: "0.5" memory: 0.5Gi queryCoordinator: replicas: 2 activeStandby: enabled: true resources: limits: cpu: "0.5" memory: 0.5Gi dataCoordinator: replicas: 2 activeStandby: enabled: true resources: limits: cpu: "0.5" memory: 0.5Gi proxy: replicas: 2 resources: limits: cpu: 1 memory: 2GiInstallare Milvus.
helm install milvus-demo milvus/milvus -n milvus -f milvus.yamlAttendere che tutti i pod siano in stato "
Running".kubectl get pods -n milvusHelm non supporta la pianificazione dell’ordine di creazione dei servizi. È normale che i pod di business si riavviino una o due volte prima che
etcdepulsarsiano attivi nella fase iniziale.Ottenere l'indirizzo del servizio Milvus.
kubectl get svc -n milvus
Verifica l'installazione
È possibile seguire la semplice guida riportata di seguito per verificare l’installazione. Per ulteriori dettagli, fare riferimento agli script di esempio nel repository pymilvus.
Scaricare il codice di esempio.
wget https://raw.githubusercontent.com/milvus-io/pymilvus/master/examples/simple.pyModificare l’URI di connessione nel codice di esempio sostituendolo con l’indirizzo del servizio Milvus sopra indicato.
... milvus_client = MilvusClient("http://milvus-service-06b515b1ce9ad10.elb.us-east-2.amazonaws.com:19530") ...Esegui il codice di esempio.
python3 simple.pyLo script crea una collezione denominata
hello_milvus, inserisce alcune righe, esegue diverse query e una ricerca vettoriale, quindi elimina la collezione al termine. Se l'operazione viene completata senza errori, il cluster Milvus funziona come previsto.
Operazioni di pulizia
Nel caso in cui sia necessario ripristinare l’ambiente disinstallando Milvus, eliminando il cluster EKS ed eliminando i bucket AWS S3 e le relative politiche IAM.
Disinstallare Milvus.
helm uninstall milvus-demo -n milvusDistruggi il cluster EKS.
eksctl delete cluster --name milvus-eks-cluster --region us-east-2Eliminare il bucket AWS S3 e le relative politiche IAM.
Sostituire il nome del bucket e l'ARN della policy con i propri.
aws s3 rm s3://milvus-bucket-039dd013c0712f085d60e21f --recursive aws s3api delete-bucket --bucket milvus-bucket-039dd013c0712f085d60e21f --region us-east-2 aws iam detach-user-policy --user-name <your-user-name> --policy-arn "arn:aws:iam::12345678901:policy/MilvusS3ReadWrite" aws iam delete-policy --policy-arn 'arn:aws:iam::12345678901:policy/MilvusS3ReadWrite'
Prossimi passi
Se vuoi scoprire come distribuire Milvus su altre piattaforme cloud: