Развертывание кластера Milvus на EKS
В этом разделе описано, как развернуть кластер Milvus на Amazon EKS.
Необходимые условия
- На вашем локальном ПК или в инстансе Amazon EC2 должен быть установлен AWS CLI, который будет служить конечной точкой для выполнения операций, описанных в данном документе. В Amazon Linux 2 или Amazon Linux 2023 инструменты AWS CLI уже установлены. Чтобы установить AWS CLI на локальном ПК, см. раздел «Как установить AWS CLI».
- На выбранном устройстве-конечной точке должны быть установлены инструменты Kubernetes и EKS, в том числе:
- Права доступа AWS IAM должны быть предоставлены надлежащим образом. Используемый вами субъект безопасности IAM должен иметь права на использование ролей IAM Amazon EKS, ролей, связанных с сервисами, AWS CloudFormation, VPC и других связанных ресурсов. Вы можете воспользоваться одним из следующих способов, чтобы предоставить своему субъекту необходимые права.
- (Не рекомендуется) Просто настройте политику ассоциации пользователя/роли, которую вы использовали, на управляемую политику AWS
AdministratorAccess. - (Настоятельно рекомендуется) Для реализации принципа минимальных привилегий выполните следующие действия:
Чтобы настроить разрешения для
eksctl, ознакомьтесь с разделом «Минимальные разрешения» на страницеeksctl.Чтобы настроить разрешения на создание/удаление корзин AWS S3, ознакомьтесь со следующими настройками разрешений:
{ "Version": "2012-10-17", "Statement": [ { "Sid": "S3BucketManagement", "Effect": "Allow", "Action": [ "s3:CreateBucket", "s3:PutBucketAcl", "s3:PutBucketOwnershipControls", "s3:DeleteBucket" ], "Resource": [ "arn:aws:s3:::milvus-bucket-*" ] } ] }Чтобы настроить разрешения на создание/удаление политик IAM, ознакомьтесь со следующими настройками разрешений. Замените
YOUR_ACCOUNT_IDна свой собственный.{ "Version": "2012-10-17", "Statement": [ { "Sid": "IAMPolicyManagement", "Effect": "Allow", "Action": [ "iam:CreatePolicy", "iam:DeletePolicy" ], "Resource": "arn:aws:iam::YOUR_ACCOUNT_ID:policy/MilvusS3ReadWrite" } ] }
- (Не рекомендуется) Просто настройте политику ассоциации пользователя/роли, которую вы использовали, на управляемую политику AWS
Настройка ресурсов AWS
Вы можете настроить необходимые ресурсы AWS, включая корзину AWS S3 и кластер EKS, с помощью консоли управления AWS, AWS CLI или инструментов IaC, таких как Terraform. В данном документе для демонстрации настройки ресурсов AWS предпочтительно используется AWS CLI.
Создание корзины Amazon S3
Создайте корзину AWS S3.
Ознакомьтесь с правилами именования корзин и соблюдайте их при присвоении имени вашей корзине AWS S3.
milvus_bucket_name="milvus-bucket-$(openssl rand -hex 12)" aws s3api create-bucket --bucket "$milvus_bucket_name" --region 'us-east-2' --acl private --object-ownership ObjectWriter --create-bucket-configuration LocationConstraint='us-east-2' # Output # # "Location": "http://milvus-bucket-039dd013c0712f085d60e21f.s3.amazonaws.com/"Создайте политику IAM для чтения и записи объектов в вышеуказанном бакете. Замените имя бакета на свое собственное.
echo '{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "s3:GetObject", "s3:PutObject", "s3:ListBucket", "s3:DeleteObject" ], "Resource": [ "arn:aws:s3:::<bucket-name>", "arn:aws:s3:::<bucket-name>/*" ] } ] }' > milvus-s3-policy.json aws iam create-policy --policy-name MilvusS3ReadWrite --policy-document file://milvus-s3-policy.json # Get the ARN from the command output as follows: # { # "Policy": { # "PolicyName": "MilvusS3ReadWrite", # "PolicyId": "AN5QQVVPM1BVTFlBNkdZT", # "Arn": "arn:aws:iam::12345678901:policy/MilvusS3ReadWrite", # "Path": "/", # "DefaultVersionId": "v1", # "AttachmentCount": 0, # "PermissionsBoundaryUsageCount": 0, # "IsAttachable": true, # "CreateDate": "2023-11-16T06:00:01+00:00", # "UpdateDate": "2023-11-16T06:00:01+00:00" # } # }Привяжите политику к вашему пользователю AWS.
aws iam attach-user-policy --user-name <your-user-name> --policy-arn "arn:aws:iam::<your-iam-account-id>:policy/MilvusS3ReadWrite"
Создание кластера Amazon EKS
Подготовьте файл конфигурации кластера следующим образом и назовите его «
eks_cluster.yaml».apiVersion: eksctl.io/v1alpha5 kind: ClusterConfig metadata: name: 'milvus-eks-cluster' region: 'us-east-2' version: "1.27" iam: withOIDC: true serviceAccounts: - metadata: name: aws-load-balancer-controller namespace: kube-system wellKnownPolicies: awsLoadBalancerController: true managedNodeGroups: - name: milvus-node-group labels: { role: milvus } instanceType: m6i.4xlarge desiredCapacity: 3 privateNetworking: true addons: - name: vpc-cni version: latest attachPolicyARNs: - arn:aws:iam::aws:policy/AmazonEKS_CNI_Policy - name: coredns version: latest - name: kube-proxy version: latest - name: aws-ebs-csi-driver version: latest wellKnownPolicies: ebsCSIController: trueВыполните следующую команду, чтобы создать кластер EKS.
eksctl create cluster -f eks_cluster.yamlПолучите файл kubeconfig.
aws eks update-kubeconfig --region 'us-east-2' --name 'milvus-eks-cluster'Проверьте кластер EKS.
kubectl cluster-info kubectl get nodes -A -o wide
Создание StorageClass
Milvus использует etcd в качестве хранилища метаданных и нуждается в StorageClass « gp3 » для создания и управления PVC.
cat <<EOF | kubectl apply -f -
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: ebs-gp3-sc
annotations:
storageclass.kubernetes.io/is-default-class: "true"
provisioner: ebs.csi.aws.com
volumeBindingMode: WaitForFirstConsumer
parameters:
type: gp3
EOF
Установите для исходного класса хранения gp2 значение «non-default».
kubectl patch storageclass gp2 -p '{"metadata": {"annotations":{"storageclass.kubernetes.io/is-default-class":"false"}}}'
Установите AWS LoadBalancer Controller
Добавьте репозиторий Helm chars.
helm repo add eks https://aws.github.io/eks-charts helm repo updateУстановите AWS Load Balancer Controller.
helm install aws-load-balancer-controller eks/aws-load-balancer-controller \ -n kube-system \ --set clusterName='milvus-eks-cluster' \ --set serviceAccount.create=false \ --set serviceAccount.name=aws-load-balancer-controllerПроверьте установку
kubectl get deployment -n kube-system aws-load-balancer-controller
Разверните Milvus
В этом руководстве мы будем использовать диаграммы Helm для Milvus, чтобы развернуть кластер Milvus. Диаграммы можно найти здесь.
Добавьте репозиторий диаграмм Helm для Milvus.
helm repo add milvus https://zilliztech.github.io/milvus-helm/ helm repo updateПодготовьте файл конфигурации Milvus
milvus.yamlи замените<bucket-name> <s3-access-key> <s3-secret-key>на свой собственный.- Чтобы настроить высокую доступность (HA) для вашего Milvus, обратитесь к этому калькулятору для получения дополнительной информации. Вы можете скачать соответствующие конфигурации прямо из калькулятора, при этом вам следует удалить конфигурации, связанные с MinIO.
- Для развертывания координаторов с несколькими репликами установите значение
xxCoordinator.activeStandby.enabledравнымtrue.
cluster: enabled: true service: type: LoadBalancer port: 19530 annotations: service.beta.kubernetes.io/aws-load-balancer-type: external service.beta.kubernetes.io/aws-load-balancer-name: milvus-service service.beta.kubernetes.io/aws-load-balancer-scheme: internet-facing service.beta.kubernetes.io/aws-load-balancer-nlb-target-type: ip minio: enabled: false externalS3: enabled: true host: "s3.us-east-2.amazonaws.com" port: "443" useSSL: true bucketName: "<bucket-name>" useIAM: false cloudProvider: "aws" iamEndpoint: "" accessKey: "<s3-access-key>" secretKey: "<s3-secret-key>" region: "us-east-2" # HA Configurations rootCoordinator: replicas: 2 activeStandby: enabled: true resources: limits: cpu: 1 memory: 2Gi indexCoordinator: replicas: 2 activeStandby: enabled: true resources: limits: cpu: "0.5" memory: 0.5Gi queryCoordinator: replicas: 2 activeStandby: enabled: true resources: limits: cpu: "0.5" memory: 0.5Gi dataCoordinator: replicas: 2 activeStandby: enabled: true resources: limits: cpu: "0.5" memory: 0.5Gi proxy: replicas: 2 resources: limits: cpu: 1 memory: 2GiУстановите Milvus.
helm install milvus-demo milvus/milvus -n milvus -f milvus.yamlПодождите, пока все поды не перейдут в состояние «
Running».kubectl get pods -n milvusHelm не поддерживает управление порядком создания сервисов. На начальном этапе нормально, если бизнес-поды перезапускаются один или два раза, прежде чем
etcdиpulsarстанут доступными.Получите адрес службы Milvus.
kubectl get svc -n milvus
Проверьте установку
Вы можете воспользоваться приведенным ниже простым руководством для проверки установки. Более подробную информацию см. в примерах скриптов в репозитории pymilvus.
Скачайте пример кода.
wget https://raw.githubusercontent.com/milvus-io/pymilvus/master/examples/simple.pyЗамените URI подключения в примере кода на указанный выше адрес службы Milvus.
... milvus_client = MilvusClient("http://milvus-service-06b515b1ce9ad10.elb.us-east-2.amazonaws.com:19530") ...Запустите пример кода.
python3 simple.pyСкрипт создает коллекцию с именем «
hello_milvus», вставляет в неё несколько строк, выполняет несколько запросов и векторный поиск, а в конце удаляет коллекцию. Если скрипт завершится без ошибок, это означает, что ваш кластер Milvus работает как положено.
Работы по очистке
Если вам потребуется восстановить среду, удалите Milvus, ликвидируйте кластер EKS, а также удалите корзины AWS S3 и связанные с ними политики IAM.
Удалите Milvus.
helm uninstall milvus-demo -n milvusУдалите кластер EKS.
eksctl delete cluster --name milvus-eks-cluster --region us-east-2Удалите корзину AWS S3 и связанные с ней политики IAM.
Вам необходимо заменить имя корзины и ARN политики на свои собственные.
aws s3 rm s3://milvus-bucket-039dd013c0712f085d60e21f --recursive aws s3api delete-bucket --bucket milvus-bucket-039dd013c0712f085d60e21f --region us-east-2 aws iam detach-user-policy --user-name <your-user-name> --policy-arn "arn:aws:iam::12345678901:policy/MilvusS3ReadWrite" aws iam delete-policy --policy-arn 'arn:aws:iam::12345678901:policy/MilvusS3ReadWrite'
Что дальше
Если вы хотите узнать, как развернуть Milvus в других облачных средах: