• О компании Milvus
  • Начать работу
  • Понятия
  • Руководство пользователя
  • Импорт данных
  • Инструменты искусственного интеллекта
  • Руководство по администрированию
  • Инструменты
  • Интеграции
  • Учебные материалы
  • Часто задаваемые вопросы
  • API Reference

Развертывание кластера Milvus на EKS

В этом разделе описано, как развернуть кластер Milvus на Amazon EKS.

Необходимые условия

  • На вашем локальном ПК или в инстансе Amazon EC2 должен быть установлен AWS CLI, который будет служить конечной точкой для выполнения операций, описанных в данном документе. В Amazon Linux 2 или Amazon Linux 2023 инструменты AWS CLI уже установлены. Чтобы установить AWS CLI на локальном ПК, см. раздел «Как установить AWS CLI».
  • На выбранном устройстве-конечной точке должны быть установлены инструменты Kubernetes и EKS, в том числе:
  • Права доступа AWS IAM должны быть предоставлены надлежащим образом. Используемый вами субъект безопасности IAM должен иметь права на использование ролей IAM Amazon EKS, ролей, связанных с сервисами, AWS CloudFormation, VPC и других связанных ресурсов. Вы можете воспользоваться одним из следующих способов, чтобы предоставить своему субъекту необходимые права.
    • (Не рекомендуется) Просто настройте политику ассоциации пользователя/роли, которую вы использовали, на управляемую политику AWS AdministratorAccess.
    • (Настоятельно рекомендуется) Для реализации принципа минимальных привилегий выполните следующие действия:
      • Чтобы настроить разрешения для eksctl, ознакомьтесь с разделом «Минимальные разрешения» на странице eksctl.

      • Чтобы настроить разрешения на создание/удаление корзин AWS S3, ознакомьтесь со следующими настройками разрешений:

        {
          "Version": "2012-10-17",
          "Statement": [
            {
              "Sid": "S3BucketManagement",
              "Effect": "Allow",
              "Action": [
                "s3:CreateBucket",
                "s3:PutBucketAcl",
                "s3:PutBucketOwnershipControls",
                "s3:DeleteBucket"
              ],
              "Resource": [
                "arn:aws:s3:::milvus-bucket-*"
              ]
            }
          ]
        }
        
      • Чтобы настроить разрешения на создание/удаление политик IAM, ознакомьтесь со следующими настройками разрешений. Замените YOUR_ACCOUNT_ID на свой собственный.

        {
          "Version": "2012-10-17",
          "Statement": [
            {
              "Sid": "IAMPolicyManagement",
              "Effect": "Allow",
              "Action": [
                "iam:CreatePolicy",
                "iam:DeletePolicy"
              ],
              "Resource": "arn:aws:iam::YOUR_ACCOUNT_ID:policy/MilvusS3ReadWrite"
            }
          ]
        }    
        

Настройка ресурсов AWS

Вы можете настроить необходимые ресурсы AWS, включая корзину AWS S3 и кластер EKS, с помощью консоли управления AWS, AWS CLI или инструментов IaC, таких как Terraform. В данном документе для демонстрации настройки ресурсов AWS предпочтительно используется AWS CLI.

Создание корзины Amazon S3

  • Создайте корзину AWS S3.

    Ознакомьтесь с правилами именования корзин и соблюдайте их при присвоении имени вашей корзине AWS S3.

    milvus_bucket_name="milvus-bucket-$(openssl rand -hex 12)"
    
    aws s3api create-bucket --bucket "$milvus_bucket_name" --region 'us-east-2' --acl private  --object-ownership ObjectWriter --create-bucket-configuration LocationConstraint='us-east-2'
    
    
    # Output
    #
    # "Location": "http://milvus-bucket-039dd013c0712f085d60e21f.s3.amazonaws.com/"
    
  • Создайте политику IAM для чтения и записи объектов в вышеуказанном бакете. Замените имя бакета на свое собственное.

    echo '{
      "Version": "2012-10-17",
      "Statement": [
        {
          "Effect": "Allow",
          "Action": [
            "s3:GetObject",
            "s3:PutObject",
            "s3:ListBucket",
            "s3:DeleteObject"
          ],
          "Resource": [
            "arn:aws:s3:::<bucket-name>",
            "arn:aws:s3:::<bucket-name>/*"
          ]
        }
      ]
    }' > milvus-s3-policy.json
    
    aws iam create-policy --policy-name MilvusS3ReadWrite --policy-document file://milvus-s3-policy.json
    
    
    # Get the ARN from the command output as follows:
    # {
    #     "Policy": {
    #         "PolicyName": "MilvusS3ReadWrite",
    #         "PolicyId": "AN5QQVVPM1BVTFlBNkdZT",
    #         "Arn": "arn:aws:iam::12345678901:policy/MilvusS3ReadWrite",
    #         "Path": "/",
    #         "DefaultVersionId": "v1",
    #         "AttachmentCount": 0,
    #         "PermissionsBoundaryUsageCount": 0,
    #         "IsAttachable": true,
    #         "CreateDate": "2023-11-16T06:00:01+00:00",
    #        "UpdateDate": "2023-11-16T06:00:01+00:00"
    #     }
    # }    
    
  • Привяжите политику к вашему пользователю AWS.

    aws iam attach-user-policy --user-name <your-user-name> --policy-arn "arn:aws:iam::<your-iam-account-id>:policy/MilvusS3ReadWrite"
    

Создание кластера Amazon EKS

  • Подготовьте файл конфигурации кластера следующим образом и назовите его « eks_cluster.yaml ».

    apiVersion: eksctl.io/v1alpha5
    kind: ClusterConfig
    
    metadata:
      name: 'milvus-eks-cluster'
      region: 'us-east-2'
      version: "1.27"
    
    iam:
      withOIDC: true
    
      serviceAccounts:
      - metadata:
          name: aws-load-balancer-controller
          namespace: kube-system
        wellKnownPolicies:
          awsLoadBalancerController: true
    
    managedNodeGroups:
      - name: milvus-node-group
        labels: { role: milvus }
        instanceType: m6i.4xlarge
        desiredCapacity: 3
        privateNetworking: true
        
    addons:
    - name: vpc-cni
      version: latest
      attachPolicyARNs:
        - arn:aws:iam::aws:policy/AmazonEKS_CNI_Policy
    - name: coredns
      version: latest
    - name: kube-proxy
      version: latest
    - name: aws-ebs-csi-driver
      version: latest
      wellKnownPolicies:
        ebsCSIController: true
    
  • Выполните следующую команду, чтобы создать кластер EKS.

    eksctl create cluster -f eks_cluster.yaml
    
  • Получите файл kubeconfig.

    aws eks update-kubeconfig --region 'us-east-2' --name 'milvus-eks-cluster'
    
  • Проверьте кластер EKS.

    kubectl cluster-info
    
    kubectl get nodes -A -o wide
    

Создание StorageClass

Milvus использует etcd в качестве хранилища метаданных и нуждается в StorageClass « gp3 » для создания и управления PVC.

cat <<EOF | kubectl apply -f -
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: ebs-gp3-sc
  annotations:
    storageclass.kubernetes.io/is-default-class: "true"
provisioner: ebs.csi.aws.com
volumeBindingMode: WaitForFirstConsumer
parameters:
  type: gp3
EOF

Установите для исходного класса хранения gp2 значение «non-default».

kubectl patch storageclass gp2 -p '{"metadata": {"annotations":{"storageclass.kubernetes.io/is-default-class":"false"}}}'

Установите AWS LoadBalancer Controller

  • Добавьте репозиторий Helm chars.

    helm repo add eks https://aws.github.io/eks-charts
    helm repo update
    
  • Установите AWS Load Balancer Controller.

    helm install aws-load-balancer-controller eks/aws-load-balancer-controller \
      -n kube-system \
      --set clusterName='milvus-eks-cluster' \
      --set serviceAccount.create=false \
      --set serviceAccount.name=aws-load-balancer-controller 
    
  • Проверьте установку

    kubectl get deployment -n kube-system aws-load-balancer-controller
    

Разверните Milvus

В этом руководстве мы будем использовать диаграммы Helm для Milvus, чтобы развернуть кластер Milvus. Диаграммы можно найти здесь.

  • Добавьте репозиторий диаграмм Helm для Milvus.

    helm repo add milvus https://zilliztech.github.io/milvus-helm/
    helm repo update
    
  • Подготовьте файл конфигурации Milvus milvus.yaml и замените <bucket-name> <s3-access-key> <s3-secret-key> на свой собственный.

    • Чтобы настроить высокую доступность (HA) для вашего Milvus, обратитесь к этому калькулятору для получения дополнительной информации. Вы можете скачать соответствующие конфигурации прямо из калькулятора, при этом вам следует удалить конфигурации, связанные с MinIO.
    • Для развертывания координаторов с несколькими репликами установите значение xxCoordinator.activeStandby.enabled равным true.

    cluster:
      enabled: true
    
    service:
      type: LoadBalancer
      port: 19530
      annotations: 
        service.beta.kubernetes.io/aws-load-balancer-type: external
        service.beta.kubernetes.io/aws-load-balancer-name: milvus-service
        service.beta.kubernetes.io/aws-load-balancer-scheme: internet-facing
        service.beta.kubernetes.io/aws-load-balancer-nlb-target-type: ip
    
    minio:
      enabled: false
    
    externalS3:
      enabled: true
      host: "s3.us-east-2.amazonaws.com"
      port: "443"
      useSSL: true
      bucketName: "<bucket-name>"
      useIAM: false
      cloudProvider: "aws"
      iamEndpoint: ""
      accessKey: "<s3-access-key>"
      secretKey: "<s3-secret-key>"
      region: "us-east-2"
    
    # HA Configurations
    rootCoordinator:
      replicas: 2
      activeStandby:
        enabled: true
      resources: 
        limits:
          cpu: 1
          memory: 2Gi
    
    indexCoordinator:
      replicas: 2
      activeStandby:
        enabled: true
      resources: 
        limits:
          cpu: "0.5"
          memory: 0.5Gi
    
    queryCoordinator:
      replicas: 2
      activeStandby:
        enabled: true
      resources: 
        limits:
          cpu: "0.5"
          memory: 0.5Gi
    
    dataCoordinator:
      replicas: 2
      activeStandby:
        enabled: true
      resources: 
        limits:
          cpu: "0.5"
          memory: 0.5Gi
    
    proxy:
      replicas: 2
      resources: 
        limits:
          cpu: 1
          memory: 2Gi  
    
  • Установите Milvus.

    helm install milvus-demo milvus/milvus -n milvus -f milvus.yaml
    
  • Подождите, пока все поды не перейдут в состояние « Running ».

    kubectl get pods -n milvus
    

    Helm не поддерживает управление порядком создания сервисов. На начальном этапе нормально, если бизнес-поды перезапускаются один или два раза, прежде чем etcd и pulsar станут доступными.

  • Получите адрес службы Milvus.

    kubectl get svc -n milvus
    

Проверьте установку

Вы можете воспользоваться приведенным ниже простым руководством для проверки установки. Более подробную информацию см. в примерах скриптов в репозитории pymilvus.

  • Скачайте пример кода.

    wget https://raw.githubusercontent.com/milvus-io/pymilvus/master/examples/simple.py
    
  • Замените URI подключения в примере кода на указанный выше адрес службы Milvus.

    ...
    milvus_client = MilvusClient("http://milvus-service-06b515b1ce9ad10.elb.us-east-2.amazonaws.com:19530")
    ...
    
  • Запустите пример кода.

    python3 simple.py
    

    Скрипт создает коллекцию с именем « hello_milvus », вставляет в неё несколько строк, выполняет несколько запросов и векторный поиск, а в конце удаляет коллекцию. Если скрипт завершится без ошибок, это означает, что ваш кластер Milvus работает как положено.

Работы по очистке

Если вам потребуется восстановить среду, удалите Milvus, ликвидируйте кластер EKS, а также удалите корзины AWS S3 и связанные с ними политики IAM.

  • Удалите Milvus.

    helm uninstall milvus-demo -n milvus
    
  • Удалите кластер EKS.

    eksctl delete cluster --name milvus-eks-cluster --region us-east-2
    
  • Удалите корзину AWS S3 и связанные с ней политики IAM.

    Вам необходимо заменить имя корзины и ARN политики на свои собственные.

    aws s3 rm s3://milvus-bucket-039dd013c0712f085d60e21f --recursive
    
    aws s3api delete-bucket --bucket milvus-bucket-039dd013c0712f085d60e21f --region us-east-2
    
    aws iam detach-user-policy --user-name <your-user-name> --policy-arn "arn:aws:iam::12345678901:policy/MilvusS3ReadWrite"
    
    aws iam delete-policy --policy-arn 'arn:aws:iam::12345678901:policy/MilvusS3ReadWrite'
    

Что дальше

Если вы хотите узнать, как развернуть Milvus в других облачных средах:

ПереведеноDeepL

Попробуйте Managed Milvus бесплатно

Zilliz Cloud работает без проблем, поддерживается Milvus и в 10 раз быстрее.

Начать
Обратная связь

Была ли эта страница полезной?