Bereitstellen eines Milvus-Clusters auf EKS

Dieses Thema beschreibt, wie Sie einen Milvus-Cluster auf Amazon EKS bereitstellen.

Voraussetzungen

• Sie haben AWS CLI auf Ihrem lokalen PC oder einer Amazon EC2 installiert, die Ihnen als Endpunkt für die in diesem Dokument beschriebenen Vorgänge dienen wird. Auf einem Amazon Linux 2 oder Amazon Linux 2023 sind die AWS CLI-Tools bereits installiert. So installieren Sie AWS CLi auf Ihrem lokalen PC. Siehe AWS CLI installieren.
• Sie haben Kubernetes und die EKS-Tools auf dem bevorzugten Endgerät installiert, einschließlich:
  • kubectl
  • helm
  • eksctl
• Die AWS IAM-Berechtigungen wurden ordnungsgemäß erteilt. Der von Ihnen verwendete IAM-Sicherheitsprinzipal muss die Berechtigung haben, Amazon EKS IAM-Rollen, servicebezogene Rollen, AWS CloudFormation, VPCs und andere zugehörige Ressourcen zu verwenden. Sie können eine der folgenden Möglichkeiten nutzen, um Ihrem Principal die richtigen Berechtigungen zu erteilen.
  • (Nicht empfohlen) Setzen Sie einfach die Zuordnungsrichtlinie des Benutzers/der Rolle, die Sie verwendet haben, auf die von AWS verwaltete Richtlinie AdministratorAccess.
  • (Dringend empfohlen) Gehen Sie wie folgt vor, um das Prinzip der geringsten Privilegien umzusetzen:

    • Um die Berechtigung für eksctl einzurichten, siehe Mindestberechtigung für eksctl.

    • Um die Berechtigung für das Erstellen/Löschen von AWS S3-Buckets einzurichten, beachten Sie die folgenden Berechtigungseinstellungen:

      {
        "Version": "2012-10-17",
        "Statement": [
          {
            "Sid": "S3BucketManagement",
            "Effect": "Allow",
            "Action": [
              "s3:CreateBucket",
              "s3:PutBucketAcl",
              "s3:PutBucketOwnershipControls",
              "s3:DeleteBucket"
            ],
            "Resource": [
              "arn:aws:s3:::milvus-bucket-*"
            ]
          }
        ]
      }
      

    • Um die Berechtigung zum Erstellen/Löschen von IAM-Richtlinien einzurichten, beachten Sie die folgenden Berechtigungseinstellungen. Ersetzen Sie YOUR_ACCOUNT_ID durch Ihre eigenen.

      {
        "Version": "2012-10-17",
        "Statement": [
          {
            "Sid": "IAMPolicyManagement",
            "Effect": "Allow",
            "Action": [
              "iam:CreatePolicy",
              "iam:DeletePolicy"
            ],
            "Resource": "arn:aws:iam::YOUR_ACCOUNT_ID:policy/MilvusS3ReadWrite"
          }
        ]
      }    
      

AWS-Ressourcen einrichten

Sie können die erforderlichen AWS-Ressourcen, einschließlich eines AWS S3-Buckets und eines EKS-Clusters, entweder mit der AWS Management Console, AWS CLI oder IaC-Tools wie Terraform einrichten. In diesem Dokument wird die AWS CLI bevorzugt, um zu zeigen, wie die AWS-Ressourcen eingerichtet werden.

Erstellen eines Amazon S3-Buckets

• Erstellen Sie einen AWS S3 Bucket.

  Lesen Sie die Bucket-Namensregeln und beachten Sie die Namensregeln bei der Benennung Ihres AWS S3-Buckets.

  milvus_bucket_name="milvus-bucket-$(openssl rand -hex 12)"
  
  aws s3api create-bucket --bucket "$milvus_bucket_name" --region 'us-east-2' --acl private  --object-ownership ObjectWriter --create-bucket-configuration LocationConstraint='us-east-2'
  
  
  # Output
  #
  # "Location": "http://milvus-bucket-039dd013c0712f085d60e21f.s3.amazonaws.com/"
  

• Erstellen Sie eine IAM-Richtlinie für das Lesen und Schreiben von Objekten innerhalb des oben erstellten Buckets. Ersetzen Sie den Bucket-Namen durch Ihren eigenen.

  echo '{
    "Version": "2012-10-17",
    "Statement": [
      {
        "Effect": "Allow",
        "Action": [
          "s3:GetObject",
          "s3:PutObject",
          "s3:ListBucket",
          "s3:DeleteObject"
        ],
        "Resource": [
          "arn:aws:s3:::<bucket-name>",
          "arn:aws:s3:::<bucket-name>/*"
        ]
      }
    ]
  }' > milvus-s3-policy.json
  
  aws iam create-policy --policy-name MilvusS3ReadWrite --policy-document file://milvus-s3-policy.json
  
  
  # Get the ARN from the command output as follows:
  # {
  #     "Policy": {
  #         "PolicyName": "MilvusS3ReadWrite",
  #         "PolicyId": "AN5QQVVPM1BVTFlBNkdZT",
  #         "Arn": "arn:aws:iam::12345678901:policy/MilvusS3ReadWrite",
  #         "Path": "/",
  #         "DefaultVersionId": "v1",
  #         "AttachmentCount": 0,
  #         "PermissionsBoundaryUsageCount": 0,
  #         "IsAttachable": true,
  #         "CreateDate": "2023-11-16T06:00:01+00:00",
  #        "UpdateDate": "2023-11-16T06:00:01+00:00"
  #     }
  # }    
  

• Verknüpfen Sie die Richtlinie mit Ihrem AWS-Benutzer.

  aws iam attach-user-policy --user-name <your-user-name> --policy-arn "arn:aws:iam::<your-iam-account-id>:policy/MilvusS3ReadWrite"
  

Erstellen Sie einen Amazon EKS Cluster

• Bereiten Sie eine Cluster-Konfigurationsdatei wie folgt vor und nennen Sie sie eks_cluster.yaml.

  apiVersion: eksctl.io/v1alpha5
  kind: ClusterConfig
  
  metadata:
    name: 'milvus-eks-cluster'
    region: 'us-east-2'
    version: "1.27"
  
  iam:
    withOIDC: true
  
    serviceAccounts:
    - metadata:
        name: aws-load-balancer-controller
        namespace: kube-system
      wellKnownPolicies:
        awsLoadBalancerController: true
  
  managedNodeGroups:
    - name: milvus-node-group
      labels: { role: milvus }
      instanceType: m6i.4xlarge
      desiredCapacity: 3
      privateNetworking: true
      
  addons:
  - name: vpc-cni
    version: latest
    attachPolicyARNs:
      - arn:aws:iam::aws:policy/AmazonEKS_CNI_Policy
  - name: coredns
    version: latest
  - name: kube-proxy
    version: latest
  - name: aws-ebs-csi-driver
    version: latest
    wellKnownPolicies:
      ebsCSIController: true
  

• Führen Sie den folgenden Befehl aus, um einen EKS-Cluster zu erstellen.

  eksctl create cluster -f eks_cluster.yaml
  

• Holen Sie sich die kubeconfig-Datei.

  aws eks update-kubeconfig --region 'us-east-2' --name 'milvus-eks-cluster'
  

• Überprüfen Sie den EKS-Cluster.

  kubectl cluster-info
  
  kubectl get nodes -A -o wide
  

Erstellen Sie eine StorageClass

Milvus verwendet etcd als Metaspeicher und muss sich auf die StorageClass gp3 verlassen, um PVC zu erstellen und zu verwalten.

cat <<EOF | kubectl apply -f -
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: ebs-gp3-sc
  annotations:
    storageclass.kubernetes.io/is-default-class: "true"
provisioner: ebs.csi.aws.com
volumeBindingMode: WaitForFirstConsumer
parameters:
  type: gp3
EOF

Setzen Sie die ursprüngliche gp2 StorageClass auf non-default.

kubectl patch storageclass gp2 -p '{"metadata": {"annotations":{"storageclass.kubernetes.io/is-default-class":"false"}}}'

Installieren Sie den AWS LoadBalancer Controller

• Fügen Sie Helm chars repo hinzu.

  helm repo add eks https://aws.github.io/eks-charts
  helm repo update
  

• Installieren Sie den AWS Load Balancer Controller.

  helm install aws-load-balancer-controller eks/aws-load-balancer-controller \
    -n kube-system \
    --set clusterName='milvus-eks-cluster' \
    --set serviceAccount.create=false \
    --set serviceAccount.name=aws-load-balancer-controller 
  

• Überprüfen Sie die Installation

  kubectl get deployment -n kube-system aws-load-balancer-controller
  

Milvus bereitstellen

In diesem Leitfaden werden wir Milvus Helm Charts verwenden, um einen Milvus-Cluster bereitzustellen. Sie finden die Charts hier.

• Fügen Sie das Milvus Helm Chart Repositorium hinzu.

  helm repo add milvus https://zilliztech.github.io/milvus-helm/
  helm repo update
  

• Bereiten Sie die Milvus-Konfigurationsdatei milvus.yaml vor, und ersetzen Sie <bucket-name> <s3-access-key> <s3-secret-key> durch Ihre eigene.

  • Um HA für Ihren Milvus zu konfigurieren, lesen Sie diesen Rechner für weitere Informationen. Sie können die entsprechenden Konfigurationen direkt aus dem Rechner herunterladen und sollten MinIO-bezogene Konfigurationen entfernen.
  • Um Multi-Replica-Einsätze von Koordinatoren zu implementieren, setzen Sie xxCoordinator.activeStandby.enabled auf true.

  cluster:
    enabled: true
  
  service:
    type: LoadBalancer
    port: 19530
    annotations: 
      service.beta.kubernetes.io/aws-load-balancer-type: external
      service.beta.kubernetes.io/aws-load-balancer-name: milvus-service
      service.beta.kubernetes.io/aws-load-balancer-scheme: internet-facing
      service.beta.kubernetes.io/aws-load-balancer-nlb-target-type: ip
  
  minio:
    enabled: false
  
  externalS3:
    enabled: true
    host: "s3.us-east-2.amazonaws.com"
    port: "443"
    useSSL: true
    bucketName: "<bucket-name>"
    useIAM: false
    cloudProvider: "aws"
    iamEndpoint: ""
    accessKey: "<s3-access-key>"
    secretKey: "<s3-secret-key>"
    region: "us-east-2"
  
  # HA Configurations
  rootCoordinator:
    replicas: 2
    activeStandby:
      enabled: true
    resources: 
      limits:
        cpu: 1
        memory: 2Gi
  
  indexCoordinator:
    replicas: 2
    activeStandby:
      enabled: true
    resources: 
      limits:
        cpu: "0.5"
        memory: 0.5Gi
  
  queryCoordinator:
    replicas: 2
    activeStandby:
      enabled: true
    resources: 
      limits:
        cpu: "0.5"
        memory: 0.5Gi
  
  dataCoordinator:
    replicas: 2
    activeStandby:
      enabled: true
    resources: 
      limits:
        cpu: "0.5"
        memory: 0.5Gi
  
  proxy:
    replicas: 2
    resources: 
      limits:
        cpu: 1
        memory: 2Gi  
  

• Installieren Sie Milvus.

  helm install milvus-demo milvus/milvus -n milvus -f milvus.yaml
  

• Warten Sie, bis alle Pods Running sind.

  kubectl get pods -n milvus
  

  Helm unterstützt nicht die Planung der Reihenfolge der Service-Erstellung. Es ist normal, dass Business-Pods ein oder zwei Mal neu gestartet werden, bevor etcd und pulsar in der Anfangsphase verfügbar sind.

• Ermitteln Sie die Milvus-Dienstadresse.

  kubectl get svc -n milvus
  

Überprüfen Sie die Installation

Sie können die Installation anhand der folgenden einfachen Anleitung überprüfen. Weitere Details finden Sie in diesem Beispiel.

• Laden Sie den Beispielcode herunter.

  wget https://raw.githubusercontent.com/milvus-io/pymilvus/master/examples/hello_milvus.py
  

• Ändern Sie das Argument host im Beispielcode in die obige Milvus-Dienstadresse.

```python
...
connections.connect("default", host="milvus-service-06b515b1ce9ad10.elb.us-east-2.amazonaws.com", port="19530")
...
```

• Führen Sie den Beispielcode aus.

  python3 hello_milvus.py
  

  Die Ausgabe sollte in etwa so aussehen wie die folgende:

  === start connecting to Milvus     ===
  
  Does collection hello_milvus exist in Milvus: False
  
  === Create collection `hello_milvus` ===
  
  
  === Start inserting entities       ===
  
  Number of entities in Milvus: 3000
  
  === Start Creating index IVF_FLAT  ===
  
  
  === Start loading                  ===
  
  
  === Start searching based on vector similarity ===
  
  hit: id: 2998, distance: 0.0, entity: {'random': 0.9728033590489911}, random field: 0.9728033590489911
  hit: id: 1262, distance: 0.08883658051490784, entity: {'random': 0.2978858685751561}, random field: 0.2978858685751561
  hit: id: 1265, distance: 0.09590047597885132, entity: {'random': 0.3042039939240304}, random field: 0.3042039939240304
  hit: id: 2999, distance: 0.0, entity: {'random': 0.02316334456872482}, random field: 0.02316334456872482
  hit: id: 1580, distance: 0.05628091096878052, entity: {'random': 0.3855988746044062}, random field: 0.3855988746044062
  hit: id: 2377, distance: 0.08096685260534286, entity: {'random': 0.8745922204004368}, random field: 0.8745922204004368
  search latency = 0.4693s
  
  === Start querying with `random > 0.5` ===
  
  query result:
  -{'embeddings': [0.20963514, 0.39746657, 0.12019053, 0.6947492, 0.9535575, 0.5454552, 0.82360446, 0.21096309], 'pk': '0', 'random': 0.6378742006852851}
  search latency = 0.9407s
  query pagination(limit=4):
          [{'random': 0.6378742006852851, 'pk': '0'}, {'random': 0.5763523024650556, 'pk': '100'}, {'random': 0.9425935891639464, 'pk': '1000'}, {'random': 0.7893211256191387, 'pk': '1001'}]
  query pagination(offset=1, limit=3):
          [{'random': 0.5763523024650556, 'pk': '100'}, {'random': 0.9425935891639464, 'pk': '1000'}, {'random': 0.7893211256191387, 'pk': '1001'}]
  
  === Start hybrid searching with `random > 0.5` ===
  
  hit: id: 2998, distance: 0.0, entity: {'random': 0.9728033590489911}, random field: 0.9728033590489911
  hit: id: 747, distance: 0.14606499671936035, entity: {'random': 0.5648774800635661}, random field: 0.5648774800635661
  hit: id: 2527, distance: 0.1530652642250061, entity: {'random': 0.8928974315571507}, random field: 0.8928974315571507
  hit: id: 2377, distance: 0.08096685260534286, entity: {'random': 0.8745922204004368}, random field: 0.8745922204004368
  hit: id: 2034, distance: 0.20354536175727844, entity: {'random': 0.5526117606328499}, random field: 0.5526117606328499
  hit: id: 958, distance: 0.21908017992973328, entity: {'random': 0.6647383716417955}, random field: 0.6647383716417955
  search latency = 0.4652s
  
  === Start deleting with expr `pk in ["0" , "1"]` ===
  
  query before delete by expr=`pk in ["0" , "1"]` -> result:
  -{'random': 0.6378742006852851, 'embeddings': [0.20963514, 0.39746657, 0.12019053, 0.6947492, 0.9535575, 0.5454552, 0.82360446, 0.21096309], 'pk': '0'}
  -{'random': 0.43925103574669633, 'embeddings': [0.52323616, 0.8035404, 0.77824664, 0.80369574, 0.4914803, 0.8265614, 0.6145269, 0.80234545], 'pk': '1'}
  
  query after delete by expr=`pk in ["0" , "1"]` -> result: []
  
  
  === Drop collection `hello_milvus` ===
  

Aufräumen funktioniert

Falls Sie die Umgebung wiederherstellen müssen, indem Sie Milvus deinstallieren, den EKS-Cluster zerstören und die AWS S3-Buckets sowie die zugehörigen IAM-Richtlinien löschen.

• Deinstallieren Sie Milvus.

  helm uninstall milvus-demo -n milvus
  

• Zerstören Sie den EKS-Cluster.

  eksctl delete cluster --name milvus-eks-cluster --region us-east-2
  

• Löschen Sie den AWS S3-Bucket und die zugehörigen IAM-Richtlinien.

  Sie sollten den Bucket-Namen und den Richtlinien-ARN durch Ihren eigenen ersetzen.

  aws s3 rm s3://milvus-bucket-039dd013c0712f085d60e21f --recursive
  
  aws s3api delete-bucket --bucket milvus-bucket-039dd013c0712f085d60e21f --region us-east-2
  
  aws iam detach-user-policy --user-name <your-user-name> --policy-arn "arn:aws:iam::12345678901:policy/MilvusS3ReadWrite"
  
  aws iam delete-policy --policy-arn 'arn:aws:iam::12345678901:policy/MilvusS3ReadWrite'
  

Wie geht es weiter?

Wenn Sie erfahren möchten, wie Sie Milvus in anderen Clouds einsetzen können:

• Bereitstellung von Milvus Cluster auf GCP mit Kubernetes
• Bereitstellen von Milvus Cluster auf Azure mit Kubernetes