milvus-logo
LFAI
フロントページへ
  • 管理ガイド

EKS上でのMilvusクラスタのデプロイ

このトピックでは、Amazon EKS上にMilvusクラスタをデプロイする方法について説明します。

前提条件

  • ローカルPCまたはAmazon EC2にAWS CLIがインストールされていること。Amazon Linux 2またはAmazon Linux 2023の場合、AWS CLIツールは既にインストールされています。ローカルPCにAWS CLiをインストールする。AWS CLIのインストール方法」を参照してください。
  • 優先するエンドポイントデバイスにKubernetesとEKSツールがインストールされている:
  • AWS IAMパーミッションが適切に付与されている。使用しているIAMセキュリティプリンシパルが、Amazon EKS IAMロール、サービス関連ロール、AWS CloudFormation、VPC、およびその他の関連リソースを使用する権限を持っている必要があります。プリンシパルに適切な権限を付与するには、以下のいずれかの方法を実行します。
    • (推奨しない) 単純に、使用したユーザー/ロールの関連付けポリシーを AWS managed policyAdministratorAccess に設定する。
    • (強く推奨) 最小特権の原則を実装するには、以下のようにする:
      • eksctl の権限を設定するには、 eksctl の最小権限を参照してください。

      • AWS S3 バケットの作成/削除の権限を設定するには、以下の権限設定を参照してください:

        {
          "Version": "2012-10-17",
          "Statement": [
            {
              "Sid": "S3BucketManagement",
              "Effect": "Allow",
              "Action": [
                "s3:CreateBucket",
                "s3:PutBucketAcl",
                "s3:PutBucketOwnershipControls",
                "s3:DeleteBucket"
              ],
              "Resource": [
                "arn:aws:s3:::milvus-bucket-*"
              ]
            }
          ]
        }
        
      • IAM ポリシーの作成/削除権限を設定するには、以下の権限設定を参照してください。YOUR_ACCOUNT_ID を自分のものに置き換えてください。

        {
          "Version": "2012-10-17",
          "Statement": [
            {
              "Sid": "IAMPolicyManagement",
              "Effect": "Allow",
              "Action": [
                "iam:CreatePolicy",
                "iam:DeletePolicy"
              ],
              "Resource": "arn:aws:iam::YOUR_ACCOUNT_ID:policy/MilvusS3ReadWrite"
            }
          ]
        }    
        

AWSリソースの設定

AWS Management Console、AWS CLI、TerraformなどのIaCツールのいずれかを使用して、AWS S3バケットやEKSクラスタなど、必要なAWSリソースを設定できます。このドキュメントでは、AWS CLIを使用してAWSリソースのセットアップ方法を説明します。

Amazon S3バケットの作成

  • AWS S3バケットを作成します。

    Bucket Naming Rulesを読み、AWS S3バケットに名前を付ける際の命名ルールを守りましょう。

    milvus_bucket_name="milvus-bucket-$(openssl rand -hex 12)"
    
    aws s3api create-bucket --bucket "$milvus_bucket_name" --region 'us-east-2' --acl private  --object-ownership ObjectWriter --create-bucket-configuration LocationConstraint='us-east-2'
    
    
    # Output
    #
    # "Location": "http://milvus-bucket-039dd013c0712f085d60e21f.s3.amazonaws.com/"
    
  • 上記で作成したバケット内のオブジェクトを読み書きするためのIAMポリシーを作成します。バケット名は自分の名前に置き換えてください。

    echo '{
      "Version": "2012-10-17",
      "Statement": [
        {
          "Effect": "Allow",
          "Action": [
            "s3:GetObject",
            "s3:PutObject",
            "s3:ListBucket",
            "s3:DeleteObject"
          ],
          "Resource": [
            "arn:aws:s3:::<bucket-name>",
            "arn:aws:s3:::<bucket-name>/*"
          ]
        }
      ]
    }' > milvus-s3-policy.json
    
    aws iam create-policy --policy-name MilvusS3ReadWrite --policy-document file://milvus-s3-policy.json
    
    
    # Get the ARN from the command output as follows:
    # {
    #     "Policy": {
    #         "PolicyName": "MilvusS3ReadWrite",
    #         "PolicyId": "AN5QQVVPM1BVTFlBNkdZT",
    #         "Arn": "arn:aws:iam::12345678901:policy/MilvusS3ReadWrite",
    #         "Path": "/",
    #         "DefaultVersionId": "v1",
    #         "AttachmentCount": 0,
    #         "PermissionsBoundaryUsageCount": 0,
    #         "IsAttachable": true,
    #         "CreateDate": "2023-11-16T06:00:01+00:00",
    #        "UpdateDate": "2023-11-16T06:00:01+00:00"
    #     }
    # }    
    
  • ポリシーをAWS Userにアタッチします。

    aws iam attach-user-policy --user-name <your-user-name> --policy-arn "arn:aws:iam::<your-iam-account-id>:policy/MilvusS3ReadWrite"
    

Amazon EKSクラスタの作成

  • 以下のようにクラスタ設定ファイルを用意し、名前をeks_cluster.yaml とします。

    apiVersion: eksctl.io/v1alpha5
    kind: ClusterConfig
    
    metadata:
      name: 'milvus-eks-cluster'
      region: 'us-east-2'
      version: "1.27"
    
    iam:
      withOIDC: true
    
      serviceAccounts:
      - metadata:
          name: aws-load-balancer-controller
          namespace: kube-system
        wellKnownPolicies:
          awsLoadBalancerController: true
    
    managedNodeGroups:
      - name: milvus-node-group
        labels: { role: milvus }
        instanceType: m6i.4xlarge
        desiredCapacity: 3
        privateNetworking: true
        
    addons:
    - name: vpc-cni
      version: latest
      attachPolicyARNs:
        - arn:aws:iam::aws:policy/AmazonEKS_CNI_Policy
    - name: coredns
      version: latest
    - name: kube-proxy
      version: latest
    - name: aws-ebs-csi-driver
      version: latest
      wellKnownPolicies:
        ebsCSIController: true
    
  • 以下のコマンドを実行してEKSクラスタを作成します。

    eksctl create cluster -f eks_cluster.yaml
    
  • kubeconfigファイルを取得します。

    aws eks update-kubeconfig --region 'us-east-2' --name 'milvus-eks-cluster'
    
  • EKSクラスタを検証します。

    kubectl cluster-info
    
    kubectl get nodes -A -o wide
    

StorageClassを作成する。

Milvusはetcd をメタ・ストレージとして使用するため、PVCの作成と管理にはgp3 StorageClassに依存する必要があります。

cat <<EOF | kubectl apply -f -
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: ebs-gp3-sc
  annotations:
    storageclass.kubernetes.io/is-default-class: "true"
provisioner: ebs.csi.aws.com
volumeBindingMode: WaitForFirstConsumer
parameters:
  type: gp3
EOF

オリジナルのgp2 StorageClassをnon-defaultに設定する。

kubectl patch storageclass gp2 -p '{"metadata": {"annotations":{"storageclass.kubernetes.io/is-default-class":"false"}}}'

AWS LoadBalancer Controllerのインストール

  • Helm chars repoを追加します。

    helm repo add eks https://aws.github.io/eks-charts
    helm repo update
    
  • AWS Load Balancer Controllerをインストールします。

    helm install aws-load-balancer-controller eks/aws-load-balancer-controller \
      -n kube-system \
      --set clusterName='milvus-eks-cluster' \
      --set serviceAccount.create=false \
      --set serviceAccount.name=aws-load-balancer-controller 
    
  • インストールの確認

    kubectl get deployment -n kube-system aws-load-balancer-controller
    

Milvusのデプロイ

このガイドでは、Milvus Helm Chartsを使ってMilvusクラスタをデプロイします。チャートはこちらにあります。

  • Milvus Helm Chartレポを追加します。

    helm repo add milvus https://zilliztech.github.io/milvus-helm/
    helm repo update
    
  • Milvusの設定ファイルmilvus.yaml を用意し、<bucket-name> <s3-access-key> <s3-secret-key> を独自のものに置き換えます。

    • MilvusにHAを設定するには、こちらの計算機を参照してください。MinIO関連の設定は削除してください。
    • コーディネータのマルチレプリカ配置を実装するには、xxCoordinator.activeStandby.enabledtrue に設定します。

    cluster:
      enabled: true
    
    service:
      type: LoadBalancer
      port: 19530
      annotations: 
        service.beta.kubernetes.io/aws-load-balancer-type: external
        service.beta.kubernetes.io/aws-load-balancer-name: milvus-service
        service.beta.kubernetes.io/aws-load-balancer-scheme: internet-facing
        service.beta.kubernetes.io/aws-load-balancer-nlb-target-type: ip
    
    minio:
      enabled: false
    
    externalS3:
      enabled: true
      host: "s3.us-east-2.amazonaws.com"
      port: "443"
      useSSL: true
      bucketName: "<bucket-name>"
      useIAM: false
      cloudProvider: "aws"
      iamEndpoint: ""
      accessKey: "<s3-access-key>"
      secretKey: "<s3-secret-key>"
      region: "us-east-2"
    
    # HA Configurations
    rootCoordinator:
      replicas: 2
      activeStandby:
        enabled: true
      resources: 
        limits:
          cpu: 1
          memory: 2Gi
    
    indexCoordinator:
      replicas: 2
      activeStandby:
        enabled: true
      resources: 
        limits:
          cpu: "0.5"
          memory: 0.5Gi
    
    queryCoordinator:
      replicas: 2
      activeStandby:
        enabled: true
      resources: 
        limits:
          cpu: "0.5"
          memory: 0.5Gi
    
    dataCoordinator:
      replicas: 2
      activeStandby:
        enabled: true
      resources: 
        limits:
          cpu: "0.5"
          memory: 0.5Gi
    
    proxy:
      replicas: 2
      resources: 
        limits:
          cpu: 1
          memory: 2Gi  
    
  • Milvusをインストールします。

    helm install milvus-demo milvus/milvus -n milvus -f milvus.yaml
    
  • すべてのポッドがRunning になるまで待ちます。

    kubectl get pods -n milvus
    

    Helmはサービス作成順序のスケジューリングをサポートしていません。初期段階では、etcdpulsar が立ち上がる前に、ビジネスポッドが1回か2回再起動するのが普通です。

  • Milvusのサービスアドレスを取得する。

    kubectl get svc -n milvus
    

インストールの確認

以下の簡単なガイドに従って、インストールを確認することができます。詳細については、この例を参照してください。

  • サンプルコードをダウンロードする。

    wget https://raw.githubusercontent.com/milvus-io/pymilvus/master/examples/hello_milvus.py
    
  • サンプルコードの引数host を上記のMilvusサービスアドレスに変更してください。

```python
...
connections.connect("default", host="milvus-service-06b515b1ce9ad10.elb.us-east-2.amazonaws.com", port="19530")
...
```
  • サンプルコードを実行する。

    python3 hello_milvus.py
    

    出力は以下のようになるはずです:

    === start connecting to Milvus     ===
    
    Does collection hello_milvus exist in Milvus: False
    
    === Create collection `hello_milvus` ===
    
    
    === Start inserting entities       ===
    
    Number of entities in Milvus: 3000
    
    === Start Creating index IVF_FLAT  ===
    
    
    === Start loading                  ===
    
    
    === Start searching based on vector similarity ===
    
    hit: id: 2998, distance: 0.0, entity: {'random': 0.9728033590489911}, random field: 0.9728033590489911
    hit: id: 1262, distance: 0.08883658051490784, entity: {'random': 0.2978858685751561}, random field: 0.2978858685751561
    hit: id: 1265, distance: 0.09590047597885132, entity: {'random': 0.3042039939240304}, random field: 0.3042039939240304
    hit: id: 2999, distance: 0.0, entity: {'random': 0.02316334456872482}, random field: 0.02316334456872482
    hit: id: 1580, distance: 0.05628091096878052, entity: {'random': 0.3855988746044062}, random field: 0.3855988746044062
    hit: id: 2377, distance: 0.08096685260534286, entity: {'random': 0.8745922204004368}, random field: 0.8745922204004368
    search latency = 0.4693s
    
    === Start querying with `random > 0.5` ===
    
    query result:
    -{'embeddings': [0.20963514, 0.39746657, 0.12019053, 0.6947492, 0.9535575, 0.5454552, 0.82360446, 0.21096309], 'pk': '0', 'random': 0.6378742006852851}
    search latency = 0.9407s
    query pagination(limit=4):
            [{'random': 0.6378742006852851, 'pk': '0'}, {'random': 0.5763523024650556, 'pk': '100'}, {'random': 0.9425935891639464, 'pk': '1000'}, {'random': 0.7893211256191387, 'pk': '1001'}]
    query pagination(offset=1, limit=3):
            [{'random': 0.5763523024650556, 'pk': '100'}, {'random': 0.9425935891639464, 'pk': '1000'}, {'random': 0.7893211256191387, 'pk': '1001'}]
    
    === Start hybrid searching with `random > 0.5` ===
    
    hit: id: 2998, distance: 0.0, entity: {'random': 0.9728033590489911}, random field: 0.9728033590489911
    hit: id: 747, distance: 0.14606499671936035, entity: {'random': 0.5648774800635661}, random field: 0.5648774800635661
    hit: id: 2527, distance: 0.1530652642250061, entity: {'random': 0.8928974315571507}, random field: 0.8928974315571507
    hit: id: 2377, distance: 0.08096685260534286, entity: {'random': 0.8745922204004368}, random field: 0.8745922204004368
    hit: id: 2034, distance: 0.20354536175727844, entity: {'random': 0.5526117606328499}, random field: 0.5526117606328499
    hit: id: 958, distance: 0.21908017992973328, entity: {'random': 0.6647383716417955}, random field: 0.6647383716417955
    search latency = 0.4652s
    
    === Start deleting with expr `pk in ["0" , "1"]` ===
    
    query before delete by expr=`pk in ["0" , "1"]` -> result:
    -{'random': 0.6378742006852851, 'embeddings': [0.20963514, 0.39746657, 0.12019053, 0.6947492, 0.9535575, 0.5454552, 0.82360446, 0.21096309], 'pk': '0'}
    -{'random': 0.43925103574669633, 'embeddings': [0.52323616, 0.8035404, 0.77824664, 0.80369574, 0.4914803, 0.8265614, 0.6145269, 0.80234545], 'pk': '1'}
    
    query after delete by expr=`pk in ["0" , "1"]` -> result: []
    
    
    === Drop collection `hello_milvus` ===
    

クリーンアップ成功

Milvusをアンインストールし、EKSクラスタを破棄し、AWS S3バケットと関連するIAMポリシーを削除して環境を復元する必要がある場合。

  • Milvusをアンインストールします。

    helm uninstall milvus-demo -n milvus
    
  • EKSクラスタを破棄します。

    eksctl delete cluster --name milvus-eks-cluster --region us-east-2
    
  • AWS S3バケットと関連するIAMポリシーを削除します。

    バケット名とポリシーのARNは自分のものに置き換えてください。

    aws s3 rm s3://milvus-bucket-039dd013c0712f085d60e21f --recursive
    
    aws s3api delete-bucket --bucket milvus-bucket-039dd013c0712f085d60e21f --region us-east-2
    
    aws iam detach-user-policy --user-name <your-user-name> --policy-arn "arn:aws:iam::12345678901:policy/MilvusS3ReadWrite"
    
    aws iam delete-policy --policy-arn 'arn:aws:iam::12345678901:policy/MilvusS3ReadWrite'
    

次のステップ

他のクラウドにMilvusをデプロイする方法を学びたい場合:

翻訳DeepLogo

Try Managed Milvus for Free

Zilliz Cloud is hassle-free, powered by Milvus and 10x faster.

Get Started
フィードバック

このページは役に立ちましたか ?