• نبذة عن Milvus
  • ابدأ
  • المفاهيم
  • دليل المستخدم
  • استيراد البيانات
  • أدوات الذكاء الاصطناعي
  • دليل الإدارة
  • الأدوات
  • عمليات التكامل
  • الدروس التعليمية
  • الأسئلة الشائعة
  • API Reference

نشر مجموعة Milvus على EKS

يصف هذا الموضوع كيفية نشر مجموعة Milvus على Amazon EKS.

المتطلبات الأساسية

  • يجب أن يكون AWS CLI مثبتًا على جهاز الكمبيوتر المحلي الخاص بك أو على Amazon EC2، والذي سيكون بمثابة نقطة النهاية الخاصة بك لتنفيذ العمليات التي يتناولها هذا المستند. بالنسبة لنظامي Amazon Linux 2 أو Amazon Linux 2023، تكون أدوات AWS CLI مثبتة بالفعل. لتثبيت AWS CLI على جهاز الكمبيوتر المحلي الخاص بك، راجع كيفية تثبيت AWS CLI.
  • يجب أن تكون قد قمت بتثبيت أدوات Kubernetes وEKS على جهاز نقطة النهاية المفضل، بما في ذلك:
  • تم منح أذونات AWS IAM بشكل صحيح. يجب أن يتمتع الكيان الأمني IAM الذي تستخدمه بأذونات لاستخدام أدوار Amazon EKS IAM، والأدوار المتعلقة بالخدمات، وAWS CloudFormation، وشبكات VPC، والموارد الأخرى ذات الصلة. يمكنك اتباع أي من الطرق التالية لمنح الكيان الأمني الخاص بك الأذونات المناسبة.
    • (غير موصى به) ما عليك سوى تعيين سياسة الارتباط الخاصة بالمستخدم/الدور الذي استخدمته إلى السياسة المدارة من AWS AdministratorAccess.
    • (موصى به بشدة) لتطبيق مبدأ «أقل امتياز ممكن»، قم بما يلي:
      • لإعداد أذونات لـ eksctl ، راجع «الأذونات الدنيا لـ eksctl ».

      • لإعداد أذونات إنشاء/حذف دلاء AWS S3، راجع إعدادات الأذونات التالية:

        {
          "Version": "2012-10-17",
          "Statement": [
            {
              "Sid": "S3BucketManagement",
              "Effect": "Allow",
              "Action": [
                "s3:CreateBucket",
                "s3:PutBucketAcl",
                "s3:PutBucketOwnershipControls",
                "s3:DeleteBucket"
              ],
              "Resource": [
                "arn:aws:s3:::milvus-bucket-*"
              ]
            }
          ]
        }
        
      • لإعداد أذونات إنشاء/حذف سياسات IAM، راجع إعدادات الأذونات التالية. استبدل YOUR_ACCOUNT_ID بـ الخاص بك.

        {
          "Version": "2012-10-17",
          "Statement": [
            {
              "Sid": "IAMPolicyManagement",
              "Effect": "Allow",
              "Action": [
                "iam:CreatePolicy",
                "iam:DeletePolicy"
              ],
              "Resource": "arn:aws:iam::YOUR_ACCOUNT_ID:policy/MilvusS3ReadWrite"
            }
          ]
        }    
        

إعداد موارد AWS

يمكنك إعداد موارد AWS المطلوبة، بما في ذلك حاوية AWS S3 ومجموعة EKS، باستخدام إما AWS Management Console أو AWS CLI أو أدوات IaC، مثل Terraform. في هذا المستند، يُفضل استخدام AWS CLI لتوضيح كيفية إعداد موارد AWS.

إنشاء دلو Amazon S3

  • قم بإنشاء دلو AWS S3.

    اقرأ قواعد تسمية سلة التخزين واتبّعها عند تسمية سلة التخزين الخاصة بك في AWS S3.

    milvus_bucket_name="milvus-bucket-$(openssl rand -hex 12)"
    
    aws s3api create-bucket --bucket "$milvus_bucket_name" --region 'us-east-2' --acl private  --object-ownership ObjectWriter --create-bucket-configuration LocationConstraint='us-east-2'
    
    
    # Output
    #
    # "Location": "http://milvus-bucket-039dd013c0712f085d60e21f.s3.amazonaws.com/"
    
  • قم بإنشاء سياسة IAM لقراءة وكتابة الكائنات داخل الحاوية التي تم إنشاؤها أعلاه. استبدل اسم الحاوية باسمك الخاص.

    echo '{
      "Version": "2012-10-17",
      "Statement": [
        {
          "Effect": "Allow",
          "Action": [
            "s3:GetObject",
            "s3:PutObject",
            "s3:ListBucket",
            "s3:DeleteObject"
          ],
          "Resource": [
            "arn:aws:s3:::<bucket-name>",
            "arn:aws:s3:::<bucket-name>/*"
          ]
        }
      ]
    }' > milvus-s3-policy.json
    
    aws iam create-policy --policy-name MilvusS3ReadWrite --policy-document file://milvus-s3-policy.json
    
    
    # Get the ARN from the command output as follows:
    # {
    #     "Policy": {
    #         "PolicyName": "MilvusS3ReadWrite",
    #         "PolicyId": "AN5QQVVPM1BVTFlBNkdZT",
    #         "Arn": "arn:aws:iam::12345678901:policy/MilvusS3ReadWrite",
    #         "Path": "/",
    #         "DefaultVersionId": "v1",
    #         "AttachmentCount": 0,
    #         "PermissionsBoundaryUsageCount": 0,
    #         "IsAttachable": true,
    #         "CreateDate": "2023-11-16T06:00:01+00:00",
    #        "UpdateDate": "2023-11-16T06:00:01+00:00"
    #     }
    # }    
    
  • اربط السياسة بمستخدم AWS الخاص بك.

    aws iam attach-user-policy --user-name <your-user-name> --policy-arn "arn:aws:iam::<your-iam-account-id>:policy/MilvusS3ReadWrite"
    

إنشاء مجموعة Amazon EKS

  • قم بإعداد ملف تكوين المجموعة على النحو التالي وقم بتسميته eks_cluster.yaml.

    apiVersion: eksctl.io/v1alpha5
    kind: ClusterConfig
    
    metadata:
      name: 'milvus-eks-cluster'
      region: 'us-east-2'
      version: "1.27"
    
    iam:
      withOIDC: true
    
      serviceAccounts:
      - metadata:
          name: aws-load-balancer-controller
          namespace: kube-system
        wellKnownPolicies:
          awsLoadBalancerController: true
    
    managedNodeGroups:
      - name: milvus-node-group
        labels: { role: milvus }
        instanceType: m6i.4xlarge
        desiredCapacity: 3
        privateNetworking: true
        
    addons:
    - name: vpc-cni
      version: latest
      attachPolicyARNs:
        - arn:aws:iam::aws:policy/AmazonEKS_CNI_Policy
    - name: coredns
      version: latest
    - name: kube-proxy
      version: latest
    - name: aws-ebs-csi-driver
      version: latest
      wellKnownPolicies:
        ebsCSIController: true
    
  • قم بتشغيل الأمر التالي لإنشاء مجموعة EKS.

    eksctl create cluster -f eks_cluster.yaml
    
  • احصل على ملف kubeconfig.

    aws eks update-kubeconfig --region 'us-east-2' --name 'milvus-eks-cluster'
    
  • تحقق من مجموعة EKS.

    kubectl cluster-info
    
    kubectl get nodes -A -o wide
    

إنشاء فئة تخزين (StorageClass)

يستخدم Milvus etcd كمخزن للبيانات الوصفية ويحتاج إلى الاعتماد على فئة التخزين gp3 لإنشاء وإدارة PVC.

cat <<EOF | kubectl apply -f -
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: ebs-gp3-sc
  annotations:
    storageclass.kubernetes.io/is-default-class: "true"
provisioner: ebs.csi.aws.com
volumeBindingMode: WaitForFirstConsumer
parameters:
  type: gp3
EOF

اضبط فئة التخزين gp2 الأصلية على non-default.

kubectl patch storageclass gp2 -p '{"metadata": {"annotations":{"storageclass.kubernetes.io/is-default-class":"false"}}}'

تثبيت AWS LoadBalancer Controller

  • أضف مستودع Helm chars.

    helm repo add eks https://aws.github.io/eks-charts
    helm repo update
    
  • تثبيت AWS Load Balancer Controller.

    helm install aws-load-balancer-controller eks/aws-load-balancer-controller \
      -n kube-system \
      --set clusterName='milvus-eks-cluster' \
      --set serviceAccount.create=false \
      --set serviceAccount.name=aws-load-balancer-controller 
    
  • تحقق من التثبيت

    kubectl get deployment -n kube-system aws-load-balancer-controller
    

نشر Milvus

في هذا الدليل، سنستخدم مخططات Helm الخاصة بـ Milvus لنشر مجموعة Milvus. يمكنك العثور على المخططات هنا.

  • أضف مستودع مخططات Helm الخاصة بـ Milvus.

    helm repo add milvus https://zilliztech.github.io/milvus-helm/
    helm repo update
    
  • قم بإعداد ملف تكوين Milvus milvus.yaml ، واستبدل <bucket-name> <s3-access-key> <s3-secret-key> ببياناتك الخاصة.

    • لتكوين التوافر العالي (HA) لـ Milvus الخاص بك، راجع هذه الآلة الحاسبة للحصول على مزيد من المعلومات. يمكنك تنزيل التكوينات ذات الصلة مباشرةً من الآلة الحاسبة، ويجب عليك إزالة التكوينات المتعلقة بـ MinIO.
    • لتنفيذ عمليات نشر متعددة النسخ من المنسقين، اضبط xxCoordinator.activeStandby.enabled على true.

    cluster:
      enabled: true
    
    service:
      type: LoadBalancer
      port: 19530
      annotations: 
        service.beta.kubernetes.io/aws-load-balancer-type: external
        service.beta.kubernetes.io/aws-load-balancer-name: milvus-service
        service.beta.kubernetes.io/aws-load-balancer-scheme: internet-facing
        service.beta.kubernetes.io/aws-load-balancer-nlb-target-type: ip
    
    minio:
      enabled: false
    
    externalS3:
      enabled: true
      host: "s3.us-east-2.amazonaws.com"
      port: "443"
      useSSL: true
      bucketName: "<bucket-name>"
      useIAM: false
      cloudProvider: "aws"
      iamEndpoint: ""
      accessKey: "<s3-access-key>"
      secretKey: "<s3-secret-key>"
      region: "us-east-2"
    
    # HA Configurations
    rootCoordinator:
      replicas: 2
      activeStandby:
        enabled: true
      resources: 
        limits:
          cpu: 1
          memory: 2Gi
    
    indexCoordinator:
      replicas: 2
      activeStandby:
        enabled: true
      resources: 
        limits:
          cpu: "0.5"
          memory: 0.5Gi
    
    queryCoordinator:
      replicas: 2
      activeStandby:
        enabled: true
      resources: 
        limits:
          cpu: "0.5"
          memory: 0.5Gi
    
    dataCoordinator:
      replicas: 2
      activeStandby:
        enabled: true
      resources: 
        limits:
          cpu: "0.5"
          memory: 0.5Gi
    
    proxy:
      replicas: 2
      resources: 
        limits:
          cpu: 1
          memory: 2Gi  
    
  • قم بتثبيت Milvus.

    helm install milvus-demo milvus/milvus -n milvus -f milvus.yaml
    
  • انتظر حتى تصبح جميع البودات في حالة " Running".

    kubectl get pods -n milvus
    

    لا يدعم Helm جدولة ترتيب إنشاء الخدمات. ومن الطبيعي أن يتم إعادة تشغيل وحدات البود الخاصة بالأعمال مرة أو مرتين قبل أن تصبح كل من etcd و pulsar جاهزة في المرحلة المبكرة.

  • احصل على عنوان خدمة Milvus.

    kubectl get svc -n milvus
    

تحقق من التثبيت

يمكنك اتباع الدليل البسيط أدناه للتحقق من التثبيت. لمزيد من التفاصيل، راجع البرامج النصية النموذجية في مستودع pymilvus.

  • قم بتنزيل الكود النموذجي.

    wget https://raw.githubusercontent.com/milvus-io/pymilvus/master/examples/simple.py
    
  • قم بتغيير عنوان URI للاتصال في الكود النموذجي إلى عنوان خدمة Milvus المذكور أعلاه.

    ...
    milvus_client = MilvusClient("http://milvus-service-06b515b1ce9ad10.elb.us-east-2.amazonaws.com:19530")
    ...
    
  • قم بتشغيل الكود النموذجي.

    python3 simple.py
    

    يقوم البرنامج النصي بإنشاء مجموعة باسم hello_milvus ، وإدراج بضعة صفوف، وتشغيل عدة استعلامات وبحث متجهي، ثم حذف المجموعة في النهاية. إذا اكتمل ذلك دون أخطاء، فهذا يعني أن مجموعة Milvus الخاصة بك تعمل كما هو متوقع.

أعمال التنظيف

في حالة احتياجك إلى استعادة البيئة عن طريق إلغاء تثبيت Milvus، وإزالة مجموعة EKS، وحذف سلال AWS S3 وسياسات IAM ذات الصلة.

  • قم بإلغاء تثبيت Milvus.

    helm uninstall milvus-demo -n milvus
    
  • قم بإزالة مجموعة EKS.

    eksctl delete cluster --name milvus-eks-cluster --region us-east-2
    
  • احذف حاوية AWS S3 وسياسات IAM ذات الصلة.

    يجب عليك استبدال اسم الحاوية ورقم تعريف السياسة (ARN) برقمك الخاص.

    aws s3 rm s3://milvus-bucket-039dd013c0712f085d60e21f --recursive
    
    aws s3api delete-bucket --bucket milvus-bucket-039dd013c0712f085d60e21f --region us-east-2
    
    aws iam detach-user-policy --user-name <your-user-name> --policy-arn "arn:aws:iam::12345678901:policy/MilvusS3ReadWrite"
    
    aws iam delete-policy --policy-arn 'arn:aws:iam::12345678901:policy/MilvusS3ReadWrite'
    

الخطوة التالية

إذا كنت ترغب في معرفة كيفية نشر Milvus على سحابات أخرى:

ترجمة بواسطةDeepL

جرب Managed Milvus مجاناً

Zilliz Cloud خالي من المتاعب، ويعمل بواسطة Milvus ويعمل بسرعة 10 أضعاف.

ابدأ
التعليقات

هل كانت هذه الصفحة مفيدة؟