نشر مجموعة Milvus على EKS
يصف هذا الموضوع كيفية نشر مجموعة Milvus على Amazon EKS.
المتطلبات الأساسية
- يجب أن يكون AWS CLI مثبتًا على جهاز الكمبيوتر المحلي الخاص بك أو على Amazon EC2، والذي سيكون بمثابة نقطة النهاية الخاصة بك لتنفيذ العمليات التي يتناولها هذا المستند. بالنسبة لنظامي Amazon Linux 2 أو Amazon Linux 2023، تكون أدوات AWS CLI مثبتة بالفعل. لتثبيت AWS CLI على جهاز الكمبيوتر المحلي الخاص بك، راجع كيفية تثبيت AWS CLI.
- يجب أن تكون قد قمت بتثبيت أدوات Kubernetes وEKS على جهاز نقطة النهاية المفضل، بما في ذلك:
- تم منح أذونات AWS IAM بشكل صحيح. يجب أن يتمتع الكيان الأمني IAM الذي تستخدمه بأذونات لاستخدام أدوار Amazon EKS IAM، والأدوار المتعلقة بالخدمات، وAWS CloudFormation، وشبكات VPC، والموارد الأخرى ذات الصلة. يمكنك اتباع أي من الطرق التالية لمنح الكيان الأمني الخاص بك الأذونات المناسبة.
- (غير موصى به) ما عليك سوى تعيين سياسة الارتباط الخاصة بالمستخدم/الدور الذي استخدمته إلى السياسة المدارة من AWS
AdministratorAccess. - (موصى به بشدة) لتطبيق مبدأ «أقل امتياز ممكن»، قم بما يلي:
لإعداد أذونات لـ
eksctl، راجع «الأذونات الدنيا لـeksctl».لإعداد أذونات إنشاء/حذف دلاء AWS S3، راجع إعدادات الأذونات التالية:
{ "Version": "2012-10-17", "Statement": [ { "Sid": "S3BucketManagement", "Effect": "Allow", "Action": [ "s3:CreateBucket", "s3:PutBucketAcl", "s3:PutBucketOwnershipControls", "s3:DeleteBucket" ], "Resource": [ "arn:aws:s3:::milvus-bucket-*" ] } ] }لإعداد أذونات إنشاء/حذف سياسات IAM، راجع إعدادات الأذونات التالية. استبدل
YOUR_ACCOUNT_IDبـ الخاص بك.{ "Version": "2012-10-17", "Statement": [ { "Sid": "IAMPolicyManagement", "Effect": "Allow", "Action": [ "iam:CreatePolicy", "iam:DeletePolicy" ], "Resource": "arn:aws:iam::YOUR_ACCOUNT_ID:policy/MilvusS3ReadWrite" } ] }
- (غير موصى به) ما عليك سوى تعيين سياسة الارتباط الخاصة بالمستخدم/الدور الذي استخدمته إلى السياسة المدارة من AWS
إعداد موارد AWS
يمكنك إعداد موارد AWS المطلوبة، بما في ذلك حاوية AWS S3 ومجموعة EKS، باستخدام إما AWS Management Console أو AWS CLI أو أدوات IaC، مثل Terraform. في هذا المستند، يُفضل استخدام AWS CLI لتوضيح كيفية إعداد موارد AWS.
إنشاء دلو Amazon S3
قم بإنشاء دلو AWS S3.
اقرأ قواعد تسمية سلة التخزين واتبّعها عند تسمية سلة التخزين الخاصة بك في AWS S3.
milvus_bucket_name="milvus-bucket-$(openssl rand -hex 12)" aws s3api create-bucket --bucket "$milvus_bucket_name" --region 'us-east-2' --acl private --object-ownership ObjectWriter --create-bucket-configuration LocationConstraint='us-east-2' # Output # # "Location": "http://milvus-bucket-039dd013c0712f085d60e21f.s3.amazonaws.com/"قم بإنشاء سياسة IAM لقراءة وكتابة الكائنات داخل الحاوية التي تم إنشاؤها أعلاه. استبدل اسم الحاوية باسمك الخاص.
echo '{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "s3:GetObject", "s3:PutObject", "s3:ListBucket", "s3:DeleteObject" ], "Resource": [ "arn:aws:s3:::<bucket-name>", "arn:aws:s3:::<bucket-name>/*" ] } ] }' > milvus-s3-policy.json aws iam create-policy --policy-name MilvusS3ReadWrite --policy-document file://milvus-s3-policy.json # Get the ARN from the command output as follows: # { # "Policy": { # "PolicyName": "MilvusS3ReadWrite", # "PolicyId": "AN5QQVVPM1BVTFlBNkdZT", # "Arn": "arn:aws:iam::12345678901:policy/MilvusS3ReadWrite", # "Path": "/", # "DefaultVersionId": "v1", # "AttachmentCount": 0, # "PermissionsBoundaryUsageCount": 0, # "IsAttachable": true, # "CreateDate": "2023-11-16T06:00:01+00:00", # "UpdateDate": "2023-11-16T06:00:01+00:00" # } # }اربط السياسة بمستخدم AWS الخاص بك.
aws iam attach-user-policy --user-name <your-user-name> --policy-arn "arn:aws:iam::<your-iam-account-id>:policy/MilvusS3ReadWrite"
إنشاء مجموعة Amazon EKS
قم بإعداد ملف تكوين المجموعة على النحو التالي وقم بتسميته
eks_cluster.yaml.apiVersion: eksctl.io/v1alpha5 kind: ClusterConfig metadata: name: 'milvus-eks-cluster' region: 'us-east-2' version: "1.27" iam: withOIDC: true serviceAccounts: - metadata: name: aws-load-balancer-controller namespace: kube-system wellKnownPolicies: awsLoadBalancerController: true managedNodeGroups: - name: milvus-node-group labels: { role: milvus } instanceType: m6i.4xlarge desiredCapacity: 3 privateNetworking: true addons: - name: vpc-cni version: latest attachPolicyARNs: - arn:aws:iam::aws:policy/AmazonEKS_CNI_Policy - name: coredns version: latest - name: kube-proxy version: latest - name: aws-ebs-csi-driver version: latest wellKnownPolicies: ebsCSIController: trueقم بتشغيل الأمر التالي لإنشاء مجموعة EKS.
eksctl create cluster -f eks_cluster.yamlاحصل على ملف kubeconfig.
aws eks update-kubeconfig --region 'us-east-2' --name 'milvus-eks-cluster'تحقق من مجموعة EKS.
kubectl cluster-info kubectl get nodes -A -o wide
إنشاء فئة تخزين (StorageClass)
يستخدم Milvus etcd كمخزن للبيانات الوصفية ويحتاج إلى الاعتماد على فئة التخزين gp3 لإنشاء وإدارة PVC.
cat <<EOF | kubectl apply -f -
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: ebs-gp3-sc
annotations:
storageclass.kubernetes.io/is-default-class: "true"
provisioner: ebs.csi.aws.com
volumeBindingMode: WaitForFirstConsumer
parameters:
type: gp3
EOF
اضبط فئة التخزين gp2 الأصلية على non-default.
kubectl patch storageclass gp2 -p '{"metadata": {"annotations":{"storageclass.kubernetes.io/is-default-class":"false"}}}'
تثبيت AWS LoadBalancer Controller
أضف مستودع Helm chars.
helm repo add eks https://aws.github.io/eks-charts helm repo updateتثبيت AWS Load Balancer Controller.
helm install aws-load-balancer-controller eks/aws-load-balancer-controller \ -n kube-system \ --set clusterName='milvus-eks-cluster' \ --set serviceAccount.create=false \ --set serviceAccount.name=aws-load-balancer-controllerتحقق من التثبيت
kubectl get deployment -n kube-system aws-load-balancer-controller
نشر Milvus
في هذا الدليل، سنستخدم مخططات Helm الخاصة بـ Milvus لنشر مجموعة Milvus. يمكنك العثور على المخططات هنا.
أضف مستودع مخططات Helm الخاصة بـ Milvus.
helm repo add milvus https://zilliztech.github.io/milvus-helm/ helm repo updateقم بإعداد ملف تكوين Milvus
milvus.yaml، واستبدل<bucket-name> <s3-access-key> <s3-secret-key>ببياناتك الخاصة.- لتكوين التوافر العالي (HA) لـ Milvus الخاص بك، راجع هذه الآلة الحاسبة للحصول على مزيد من المعلومات. يمكنك تنزيل التكوينات ذات الصلة مباشرةً من الآلة الحاسبة، ويجب عليك إزالة التكوينات المتعلقة بـ MinIO.
- لتنفيذ عمليات نشر متعددة النسخ من المنسقين، اضبط
xxCoordinator.activeStandby.enabledعلىtrue.
cluster: enabled: true service: type: LoadBalancer port: 19530 annotations: service.beta.kubernetes.io/aws-load-balancer-type: external service.beta.kubernetes.io/aws-load-balancer-name: milvus-service service.beta.kubernetes.io/aws-load-balancer-scheme: internet-facing service.beta.kubernetes.io/aws-load-balancer-nlb-target-type: ip minio: enabled: false externalS3: enabled: true host: "s3.us-east-2.amazonaws.com" port: "443" useSSL: true bucketName: "<bucket-name>" useIAM: false cloudProvider: "aws" iamEndpoint: "" accessKey: "<s3-access-key>" secretKey: "<s3-secret-key>" region: "us-east-2" # HA Configurations rootCoordinator: replicas: 2 activeStandby: enabled: true resources: limits: cpu: 1 memory: 2Gi indexCoordinator: replicas: 2 activeStandby: enabled: true resources: limits: cpu: "0.5" memory: 0.5Gi queryCoordinator: replicas: 2 activeStandby: enabled: true resources: limits: cpu: "0.5" memory: 0.5Gi dataCoordinator: replicas: 2 activeStandby: enabled: true resources: limits: cpu: "0.5" memory: 0.5Gi proxy: replicas: 2 resources: limits: cpu: 1 memory: 2Giقم بتثبيت Milvus.
helm install milvus-demo milvus/milvus -n milvus -f milvus.yamlانتظر حتى تصبح جميع البودات في حالة "
Running".kubectl get pods -n milvusلا يدعم Helm جدولة ترتيب إنشاء الخدمات. ومن الطبيعي أن يتم إعادة تشغيل وحدات البود الخاصة بالأعمال مرة أو مرتين قبل أن تصبح كل من
etcdوpulsarجاهزة في المرحلة المبكرة.احصل على عنوان خدمة Milvus.
kubectl get svc -n milvus
تحقق من التثبيت
يمكنك اتباع الدليل البسيط أدناه للتحقق من التثبيت. لمزيد من التفاصيل، راجع البرامج النصية النموذجية في مستودع pymilvus.
قم بتنزيل الكود النموذجي.
wget https://raw.githubusercontent.com/milvus-io/pymilvus/master/examples/simple.pyقم بتغيير عنوان URI للاتصال في الكود النموذجي إلى عنوان خدمة Milvus المذكور أعلاه.
... milvus_client = MilvusClient("http://milvus-service-06b515b1ce9ad10.elb.us-east-2.amazonaws.com:19530") ...قم بتشغيل الكود النموذجي.
python3 simple.pyيقوم البرنامج النصي بإنشاء مجموعة باسم
hello_milvus، وإدراج بضعة صفوف، وتشغيل عدة استعلامات وبحث متجهي، ثم حذف المجموعة في النهاية. إذا اكتمل ذلك دون أخطاء، فهذا يعني أن مجموعة Milvus الخاصة بك تعمل كما هو متوقع.
أعمال التنظيف
في حالة احتياجك إلى استعادة البيئة عن طريق إلغاء تثبيت Milvus، وإزالة مجموعة EKS، وحذف سلال AWS S3 وسياسات IAM ذات الصلة.
قم بإلغاء تثبيت Milvus.
helm uninstall milvus-demo -n milvusقم بإزالة مجموعة EKS.
eksctl delete cluster --name milvus-eks-cluster --region us-east-2احذف حاوية AWS S3 وسياسات IAM ذات الصلة.
يجب عليك استبدال اسم الحاوية ورقم تعريف السياسة (ARN) برقمك الخاص.
aws s3 rm s3://milvus-bucket-039dd013c0712f085d60e21f --recursive aws s3api delete-bucket --bucket milvus-bucket-039dd013c0712f085d60e21f --region us-east-2 aws iam detach-user-policy --user-name <your-user-name> --policy-arn "arn:aws:iam::12345678901:policy/MilvusS3ReadWrite" aws iam delete-policy --policy-arn 'arn:aws:iam::12345678901:policy/MilvusS3ReadWrite'
الخطوة التالية
إذا كنت ترغب في معرفة كيفية نشر Milvus على سحابات أخرى: