milvus-logo
LFAI
Home
  • Guia de Administração
    • Implantação

Implantar um cluster do Milvus no EKS

Este tópico descreve como implantar um cluster Milvus no Amazon EKS.

Pré-requisitos

  • Você tem o AWS CLI instalado no seu PC local ou em um Amazon EC2, que servirá como ponto de extremidade para realizar as operações abordadas neste documento. Para um Amazon Linux 2 ou Amazon Linux 2023, as ferramentas do AWS CLI já estão instaladas. Para instalar o AWS CLi no seu PC local. Consulte Como instalar a AWS CLI.
  • Você instalou as ferramentas Kubernetes e EKS no dispositivo de endpoint preferencial, incluindo:
  • As permissões do AWS IAM foram concedidas corretamente. A entidade de segurança do IAM que está a utilizar deve ter permissão para utilizar funções do Amazon EKS IAM, funções relacionadas com serviços, AWS CloudFormation, VPCs e outros recursos relacionados. Pode seguir uma das seguintes formas para conceder as permissões adequadas ao seu principal.
    • (Não recomendado) Basta definir a política de associação do usuário/função que você usou para a política gerenciada da AWS AdministratorAccess.
    • (Altamente recomendado) Para implementar o princípio do menor privilégio, faça o seguinte:

      • Para configurar a permissão para eksctl, consulte Permissão mínima para eksctl.

      • Para configurar a permissão para criar/excluir buckets do AWS S3, consulte as seguintes configurações de permissão:

        {
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "S3BucketManagement",
      "Effect": "Allow",
      "Action": [
        "s3:CreateBucket",
        "s3:PutBucketAcl",
        "s3:PutBucketOwnershipControls",
        "s3:DeleteBucket"
      ],
      "Resource": [
        "arn:aws:s3:::milvus-bucket-*"
      ]
    }
  ]
}

      • Para configurar permissões para criar/excluir políticas de IAM, consulte as seguintes configurações de permissão. Substitua o endereço YOUR_ACCOUNT_ID pelo seu próprio.

        {
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "IAMPolicyManagement",
      "Effect": "Allow",
      "Action": [
        "iam:CreatePolicy",
        "iam:DeletePolicy"
      ],
      "Resource": "arn:aws:iam::YOUR_ACCOUNT_ID:policy/MilvusS3ReadWrite"
    }
  ]
}

Configurar recursos do AWS

É possível configurar os recursos necessários do AWS, incluindo um bucket do AWS S3 e um cluster EKS, usando o Console de Gerenciamento do AWS, a CLI do AWS ou ferramentas de IaC, como o Terraform. Neste documento, a CLI da AWS é preferida para demonstrar como configurar os recursos da AWS.

Criar um bucket do Amazon S3

  • Crie um bucket do AWS S3.

    Leia Regras de nomenclatura de bucket e observe as regras de nomenclatura ao nomear seu bucket do AWS S3.

    milvus_bucket_name="milvus-bucket-$(openssl rand -hex 12)"

aws s3api create-bucket --bucket "$milvus_bucket_name" --region 'us-east-2' --acl private  --object-ownership ObjectWriter --create-bucket-configuration LocationConstraint='us-east-2'


# Output
#
# "Location": "http://milvus-bucket-039dd013c0712f085d60e21f.s3.amazonaws.com/"

  • Crie uma política de IAM para ler e gravar objetos no bucket criado acima. Substitua o nome do bucket pelo seu próprio nome.

    echo '{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "s3:GetObject",
        "s3:PutObject",
        "s3:ListBucket",
        "s3:DeleteObject"
      ],
      "Resource": [
        "arn:aws:s3:::<bucket-name>",
        "arn:aws:s3:::<bucket-name>/*"
      ]
    }
  ]
}' > milvus-s3-policy.json

aws iam create-policy --policy-name MilvusS3ReadWrite --policy-document file://milvus-s3-policy.json


# Get the ARN from the command output as follows:
# {
#     "Policy": {
#         "PolicyName": "MilvusS3ReadWrite",
#         "PolicyId": "AN5QQVVPM1BVTFlBNkdZT",
#         "Arn": "arn:aws:iam::12345678901:policy/MilvusS3ReadWrite",
#         "Path": "/",
#         "DefaultVersionId": "v1",
#         "AttachmentCount": 0,
#         "PermissionsBoundaryUsageCount": 0,
#         "IsAttachable": true,
#         "CreateDate": "2023-11-16T06:00:01+00:00",
#        "UpdateDate": "2023-11-16T06:00:01+00:00"
#     }
# }

  • Anexe a política ao seu usuário do AWS.

    aws iam attach-user-policy --user-name <your-user-name> --policy-arn "arn:aws:iam::<your-iam-account-id>:policy/MilvusS3ReadWrite"

Criar um cluster do Amazon EKS

  • Prepare um arquivo de configuração de cluster da seguinte forma e nomeie-o como eks_cluster.yaml.

    apiVersion: eksctl.io/v1alpha5
kind: ClusterConfig

metadata:
  name: 'milvus-eks-cluster'
  region: 'us-east-2'
  version: "1.27"

iam:
  withOIDC: true

  serviceAccounts:
  - metadata:
      name: aws-load-balancer-controller
      namespace: kube-system
    wellKnownPolicies:
      awsLoadBalancerController: true

managedNodeGroups:
  - name: milvus-node-group
    labels: { role: milvus }
    instanceType: m6i.4xlarge
    desiredCapacity: 3
    privateNetworking: true
    
addons:
- name: vpc-cni
  version: latest
  attachPolicyARNs:
    - arn:aws:iam::aws:policy/AmazonEKS_CNI_Policy
- name: coredns
  version: latest
- name: kube-proxy
  version: latest
- name: aws-ebs-csi-driver
  version: latest
  wellKnownPolicies:
    ebsCSIController: true

  • Execute o seguinte comando para criar um cluster EKS.

    eksctl create cluster -f eks_cluster.yaml

  • Obtenha o arquivo kubeconfig.

    aws eks update-kubeconfig --region 'us-east-2' --name 'milvus-eks-cluster'

  • Verifique o cluster do EKS.

    kubectl cluster-info

kubectl get nodes -A -o wide

Criar uma StorageClass

O Milvus usa o etcd como meta storage e precisa confiar no gp3 StorageClass para criar e gerenciar o PVC.

cat <<EOF | kubectl apply -f -
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: ebs-gp3-sc
  annotations:
    storageclass.kubernetes.io/is-default-class: "true"
provisioner: ebs.csi.aws.com
volumeBindingMode: WaitForFirstConsumer
parameters:
  type: gp3
EOF

Defina a StorageClass gp2 original como não padrão.

kubectl patch storageclass gp2 -p '{"metadata": {"annotations":{"storageclass.kubernetes.io/is-default-class":"false"}}}'

Instalar o controlador do AWS LoadBalancer

  • Adicione o repositório Helm chars.

    helm repo add eks https://aws.github.io/eks-charts
helm repo update

  • Instalar o AWS Load Balancer Controller.

    helm install aws-load-balancer-controller eks/aws-load-balancer-controller \
  -n kube-system \
  --set clusterName='milvus-eks-cluster' \
  --set serviceAccount.create=false \
  --set serviceAccount.name=aws-load-balancer-controller

  • Verificar a instalação

    kubectl get deployment -n kube-system aws-load-balancer-controller

Implantar o Milvus

Neste guia, usaremos os gráficos do Milvus Helm para implantar um cluster do Milvus. Você pode encontrar os gráficos aqui.

  • Adicione o repositório do Milvus Helm Chart.

    helm repo add milvus https://zilliztech.github.io/milvus-helm/
helm repo update

  • Prepare o ficheiro de configuração do Milvus milvus.yaml, e substitua <bucket-name> <s3-access-key> <s3-secret-key> pelo seu próprio ficheiro.

    • Para configurar a HA para o seu Milvus, consulte esta calculadora para obter mais informações. Pode transferir as configurações relacionadas diretamente da calculadora e deve remover as configurações relacionadas com o MinIO.
    • Para implementar implementações multi-replicativas de coordenadores, defina xxCoordinator.activeStandby.enabled para true.

    cluster:
  enabled: true

service:
  type: LoadBalancer
  port: 19530
  annotations: 
    service.beta.kubernetes.io/aws-load-balancer-type: external
    service.beta.kubernetes.io/aws-load-balancer-name: milvus-service
    service.beta.kubernetes.io/aws-load-balancer-scheme: internet-facing
    service.beta.kubernetes.io/aws-load-balancer-nlb-target-type: ip

minio:
  enabled: false

externalS3:
  enabled: true
  host: "s3.us-east-2.amazonaws.com"
  port: "443"
  useSSL: true
  bucketName: "<bucket-name>"
  useIAM: false
  cloudProvider: "aws"
  iamEndpoint: ""
  accessKey: "<s3-access-key>"
  secretKey: "<s3-secret-key>"
  region: "us-east-2"

# HA Configurations
rootCoordinator:
  replicas: 2
  activeStandby:
    enabled: true
  resources: 
    limits:
      cpu: 1
      memory: 2Gi

indexCoordinator:
  replicas: 2
  activeStandby:
    enabled: true
  resources: 
    limits:
      cpu: "0.5"
      memory: 0.5Gi

queryCoordinator:
  replicas: 2
  activeStandby:
    enabled: true
  resources: 
    limits:
      cpu: "0.5"
      memory: 0.5Gi

dataCoordinator:
  replicas: 2
  activeStandby:
    enabled: true
  resources: 
    limits:
      cpu: "0.5"
      memory: 0.5Gi

proxy:
  replicas: 2
  resources: 
    limits:
      cpu: 1
      memory: 2Gi

  • Instale o Milvus.

    helm install milvus-demo milvus/milvus -n milvus -f milvus.yaml

  • Aguarde até que todos os pods sejam Running.

    kubectl get pods -n milvus

    O Helm não suporta o agendamento da ordem de criação do serviço. É normal que os pods empresariais sejam reiniciados uma ou duas vezes antes de etcd e pulsar estarem activos na fase inicial.

  • Obter o endereço do serviço Milvus.

    kubectl get svc -n milvus

Verificar a instalação

Pode seguir o guia simples abaixo para verificar a instalação. Para mais pormenores, consulte este exemplo.

  • Descarregue o código de exemplo.

    wget https://raw.githubusercontent.com/milvus-io/pymilvus/master/examples/hello_milvus.py

  • Altere o argumento host no código de exemplo para o endereço do serviço Milvus acima.

```python
...
connections.connect("default", host="milvus-service-06b515b1ce9ad10.elb.us-east-2.amazonaws.com", port="19530")
...
```

  • Execute o código de exemplo.

    python3 hello_milvus.py

    O resultado deve ser semelhante ao seguinte:

    === start connecting to Milvus     ===

Does collection hello_milvus exist in Milvus: False

=== Create collection `hello_milvus` ===


=== Start inserting entities       ===

Number of entities in Milvus: 3000

=== Start Creating index IVF_FLAT  ===


=== Start loading                  ===


=== Start searching based on vector similarity ===

hit: id: 2998, distance: 0.0, entity: {'random': 0.9728033590489911}, random field: 0.9728033590489911
hit: id: 1262, distance: 0.08883658051490784, entity: {'random': 0.2978858685751561}, random field: 0.2978858685751561
hit: id: 1265, distance: 0.09590047597885132, entity: {'random': 0.3042039939240304}, random field: 0.3042039939240304
hit: id: 2999, distance: 0.0, entity: {'random': 0.02316334456872482}, random field: 0.02316334456872482
hit: id: 1580, distance: 0.05628091096878052, entity: {'random': 0.3855988746044062}, random field: 0.3855988746044062
hit: id: 2377, distance: 0.08096685260534286, entity: {'random': 0.8745922204004368}, random field: 0.8745922204004368
search latency = 0.4693s

=== Start querying with `random > 0.5` ===

query result:
-{'embeddings': [0.20963514, 0.39746657, 0.12019053, 0.6947492, 0.9535575, 0.5454552, 0.82360446, 0.21096309], 'pk': '0', 'random': 0.6378742006852851}
search latency = 0.9407s
query pagination(limit=4):
        [{'random': 0.6378742006852851, 'pk': '0'}, {'random': 0.5763523024650556, 'pk': '100'}, {'random': 0.9425935891639464, 'pk': '1000'}, {'random': 0.7893211256191387, 'pk': '1001'}]
query pagination(offset=1, limit=3):
        [{'random': 0.5763523024650556, 'pk': '100'}, {'random': 0.9425935891639464, 'pk': '1000'}, {'random': 0.7893211256191387, 'pk': '1001'}]

=== Start hybrid searching with `random > 0.5` ===

hit: id: 2998, distance: 0.0, entity: {'random': 0.9728033590489911}, random field: 0.9728033590489911
hit: id: 747, distance: 0.14606499671936035, entity: {'random': 0.5648774800635661}, random field: 0.5648774800635661
hit: id: 2527, distance: 0.1530652642250061, entity: {'random': 0.8928974315571507}, random field: 0.8928974315571507
hit: id: 2377, distance: 0.08096685260534286, entity: {'random': 0.8745922204004368}, random field: 0.8745922204004368
hit: id: 2034, distance: 0.20354536175727844, entity: {'random': 0.5526117606328499}, random field: 0.5526117606328499
hit: id: 958, distance: 0.21908017992973328, entity: {'random': 0.6647383716417955}, random field: 0.6647383716417955
search latency = 0.4652s

=== Start deleting with expr `pk in ["0" , "1"]` ===

query before delete by expr=`pk in ["0" , "1"]` -> result:
-{'random': 0.6378742006852851, 'embeddings': [0.20963514, 0.39746657, 0.12019053, 0.6947492, 0.9535575, 0.5454552, 0.82360446, 0.21096309], 'pk': '0'}
-{'random': 0.43925103574669633, 'embeddings': [0.52323616, 0.8035404, 0.77824664, 0.80369574, 0.4914803, 0.8265614, 0.6145269, 0.80234545], 'pk': '1'}

query after delete by expr=`pk in ["0" , "1"]` -> result: []


=== Drop collection `hello_milvus` ===

A limpeza funciona

Caso seja necessário restaurar o ambiente desinstalando o Milvus, destruindo o cluster EKS e excluindo os buckets do AWS S3 e as políticas de IAM relacionadas.

  • Desinstalar o Milvus.

    helm uninstall milvus-demo -n milvus

  • Destrua o cluster do EKS.

    eksctl delete cluster --name milvus-eks-cluster --region us-east-2

  • Exclua o bucket do AWS S3 e as políticas de IAM relacionadas.

    Você deve substituir o nome do bucket e o ARN da política pelo seu próprio.

    aws s3 rm s3://milvus-bucket-039dd013c0712f085d60e21f --recursive

aws s3api delete-bucket --bucket milvus-bucket-039dd013c0712f085d60e21f --region us-east-2

aws iam detach-user-policy --user-name <your-user-name> --policy-arn "arn:aws:iam::12345678901:policy/MilvusS3ReadWrite"

aws iam delete-policy --policy-arn 'arn:aws:iam::12345678901:policy/MilvusS3ReadWrite'

O que vem a seguir

Se você quiser aprender como implantar o Milvus em outras nuvens:

Traduzido porDeepLogo

Tabela de conteúdos

Try Zilliz Cloud for Free

Zilliz Cloud is hassle-free, powered by Milvus and 10x faster.

Get Started
Feedback

Esta página foi útil?