Migração entre instâncias num único bucket (caminhos raiz diferentes)Compatible with Milvus Backup 0.5.x

Para os fluxos de trabalho atuais, consulte o guia da CLI ou atualize a partir da versão 0.5.x. Verifique a matriz de compatibilidade para conhecer as versões do servidor Milvus suportadas.

Este tópico descreve em pormenor o processo de fazer uma cópia de segurança de uma coleção a partir de uma instância do Milvus e restaurá-la noutra, utilizando um bucket partilhado para armazenamento de objetos, com caminhos raiz distintos para cada instância.

Visão geral

O diagrama abaixo ilustra o processo de cópia de segurança e restauração utilizando um bucket partilhado.

shared-bucket-backup-and-restore.png shared-bucket-backup-and-restore.png

Suponhamos que temos as instâncias do Milvus, milvus_A e milvus_B, ambas a utilizar o motor de armazenamento MinIO predefinido para armazenamento de objetos. Estas instâncias partilham o mesmo bucket, bucket_A, mas armazenam os seus dados em caminhos raiz diferentes: files_A para milvus_A e files_B para milvus_B. Neste exemplo, o nosso objetivo é concluir as seguintes tarefas:

  1. Criar uma cópia de segurança (my_backup) para a coleção «coll», que fica armazenada no caminhofiles_A para milvus_A.

  2. Restaurar a partir do backup e guardá-lo em files_B para milvus_B.

Pré-requisitos

  • Instale o Milvus Backup 0.5.16 utilizando o guia da CLI 0.5.x.

  • Familiarize-se com a configuração das definições de armazenamento de objetos do Milvus. Para mais detalhes, consulte Armazenamento de Objetos.

Faça uma cópia de segurança de uma coleção a partir de milvus_A

Passo 1: Preparar a configuração

Aceda ao diretório do projeto milvus-backup e crie um diretório denominado « configs ». Execute os seguintes comandos a partir do diretório que contém « milvus-backup »:

mkdir -p configs

Descarregue o ficheiro de configuração de cópia de segurança backup.yaml:

wget -O configs/backup.yaml https://raw.githubusercontent.com/zilliztech/milvus-backup/v0.5.16/configs/backup.yaml

A estrutura do ficheiro é a seguinte:

├── configs
│   └── backup.yaml
├── milvus-backup
└── README.md

Passo 2: Editar o ficheiro de configuração

O YAML abaixo mostra os campos a editar no ficheiro v1 descarregado. Mantenha as restantes definições necessárias. Defina milvus.address e milvus.port para a instância que está a ser copiada de segurança ou restaurada. Defina minio.backupAddress, minio.backupPort e minio.backupStorageType para o destino da cópia de segurança, e backup.gcPause.address para o ponto de extremidade de gestão do Milvus de origem (porta 9091 por predefinição). Substitua todos os endereços, nomes de buckets, caminhos e credenciais de exemplo pelas suas definições de implementação.

Altere o ficheiro backup.yaml para definir as configurações adequadas para milvus_A:

  • Configurações de ligação

    # milvus proxy address, compatible to milvus.yaml
    milvus:
      address: milvus_A
      port: 19530
      authorizationEnabled: false
      # tls mode values [0, 1, 2]
      # 0 is close, 1 is one-way authentication, 2 is two-way authentication.
      tlsMode: 0
      user: "root"
      password: "Milvus"
    
    • milvus.address: endereço IP ou nome de host do servidor milvus_A.

    • milvus.port: Porta TCP na qual o servidor Milvus está a escutar (por predefinição 19530).

  • Configurações de armazenamento (definições do MinIO/S3)

    # Related configuration of minio, which is responsible for data persistence for Milvus.
    minio:
      # cloudProvider: "minio" # deprecated use storageType instead
      storageType: "minio" # support storage type: local, minio, s3, aws, gcp, ali(aliyun), azure, tc(tencent)
      
      address: milvus_A # Address of MinIO/S3
      port: 9000   # Port of MinIO/S3
      accessKeyID: minioadmin  # accessKeyID of MinIO/S3
      secretAccessKey: minioadmin # MinIO/S3 encryption string
      useSSL: false # Access to MinIO/S3 with SSL
      useIAM: false
      iamEndpoint: ""
      
      bucketName: "bucket_A" # Milvus Bucket name in MinIO/S3, make it the same as your milvus instance
      rootPath: "files_A" # Milvus storage root path in MinIO/S3, make it the same as your milvus instance
    
      # Backup storage credentials
      backupAccessKeyID: minioadmin  # accessKeyID of MinIO/S3
      backupSecretAccessKey: minioadmin # MinIO/S3 encryption string
      
      backupBucketName: "bucket_A" # Bucket name to store backup data. Backup data will store to backupBucketName/backupRootPath
      backupRootPath: "backup" # Rootpath to store backup data. Backup data will store to backupBucketName/backupRootPath
    
    • minio.bucketName: Nome do bucket utilizado para o armazenamento do milvus_A. Neste exemplo, defina como bucket_A.

    • minio.rootPath: Caminho raiz dentro do bucket onde os dados do milvus_A são armazenados. Neste exemplo, defina como files_A.

    • minio.backupBucketName: Nome do bucket utilizado para armazenamento. Neste exemplo, o milvus_A e o milvus_B partilham o mesmo bucket. Por conseguinte, defina como bucket_A.

    • minio.backupRootPath: Caminho raiz dentro do bucket designado para armazenar ficheiros de cópia de segurança em milvus_B. Neste exemplo, utilize um caminho diferente de milvus_A. Por conseguinte, defina como backup.

Passo 3: Criar cópia de segurança

Depois de guardar backup.yaml, crie um backup com o nome my_backup:

./milvus-backup create -c coll -n my_backup --config configs/backup.yaml

Este comando cria o backup bucket_A/backup/my_backup no armazenamento de objetos para a coleção coll.

Restaure o backup para milvus_B

Passo 1: Configurar as definições de restauração

Repita o passo 2 para modificar as configurações de restauração para milvus_B, garantindo que minio.bucketName esteja definido como bucket_A e minio.rootPath como files_B, para distinguir os locais de armazenamento entre as duas instâncias.

Eis um exemplo de configuração:

...
# milvus proxy address, compatible to milvus.yaml
milvus:
  address: milvus_B
  port: 19530
  authorizationEnabled: false
  # tls mode values [0, 1, 2]
  # 0 is close, 1 is one-way authentication, 2 is two-way authentication.
  tlsMode: 0
  user: "root"
  password: "Milvus"
  
# Related configuration of minio, which is responsible for data persistence for Milvus.
minio:
  # cloudProvider: "minio" # deprecated use storageType instead
  storageType: "minio" # support storage type: local, minio, s3, aws, gcp, ali(aliyun), azure, tc(tencent)
  
  address: milvus_B # Address of MinIO/S3
  port: 9000   # Port of MinIO/S3
  accessKeyID: minioadmin  # accessKeyID of MinIO/S3
  secretAccessKey: minioadmin # MinIO/S3 encryption string
  useSSL: false # Access to MinIO/S3 with SSL
  useIAM: false
  iamEndpoint: ""
  
  bucketName: "bucket_A" # Milvus Bucket name in MinIO/S3, make it the same as your milvus instance
  rootPath: "files_B" # Milvus storage root path in MinIO/S3, make it the same as your milvus instance
  ...

Passo 2: Restaurar a cópia de segurança

Restaure o backup para milvus_B:

./milvus-backup restore -c coll -n my_backup -s _bak --config configs/backup.yaml

Este comando restaura o backup numa nova coleção denominada coll_bak em milvus_B, utilizando a raiz de armazenamento configurada da instância de destino bucket_A/files_B.

Na versão 0.5.16 do Backup, a opção obsoleta « -c » seleciona o nome da coleção no backup, antes de « _bak » ser aplicado. A versão 0.6.0, que substitui « --filter », utiliza o nome de destino; consulte «Atualizar comandos da CLI».

Após a restauração, confirme se coll_bak existe, crie um índice vetorial adequado, se necessário, e compare a sua contagem de entidades, valores representativos e resultados de pesquisa com uma linha de base capturada antes do backup. A execução bem-sucedida do comando, por si só, não verifica os dados.