Migração entre instâncias num único bucket (caminhos raiz diferentes)Compatible with Milvus Backup 0.5.x
Para os fluxos de trabalho atuais, consulte o guia da CLI ou atualize a partir da versão 0.5.x. Verifique a matriz de compatibilidade para conhecer as versões do servidor Milvus suportadas.
Este tópico descreve em pormenor o processo de fazer uma cópia de segurança de uma coleção a partir de uma instância do Milvus e restaurá-la noutra, utilizando um bucket partilhado para armazenamento de objetos, com caminhos raiz distintos para cada instância.
Visão geral
O diagrama abaixo ilustra o processo de cópia de segurança e restauração utilizando um bucket partilhado.
shared-bucket-backup-and-restore.png
Suponhamos que temos as instâncias do Milvus, milvus_A e milvus_B, ambas a utilizar
o motor de armazenamento MinIO predefinido para armazenamento de objetos. Estas instâncias
partilham o mesmo bucket, bucket_A, mas armazenam os seus dados em caminhos raiz
diferentes: files_A para milvus_A e files_B para milvus_B. Neste exemplo,
o nosso objetivo é concluir as seguintes tarefas:
Criar uma cópia de segurança (my_backup) para a coleção «coll», que fica armazenada no caminho
files_Aparamilvus_A.Restaurar a partir do backup e guardá-lo em files_B para
milvus_B.
Pré-requisitos
Instale o Milvus Backup 0.5.16 utilizando o guia da CLI 0.5.x.
Familiarize-se com a configuração das definições de armazenamento de objetos do Milvus. Para mais detalhes, consulte Armazenamento de Objetos.
Faça uma cópia de segurança de uma coleção a partir de milvus_A
Passo 1: Preparar a configuração
Aceda ao diretório do projeto milvus-backup e crie um diretório
denominado « configs ». Execute os seguintes comandos a partir do diretório que contém « milvus-backup »:
mkdir -p configs
Descarregue o ficheiro de configuração de cópia de segurança backup.yaml:
wget -O configs/backup.yaml https://raw.githubusercontent.com/zilliztech/milvus-backup/v0.5.16/configs/backup.yaml
A estrutura do ficheiro é a seguinte:
├── configs
│ └── backup.yaml
├── milvus-backup
└── README.md
Passo 2: Editar o ficheiro de configuração
O YAML abaixo mostra os campos a editar no ficheiro v1 descarregado. Mantenha as restantes definições necessárias. Defina milvus.address e milvus.port para a instância que está a ser copiada de segurança ou restaurada. Defina minio.backupAddress, minio.backupPort e minio.backupStorageType para o destino da cópia de segurança, e backup.gcPause.address para o ponto de extremidade de gestão do Milvus de origem (porta 9091 por predefinição). Substitua todos os endereços, nomes de buckets, caminhos e credenciais de exemplo pelas suas definições de implementação.
Altere o ficheiro backup.yaml para definir as configurações adequadas para
milvus_A:
Configurações de ligação
# milvus proxy address, compatible to milvus.yaml milvus: address: milvus_A port: 19530 authorizationEnabled: false # tls mode values [0, 1, 2] # 0 is close, 1 is one-way authentication, 2 is two-way authentication. tlsMode: 0 user: "root" password: "Milvus"milvus.address: endereço IP ou nome de host do servidormilvus_A.milvus.port: Porta TCP na qual o servidor Milvus está a escutar (por predefinição 19530).
Configurações de armazenamento (definições do MinIO/S3)
# Related configuration of minio, which is responsible for data persistence for Milvus. minio: # cloudProvider: "minio" # deprecated use storageType instead storageType: "minio" # support storage type: local, minio, s3, aws, gcp, ali(aliyun), azure, tc(tencent) address: milvus_A # Address of MinIO/S3 port: 9000 # Port of MinIO/S3 accessKeyID: minioadmin # accessKeyID of MinIO/S3 secretAccessKey: minioadmin # MinIO/S3 encryption string useSSL: false # Access to MinIO/S3 with SSL useIAM: false iamEndpoint: "" bucketName: "bucket_A" # Milvus Bucket name in MinIO/S3, make it the same as your milvus instance rootPath: "files_A" # Milvus storage root path in MinIO/S3, make it the same as your milvus instance # Backup storage credentials backupAccessKeyID: minioadmin # accessKeyID of MinIO/S3 backupSecretAccessKey: minioadmin # MinIO/S3 encryption string backupBucketName: "bucket_A" # Bucket name to store backup data. Backup data will store to backupBucketName/backupRootPath backupRootPath: "backup" # Rootpath to store backup data. Backup data will store to backupBucketName/backupRootPathminio.bucketName: Nome do bucket utilizado para o armazenamento domilvus_A. Neste exemplo, defina comobucket_A.minio.rootPath: Caminho raiz dentro do bucket onde os dados domilvus_Asão armazenados. Neste exemplo, defina comofiles_A.minio.backupBucketName: Nome do bucket utilizado para armazenamento. Neste exemplo, omilvus_Ae omilvus_Bpartilham o mesmo bucket. Por conseguinte, defina comobucket_A.minio.backupRootPath: Caminho raiz dentro do bucket designado para armazenar ficheiros de cópia de segurança emmilvus_B. Neste exemplo, utilize um caminho diferente demilvus_A. Por conseguinte, defina comobackup.
Passo 3: Criar cópia de segurança
Depois de guardar backup.yaml, crie um backup com o nome my_backup:
./milvus-backup create -c coll -n my_backup --config configs/backup.yaml
Este comando cria o backup bucket_A/backup/my_backup no armazenamento de objetos
para a coleção coll.
Restaure o backup para milvus_B
Passo 1: Configurar as definições de restauração
Repita o passo
2 para modificar as configurações de restauração para milvus_B, garantindo que minio.bucketName esteja definido como bucket_A e minio.rootPath como files_B, para distinguir os locais de armazenamento entre as duas instâncias.
Eis um exemplo de configuração:
...
# milvus proxy address, compatible to milvus.yaml
milvus:
address: milvus_B
port: 19530
authorizationEnabled: false
# tls mode values [0, 1, 2]
# 0 is close, 1 is one-way authentication, 2 is two-way authentication.
tlsMode: 0
user: "root"
password: "Milvus"
# Related configuration of minio, which is responsible for data persistence for Milvus.
minio:
# cloudProvider: "minio" # deprecated use storageType instead
storageType: "minio" # support storage type: local, minio, s3, aws, gcp, ali(aliyun), azure, tc(tencent)
address: milvus_B # Address of MinIO/S3
port: 9000 # Port of MinIO/S3
accessKeyID: minioadmin # accessKeyID of MinIO/S3
secretAccessKey: minioadmin # MinIO/S3 encryption string
useSSL: false # Access to MinIO/S3 with SSL
useIAM: false
iamEndpoint: ""
bucketName: "bucket_A" # Milvus Bucket name in MinIO/S3, make it the same as your milvus instance
rootPath: "files_B" # Milvus storage root path in MinIO/S3, make it the same as your milvus instance
...
Passo 2: Restaurar a cópia de segurança
Restaure o backup para milvus_B:
./milvus-backup restore -c coll -n my_backup -s _bak --config configs/backup.yaml
Este comando restaura o backup numa nova coleção denominada coll_bak em milvus_B, utilizando a raiz de armazenamento configurada da instância de destino bucket_A/files_B.
Na versão 0.5.16 do Backup, a opção obsoleta « -c » seleciona o nome da coleção no backup, antes de « _bak » ser aplicado. A versão 0.6.0, que substitui « --filter », utiliza o nome de destino; consulte «Atualizar comandos da CLI».
Após a restauração, confirme se coll_bak existe, crie um índice vetorial adequado, se necessário, e compare a sua contagem de entidades, valores representativos e resultados de pesquisa com uma linha de base capturada antes do backup. A execução bem-sucedida do comando, por si só, não verifica os dados.