Fazer cópias de segurança e restaurar dados utilizando comandosCompatible with Milvus Backup 0.6.x

Utilize o Milvus Backup para fazer cópias de segurança de coleções e restaurá-las na mesma instância do Milvus ou noutra. A criação de cópias de segurança e a restauração no Milvus 3.0 são oficialmente suportadas a partir da versão Milvus 3.0.1. O Milvus Backup também suporta fluxos de trabalho binlog nas versões 2.x do Milvus compatíveis; verifique a compatibilidade do Milvus Backup.

Se ainda estiver a utilizar o Backup 0.5.x, utilize o guia da CLI 0.5.x. Se estiver a atualizar, siga primeiro as instruções de atualização do Milvus Backup.

Obter o Milvus Backup

Os exemplos abaixo foram validados com o Milvus Backup 0.6.0. Descarregue o ficheiro binário para o seu sistema operativo e arquitetura a partir da versão v0.6.0 e, em seguida, extraia-o. Mantenha o ficheiro binário e os exemplos de configuração na mesma versão.

Para compilar a partir do código-fonte, instale o Go 1.26 ou posterior e, em seguida, execute:

git clone --branch v0.6.0 --depth 1 https://github.com/zilliztech/milvus-backup.git
cd milvus-backup
go build

O binário pré-compilado não requer o Go. Execute todos os comandos de shell subsequentes a partir do diretório que contém o ficheiro « milvus-backup ».

Preparar o ficheiro de configuração

O Milvus Backup necessita de acesso ao ponto de extremidade gRPC do Milvus, ao seu ponto de extremidade de gestão, ao armazenamento da instância e ao destino da cópia de segurança. Para cópias de segurança de instantâneos, o servidor Milvus também necessita de acesso ao armazenamento de cópias de segurança.

Crie um diretório de configuração:

mkdir -p configs

Guarde este exemplo do MinIO como configs/backup.yaml. Substitua os endereços, as credenciais, o bucket e o caminho raiz pelas definições da sua implementação. As credenciais minioadmin são os valores predefinidos de teste do MinIO.

configVersion: v2
milvus:
  grpc:
    address: localhost
    port: 19530
  management:
    endpoint: http://localhost:9091
  storage:
    provider: minio
    address: localhost
    port: 9000
    useSSL: false
    bucketName: a-bucket
    rootPath: files
    auth:
      type: static
      accessKeyID: minioadmin
      secretAccessKey: minioadmin
backup:
  storage:
    bucketName: a-bucket
    rootPath: backup
transfer:
  mode: auto
  • milvus.grpc liga-se à instância que está a ser copiada ou restaurada. Se a autenticação estiver ativada, defina também milvus.user e milvus.password.
  • milvus.management.endpoint É utilizado para pausar/retomar a recolha de lixo durante o backup.
  • milvus.storage deve corresponder ao armazenamento de objetos real da instância. Definir um bucket aqui não altera a configuração do Milvus.
  • backup.storage identifica a localização do backup. Os campos não definidos herdam o valor de milvus.storage, exceto rootPath, cujo valor predefinido é backup.
  • transfer.mode: auto seleciona a cópia do lado do armazenamento quando os backends correspondem e, caso contrário, o streaming através do Milvus Backup. Esta definição controla a transferência de objetos, não o formato de cópia de segurança.

Os valores predefinidos típicos de armazenamento são apresentados abaixo. Confirme os valores na sua implementação em execução antes de os utilizar.

DefiniçãoDocker ComposeHelm / Milvus Operator
Bucketa-bucketmilvus-bucket
Caminho raizfilesfile

Se o servidor Milvus utilizar um endereço diferente para aceder ao armazenamento de cópias de segurança, defina backup.storage.milvusAddress e milvusPort com o endereço acessível ao servidor. Para autenticação, TLS, outros fornecedores de armazenamento e definições adicionais, consulte o exemplo de configuração da versão 0.6.0.

Verifique os valores efetivos e a conectividade:

./milvus-backup config show --config configs/backup.yaml
./milvus-backup check --config configs/backup.yaml

config show oculta os valores secretos e indica a origem de cada valor. A verificação de conectividade deve indicar Success!. Resolva os erros de ligação ou de armazenamento antes de criar uma cópia de segurança.

Para configurações v1 existentes, consulte Atualizar o Milvus Backup. A conversão automática da configuração não substitui os sinalizadores da CLI removidos.

Prepare os dados

Utilize uma coleção existente denominada « coll » e certifique-se de que « coll_bak » não existe. Registe o esquema, a contagem de entidades, valores escalares e vetoriais representativos e um resultado de pesquisa conhecido antes do backup. Mantenha os dados de exemplo inalterados enquanto compara a cópia restaurada. Para criar, em vez disso, um pequeno conjunto de dados descartável, utilize «Preparar dados de amostra».

Fazer cópia de segurança dos dados

Crie um backup com o nome « coll »:

./milvus-backup create --filter coll -n my_backup --config configs/backup.yaml
./milvus-backup list --config configs/backup.yaml
./milvus-backup get -n my_backup --config configs/backup.yaml

O comando «create» deve apresentar « create backup success ». « get » devolve os metadados da cópia de segurança; verifique se a coleção esperada está presente. Se omitir « --filter », serão copiadas todas as coleções elegíveis. As coleções externas são ignoradas.

--filter Aceita nomes separados por vírgulas: coll na base de dados predefinida, db1.coll ou 'db1.*' para todas as coleções numa base de dados. Coloque entre aspas os padrões que contenham * para impedir a expansão do shell.

Escolha um formato ou finalidade de cópia de segurança

Com o valor predefinido --format auto, o Milvus 3.0 utiliza cópias de segurança de instantâneo; os servidores Milvus 2.x compatíveis utilizam binlog. Para manter explicitamente o comportamento do binlog, passe --format binlog. O exemplo de instantâneo seleciona explicitamente --format snapshot.

Utilize ` --for ` quando uma finalidade corresponder ao seu fluxo de trabalho:

FinalidadeValores aplicados pela predefiniçãoUtilização pretendida
cloneAtiva o backup RBAC; mantém as suas escolhas de formato e estratégiaCopiar dados para outra instância; o « auto » utiliza um instantâneo no Milvus 3.0
archiveForça o uso do « binlog » e ativa o backup RBACMantém um backup no formato binlog para restauração posterior
secondaryForça o « binlog », o « bulk_flush », o backup RBAC e a indexação de metadados adicionaisInicialize um secundário numa topologia de replicação configurada

Por exemplo:

./milvus-backup create --for clone --filter coll -n clone_backup --config configs/backup.yaml

Uma predefinição substitui valores conflitantes para as opções que define. Por exemplo, « --for archive --format snapshot » produz um backup em formato binlog. Fazer o backup dos metadados RBAC não os restaura automaticamente; utilize a opção « --rbac » do comando «restore» quando necessário.

secondary não é um atalho para a restauração normal entre instâncias. Também requer acesso ao etcd de origem para os metadados do índice, IDs e canais corretos do cluster de replicação e um destino secundário novo. O backup deve reter os seus metadados completos, incluindo meta/full_meta.json. A configuração da replicação e a execução do failover estão fora do âmbito deste guia. Consulte o código-fonte e a documentação de referência da versão 0.6.0 para conhecer a implementação e os requisitos específicos dessa versão.

Preserve o backup completo

Um backup é armazenado em <backup.storage.bucketName>/<backup.storage.rootPath>/<backup_name>. Preserve todos os objetos neste diretório. Os backups de instantâneo incluem um pacote exportado, bem como metadados.

Não copie apenas os ficheiros de metadados nem presuma que um backup de instantâneo tenha a mesma estrutura que um backup de binlog.

Restaurar dados

Restaure coll como coll_bak na instância configurada:

./milvus-backup restore --filter coll_bak -n my_backup -s _bak --config configs/backup.yaml

Na CLI, « --filter » corresponde aos nomes após a aplicação de « -s » ou « --rename ». Um comando com « --filter coll -s _bak » não corresponde a nada e pode terminar com sucesso sem restaurar uma coleção.

Para restaurar utilizando o nome original, escolha um destino onde esse nome de coleção não exista, aponte a configuração para esse destino e para a localização da cópia de segurança e omita o sufixo:

./milvus-backup restore --filter coll -n my_backup --config configs/backup-target.yaml

Para um exemplo completo na mesma instância, consulte «Cópia de segurança e restauração de instantâneos numa única instância». As páginas existentes sobre casos comuns entre instâncias utilizam a configuração do Backup 0.5.16 e v1; não aplique os seus comandos tal como estão à versão 0.6.0. Para a configuração de transferência da versão 0.6.0, consulte o guia de transferência específico para essa versão.

Verifique os dados restaurados

Confirme se existe um ficheiro « coll_bak ». Se a restauração não tiver recriado o seu índice vetorial, crie o índice adequado ao seu esquema antes de carregar a coleção. Compare o seu esquema, o número de entidades, os valores escalares e vetoriais e os resultados de pesquisa conhecidos com a linha de base capturada antes do backup.

Para o conjunto de dados descartável de 256 entidades, utilize as verificações completas descritas em «Verificar o resultado». A execução bem-sucedida de um comando, por si só, não prova que os dados esperados tenham sido restaurados.