Atualizar o Milvus Backup para a versão 0.6.xCompatible with Milvus Backup 0.6.x

Utilize este guia ao atualizar a ferramenta Milvus Backup da versão 0.5.x para a 0.6.x. O procedimento abaixo utiliza a versão 0.6.0 como versão de destino validada. Este procedimento não atualiza o seu servidor Milvus. Se pretender manter a versão 0.5.x, continue a utilizar o guia da CLI ou da API da versão 0.5.x. Para uma nova instalação, utilize o guia da CLI.

As configurações YAML da V1 continuam a ser carregadas através da tradução automática. No entanto, os sinalizadores da CLI obsoletos são rejeitados na versão 0.6.0 e o formato de cópia de segurança predefinido altera-se no Milvus 3.0. Reveja tanto a configuração como os comandos antes de alterar tarefas agendadas ou serviços.

Verifique o ponto de partida

Registe a sua versão do Backup, as versões de origem e de destino do Milvus, os ficheiros de configuração, as substituições de variáveis de ambiente, a localização do backup e os comandos utilizados por scripts ou serviços da API. Verifique as informações de compatibilidade para essas versões do servidor.

Mantenha os diretórios originais do binário, da configuração e dos backups existentes enquanto valida a nova instalação. Descarregue a versão 0.6.0 para um diretório separado utilizando a opção «Obter o Milvus Backup». Todos os comandos abaixo são executados a partir desse diretório e invocam o binário da versão 0.6.0. Coloque uma cópia da sua configuração da v1 em configs/backup-v1.yaml.

Migrar a configuração

Uma configuração da v1 ainda é carregada na versão 0.6.0. O Milvus Backup converte-a para a v2 no arranque e apresenta um aviso. Para guardar a configuração convertida num ficheiro separado:

./milvus-backup config migrate --config configs/backup-v1.yaml --output configs/backup-v2.yaml --strict
./milvus-backup config show --config configs/backup-v2.yaml
./milvus-backup check --config configs/backup-v2.yaml

--strict rejeita uma configuração migrada inválida. Sem --output, o comando escreve o YAML da v2 na saída padrão. Reveja e utilize o novo ficheiro apenas após verificar as suas definições corretas.

Definição v1Definição v2
milvus.address, milvus.portmilvus.grpc.address, milvus.grpc.port
Armazenamento de origem em minio.*milvus.storage.*
Armazenamento de cópias de segurança em minio.backup*backup.storage.*
Credenciais de armazenamentomilvus.storage.auth.* / backup.storage.auth.*, com uma variável de ambiente explícita auth.type
minio.crossStoragetransfer.mode
backup.gcPause.addressmilvus.management.endpoint

Revise as variáveis de ambiente na mesma alteração que o ficheiro de configuração. A v2 aceita apenas as variáveis de ambiente relacionadas com credenciais suportadas, tais como MILVUS_STORAGE_AUTH_SECRET_ACCESS_KEY. Os nomes antigos da v1 não são aplicados a um ficheiro v2. Para definições não relacionadas com credenciais, tais como nomes de buckets e endpoints, utilize YAML ou uma substituição de chave de configuração:

./milvus-backup config show --config configs/backup-v2.yaml --set milvus.storage.bucketName=my-bucket

config migrate relata as variáveis de ambiente afetadas sem copiar os seus valores secretos para o ficheiro de saída. Consulte as variáveis de ambiente da v2 suportadas. O comando ` config show ` substitui o comando obsoleto ` check config `.

Atualizar comandos da CLI

Os sinalizadores obsoletos na versão 0.5 são rejeitados na versão 0.6.0. Atualize os scripts antes de atualizar o binário.

ComandoOpção removidaSubstituição
create--colls / -c, --databases / -d, --database_collections / -a--filter
create--force / -f--strategy skip_flush
create--meta_only--strategy meta_only
restore--collections / -c, --databases / -d, --database_collections / -a--filter, utilizando nomes de destino
restore--restore_index--rebuild_index
get--detail / -dRemova o sinalizador; get devolve as informações de cópia de segurança
list--collection / -cNão existe um filtro de recolha equivalente

Por exemplo, estes comandos da versão 0.5.16 selecionam o nome da fonte coll:

./milvus-backup create -c coll -n my_backup
./milvus-backup restore -c coll -n my_backup -s _bak

As suas substituições na versão 0.6.0 utilizam o nome de destino para a restauração:

./milvus-backup create --filter coll -n my_backup --config configs/backup-v2.yaml
./milvus-backup restore --filter coll_bak -n my_backup -s _bak --config configs/backup-v2.yaml

Um filtro de restauração que não corresponda a nada pode terminar com sucesso sem criar uma coleção. Verifique sempre a coleção de destino e os seus dados. O collection_names da API HTTP continua a selecionar nomes de origem no backup; consulte o guia da API HTTP.

Escolha o comportamento do backup

  • Nos servidores Milvus 2.x suportados, o formato « auto » utiliza o binlog. A atualização do Backup não requer a migração para o Milvus 3.0.
  • No Milvus 3.0, o auto seleciona o snapshot. O suporte oficial ao backup e à restauração começa a partir do Milvus 3.0.1. Passe --format binlog para manter o comportamento do binlog ao criar um backup.
  • A compatibilidade de configuração da V1 não preserva os sinalizadores de comando removidos nem substitui o padrão do novo formato.
  • As predefinições de finalidade podem definir o formato e outras opções. Por exemplo, --for archive força o binlog mesmo que --format snapshot também seja fornecido. Verifique as opções de formato e finalidade.
  • As recolhas externas são ignoradas durante o backup. Verifique os metadados do backup em vez de considerar o sucesso da tarefa como prova de que todas as recolhas foram incluídas.

Valide antes de mudar de tarefa

O exemplo seguinte mantém o formato binlog e restaura para uma nova coleção. Substitua « coll » por uma coleção cujo esquema, contagem, valores escalares e vetoriais e resultados de pesquisa tenha registado. Utilize um novo nome de cópia de segurança e certifique-se de que o nome de destino « coll_upgrade_check » não existe.

./milvus-backup check --config configs/backup-v2.yaml
./milvus-backup create --filter coll --format binlog -n upgrade_check --config configs/backup-v2.yaml
./milvus-backup get -n upgrade_check --config configs/backup-v2.yaml
./milvus-backup restore --filter coll_upgrade_check -n upgrade_check -s _upgrade_check --config configs/backup-v2.yaml

Confirme que o backup inclui coll e que coll_upgrade_check existe após a restauração. Crie o seu índice vetorial, se necessário, carregue-o e compare os dados restaurados e os resultados da pesquisa com a linha de base registada. Mantenha os dados de origem inalterados durante este teste.

Teste também um backup existente representativo antes de confiar nele com a nova ferramenta. Para um backup 0.5.16 denominado legacy_backup que contenha coll, utilize um nome de destino distinto:

./milvus-backup get -n legacy_backup --config configs/backup-v2.yaml
./milvus-backup restore --filter coll_legacy_check -n legacy_backup -s _legacy_check --config configs/backup-v2.yaml

Estes percursos de atualização foram validados com o Milvus 2.6.11, o backup 0.5.16 → 0.6.0 e backups de binlog no MinIO. Tanto os backups recém-criados como os existentes foram restaurados com valores de entidade e resultados de pesquisa vetorial correspondentes. Isto não garante a compatibilidade com todos os backups históricos nem com a restauração do Milvus 2.x para a versão 3.0. Também não garante que a versão 0.5.x consiga ler backups criados pela versão 0.6.0.

Assim que a validação for bem-sucedida, atualize as tarefas para utilizarem em conjunto o novo binário, a configuração verificada, as definições de ambiente e os sinalizadores de substituição. Para implementações via API, inicie o novo serviço com a configuração verificada e verifique a conclusão da tarefa através da API HTTP. Para adotar instantâneos no Milvus 3.0.1 ou posterior, siga as instruções em «Cópia de segurança e restauração de instantâneos numa única instância».

Traduzido porDeepL

Experimente o Milvus gerenciado gratuitamente

O Zilliz Cloud é descomplicado, powered by Milvus e 10x mais rápido.

Começar
Feedback

Esta página foi útil?