Atualizar o Milvus Backup para a versão 0.6.xCompatible with Milvus Backup 0.6.x
Utilize este guia ao atualizar a ferramenta Milvus Backup da versão 0.5.x para a 0.6.x. O procedimento abaixo utiliza a versão 0.6.0 como versão de destino validada. Este procedimento não atualiza o seu servidor Milvus. Se pretender manter a versão 0.5.x, continue a utilizar o guia da CLI ou da API da versão 0.5.x. Para uma nova instalação, utilize o guia da CLI.
As configurações YAML da V1 continuam a ser carregadas através da tradução automática. No entanto, os sinalizadores da CLI obsoletos são rejeitados na versão 0.6.0 e o formato de cópia de segurança predefinido altera-se no Milvus 3.0. Reveja tanto a configuração como os comandos antes de alterar tarefas agendadas ou serviços.
Verifique o ponto de partida
Registe a sua versão do Backup, as versões de origem e de destino do Milvus, os ficheiros de configuração, as substituições de variáveis de ambiente, a localização do backup e os comandos utilizados por scripts ou serviços da API. Verifique as informações de compatibilidade para essas versões do servidor.
Mantenha os diretórios originais do binário, da configuração e dos backups existentes enquanto valida a nova instalação. Descarregue a versão 0.6.0 para um diretório separado utilizando a opção «Obter o Milvus Backup». Todos os comandos abaixo são executados a partir desse diretório e invocam o binário da versão 0.6.0. Coloque uma cópia da sua configuração da v1 em configs/backup-v1.yaml.
Migrar a configuração
Uma configuração da v1 ainda é carregada na versão 0.6.0. O Milvus Backup converte-a para a v2 no arranque e apresenta um aviso. Para guardar a configuração convertida num ficheiro separado:
./milvus-backup config migrate --config configs/backup-v1.yaml --output configs/backup-v2.yaml --strict
./milvus-backup config show --config configs/backup-v2.yaml
./milvus-backup check --config configs/backup-v2.yaml
--strict rejeita uma configuração migrada inválida. Sem --output, o comando escreve o YAML da v2 na saída padrão. Reveja e utilize o novo ficheiro apenas após verificar as suas definições corretas.
| Definição v1 | Definição v2 |
|---|---|
milvus.address, milvus.port | milvus.grpc.address, milvus.grpc.port |
Armazenamento de origem em minio.* | milvus.storage.* |
Armazenamento de cópias de segurança em minio.backup* | backup.storage.* |
| Credenciais de armazenamento | milvus.storage.auth.* / backup.storage.auth.*, com uma variável de ambiente explícita auth.type |
minio.crossStorage | transfer.mode |
backup.gcPause.address | milvus.management.endpoint |
Revise as variáveis de ambiente na mesma alteração que o ficheiro de configuração. A v2 aceita apenas as variáveis de ambiente relacionadas com credenciais suportadas, tais como MILVUS_STORAGE_AUTH_SECRET_ACCESS_KEY. Os nomes antigos da v1 não são aplicados a um ficheiro v2. Para definições não relacionadas com credenciais, tais como nomes de buckets e endpoints, utilize YAML ou uma substituição de chave de configuração:
./milvus-backup config show --config configs/backup-v2.yaml --set milvus.storage.bucketName=my-bucket
config migrate relata as variáveis de ambiente afetadas sem copiar os seus valores secretos para o ficheiro de saída. Consulte as variáveis de ambiente da v2 suportadas. O comando ` config show ` substitui o comando obsoleto ` check config `.
Atualizar comandos da CLI
Os sinalizadores obsoletos na versão 0.5 são rejeitados na versão 0.6.0. Atualize os scripts antes de atualizar o binário.
| Comando | Opção removida | Substituição |
|---|---|---|
create | --colls / -c, --databases / -d, --database_collections / -a | --filter |
create | --force / -f | --strategy skip_flush |
create | --meta_only | --strategy meta_only |
restore | --collections / -c, --databases / -d, --database_collections / -a | --filter, utilizando nomes de destino |
restore | --restore_index | --rebuild_index |
get | --detail / -d | Remova o sinalizador; get devolve as informações de cópia de segurança |
list | --collection / -c | Não existe um filtro de recolha equivalente |
Por exemplo, estes comandos da versão 0.5.16 selecionam o nome da fonte coll:
./milvus-backup create -c coll -n my_backup
./milvus-backup restore -c coll -n my_backup -s _bak
As suas substituições na versão 0.6.0 utilizam o nome de destino para a restauração:
./milvus-backup create --filter coll -n my_backup --config configs/backup-v2.yaml
./milvus-backup restore --filter coll_bak -n my_backup -s _bak --config configs/backup-v2.yaml
Um filtro de restauração que não corresponda a nada pode terminar com sucesso sem criar uma coleção. Verifique sempre a coleção de destino e os seus dados. O collection_names da API HTTP continua a selecionar nomes de origem no backup; consulte o guia da API HTTP.
Escolha o comportamento do backup
- Nos servidores Milvus 2.x suportados, o formato «
auto» utiliza o binlog. A atualização do Backup não requer a migração para o Milvus 3.0. - No Milvus 3.0, o
autoseleciona o snapshot. O suporte oficial ao backup e à restauração começa a partir do Milvus 3.0.1. Passe--format binlogpara manter o comportamento do binlog ao criar um backup. - A compatibilidade de configuração da V1 não preserva os sinalizadores de comando removidos nem substitui o padrão do novo formato.
- As predefinições de finalidade podem definir o formato e outras opções. Por exemplo,
--for archiveforça o binlog mesmo que--format snapshottambém seja fornecido. Verifique as opções de formato e finalidade. - As recolhas externas são ignoradas durante o backup. Verifique os metadados do backup em vez de considerar o sucesso da tarefa como prova de que todas as recolhas foram incluídas.
Valide antes de mudar de tarefa
O exemplo seguinte mantém o formato binlog e restaura para uma nova coleção. Substitua « coll » por uma coleção cujo esquema, contagem, valores escalares e vetoriais e resultados de pesquisa tenha registado. Utilize um novo nome de cópia de segurança e certifique-se de que o nome de destino « coll_upgrade_check » não existe.
./milvus-backup check --config configs/backup-v2.yaml
./milvus-backup create --filter coll --format binlog -n upgrade_check --config configs/backup-v2.yaml
./milvus-backup get -n upgrade_check --config configs/backup-v2.yaml
./milvus-backup restore --filter coll_upgrade_check -n upgrade_check -s _upgrade_check --config configs/backup-v2.yaml
Confirme que o backup inclui coll e que coll_upgrade_check existe após a restauração. Crie o seu índice vetorial, se necessário, carregue-o e compare os dados restaurados e os resultados da pesquisa com a linha de base registada. Mantenha os dados de origem inalterados durante este teste.
Teste também um backup existente representativo antes de confiar nele com a nova ferramenta. Para um backup 0.5.16 denominado legacy_backup que contenha coll, utilize um nome de destino distinto:
./milvus-backup get -n legacy_backup --config configs/backup-v2.yaml
./milvus-backup restore --filter coll_legacy_check -n legacy_backup -s _legacy_check --config configs/backup-v2.yaml
Estes percursos de atualização foram validados com o Milvus 2.6.11, o backup 0.5.16 → 0.6.0 e backups de binlog no MinIO. Tanto os backups recém-criados como os existentes foram restaurados com valores de entidade e resultados de pesquisa vetorial correspondentes. Isto não garante a compatibilidade com todos os backups históricos nem com a restauração do Milvus 2.x para a versão 3.0. Também não garante que a versão 0.5.x consiga ler backups criados pela versão 0.6.0.
Assim que a validação for bem-sucedida, atualize as tarefas para utilizarem em conjunto o novo binário, a configuração verificada, as definições de ambiente e os sinalizadores de substituição. Para implementações via API, inicie o novo serviço com a configuração verificada e verifique a conclusão da tarefa através da API HTTP. Para adotar instantâneos no Milvus 3.0.1 ou posterior, siga as instruções em «Cópia de segurança e restauração de instantâneos numa única instância».