Cópia de segurança e restauração de dados através de APIsCompatible with Milvus Backup 0.6.x
Utilize a API HTTP do Milvus Backup para criar cópias de segurança, restaurar coleções e monitorizar tarefas assíncronas. O exemplo de instantâneo abaixo requer o Milvus 3.0.1 ou posterior. Para o Backup 0.5.x, utilize o guia da API 0.5.x. Para uma instalação existente, consulte Atualizar o Milvus Backup.
Obter o Milvus Backup
Os exemplos abaixo foram validados com o Milvus Backup 0.6.0. Descarregue e extraia o ficheiro binário adequado da versão v0.6.0. Para compilar a partir do código-fonte, siga as instruções em Obter o Milvus Backup; a compilação requer o Go 1.26 ou posterior.
Preparar o ficheiro de configuração
Crie um ficheiro` configs/backup.yaml ` utilizando o exemplo v2 em «Preparar o ficheiro de configuração». Configure o acesso ao Milvus, ao armazenamento da instância e ao destino do backup. O servidor Milvus também deve poder aceder ao armazenamento de backup para operações de instantâneos.
Se tiver um ficheiro v1, este continua a poder ser carregado. Consulte «Migrar a configuração» antes de alterar o seu esquema ou as variáveis de ambiente.
A partir do diretório que contém o binário, verifique a configuração e a conectividade:
./milvus-backup config show --config configs/backup.yaml
./milvus-backup check --config configs/backup.yaml
Continue quando a verificação de conectividade indicar « Success! ».
Inicie o servidor da API
Inicie o serviço com a configuração que verificou:
./milvus-backup server --config configs/backup.yaml
A porta predefinida é a 8080. Para escolher outra porta, utilize -p:
./milvus-backup server -p 18080 --config configs/backup.yaml
Execute apenas um destes comandos para um determinado serviço. Os exemplos abaixo utilizam a porta 8080; altere os respetivos URLs se tiver selecionado outra porta. A Swagger UI está disponível em http://localhost:8080/api/v1/docs/index.html.
Mantenha o serviço em execução enquanto faz o polling das tarefas. Os IDs das tarefas e o progresso em tempo real pertencem ao processo do serviço; a cópia de segurança persistida permanece no armazenamento de objetos após o processo ser interrompido.
Preparar os dados
Utilize uma coleção existente denominada coll ou crie a coleção de teste com 256 entidades a partir de «Preparar dados de amostra». Altere os nomes das coleções nos pedidos se utilizar os seus próprios dados. Mantenha os dados de teste inalterados enquanto verifica o resultado.
Fazer cópia de segurança dos dados
Envie um pedido de cópia de segurança assíncrona:
curl --request POST 'http://localhost:8080/api/v1/create' \
--header 'Content-Type: application/json' \
--data '{
"async": true,
"backup_name": "my_backup",
"collection_names": ["coll"]
}'
A resposta inclui um « requestId ». O envio não significa que o backup esteja concluído. Copie esse valor para « backup_id » e faça a consulta:
curl 'http://localhost:8080/api/v1/get_backup?backup_id=BACKUP_REQUEST_ID&backup_name=my_backup'
Aguarde até que data.state_code passe a ser 2. A API utiliza os seguintes estados de tarefa:
state_code | Significado |
|---|---|
0 | Inicial |
1 | Em execução |
2 | Sucesso |
3 | Falha |
4 | Tempo esgotado |
Verifique tanto a resposta como o estado da tarefa. O código HTTP 200, por si só, não é suficiente: um código de resposta diferente de zero code indica um erro. Uma resposta bem-sucedida pode omitir code, uma vez que o seu valor é zero. Se uma tarefa falhar ou atingir o tempo limite, verifique os detalhes da resposta e o registo do servidor antes de restaurar a partir desse backup.
Liste os backups armazenados e verifique o backup concluído pelo nome:
curl 'http://localhost:8080/api/v1/list'
curl 'http://localhost:8080/api/v1/get_backup?backup_name=my_backup'
get_backup retorna metadados JSON, incluindo collection_backups; não descarrega ficheiros de cópia de segurança. Para uma cópia de segurança criada por outro processo, uma consulta apenas pelo nome pode devolver metadados sem o progresso atual da tarefa. Utilize o ID da tarefa da resposta de criação do serviço atual ao monitorizar uma cópia de segurança ativa.
O formato predefinido é auto, que seleciona o instantâneo no Milvus 3.0. Para solicitar explicitamente o binlog, adicione "format": "binlog" ao corpo da solicitação de criação. As predefinições « --for » da CLI não constituem um campo de solicitação HTTP.
Para preservar ou mover o backup, copie o diretório inteiro para o armazenamento de objetos. Consulte o guia de transferência da versão 0.6.0.
Restaurar dados
Certifique-se de que coll_bak ainda não existe. Envie um pedido de restauração com um sufixo:
curl --request POST 'http://localhost:8080/api/v1/restore' \
--header 'Content-Type: application/json' \
--data '{
"async": true,
"backup_name": "my_backup",
"collection_names": ["coll"],
"collection_suffix": "_bak"
}'
O campo HTTP « collection_names » seleciona nomes no backup, antes de o sufixo ser aplicado. Esta solicitação seleciona « coll » e cria « coll_bak ». Por outro lado, o parâmetro « --filter » da CLI corresponde aos nomes de destino após a renomeação; não substitua « coll_bak » neste campo HTTP.
Copie data.id da resposta de restauração e verifique o estado da tarefa:
curl 'http://localhost:8080/api/v1/get_restore?id=RESTORE_TASK_ID'
Aguarde por data.state_code: 2 e verifique collection_restore_tasks para ver se a coleção de destinos está conforme o esperado. Uma tarefa submetida ainda não constitui uma restauração verificada.
Restaurar com o nome original
Utilize uma instância de destino onde coll não exista. Inicie um serviço de API de cópia de segurança separado, configurado para esse destino e para a localização da cópia de segurança concluída, e, em seguida, envie este pedido ao serviço de destino:
curl --request POST 'http://localhost:8080/api/v1/restore' \
--header 'Content-Type: application/json' \
--data '{
"async": true,
"backup_name": "my_backup",
"collection_names": ["coll"],
"collection_suffix": ""
}'
Verifique get_restore no mesmo serviço utilizando o ID da tarefa devolvido. Configure milvus.* para o destino de restauração e backup.storage para o backup existente. Consulte Preparar o ficheiro de configuração.
Verificar os dados restaurados
Após a tarefa de restauração ser bem-sucedida, ligue-se à instância Milvus de destino e verifique se a coleção e os dados esperados existem. Para a coleção de teste de 256 entidades, utilize as verificações completas de escalares, vetores e pesquisa em «Verificar o resultado».
Altere coll_bak para coll quando restaurar com o nome original. O código de verificação lê os dados restaurados sem os eliminar. Para dados de produção, compare-os com uma linha de base capturada no momento do backup.