Cópia de segurança e restauração de dados através de APIsCompatible with Milvus Backup 0.6.x

Utilize a API HTTP do Milvus Backup para criar cópias de segurança, restaurar coleções e monitorizar tarefas assíncronas. O exemplo de instantâneo abaixo requer o Milvus 3.0.1 ou posterior. Para o Backup 0.5.x, utilize o guia da API 0.5.x. Para uma instalação existente, consulte Atualizar o Milvus Backup.

Obter o Milvus Backup

Os exemplos abaixo foram validados com o Milvus Backup 0.6.0. Descarregue e extraia o ficheiro binário adequado da versão v0.6.0. Para compilar a partir do código-fonte, siga as instruções em Obter o Milvus Backup; a compilação requer o Go 1.26 ou posterior.

Preparar o ficheiro de configuração

Crie um ficheiro` configs/backup.yaml ` utilizando o exemplo v2 em «Preparar o ficheiro de configuração». Configure o acesso ao Milvus, ao armazenamento da instância e ao destino do backup. O servidor Milvus também deve poder aceder ao armazenamento de backup para operações de instantâneos.

Se tiver um ficheiro v1, este continua a poder ser carregado. Consulte «Migrar a configuração» antes de alterar o seu esquema ou as variáveis de ambiente.

A partir do diretório que contém o binário, verifique a configuração e a conectividade:

./milvus-backup config show --config configs/backup.yaml
./milvus-backup check --config configs/backup.yaml

Continue quando a verificação de conectividade indicar « Success! ».

Inicie o servidor da API

Inicie o serviço com a configuração que verificou:

./milvus-backup server --config configs/backup.yaml

A porta predefinida é a 8080. Para escolher outra porta, utilize -p:

./milvus-backup server -p 18080 --config configs/backup.yaml

Execute apenas um destes comandos para um determinado serviço. Os exemplos abaixo utilizam a porta 8080; altere os respetivos URLs se tiver selecionado outra porta. A Swagger UI está disponível em http://localhost:8080/api/v1/docs/index.html.

Mantenha o serviço em execução enquanto faz o polling das tarefas. Os IDs das tarefas e o progresso em tempo real pertencem ao processo do serviço; a cópia de segurança persistida permanece no armazenamento de objetos após o processo ser interrompido.

Preparar os dados

Utilize uma coleção existente denominada coll ou crie a coleção de teste com 256 entidades a partir de «Preparar dados de amostra». Altere os nomes das coleções nos pedidos se utilizar os seus próprios dados. Mantenha os dados de teste inalterados enquanto verifica o resultado.

Fazer cópia de segurança dos dados

Envie um pedido de cópia de segurança assíncrona:

curl --request POST 'http://localhost:8080/api/v1/create' \
  --header 'Content-Type: application/json' \
  --data '{
    "async": true,
    "backup_name": "my_backup",
    "collection_names": ["coll"]
  }'

A resposta inclui um « requestId ». O envio não significa que o backup esteja concluído. Copie esse valor para « backup_id » e faça a consulta:

curl 'http://localhost:8080/api/v1/get_backup?backup_id=BACKUP_REQUEST_ID&backup_name=my_backup'

Aguarde até que data.state_code passe a ser 2. A API utiliza os seguintes estados de tarefa:

state_codeSignificado
0Inicial
1Em execução
2Sucesso
3Falha
4Tempo esgotado

Verifique tanto a resposta como o estado da tarefa. O código HTTP 200, por si só, não é suficiente: um código de resposta diferente de zero code indica um erro. Uma resposta bem-sucedida pode omitir code, uma vez que o seu valor é zero. Se uma tarefa falhar ou atingir o tempo limite, verifique os detalhes da resposta e o registo do servidor antes de restaurar a partir desse backup.

Liste os backups armazenados e verifique o backup concluído pelo nome:

curl 'http://localhost:8080/api/v1/list'
curl 'http://localhost:8080/api/v1/get_backup?backup_name=my_backup'

get_backup retorna metadados JSON, incluindo collection_backups; não descarrega ficheiros de cópia de segurança. Para uma cópia de segurança criada por outro processo, uma consulta apenas pelo nome pode devolver metadados sem o progresso atual da tarefa. Utilize o ID da tarefa da resposta de criação do serviço atual ao monitorizar uma cópia de segurança ativa.

O formato predefinido é auto, que seleciona o instantâneo no Milvus 3.0. Para solicitar explicitamente o binlog, adicione "format": "binlog" ao corpo da solicitação de criação. As predefinições « --for » da CLI não constituem um campo de solicitação HTTP.

Para preservar ou mover o backup, copie o diretório inteiro para o armazenamento de objetos. Consulte o guia de transferência da versão 0.6.0.

Restaurar dados

Certifique-se de que coll_bak ainda não existe. Envie um pedido de restauração com um sufixo:

curl --request POST 'http://localhost:8080/api/v1/restore' \
  --header 'Content-Type: application/json' \
  --data '{
    "async": true,
    "backup_name": "my_backup",
    "collection_names": ["coll"],
    "collection_suffix": "_bak"
  }'

O campo HTTP « collection_names » seleciona nomes no backup, antes de o sufixo ser aplicado. Esta solicitação seleciona « coll » e cria « coll_bak ». Por outro lado, o parâmetro « --filter » da CLI corresponde aos nomes de destino após a renomeação; não substitua « coll_bak » neste campo HTTP.

Copie data.id da resposta de restauração e verifique o estado da tarefa:

curl 'http://localhost:8080/api/v1/get_restore?id=RESTORE_TASK_ID'

Aguarde por data.state_code: 2 e verifique collection_restore_tasks para ver se a coleção de destinos está conforme o esperado. Uma tarefa submetida ainda não constitui uma restauração verificada.

Restaurar com o nome original

Utilize uma instância de destino onde coll não exista. Inicie um serviço de API de cópia de segurança separado, configurado para esse destino e para a localização da cópia de segurança concluída, e, em seguida, envie este pedido ao serviço de destino:

curl --request POST 'http://localhost:8080/api/v1/restore' \
  --header 'Content-Type: application/json' \
  --data '{
    "async": true,
    "backup_name": "my_backup",
    "collection_names": ["coll"],
    "collection_suffix": ""
  }'

Verifique get_restore no mesmo serviço utilizando o ID da tarefa devolvido. Configure milvus.* para o destino de restauração e backup.storage para o backup existente. Consulte Preparar o ficheiro de configuração.

Verificar os dados restaurados

Após a tarefa de restauração ser bem-sucedida, ligue-se à instância Milvus de destino e verifique se a coleção e os dados esperados existem. Para a coleção de teste de 256 entidades, utilize as verificações completas de escalares, vetores e pesquisa em «Verificar o resultado».

Altere coll_bak para coll quando restaurar com o nome original. O código de verificação lê os dados restaurados sem os eliminar. Para dados de produção, compare-os com uma linha de base capturada no momento do backup.