Cópia de segurança e restauração de instantâneos numa única instânciaCompatible with Milvus Backup 0.6.x

Faça uma cópia de segurança de uma coleção e restaure-a com um novo nome na mesma instância do Milvus. Este exemplo cria um instantâneo de coll e restaura-o como coll_bak no Milvus 3.0.1 ou posterior. Para o Backup 0.5.x, utilize «Cópia de segurança e restauração numa única instância».

Visão geral

LocalizaçãoInstância do MilvusArmazenamento de objetosBucketCaminho raiz
Dados de origemmilvus-aminio-abucket-afiles
Cópia de segurança criada pela fonte—minio-abucket-abackup/my_backup
Dados restauradosmilvus-aminio-abucket-afiles

Pré-requisitos

  • Utilize o Milvus 3.0.1 ou uma versão posterior. Este exemplo foi validado com o Milvus Backup 0.6.0 e o Milvus 3.0.1. Instale a ferramenta conforme descrito em «Fazer cópias de segurança e restaurar dados utilizando comandos».
  • Utilize uma coleção existente denominada « coll » ou crie a coleção de exemplo opcional abaixo. Mantenha os seus dados inalterados enquanto compara os resultados da fonte e os resultados restaurados.
  • Torne a porta gRPC do Milvus (19530), a porta de gestão (9091) e o armazenamento de objetos acessíveis ao Milvus Backup. O servidor Milvus também deve poder aceder ao armazenamento de cópias de segurança para a exportação e importação de instantâneos.
  • Substitua os nomes de anfitrião, nomes de buckets, caminhos raiz e credenciais de exemplo pelas suas definições de implementação. As definições de armazenamento do Milvus devem corresponder à instância em execução; alterar a configuração de cópia de segurança não reconfigura o Milvus.
  • Certifique-se de que o ficheiro « coll_bak » não existe na instância de destino.

Para as definições de armazenamento do Milvus, consulte Armazenamento de Objetos. Para configurações de cópia de segurança v1 existentes, consulte Atualizar o Milvus Backup.

Prepare dados de amostra

Os comandos abaixo utilizam uma coleção existente denominada coll. Pode utilizar a sua própria coleção, alterando os nomes de forma consistente.

Para uma pequena coleção de teste, instale o PyMilvus e execute o seguinte comando com um nome de coleção vazio. Substitua o URI se o Milvus não estiver local:

pip install pymilvus==3.0.0
import random
from pymilvus import DataType, MilvusClient

client = MilvusClient(uri="http://localhost:19530")
assert not client.has_collection("coll"), "Use an empty sample collection name"
schema = client.create_schema(auto_id=False, enable_dynamic_field=False)
schema.add_field("id", DataType.INT64, is_primary=True)
schema.add_field("label", DataType.VARCHAR, max_length=64)
schema.add_field("vector", DataType.FLOAT_VECTOR, dim=8)
indexes = client.prepare_index_params()
indexes.add_index(field_name="vector", index_type="AUTOINDEX", metric_type="L2")
client.create_collection("coll", schema=schema, index_params=indexes)

rng = random.Random(601)
rows = [
    {"id": i, "label": f"backup-docs-{i}",
     "vector": [rng.randrange(256) / 256 for _ in range(8)]}
    for i in range(256)
]
client.insert("coll", rows)
client.flush("coll")

Isto cria 256 entidades. Mantenha estes dados de teste inalterados enquanto segue os passos restantes.

Fazer cópia de segurança da coleção

Passo 1: Preparar a configuração

Execute o seguinte a partir do diretório que contém o binário milvus-backup. Mantenha este diretório de trabalho para os comandos restantes:

mkdir -p configs

Guarde o seguinte como configs/backup-source.yaml. O exemplo utiliza as credenciais de teste predefinidas do MinIO; substitua-as pelas credenciais do seu armazenamento de objetos.

configVersion: v2
milvus:
  grpc:
    address: milvus-a
    port: 19530
  management:
    endpoint: http://milvus-a:9091
  storage:
    provider: minio
    address: minio-a
    port: 9000
    useSSL: false
    bucketName: bucket-a
    rootPath: files
    auth:
      type: static
      accessKeyID: minioadmin
      secretAccessKey: minioadmin
backup:
  storage:
    bucketName: bucket-a
    rootPath: backup
transfer:
  mode: auto

milvus.storage descreve os dados da instância de origem. backup.storage descreve o destino do backup. Os campos de armazenamento de backup não definidos herdam os valores de milvus.storage, exceto rootPath, cujo valor predefinido é backup.

Se o Milvus e o Milvus Backup utilizarem endereços diferentes para aceder ao mesmo armazenamento de objetos, configure backup.storage.milvusAddress e milvusPort com o endereço acessível pelo servidor Milvus. Consulte o exemplo de configuração da versão 0.6.0.

Passo 2: Verificar a conectividade e criar uma cópia de segurança

./milvus-backup check --config configs/backup-source.yaml
./milvus-backup create --format snapshot --filter coll -n my_backup --config configs/backup-source.yaml
./milvus-backup get -n my_backup --config configs/backup-source.yaml

A verificação de conectividade deve indicar Success!. O comando de criação deve indicar create backup success, e as informações de cópia de segurança devem listar coll.

A especificação explícita de « --format snapshot » seleciona o fluxo de trabalho de instantâneos. A opção predefinida « auto » também seleciona a criação de instantâneos no Milvus 3.0. O backup inclui metadados e um pacote de instantâneos exportado em « bucket-a/backup/my_backup ». Preserve o diretório na íntegra.

Restaurar na mesma instância

Utilize a mesma configuração para restaurar o backup com um sufixo:

./milvus-backup restore --filter coll_bak -n my_backup -s _bak --config configs/backup-source.yaml

A CLI --filter corresponde ao nome de destino após aplicar -s ou --rename. Utilize coll_bak, e não coll, neste comando de restauração. Um filtro que não corresponda a nada pode terminar com sucesso sem criar uma coleção.

A coleção restaurada utiliza o armazenamento configurado da instância de destino. O Milvus gere a importação do instantâneo e a estrutura de dados resultante.

Verifique o resultado

Para os dados de amostra opcionais de 256 entidades acima, execute isto no destino de restauração. Substitua localhost:19530 pelo mesmo ponto de extremidade do Milvus utilizado para preparar os dados. Isto verifica a contagem, todos os valores escalares e vetoriais e um resultado de pesquisa vetorial sem eliminar dados:

import random
from pymilvus import MilvusClient

client = MilvusClient(uri="http://localhost:19530")
assert client.has_collection("coll_bak")
if not client.list_indexes("coll_bak"):
    indexes = client.prepare_index_params()
    indexes.add_index(field_name="vector", index_type="AUTOINDEX", metric_type="L2")
    client.create_index("coll_bak", indexes)
client.load_collection("coll_bak")

rng = random.Random(601)
expected = [
    {"id": i, "label": f"backup-docs-{i}",
     "vector": [rng.randrange(256) / 256 for _ in range(8)]}
    for i in range(256)
]
count = client.query("coll_bak", filter="", output_fields=["count(*)"],
                     consistency_level="Strong")[0]["count(*)"]
actual = client.query("coll_bak", filter="id >= 0",
                      output_fields=["id", "label", "vector"], limit=512,
                      consistency_level="Strong")
assert count == 256
assert sorted(actual, key=lambda row: row["id"]) == expected
hits = client.search("coll_bak", data=[expected[7]["vector"]], limit=1,
                     consistency_level="Strong")
assert hits[0][0]["id"] == 7
print("Backup and restore verified")

Para outros dados, compare com a sua própria linha de base no momento do backup. Crie um índice vetorial adequado antes do carregamento, caso a coleção restaurada não possua nenhum. A execução bem-sucedida do comando, por si só, não comprova que os dados esperados tenham sido restaurados.