Cópia de segurança e restauração de instantâneos numa única instânciaCompatible with Milvus Backup 0.6.x
Faça uma cópia de segurança de uma coleção e restaure-a com um novo nome na mesma instância do Milvus. Este exemplo cria um instantâneo de coll e restaura-o como coll_bak no Milvus 3.0.1 ou posterior. Para o Backup 0.5.x, utilize «Cópia de segurança e restauração numa única instância».
Visão geral
| Localização | Instância do Milvus | Armazenamento de objetos | Bucket | Caminho raiz |
|---|---|---|---|---|
| Dados de origem | milvus-a | minio-a | bucket-a | files |
| Cópia de segurança criada pela fonte | — | minio-a | bucket-a | backup/my_backup |
| Dados restaurados | milvus-a | minio-a | bucket-a | files |
Pré-requisitos
- Utilize o Milvus 3.0.1 ou uma versão posterior. Este exemplo foi validado com o Milvus Backup 0.6.0 e o Milvus 3.0.1. Instale a ferramenta conforme descrito em «Fazer cópias de segurança e restaurar dados utilizando comandos».
- Utilize uma coleção existente denominada «
coll» ou crie a coleção de exemplo opcional abaixo. Mantenha os seus dados inalterados enquanto compara os resultados da fonte e os resultados restaurados. - Torne a porta gRPC do Milvus (19530), a porta de gestão (9091) e o armazenamento de objetos acessíveis ao Milvus Backup. O servidor Milvus também deve poder aceder ao armazenamento de cópias de segurança para a exportação e importação de instantâneos.
- Substitua os nomes de anfitrião, nomes de buckets, caminhos raiz e credenciais de exemplo pelas suas definições de implementação. As definições de armazenamento do Milvus devem corresponder à instância em execução; alterar a configuração de cópia de segurança não reconfigura o Milvus.
- Certifique-se de que o ficheiro «
coll_bak» não existe na instância de destino.
Para as definições de armazenamento do Milvus, consulte Armazenamento de Objetos. Para configurações de cópia de segurança v1 existentes, consulte Atualizar o Milvus Backup.
Prepare dados de amostra
Os comandos abaixo utilizam uma coleção existente denominada coll. Pode utilizar a sua própria coleção, alterando os nomes de forma consistente.
Para uma pequena coleção de teste, instale o PyMilvus e execute o seguinte comando com um nome de coleção vazio. Substitua o URI se o Milvus não estiver local:
pip install pymilvus==3.0.0
import random
from pymilvus import DataType, MilvusClient
client = MilvusClient(uri="http://localhost:19530")
assert not client.has_collection("coll"), "Use an empty sample collection name"
schema = client.create_schema(auto_id=False, enable_dynamic_field=False)
schema.add_field("id", DataType.INT64, is_primary=True)
schema.add_field("label", DataType.VARCHAR, max_length=64)
schema.add_field("vector", DataType.FLOAT_VECTOR, dim=8)
indexes = client.prepare_index_params()
indexes.add_index(field_name="vector", index_type="AUTOINDEX", metric_type="L2")
client.create_collection("coll", schema=schema, index_params=indexes)
rng = random.Random(601)
rows = [
{"id": i, "label": f"backup-docs-{i}",
"vector": [rng.randrange(256) / 256 for _ in range(8)]}
for i in range(256)
]
client.insert("coll", rows)
client.flush("coll")
Isto cria 256 entidades. Mantenha estes dados de teste inalterados enquanto segue os passos restantes.
Fazer cópia de segurança da coleção
Passo 1: Preparar a configuração
Execute o seguinte a partir do diretório que contém o binário milvus-backup. Mantenha este diretório de trabalho para os comandos restantes:
mkdir -p configs
Guarde o seguinte como configs/backup-source.yaml. O exemplo utiliza as credenciais de teste predefinidas do MinIO; substitua-as pelas credenciais do seu armazenamento de objetos.
configVersion: v2
milvus:
grpc:
address: milvus-a
port: 19530
management:
endpoint: http://milvus-a:9091
storage:
provider: minio
address: minio-a
port: 9000
useSSL: false
bucketName: bucket-a
rootPath: files
auth:
type: static
accessKeyID: minioadmin
secretAccessKey: minioadmin
backup:
storage:
bucketName: bucket-a
rootPath: backup
transfer:
mode: auto
milvus.storage descreve os dados da instância de origem. backup.storage descreve o destino do backup. Os campos de armazenamento de backup não definidos herdam os valores de milvus.storage, exceto rootPath, cujo valor predefinido é backup.
Se o Milvus e o Milvus Backup utilizarem endereços diferentes para aceder ao mesmo armazenamento de objetos, configure backup.storage.milvusAddress e milvusPort com o endereço acessível pelo servidor Milvus. Consulte o exemplo de configuração da versão 0.6.0.
Passo 2: Verificar a conectividade e criar uma cópia de segurança
./milvus-backup check --config configs/backup-source.yaml
./milvus-backup create --format snapshot --filter coll -n my_backup --config configs/backup-source.yaml
./milvus-backup get -n my_backup --config configs/backup-source.yaml
A verificação de conectividade deve indicar Success!. O comando de criação deve indicar create backup success, e as informações de cópia de segurança devem listar coll.
A especificação explícita de « --format snapshot » seleciona o fluxo de trabalho de instantâneos. A opção predefinida « auto » também seleciona a criação de instantâneos no Milvus 3.0. O backup inclui metadados e um pacote de instantâneos exportado em « bucket-a/backup/my_backup ». Preserve o diretório na íntegra.
Restaurar na mesma instância
Utilize a mesma configuração para restaurar o backup com um sufixo:
./milvus-backup restore --filter coll_bak -n my_backup -s _bak --config configs/backup-source.yaml
A CLI --filter corresponde ao nome de destino após aplicar -s ou --rename. Utilize coll_bak, e não coll, neste comando de restauração. Um filtro que não corresponda a nada pode terminar com sucesso sem criar uma coleção.
A coleção restaurada utiliza o armazenamento configurado da instância de destino. O Milvus gere a importação do instantâneo e a estrutura de dados resultante.
Verifique o resultado
Para os dados de amostra opcionais de 256 entidades acima, execute isto no destino de restauração. Substitua localhost:19530 pelo mesmo ponto de extremidade do Milvus utilizado para preparar os dados. Isto verifica a contagem, todos os valores escalares e vetoriais e um resultado de pesquisa vetorial sem eliminar dados:
import random
from pymilvus import MilvusClient
client = MilvusClient(uri="http://localhost:19530")
assert client.has_collection("coll_bak")
if not client.list_indexes("coll_bak"):
indexes = client.prepare_index_params()
indexes.add_index(field_name="vector", index_type="AUTOINDEX", metric_type="L2")
client.create_index("coll_bak", indexes)
client.load_collection("coll_bak")
rng = random.Random(601)
expected = [
{"id": i, "label": f"backup-docs-{i}",
"vector": [rng.randrange(256) / 256 for _ in range(8)]}
for i in range(256)
]
count = client.query("coll_bak", filter="", output_fields=["count(*)"],
consistency_level="Strong")[0]["count(*)"]
actual = client.query("coll_bak", filter="id >= 0",
output_fields=["id", "label", "vector"], limit=512,
consistency_level="Strong")
assert count == 256
assert sorted(actual, key=lambda row: row["id"]) == expected
hits = client.search("coll_bak", data=[expected[7]["vector"]], limit=1,
consistency_level="Strong")
assert hits[0][0]["id"] == 7
print("Backup and restore verified")
Para outros dados, compare com a sua própria linha de base no momento do backup. Crie um índice vetorial adequado antes do carregamento, caso a coleção restaurada não possua nenhum. A execução bem-sucedida do comando, por si só, não comprova que os dados esperados tenham sido restaurados.