在同一实例中进行快照备份和还原Compatible with Milvus Backup 0.6.x

在同一 Milvus 实例中备份一个 Collection,并以新名称将其还原。本示例将在Milvus 3.0.1 或更高版本中,对coll 创建快照,并将其还原为coll_bak 。对于 Backup 0.5.x,请使用“在同一实例中备份和还原”。

概述

位置Milvus 实例对象存储存储桶根路径
源数据milvus-aminio-abucket-afiles
由源创建的备份—minio-abucket-abackup/my_backup
已还原的数据milvus-aminio-abucket-afiles

先决条件

  • 请使用 Milvus 3.0.1 或更高版本。本示例已在 Milvus Backup 0.6.0 和 Milvus 3.0.1 上经过验证。请按照《使用命令备份和还原数据》中的说明安装该工具。
  • 使用名为coll 的现有Collection,或创建下文中的可选示例Collection。在比较源数据与恢复结果时,请保持其数据不变。
  • 确保 Milvus Backup 可以访问 Milvus 的 gRPC 端口(19530)、管理端口(9091)以及对象存储。此外,Milvus 服务器还必须能够访问备份存储,以便进行快照导出和导入。
  • 请将示例中的主机名、存储桶名称、根路径和凭据替换为您部署环境中的实际设置。Milvus 存储设置必须与运行中的实例一致;更改备份配置不会重新配置 Milvus。
  • 请确保目标实例中不存在coll_bak 。

有关 Milvus 存储设置,请参阅“对象存储”。有关现有的 v1 备份配置,请参阅“升级 Milvus Backup”。

准备示例数据

以下命令使用名为coll 的现有 Collection。您可以通过统一更改名称来使用自己的 Collection。

若要创建小型测试集合,请安装 PyMilvus,并针对空 Collection 名称运行以下命令。如果 Milvus 并非本地部署,请替换 URI:

pip install pymilvus==3.0.0
import random
from pymilvus import DataType, MilvusClient

client = MilvusClient(uri="http://localhost:19530")
assert not client.has_collection("coll"), "Use an empty sample collection name"
schema = client.create_schema(auto_id=False, enable_dynamic_field=False)
schema.add_field("id", DataType.INT64, is_primary=True)
schema.add_field("label", DataType.VARCHAR, max_length=64)
schema.add_field("vector", DataType.FLOAT_VECTOR, dim=8)
indexes = client.prepare_index_params()
indexes.add_index(field_name="vector", index_type="AUTOINDEX", metric_type="L2")
client.create_collection("coll", schema=schema, index_params=indexes)

rng = random.Random(601)
rows = [
    {"id": i, "label": f"backup-docs-{i}",
     "vector": [rng.randrange(256) / 256 for _ in range(8)]}
    for i in range(256)
]
client.insert("coll", rows)
client.flush("coll")

这将创建 256 个实体。在执行后续步骤时,请保持此测试数据不变。

备份 Collection

步骤 1:准备配置

在包含milvus-backup 二进制文件的目录中运行以下命令。后续命令请继续使用此工作目录:

mkdir -p configs

将以下内容保存为configs/backup-source.yaml 。示例中使用了 MinIO 的默认测试凭据;请将其替换为您所用对象存储的凭据。

configVersion: v2
milvus:
  grpc:
    address: milvus-a
    port: 19530
  management:
    endpoint: http://milvus-a:9091
  storage:
    provider: minio
    address: minio-a
    port: 9000
    useSSL: false
    bucketName: bucket-a
    rootPath: files
    auth:
      type: static
      accessKeyID: minioadmin
      secretAccessKey: minioadmin
backup:
  storage:
    bucketName: bucket-a
    rootPath: backup
transfer:
  mode: auto

milvus.storage 描述源实例的数据。backup.storage 描述备份目标。未设置的备份存储字段将继承自milvus.storage ,但rootPath 除外,其默认值为backup 。

如果 Milvus 和 Milvus Backup 使用不同的地址访问同一个对象存储,请将 `backup.storage.milvusAddress ` 和 `milvusPort ` 配置为 Milvus 服务器可访问的地址。请参阅0.6.0 配置示例。

步骤 2:检查连接并创建备份

./milvus-backup check --config configs/backup-source.yaml
./milvus-backup create --format snapshot --filter coll -n my_backup --config configs/backup-source.yaml
./milvus-backup get -n my_backup --config configs/backup-source.yaml

连通性检查应显示Success! 。创建命令应显示create backup success ,且备份信息应列出coll 。

显式指定--format snapshot 会选择快照工作流。在 Milvus 3.0 中,默认的auto 同样会选择快照。备份包含元数据以及位于bucket-a/backup/my_backup 下的导出快照包。请保留整个目录。

在同一实例内恢复

使用相同的配置并添加后缀来还原备份:

./milvus-backup restore --filter coll_bak -n my_backup -s _bak --config configs/backup-source.yaml

CLI 命令--filter 会在应用-s 或--rename后匹配目标名称。在此还原命令中请使用coll_bak ,而非coll 。匹配结果为空的过滤器可成功退出,且不会创建 Collection。

恢复后的 Collection 使用目标实例的配置存储。Milvus 负责管理快照导入及由此产生的数据布局。

验证结果

对于上述可选的 256 个实体的示例数据,请在恢复目标上运行以下命令。将localhost:19530 替换为用于准备数据的同一 Milvus 端点。该命令可在不删除数据的情况下验证实体数量、每个标量和向量值,以及向量搜索结果:

import random
from pymilvus import MilvusClient

client = MilvusClient(uri="http://localhost:19530")
assert client.has_collection("coll_bak")
if not client.list_indexes("coll_bak"):
    indexes = client.prepare_index_params()
    indexes.add_index(field_name="vector", index_type="AUTOINDEX", metric_type="L2")
    client.create_index("coll_bak", indexes)
client.load_collection("coll_bak")

rng = random.Random(601)
expected = [
    {"id": i, "label": f"backup-docs-{i}",
     "vector": [rng.randrange(256) / 256 for _ in range(8)]}
    for i in range(256)
]
count = client.query("coll_bak", filter="", output_fields=["count(*)"],
                     consistency_level="Strong")[0]["count(*)"]
actual = client.query("coll_bak", filter="id >= 0",
                      output_fields=["id", "label", "vector"], limit=512,
                      consistency_level="Strong")
assert count == 256
assert sorted(actual, key=lambda row: row["id"]) == expected
hits = client.search("coll_bak", data=[expected[7]["vector"]], limit=1,
                     consistency_level="Strong")
assert hits[0][0]["id"] == 7
print("Backup and restore verified")

对于其他数据,请与您自己的备份时基线进行对比。如果恢复的Collection中没有向量索引,请在加载前创建一个合适的向量索引。仅凭命令执行成功并不能证明预期数据已成功恢复。

翻译自DeepL

想要更快、更简单、更好用的 Milvus SaaS服务 ?

Zilliz Cloud是基于Milvus的全托管向量数据库,拥有更高性能,更易扩展,以及卓越性价比

免费试用 Zilliz Cloud
反馈

此页对您是否有帮助?