在同一实例中进行快照备份和还原Compatible with Milvus Backup 0.6.x
在同一 Milvus 实例中备份一个 Collection,并以新名称将其还原。本示例将在Milvus 3.0.1 或更高版本中,对coll 创建快照,并将其还原为coll_bak 。对于 Backup 0.5.x,请使用“在同一实例中备份和还原”。
概述
| 位置 | Milvus 实例 | 对象存储 | 存储桶 | 根路径 |
|---|---|---|---|---|
| 源数据 | milvus-a | minio-a | bucket-a | files |
| 由源创建的备份 | — | minio-a | bucket-a | backup/my_backup |
| 已还原的数据 | milvus-a | minio-a | bucket-a | files |
先决条件
- 请使用 Milvus 3.0.1 或更高版本。本示例已在 Milvus Backup 0.6.0 和 Milvus 3.0.1 上经过验证。请按照《使用命令备份和还原数据》中的说明安装该工具。
- 使用名为
coll的现有Collection,或创建下文中的可选示例Collection。在比较源数据与恢复结果时,请保持其数据不变。 - 确保 Milvus Backup 可以访问 Milvus 的 gRPC 端口(19530)、管理端口(9091)以及对象存储。此外,Milvus 服务器还必须能够访问备份存储,以便进行快照导出和导入。
- 请将示例中的主机名、存储桶名称、根路径和凭据替换为您部署环境中的实际设置。Milvus 存储设置必须与运行中的实例一致;更改备份配置不会重新配置 Milvus。
- 请确保目标实例中不存在
coll_bak。
有关 Milvus 存储设置,请参阅“对象存储”。有关现有的 v1 备份配置,请参阅“升级 Milvus Backup”。
准备示例数据
以下命令使用名为coll 的现有 Collection。您可以通过统一更改名称来使用自己的 Collection。
若要创建小型测试集合,请安装 PyMilvus,并针对空 Collection 名称运行以下命令。如果 Milvus 并非本地部署,请替换 URI:
pip install pymilvus==3.0.0
import random
from pymilvus import DataType, MilvusClient
client = MilvusClient(uri="http://localhost:19530")
assert not client.has_collection("coll"), "Use an empty sample collection name"
schema = client.create_schema(auto_id=False, enable_dynamic_field=False)
schema.add_field("id", DataType.INT64, is_primary=True)
schema.add_field("label", DataType.VARCHAR, max_length=64)
schema.add_field("vector", DataType.FLOAT_VECTOR, dim=8)
indexes = client.prepare_index_params()
indexes.add_index(field_name="vector", index_type="AUTOINDEX", metric_type="L2")
client.create_collection("coll", schema=schema, index_params=indexes)
rng = random.Random(601)
rows = [
{"id": i, "label": f"backup-docs-{i}",
"vector": [rng.randrange(256) / 256 for _ in range(8)]}
for i in range(256)
]
client.insert("coll", rows)
client.flush("coll")
这将创建 256 个实体。在执行后续步骤时,请保持此测试数据不变。
备份 Collection
步骤 1:准备配置
在包含milvus-backup 二进制文件的目录中运行以下命令。后续命令请继续使用此工作目录:
mkdir -p configs
将以下内容保存为configs/backup-source.yaml 。示例中使用了 MinIO 的默认测试凭据;请将其替换为您所用对象存储的凭据。
configVersion: v2
milvus:
grpc:
address: milvus-a
port: 19530
management:
endpoint: http://milvus-a:9091
storage:
provider: minio
address: minio-a
port: 9000
useSSL: false
bucketName: bucket-a
rootPath: files
auth:
type: static
accessKeyID: minioadmin
secretAccessKey: minioadmin
backup:
storage:
bucketName: bucket-a
rootPath: backup
transfer:
mode: auto
milvus.storage 描述源实例的数据。backup.storage 描述备份目标。未设置的备份存储字段将继承自milvus.storage ,但rootPath 除外,其默认值为backup 。
如果 Milvus 和 Milvus Backup 使用不同的地址访问同一个对象存储,请将 `backup.storage.milvusAddress ` 和 `milvusPort ` 配置为 Milvus 服务器可访问的地址。请参阅0.6.0 配置示例。
步骤 2:检查连接并创建备份
./milvus-backup check --config configs/backup-source.yaml
./milvus-backup create --format snapshot --filter coll -n my_backup --config configs/backup-source.yaml
./milvus-backup get -n my_backup --config configs/backup-source.yaml
连通性检查应显示Success! 。创建命令应显示create backup success ,且备份信息应列出coll 。
显式指定--format snapshot 会选择快照工作流。在 Milvus 3.0 中,默认的auto 同样会选择快照。备份包含元数据以及位于bucket-a/backup/my_backup 下的导出快照包。请保留整个目录。
在同一实例内恢复
使用相同的配置并添加后缀来还原备份:
./milvus-backup restore --filter coll_bak -n my_backup -s _bak --config configs/backup-source.yaml
CLI 命令--filter 会在应用-s 或--rename后匹配目标名称。在此还原命令中请使用coll_bak ,而非coll 。匹配结果为空的过滤器可成功退出,且不会创建 Collection。
恢复后的 Collection 使用目标实例的配置存储。Milvus 负责管理快照导入及由此产生的数据布局。
验证结果
对于上述可选的 256 个实体的示例数据,请在恢复目标上运行以下命令。将localhost:19530 替换为用于准备数据的同一 Milvus 端点。该命令可在不删除数据的情况下验证实体数量、每个标量和向量值,以及向量搜索结果:
import random
from pymilvus import MilvusClient
client = MilvusClient(uri="http://localhost:19530")
assert client.has_collection("coll_bak")
if not client.list_indexes("coll_bak"):
indexes = client.prepare_index_params()
indexes.add_index(field_name="vector", index_type="AUTOINDEX", metric_type="L2")
client.create_index("coll_bak", indexes)
client.load_collection("coll_bak")
rng = random.Random(601)
expected = [
{"id": i, "label": f"backup-docs-{i}",
"vector": [rng.randrange(256) / 256 for _ in range(8)]}
for i in range(256)
]
count = client.query("coll_bak", filter="", output_fields=["count(*)"],
consistency_level="Strong")[0]["count(*)"]
actual = client.query("coll_bak", filter="id >= 0",
output_fields=["id", "label", "vector"], limit=512,
consistency_level="Strong")
assert count == 256
assert sorted(actual, key=lambda row: row["id"]) == expected
hits = client.search("coll_bak", data=[expected[7]["vector"]], limit=1,
consistency_level="Strong")
assert hits[0][0]["id"] == 7
print("Backup and restore verified")
对于其他数据,请与您自己的备份时基线进行对比。如果恢复的Collection中没有向量索引,请在加载前创建一个合适的向量索引。仅凭命令执行成功并不能证明预期数据已成功恢复。