使用命令备份和还原数据Compatible with Milvus Backup 0.6.x
使用 Milvus Backup 备份 Collections,并在同一或另一个 Milvus 实例中将其恢复。从Milvus 3.0.1 开始,Milvus 3.0 正式支持备份和恢复功能。Milvus Backup 还支持受支持的 Milvus 2.x 版本上的二进制日志工作流;请查看Milvus Backup 兼容性。
如果您仍在使用 Backup 0.5.x 版本,请参考0.5.x CLI 指南。如果您正在升级,请先参阅《升级 Milvus Backup》。
获取 Milvus Backup
以下示例已在Milvus Backup 0.6.0 上经过验证。请从v0.6.0 版本中下载适用于您操作系统和架构的二进制文件,然后解压。请确保二进制文件和配置示例保持在同一版本。
若要从源代码编译,请安装Go 1.26 或更高版本,然后运行:
git clone --branch v0.6.0 --depth 1 https://github.com/zilliztech/milvus-backup.git
cd milvus-backup
go build
预编译二进制文件无需安装 Go。请在包含 `milvus-backup` 的目录下运行后续的所有 shell 命令。
准备配置文件
Milvus Backup 需要访问 Milvus gRPC 端点、其管理端点、实例的存储以及备份目标。对于快照备份,Milvus 服务器还需要访问备份存储。
创建配置目录:
mkdir -p configs
将此 MinIO 示例保存为configs/backup.yaml 。请将地址、凭据、存储桶和根路径替换为您部署环境中的相应设置。minioadmin 中的凭据为 MinIO 测试默认值。
configVersion: v2
milvus:
grpc:
address: localhost
port: 19530
management:
endpoint: http://localhost:9091
storage:
provider: minio
address: localhost
port: 9000
useSSL: false
bucketName: a-bucket
rootPath: files
auth:
type: static
accessKeyID: minioadmin
secretAccessKey: minioadmin
backup:
storage:
bucketName: a-bucket
rootPath: backup
transfer:
mode: auto
milvus.grpc用于连接正在进行备份或恢复的实例。如果启用了身份验证,还需设置milvus.user和milvus.password。milvus.management.endpoint用于在备份期间暂停/恢复垃圾回收。milvus.storage必须与实例的实际对象存储相匹配。在此处设置存储桶不会更改 Milvus 的配置。backup.storage用于标识备份位置。未设置的字段将继承自milvus.storage,但rootPath除外,其默认值为backup。transfer.mode: auto当后端匹配时选择存储端复制,否则通过 Milvus Backup 进行流式传输。此设置控制对象传输,而非备份格式。
下文列出了典型的存储默认值。在使用前,请确认您当前运行部署中的具体数值。
| 设置 | Docker Compose | Helm / Milvus Operator |
|---|---|---|
| 存储桶 | a-bucket | milvus-bucket |
| 根路径 | files | file |
如果 Milvus 服务器使用其他地址访问备份存储,请将 `backup.storage.milvusAddress ` 和 `milvusPort ` 设置为服务器可访问的地址。有关身份验证、TLS、其他存储提供商以及其他设置,请参阅0.6.0 版本的配置示例。
检查实际值并验证连通性:
./milvus-backup config show --config configs/backup.yaml
./milvus-backup check --config configs/backup.yaml
config show 会隐藏机密值,并报告每个值的来源。连通性检查应报告Success! 。在创建备份之前,请先解决连接或存储错误。
关于现有的 v1 配置,请参阅《升级 Milvus 备份》。自动配置转换无法替代已被移除的 CLI 标志。
准备数据
使用名为coll 的现有 Collection,并确保不存在coll_bak 。在备份前记录 Schema、实体数量、代表性标量和向量值,以及已知的搜索结果。在比较恢复的副本时,请保持示例数据不变。若要创建一个小型的一次性数据集,请使用“准备样本数据”。
备份数据
为coll 创建命名备份:
./milvus-backup create --filter coll -n my_backup --config configs/backup.yaml
./milvus-backup list --config configs/backup.yaml
./milvus-backup get -n my_backup --config configs/backup.yaml
create 命令应显示create backup success 。执行get 可返回备份元数据;请确认预期 Collection 是否存在。省略--filter 将备份所有符合条件的 Collection。外部 Collection 将被跳过。
--filter 支持以逗号分隔的名称:默认数据库中的coll ,db1.coll ,或'db1.*' (用于备份数据库中的所有 Collections)。若模式中包含* ,请用引号括起以防止 shell 展开。
选择备份格式或目的
使用默认的--format auto 时,Milvus 3.0 采用快照备份;受支持的 Milvus 2.x 服务器则使用二进制日志(binlog)。若需显式保留二进制日志行为,请传入--format binlog 。快照示例中显式选择了--format snapshot 。
当备份目的与您的工作流相匹配时,请使用--for :
| 用途 | 预设应用的值 | 预期用途 |
|---|---|---|
clone | 启用 RBAC 备份;保留您的格式和策略选择 | 将数据复制到另一个实例;auto 在 Milvus 3.0 中使用快照 |
archive | 强制使用binlog 并启用RBAC备份 | 保留二进制日志格式的备份,以便日后恢复 |
secondary | 强制启用binlog 、bulk_flush 、RBAC备份以及索引额外元数据 | 在已配置的复制拓扑中初始化一个从节点 |
例如:
./milvus-backup create --for clone --filter coll -n clone_backup --config configs/backup.yaml
预设会覆盖其所修补选项中的冲突值。例如,--for archive --format snapshot 会生成二进制日志备份。备份 RBAC 元数据并不意味着会自动恢复该数据;如有需要,请使用 restore 命令的--rbac 选项。
secondary 并非普通跨实例恢复的快捷方式。它还要求能够访问源 etcd 以获取索引元数据、正确的复制集群 ID 和通道,以及一个全新的从节点目标。备份必须保留完整的元数据,包括 `meta/full_meta.json`。配置复制和执行故障转移超出本指南的范围。 有关特定版本的实现和要求,请参阅0.6.0 源代码和参考文档。
保留完整的备份
备份存储在<backup.storage.bucketName>/<backup.storage.rootPath>/<backup_name> 目录下。请保留该目录中的所有对象。快照备份包含导出的数据包以及元数据。
请勿仅复制元数据文件,也不要假设快照备份与二进制日志备份具有相同的布局。
恢复数据
将coll 还原为配置实例中的coll_bak :
./milvus-backup restore --filter coll_bak -n my_backup -s _bak --config configs/backup.yaml
在 CLI 中,--filter 仅在应用-s 或--rename 之后才会匹配名称。包含--filter coll -s _bak 的命令不会匹配任何内容,且可在不恢复 Collection 的情况下成功退出。
若要使用原始名称进行还原,请选择一个该Collection名称不存在的目标位置,将配置指向该目标位置和备份位置,并省略后缀:
./milvus-backup restore --filter coll -n my_backup --config configs/backup-target.yaml
有关完整的同一实例示例,请参阅《单实例中的快照备份与还原》。 现有的跨实例通用示例页面采用 Backup 0.5.16 和 v1 配置;请勿将这些命令原样应用于 0.6.0 版本。有关 0.6.0 版本的传输配置,请参阅带版本号的传输指南。
验证恢复的数据
确认coll_bak 是否存在。如果还原操作未重建其向量索引,请在加载Collection之前创建与您的Schema相匹配的索引。将其Schema、实体数量、标量和向量值以及已知的搜索结果与备份前捕获的基线进行对比。
对于可丢弃的 256 个实体的数据集,请使用“验证结果”部分中的完整检查步骤。仅凭命令执行成功,并不能证明预期数据已成功恢复。