使用命令备份和还原数据Compatible with Milvus Backup 0.6.x

使用 Milvus Backup 备份 Collections,并在同一或另一个 Milvus 实例中将其恢复。从Milvus 3.0.1 开始,Milvus 3.0 正式支持备份和恢复功能。Milvus Backup 还支持受支持的 Milvus 2.x 版本上的二进制日志工作流;请查看Milvus Backup 兼容性。

如果您仍在使用 Backup 0.5.x 版本,请参考0.5.x CLI 指南。如果您正在升级,请先参阅《升级 Milvus Backup》。

获取 Milvus Backup

以下示例已在Milvus Backup 0.6.0 上经过验证。请从v0.6.0 版本中下载适用于您操作系统和架构的二进制文件,然后解压。请确保二进制文件和配置示例保持在同一版本。

若要从源代码编译,请安装Go 1.26 或更高版本,然后运行:

git clone --branch v0.6.0 --depth 1 https://github.com/zilliztech/milvus-backup.git
cd milvus-backup
go build

预编译二进制文件无需安装 Go。请在包含 `milvus-backup` 的目录下运行后续的所有 shell 命令。

准备配置文件

Milvus Backup 需要访问 Milvus gRPC 端点、其管理端点、实例的存储以及备份目标。对于快照备份,Milvus 服务器还需要访问备份存储。

创建配置目录:

mkdir -p configs

将此 MinIO 示例保存为configs/backup.yaml 。请将地址、凭据、存储桶和根路径替换为您部署环境中的相应设置。minioadmin 中的凭据为 MinIO 测试默认值。

configVersion: v2
milvus:
  grpc:
    address: localhost
    port: 19530
  management:
    endpoint: http://localhost:9091
  storage:
    provider: minio
    address: localhost
    port: 9000
    useSSL: false
    bucketName: a-bucket
    rootPath: files
    auth:
      type: static
      accessKeyID: minioadmin
      secretAccessKey: minioadmin
backup:
  storage:
    bucketName: a-bucket
    rootPath: backup
transfer:
  mode: auto
  • milvus.grpc 用于连接正在进行备份或恢复的实例。如果启用了身份验证,还需设置milvus.user 和milvus.password 。
  • milvus.management.endpoint 用于在备份期间暂停/恢复垃圾回收。
  • milvus.storage 必须与实例的实际对象存储相匹配。在此处设置存储桶不会更改 Milvus 的配置。
  • backup.storage 用于标识备份位置。未设置的字段将继承自milvus.storage ,但rootPath 除外,其默认值为backup 。
  • transfer.mode: auto 当后端匹配时选择存储端复制,否则通过 Milvus Backup 进行流式传输。此设置控制对象传输,而非备份格式。

下文列出了典型的存储默认值。在使用前,请确认您当前运行部署中的具体数值。

设置Docker ComposeHelm / Milvus Operator
存储桶a-bucketmilvus-bucket
根路径filesfile

如果 Milvus 服务器使用其他地址访问备份存储,请将 `backup.storage.milvusAddress ` 和 `milvusPort ` 设置为服务器可访问的地址。有关身份验证、TLS、其他存储提供商以及其他设置,请参阅0.6.0 版本的配置示例。

检查实际值并验证连通性:

./milvus-backup config show --config configs/backup.yaml
./milvus-backup check --config configs/backup.yaml

config show 会隐藏机密值,并报告每个值的来源。连通性检查应报告Success! 。在创建备份之前,请先解决连接或存储错误。

关于现有的 v1 配置,请参阅《升级 Milvus 备份》。自动配置转换无法替代已被移除的 CLI 标志。

准备数据

使用名为coll 的现有 Collection,并确保不存在coll_bak 。在备份前记录 Schema、实体数量、代表性标量和向量值,以及已知的搜索结果。在比较恢复的副本时,请保持示例数据不变。若要创建一个小型的一次性数据集,请使用“准备样本数据”。

备份数据

为coll 创建命名备份:

./milvus-backup create --filter coll -n my_backup --config configs/backup.yaml
./milvus-backup list --config configs/backup.yaml
./milvus-backup get -n my_backup --config configs/backup.yaml

create 命令应显示create backup success 。执行get 可返回备份元数据;请确认预期 Collection 是否存在。省略--filter 将备份所有符合条件的 Collection。外部 Collection 将被跳过。

--filter 支持以逗号分隔的名称:默认数据库中的coll ,db1.coll ,或'db1.*' (用于备份数据库中的所有 Collections)。若模式中包含* ,请用引号括起以防止 shell 展开。

选择备份格式或目的

使用默认的--format auto 时,Milvus 3.0 采用快照备份;受支持的 Milvus 2.x 服务器则使用二进制日志(binlog)。若需显式保留二进制日志行为,请传入--format binlog 。快照示例中显式选择了--format snapshot 。

当备份目的与您的工作流相匹配时,请使用--for :

用途预设应用的值预期用途
clone启用 RBAC 备份;保留您的格式和策略选择将数据复制到另一个实例;auto 在 Milvus 3.0 中使用快照
archive强制使用binlog 并启用RBAC备份保留二进制日志格式的备份,以便日后恢复
secondary强制启用binlog 、bulk_flush 、RBAC备份以及索引额外元数据在已配置的复制拓扑中初始化一个从节点

例如:

./milvus-backup create --for clone --filter coll -n clone_backup --config configs/backup.yaml

预设会覆盖其所修补选项中的冲突值。例如,--for archive --format snapshot 会生成二进制日志备份。备份 RBAC 元数据并不意味着会自动恢复该数据;如有需要,请使用 restore 命令的--rbac 选项。

secondary 并非普通跨实例恢复的快捷方式。它还要求能够访问源 etcd 以获取索引元数据、正确的复制集群 ID 和通道,以及一个全新的从节点目标。备份必须保留完整的元数据,包括 `meta/full_meta.json`。配置复制和执行故障转移超出本指南的范围。 有关特定版本的实现和要求,请参阅0.6.0 源代码和参考文档。

保留完整的备份

备份存储在<backup.storage.bucketName>/<backup.storage.rootPath>/<backup_name> 目录下。请保留该目录中的所有对象。快照备份包含导出的数据包以及元数据。

请勿仅复制元数据文件,也不要假设快照备份与二进制日志备份具有相同的布局。

恢复数据

将coll 还原为配置实例中的coll_bak :

./milvus-backup restore --filter coll_bak -n my_backup -s _bak --config configs/backup.yaml

在 CLI 中,--filter 仅在应用-s 或--rename 之后才会匹配名称。包含--filter coll -s _bak 的命令不会匹配任何内容,且可在不恢复 Collection 的情况下成功退出。

若要使用原始名称进行还原,请选择一个该Collection名称不存在的目标位置,将配置指向该目标位置和备份位置,并省略后缀:

./milvus-backup restore --filter coll -n my_backup --config configs/backup-target.yaml

有关完整的同一实例示例,请参阅《单实例中的快照备份与还原》。 现有的跨实例通用示例页面采用 Backup 0.5.16 和 v1 配置;请勿将这些命令原样应用于 0.6.0 版本。有关 0.6.0 版本的传输配置,请参阅带版本号的传输指南。

验证恢复的数据

确认coll_bak 是否存在。如果还原操作未重建其向量索引,请在加载Collection之前创建与您的Schema相匹配的索引。将其Schema、实体数量、标量和向量值以及已知的搜索结果与备份前捕获的基线进行对比。

对于可丢弃的 256 个实体的数据集,请使用“验证结果”部分中的完整检查步骤。仅凭命令执行成功,并不能证明预期数据已成功恢复。

翻译自DeepL

想要更快、更简单、更好用的 Milvus SaaS服务 ?

Zilliz Cloud是基于Milvus的全托管向量数据库,拥有更高性能,更易扩展,以及卓越性价比

免费试用 Zilliz Cloud
反馈

此页对您是否有帮助?