使用 API 备份和恢复数据Compatible with Milvus Backup 0.6.x

使用 Milvus Backup HTTP API 创建备份、还原 Collections 并监控异步任务。下面的快照示例需要Milvus 3.0.1 或更高版本。对于 Backup 0.5.x,请使用0.5.x API 指南。对于现有安装,请参阅《升级 Milvus Backup》。

获取 Milvus Backup

以下示例已在Milvus Backup 0.6.0 版本上经过验证。请从v0.6.0 发布版本中下载并解压相应的二进制文件。若要从源代码编译,请参阅《获取 Milvus Backup》;编译需要 Go 1.26 或更高版本。

准备配置文件

请参考“准备配置文件”中的 v2 示例创建 `configs/backup.yaml `文件。配置对 Milvus、实例存储以及备份目标的访问权限。此外,Milvus 服务器还必须能够访问备份存储以执行快照操作。

如果您已有 v1 配置文件,该文件仍可加载。在更改其 Schema 或环境变量之前,请参阅《迁移配置》。

在包含二进制文件的目录下,检查配置并验证连接性:

./milvus-backup config show --config configs/backup.yaml
./milvus-backup check --config configs/backup.yaml

当连接性检查报告Success! 时,请继续操作。

启动 API 服务器

使用您已验证的配置启动服务:

./milvus-backup server --config configs/backup.yaml

默认端口为 8080。若要选择其他端口,请使用-p :

./milvus-backup server -p 18080 --config configs/backup.yaml

对于给定的服务,仅需运行其中一条命令。下面的示例使用端口 8080;如果您选择了其他端口,请修改其中的 URL。Swagger UI 可通过http://localhost:8080/api/v1/docs/index.html 访问。

在轮询任务期间请保持服务运行。任务 ID 和实时进度属于服务进程;进程停止后,持久化的备份仍保留在对象存储中。

准备数据

使用名为coll 的现有 Collection,或从“准备示例数据”中创建包含 256 个实体的测试 Collection。若使用自有数据,请在请求中修改 Collection 名称。验证结果时请保持测试数据不变。

备份数据

提交异步备份请求:

curl --request POST 'http://localhost:8080/api/v1/create' \
  --header 'Content-Type: application/json' \
  --data '{
    "async": true,
    "backup_name": "my_backup",
    "collection_names": ["coll"]
  }'

响应中包含一个requestId 。提交请求并不意味着备份已完成。将该值复制到backup_id 并进行轮询:

curl 'http://localhost:8080/api/v1/get_backup?backup_id=BACKUP_REQUEST_ID&backup_name=my_backup'

等待data.state_code 变为2 。该 API 使用以下任务状态:

state_code含义
0初始
1执行中
2成功
3失败
4超时

请同时检查响应和任务状态。仅凭 HTTP 200 状态码是不够的:非零的响应code 表示出现错误。成功的响应可以省略code ,因为其值为零。如果任务失败或超时,请在从该备份恢复之前检查响应详细信息和服务器日志。

列出已存储的备份,并按名称检查已完成的备份:

curl 'http://localhost:8080/api/v1/list'
curl 'http://localhost:8080/api/v1/get_backup?backup_name=my_backup'

get_backup 该命令返回包含collection_backups 的 JSON 元数据;它不会下载备份文件。对于由其他进程创建的备份,仅按名称查询会返回元数据,但不包含实时任务进度。监控正在进行的备份时,请使用当前服务创建响应中的任务 ID。

默认格式为auto ,这在 Milvus 3.0 上会选择快照。若要显式请求二进制日志,请在 create 请求主体中添加"format": "binlog" 。CLI 中的--for 预设值并非 HTTP 请求字段。

若要保留或迁移备份,请将整个目录复制到对象存储中。请参阅0.6.0 版本的传输指南。

恢复数据

请确保coll_bak 尚未存在。提交带后缀的恢复请求:

curl --request POST 'http://localhost:8080/api/v1/restore' \
  --header 'Content-Type: application/json' \
  --data '{
    "async": true,
    "backup_name": "my_backup",
    "collection_names": ["coll"],
    "collection_suffix": "_bak"
  }'

HTTPcollection_names 字段在应用后缀之前,用于选择备份中的名称。此请求将选择coll 并创建coll_bak 。而 CLI 的--filter 则匹配重命名后的目标名称;请勿将coll_bak 替换到此 HTTP 字段中。

从恢复响应中复制data.id ,并轮询该任务:

curl 'http://localhost:8080/api/v1/get_restore?id=RESTORE_TASK_ID'

等待data.state_code: 2 状态更新,并访问collection_restore_tasks 检查目标 Collection 是否符合预期。已提交的任务并不代表恢复操作已通过验证。

使用原始名称进行恢复

请选择一个不存在coll 的目标实例。启动一个单独的备份 API 服务(该服务需针对该目标及已完成的备份位置进行配置),然后向该目标服务发送以下请求:

curl --request POST 'http://localhost:8080/api/v1/restore' \
  --header 'Content-Type: application/json' \
  --data '{
    "async": true,
    "backup_name": "my_backup",
    "collection_names": ["coll"],
    "collection_suffix": ""
  }'

使用返回的任务 ID 在同一服务上轮询get_restore 。为恢复目标配置milvus.* ,并为现有备份配置backup.storage 。请参阅“准备配置文件”。

验证恢复的数据

恢复任务成功后,连接到目标 Milvus 实例,并验证预期 Collection 和数据是否存在。对于包含 256 个实体的测试 Collection,请按照“验证结果”中的说明执行完整的标量、向量和搜索检查。

若使用原始名称进行恢复,请将coll_bak 更改为coll 。验证代码会读取恢复后的数据,但不会将其删除。对于生产数据,请与备份时捕获的基线进行对比。

翻译自DeepL

想要更快、更简单、更好用的 Milvus SaaS服务 ?

Zilliz Cloud是基于Milvus的全托管向量数据库,拥有更高性能,更易扩展,以及卓越性价比

免费试用 Zilliz Cloud
反馈

此页对您是否有帮助?