在單一實例中執行快照備份與還原Compatible with Milvus Backup 0.6.x

在同一個 Milvus 執行個體中備份一個集合,並以新名稱還原該集合。此範例將為coll 建立快照,並在Milvus 3.0.1 或更新版本中將其還原為coll_bak 。若使用 Backup 0.5.x,請參閱「在單一執行個體中進行備份與還原」。

概述

位置Milvus 執行個體物件儲存庫儲存桶根路徑
來源資料milvus-aminio-abucket-afiles
由來源建立的備份—minio-abucket-abackup/my_backup
還原資料milvus-aminio-abucket-afiles

先決條件

  • 請使用 Milvus 3.0.1 或更新版本。此範例已透過 Milvus Backup 0.6.0 及 Milvus 3.0.1 進行驗證。請依照《使用指令備份與還原資料》中的說明安裝此工具。
  • 請使用名為「coll 」的現有集合,或建立以下可選的範例集合。在比較來源與還原結果時,請保持其資料不變。
  • 請確保 Milvus Backup 能存取 Milvus 的 gRPC 埠 (19530)、管理埠 (9091) 以及物件儲存空間。此外,Milvus 伺服器也必須能夠存取備份儲存空間,以便進行快照的匯出與匯入。
  • 請將範例中的主機名稱、儲存桶名稱、根路徑及憑證替換為您的部署設定。Milvus 儲存設定必須與正在運行的實例相符;變更備份設定並不會重新配置 Milvus。
  • 請確保目標實例中不存在 `coll_bak `。

有關 Milvus 儲存設定,請參閱「物件儲存」。關於現有的 v1 備份設定,請參閱「升級 Milvus Backup」。

準備範例資料

以下指令使用名為coll 的現有集合。您可透過一致地變更名稱,使用您自己的集合。

若要建立小型測試集合,請安裝 PyMilvus,並針對空的集合名稱執行以下指令。若 Milvus 並非本機運作,請替換 URI:

pip install pymilvus==3.0.0
import random
from pymilvus import DataType, MilvusClient

client = MilvusClient(uri="http://localhost:19530")
assert not client.has_collection("coll"), "Use an empty sample collection name"
schema = client.create_schema(auto_id=False, enable_dynamic_field=False)
schema.add_field("id", DataType.INT64, is_primary=True)
schema.add_field("label", DataType.VARCHAR, max_length=64)
schema.add_field("vector", DataType.FLOAT_VECTOR, dim=8)
indexes = client.prepare_index_params()
indexes.add_index(field_name="vector", index_type="AUTOINDEX", metric_type="L2")
client.create_collection("coll", schema=schema, index_params=indexes)

rng = random.Random(601)
rows = [
    {"id": i, "label": f"backup-docs-{i}",
     "vector": [rng.randrange(256) / 256 for _ in range(8)]}
    for i in range(256)
]
client.insert("coll", rows)
client.flush("coll")

這將建立 256 個實體。在執行後續步驟時,請保持此測試資料不變。

備份集合

步驟 1:準備設定

在包含milvus-backup 二進位檔的目錄中執行以下指令。後續指令請維持此工作目錄:

mkdir -p configs

將以下內容儲存為configs/backup-source.yaml 。此範例使用 MinIO 的預設測試憑證;請將其替換為您所使用的物件儲存庫的憑證。

configVersion: v2
milvus:
  grpc:
    address: milvus-a
    port: 19530
  management:
    endpoint: http://milvus-a:9091
  storage:
    provider: minio
    address: minio-a
    port: 9000
    useSSL: false
    bucketName: bucket-a
    rootPath: files
    auth:
      type: static
      accessKeyID: minioadmin
      secretAccessKey: minioadmin
backup:
  storage:
    bucketName: bucket-a
    rootPath: backup
transfer:
  mode: auto

milvus.storage 描述來源實例的資料。backup.storage 描述備份目標。未設定的備份儲存場域將繼承自milvus.storage ,惟rootPath 除外,其預設值為backup 。

若 Milvus 與 Milvus Backup 使用不同的位址存取同一物件儲存庫,請將 `backup.storage.milvusAddress ` 和 `milvusPort ` 設定為 Milvus 伺服器可存取的位址。請參閱0.6.0 版本的設定範例。

步驟 2:檢查連線狀態並建立備份

./milvus-backup check --config configs/backup-source.yaml
./milvus-backup create --format snapshot --filter coll -n my_backup --config configs/backup-source.yaml
./milvus-backup get -n my_backup --config configs/backup-source.yaml

連線檢查應顯示Success! 。建立指令應顯示create backup success ,而備份資訊應列出coll 。

明示的--format snapshot 會選擇快照工作流程。在 Milvus 3.0 中,預設的auto 同樣會選擇快照功能。備份內容包含元資料,以及位於bucket-a/backup/my_backup 下的已匯出快照封裝檔。請完整保留該目錄。

在同一實例內還原

使用相同的設定,並加上後綴來還原備份:

./milvus-backup restore --filter coll_bak -n my_backup -s _bak --config configs/backup-source.yaml

CLI 指令--filter 會將目標名稱與-s 或--rename後綴進行比對。在此還原指令中,請使用coll_bak ,而非coll 。若篩選條件未匹配任何項目,系統將成功退出而不建立集合。

還原後的集合會使用目標實例所設定的儲存空間。Milvus 負責管理快照匯入及隨之產生的資料佈局。

驗證結果

針對上述可選的 256 個實體樣本資料,請在還原目標上執行此指令。將localhost:19530 替換為用於準備資料的相同 Milvus 端點。此指令會驗證實體數量、每個標量與向量值,以及向量搜尋結果,且不會刪除資料:

import random
from pymilvus import MilvusClient

client = MilvusClient(uri="http://localhost:19530")
assert client.has_collection("coll_bak")
if not client.list_indexes("coll_bak"):
    indexes = client.prepare_index_params()
    indexes.add_index(field_name="vector", index_type="AUTOINDEX", metric_type="L2")
    client.create_index("coll_bak", indexes)
client.load_collection("coll_bak")

rng = random.Random(601)
expected = [
    {"id": i, "label": f"backup-docs-{i}",
     "vector": [rng.randrange(256) / 256 for _ in range(8)]}
    for i in range(256)
]
count = client.query("coll_bak", filter="", output_fields=["count(*)"],
                     consistency_level="Strong")[0]["count(*)"]
actual = client.query("coll_bak", filter="id >= 0",
                      output_fields=["id", "label", "vector"], limit=512,
                      consistency_level="Strong")
assert count == 256
assert sorted(actual, key=lambda row: row["id"]) == expected
hits = client.search("coll_bak", data=[expected[7]["vector"]], limit=1,
                     consistency_level="Strong")
assert hits[0][0]["id"] == 7
print("Backup and restore verified")

對於其他資料,請與您自身的備份時點基準進行比對。若還原後的集合尚未建立向量索引,請在載入前建立適當的向量索引。僅憑指令執行成功,並不能證明預期資料已成功還原。