在單一實例中執行快照備份與還原Compatible with Milvus Backup 0.6.x
在同一個 Milvus 執行個體中備份一個集合,並以新名稱還原該集合。此範例將為coll 建立快照,並在Milvus 3.0.1 或更新版本中將其還原為coll_bak 。若使用 Backup 0.5.x,請參閱「在單一執行個體中進行備份與還原」。
概述
| 位置 | Milvus 執行個體 | 物件儲存庫 | 儲存桶 | 根路徑 |
|---|---|---|---|---|
| 來源資料 | milvus-a | minio-a | bucket-a | files |
| 由來源建立的備份 | — | minio-a | bucket-a | backup/my_backup |
| 還原資料 | milvus-a | minio-a | bucket-a | files |
先決條件
- 請使用 Milvus 3.0.1 或更新版本。此範例已透過 Milvus Backup 0.6.0 及 Milvus 3.0.1 進行驗證。請依照《使用指令備份與還原資料》中的說明安裝此工具。
- 請使用名為「
coll」的現有集合,或建立以下可選的範例集合。在比較來源與還原結果時,請保持其資料不變。 - 請確保 Milvus Backup 能存取 Milvus 的 gRPC 埠 (19530)、管理埠 (9091) 以及物件儲存空間。此外,Milvus 伺服器也必須能夠存取備份儲存空間,以便進行快照的匯出與匯入。
- 請將範例中的主機名稱、儲存桶名稱、根路徑及憑證替換為您的部署設定。Milvus 儲存設定必須與正在運行的實例相符;變更備份設定並不會重新配置 Milvus。
- 請確保目標實例中不存在 `
coll_bak`。
有關 Milvus 儲存設定,請參閱「物件儲存」。關於現有的 v1 備份設定,請參閱「升級 Milvus Backup」。
準備範例資料
以下指令使用名為coll 的現有集合。您可透過一致地變更名稱,使用您自己的集合。
若要建立小型測試集合,請安裝 PyMilvus,並針對空的集合名稱執行以下指令。若 Milvus 並非本機運作,請替換 URI:
pip install pymilvus==3.0.0
import random
from pymilvus import DataType, MilvusClient
client = MilvusClient(uri="http://localhost:19530")
assert not client.has_collection("coll"), "Use an empty sample collection name"
schema = client.create_schema(auto_id=False, enable_dynamic_field=False)
schema.add_field("id", DataType.INT64, is_primary=True)
schema.add_field("label", DataType.VARCHAR, max_length=64)
schema.add_field("vector", DataType.FLOAT_VECTOR, dim=8)
indexes = client.prepare_index_params()
indexes.add_index(field_name="vector", index_type="AUTOINDEX", metric_type="L2")
client.create_collection("coll", schema=schema, index_params=indexes)
rng = random.Random(601)
rows = [
{"id": i, "label": f"backup-docs-{i}",
"vector": [rng.randrange(256) / 256 for _ in range(8)]}
for i in range(256)
]
client.insert("coll", rows)
client.flush("coll")
這將建立 256 個實體。在執行後續步驟時,請保持此測試資料不變。
備份集合
步驟 1:準備設定
在包含milvus-backup 二進位檔的目錄中執行以下指令。後續指令請維持此工作目錄:
mkdir -p configs
將以下內容儲存為configs/backup-source.yaml 。此範例使用 MinIO 的預設測試憑證;請將其替換為您所使用的物件儲存庫的憑證。
configVersion: v2
milvus:
grpc:
address: milvus-a
port: 19530
management:
endpoint: http://milvus-a:9091
storage:
provider: minio
address: minio-a
port: 9000
useSSL: false
bucketName: bucket-a
rootPath: files
auth:
type: static
accessKeyID: minioadmin
secretAccessKey: minioadmin
backup:
storage:
bucketName: bucket-a
rootPath: backup
transfer:
mode: auto
milvus.storage 描述來源實例的資料。backup.storage 描述備份目標。未設定的備份儲存場域將繼承自milvus.storage ,惟rootPath 除外,其預設值為backup 。
若 Milvus 與 Milvus Backup 使用不同的位址存取同一物件儲存庫,請將 `backup.storage.milvusAddress ` 和 `milvusPort ` 設定為 Milvus 伺服器可存取的位址。請參閱0.6.0 版本的設定範例。
步驟 2:檢查連線狀態並建立備份
./milvus-backup check --config configs/backup-source.yaml
./milvus-backup create --format snapshot --filter coll -n my_backup --config configs/backup-source.yaml
./milvus-backup get -n my_backup --config configs/backup-source.yaml
連線檢查應顯示Success! 。建立指令應顯示create backup success ,而備份資訊應列出coll 。
明示的--format snapshot 會選擇快照工作流程。在 Milvus 3.0 中,預設的auto 同樣會選擇快照功能。備份內容包含元資料,以及位於bucket-a/backup/my_backup 下的已匯出快照封裝檔。請完整保留該目錄。
在同一實例內還原
使用相同的設定,並加上後綴來還原備份:
./milvus-backup restore --filter coll_bak -n my_backup -s _bak --config configs/backup-source.yaml
CLI 指令--filter 會將目標名稱與-s 或--rename後綴進行比對。在此還原指令中,請使用coll_bak ,而非coll 。若篩選條件未匹配任何項目,系統將成功退出而不建立集合。
還原後的集合會使用目標實例所設定的儲存空間。Milvus 負責管理快照匯入及隨之產生的資料佈局。
驗證結果
針對上述可選的 256 個實體樣本資料,請在還原目標上執行此指令。將localhost:19530 替換為用於準備資料的相同 Milvus 端點。此指令會驗證實體數量、每個標量與向量值,以及向量搜尋結果,且不會刪除資料:
import random
from pymilvus import MilvusClient
client = MilvusClient(uri="http://localhost:19530")
assert client.has_collection("coll_bak")
if not client.list_indexes("coll_bak"):
indexes = client.prepare_index_params()
indexes.add_index(field_name="vector", index_type="AUTOINDEX", metric_type="L2")
client.create_index("coll_bak", indexes)
client.load_collection("coll_bak")
rng = random.Random(601)
expected = [
{"id": i, "label": f"backup-docs-{i}",
"vector": [rng.randrange(256) / 256 for _ in range(8)]}
for i in range(256)
]
count = client.query("coll_bak", filter="", output_fields=["count(*)"],
consistency_level="Strong")[0]["count(*)"]
actual = client.query("coll_bak", filter="id >= 0",
output_fields=["id", "label", "vector"], limit=512,
consistency_level="Strong")
assert count == 256
assert sorted(actual, key=lambda row: row["id"]) == expected
hits = client.search("coll_bak", data=[expected[7]["vector"]], limit=1,
consistency_level="Strong")
assert hits[0][0]["id"] == 7
print("Backup and restore verified")
對於其他資料,請與您自身的備份時點基準進行比對。若還原後的集合尚未建立向量索引,請在載入前建立適當的向量索引。僅憑指令執行成功,並不能證明預期資料已成功還原。