將 Milvus Backup 升級至 0.6.xCompatible with Milvus Backup 0.6.x
若要將Milvus Backup 工具從 0.5.x 升級至 0.6.x,請參閱本指南。以下程序以 0.6.0 作為已驗證的目標版本。此操作不會升級您的 Milvus 伺服器。 若您打算繼續使用 0.5.x 版本,請繼續參照0.5.x的CLI或API指南。若為新安裝,請使用CLI 指南。
V1 YAML 設定檔仍可透過自動轉換載入。然而,0.6.0 版本將拒絕已廢棄的 CLI 參數,且 Milvus 3.0 中的預設備份格式亦已變更。在切換排程工作或服務之前,請務必檢視設定檔與指令。
檢查起始點
記錄您的備份版本、Milvus 來源與目標版本、配置檔案、環境變數覆寫設定、備份位置,以及腳本或 API 服務所使用的指令。請查閱這些伺服器版本的相容性資訊。
在驗證新安裝時,請保留原始的二進位檔、設定檔及現有備份目錄。請透過「取得 Milvus Backup」將 0.6.0 下載至獨立目錄。以下所有指令均從該目錄執行,並呼叫 0.6.0 二進位檔。請將您的 v1 設定檔副本放置於configs/backup-v1.yaml 目錄中。
遷移設定
v1 配置檔在 0.6.0 中仍可載入。Milvus Backup 會在啟動時將其轉換為 v2 格式,並顯示警告訊息。若要將轉換後的配置檔儲存至獨立檔案:
./milvus-backup config migrate --config configs/backup-v1.yaml --output configs/backup-v2.yaml --strict
./milvus-backup config show --config configs/backup-v2.yaml
./milvus-backup check --config configs/backup-v2.yaml
--strict 會拒絕無效的遷移後設定檔。若未指定--output ,該指令會將 v2 YAML 寫入標準輸出。請務必先檢查新檔案中的設定是否已正確轉換,再進行審閱與使用。
| v1 設定 | v2 設定 |
|---|---|
milvus.address,milvus.port | milvus.grpc.address,milvus.grpc.port |
來源儲存位於minio.* | milvus.storage.* |
備份儲存位於minio.backup* | backup.storage.* |
| 儲存憑證 | milvus.storage.auth.* /backup.storage.auth.* ,並明確指定auth.type |
minio.crossStorage | transfer.mode |
backup.gcPause.address | milvus.management.endpoint |
請在與配置檔案相同的變更中檢視環境變數。V2 僅接受受支援的憑證相關環境變數,例如MILVUS_STORAGE_AUTH_SECRET_ACCESS_KEY 。舊版 v1 的名稱不會套用至 v2 檔案。對於非憑證設定(例如儲存桶名稱和端點),請使用 YAML 或配置金鑰覆寫:
./milvus-backup config show --config configs/backup-v2.yaml --set milvus.storage.bucketName=my-bucket
config migrate 會回報受影響的環境變數,但不會將其機密值複製到輸出檔案中。請參閱受支援的 v2 環境變數。config show 取代了已廢棄的check config 指令。
更新 CLI 指令
在 0.5 版本中已廢棄的旗標,於 0.6.0 版本中將被拒絕。請在升級二進位檔之前更新腳本。
| 指令 | 已移除的選項 | 替代選項 |
|---|---|---|
create | --colls /-c,--databases /-d,--database_collections /-a | --filter |
create | --force /-f | --strategy skip_flush |
create | --meta_only | --strategy meta_only |
restore | --collections /-c,--databases /-d,--database_collections /-a | --filter,使用目標名稱 |
restore | --restore_index | --rebuild_index |
get | --detail /-d | 移除該標記;get 會回傳備份資訊 |
list | --collection /-c | 沒有等效的集合篩選器 |
例如,以下 0.5.16 版本的指令會選取來源名稱coll :
./milvus-backup create -c coll -n my_backup
./milvus-backup restore -c coll -n my_backup -s _bak
其 0.6.0 版本的替代命令則使用目標名稱進行還原:
./milvus-backup create --filter coll -n my_backup --config configs/backup-v2.yaml
./milvus-backup restore --filter coll_bak -n my_backup -s _bak --config configs/backup-v2.yaml
若還原篩選器未匹配任何項目,系統仍可成功退出而不建立集合。請務必檢查目標集合及其資料。HTTP API 的collection_names 仍會根據備份中的來源名稱進行篩選;請參閱HTTP API 指南。
選擇備份行為
- 在受支援的 Milvus 2.x 伺服器上,
auto格式使用二進位日誌 (binlog)。升級備份功能無需遷移至 Milvus 3.0。 - 在 Milvus 3.0 上,
auto會選用快照。官方的備份與還原支援自 Milvus 3.0.1 起提供。若要在建立備份時保留二進位日誌行為,請傳入--format binlog。 - V1 配置的相容性不會保留已移除的命令標誌,也不會覆寫新格式的預設值。
- 用途預設值可設定格式及其他選項。例如,
--for archive會強制使用二進位日誌,即使同時提供了--format snapshot參數亦然。請檢視格式與用途的選擇。 - 備份過程中會跳過外部集合。請檢查備份元資料,而非僅憑任務成功就認定所有集合均已包含在內。
切換工作前請先驗證
以下範例保留二進位日誌格式,並還原至新集合。請將 `coll ` 替換為您已記錄其模式、數量、標量與向量值以及搜尋結果的集合。請使用新的備份名稱,並確保目標名稱 `coll_upgrade_check ` 尚未存在。
./milvus-backup check --config configs/backup-v2.yaml
./milvus-backup create --filter coll --format binlog -n upgrade_check --config configs/backup-v2.yaml
./milvus-backup get -n upgrade_check --config configs/backup-v2.yaml
./milvus-backup restore --filter coll_upgrade_check -n upgrade_check -s _upgrade_check --config configs/backup-v2.yaml
確認備份中列有coll ,且還原後coll_upgrade_check 確實存在。如有需要,請建立其向量索引、載入該索引,並將還原後的資料與搜尋結果與記錄的基準值進行比對。在此測試期間,請保持來源資料不變。
在使用新工具依賴某個現有備份之前,也請先測試一個具代表性的現有備份。以名為legacy_backup 且包含coll 的 0.5.16 版本備份為例,請使用獨立的目標名稱:
./milvus-backup get -n legacy_backup --config configs/backup-v2.yaml
./milvus-backup restore --filter coll_legacy_check -n legacy_backup -s _legacy_check --config configs/backup-v2.yaml
這些升級路徑已透過Milvus 2.6.11、Backup0.5.16 → 0.6.0 以及儲存於 MinIO 中的二進位日誌備份進行驗證。無論是新建立的備份還是現有備份,還原後的實體值與向量搜尋結果均與原始資料相符。 這並不代表所有歷史備份或 Milvus 2.x 至 3.0 的還原操作皆具相容性,亦不代表 0.5.x 版本能讀取由 0.6.0 版本所建立的備份。
驗證成功後,請更新工作任務,使其同時使用新的二進位檔、已驗證的配置、環境設定以及替換標誌。對於 API 部署,請使用已驗證的配置啟動新服務,並透過HTTP API 驗證任務是否完成。若要在 Milvus 3.0.1 或更新版本中採用快照,請參閱《單一實例中的快照備份與還原》。