使用指令備份與還原資料Compatible with Milvus Backup 0.6.x
使用 Milvus Backup 備份集合,並將其還原至同一或另一個 Milvus 執行個體。自Milvus 3.0.1 起,Milvus 3.0 正式支援備份與還原功能。Milvus Backup 亦支援受支援的 Milvus 2.x 版本上的二進位日誌 (binlog) 工作流程;請查閱Milvus Backup 相容性資訊。
若您仍在使用 Backup 0.5.x 版本,請參閱0.5.x CLI 指南。若您正進行升級,請先參閱《升級 Milvus Backup》。
取得 Milvus Backup
以下範例已透過Milvus Backup 0.6.0 進行驗證。請從v0.6.0 發行版中下載適用於您作業系統與架構的二進位檔,然後解壓縮。請確保二進位檔與設定範例使用相同的發行版本。
若要從原始碼編譯,請先安裝Go 1.26 或更新版本,然後執行:
git clone --branch v0.6.0 --depth 1 https://github.com/zilliztech/milvus-backup.git
cd milvus-backup
go build
預編譯二進位檔無需 Go 環境。請從包含 `milvus-backup` 的目錄中執行後續所有 shell 指令。
準備設定檔
Milvus Backup 需要存取 Milvus 的 gRPC 端點、其管理端點、實例的儲存空間以及備份目的地。若進行快照備份,Milvus 伺服器還需存取備份儲存空間。
建立配置目錄:
mkdir -p configs
將此 MinIO 範例儲存為configs/backup.yaml 。請將網址、憑證、儲存桶及根目錄路徑替換為您部署環境中的設定。minioadmin 的憑證為 MinIO 測試預設值。
configVersion: v2
milvus:
grpc:
address: localhost
port: 19530
management:
endpoint: http://localhost:9091
storage:
provider: minio
address: localhost
port: 9000
useSSL: false
bucketName: a-bucket
rootPath: files
auth:
type: static
accessKeyID: minioadmin
secretAccessKey: minioadmin
backup:
storage:
bucketName: a-bucket
rootPath: backup
transfer:
mode: auto
milvus.grpc用於連線至正在備份或還原的實例。若已啟用驗證,請同時設定milvus.user和milvus.password。milvus.management.endpoint用於在備份期間暫停/恢復垃圾回收。milvus.storage必須與實例的實際物件儲存位置相符。在此設定儲存桶並不會變更 Milvus 的配置。backup.storage用於識別備份位置。未設定的欄位將繼承自milvus.storage,惟rootPath除外,其預設值為backup。transfer.mode: auto當後端相同時,此設定會選擇儲存端複製;否則則透過 Milvus Backup 進行串流傳輸。此設定控制物件傳輸方式,而非備份格式。
以下列出常見的儲存預設值。使用前請先確認您正在運行的部署中的數值。
| 設定 | Docker Compose | Helm / Milvus Operator |
|---|---|---|
| 儲存桶 | a-bucket | milvus-bucket |
| 根目錄路徑 | files | file |
若 Milvus 伺服器使用不同的位址來存取備份儲存庫,請將 `backup.storage.milvusAddress ` 和 `milvusPort ` 設定為伺服器可存取的位址。有關驗證、TLS、其他儲存供應商及額外設定,請參閱0.6.0 版本的配置範例。
檢查實際值並驗證連線狀態:
./milvus-backup config show --config configs/backup.yaml
./milvus-backup check --config configs/backup.yaml
config show 會遮罩機密值,並報告各值的來源。連線性檢查應顯示Success! 。在建立備份前,請先解決連線或儲存錯誤。
關於現有的 v1 設定,請參閱《升級 Milvus 備份》。自動設定轉換功能無法取代已移除的 CLI 參數。
準備資料
請使用名為coll 的現有集合,並確保不存在coll_bak 。在備份前,請記錄資料結構、實體數量、具代表性的標量與向量值,以及已知的搜尋結果。在比對還原副本時,請保持範例資料不變。若要建立小型的一次性資料集,請參閱「準備範例資料」。
備份資料
建立名為coll 的備份:
./milvus-backup create --filter coll -n my_backup --config configs/backup.yaml
./milvus-backup list --config configs/backup.yaml
./milvus-backup get -n my_backup --config configs/backup.yaml
`create` 指令應回報 `create backup success`。執行 `get ` 可檢視備份元資料;請確認預期中的集合確實存在。若省略 `--filter `,系統將備份所有符合條件的集合。外部集合將被跳過。
--filter 接受以逗號分隔的名稱:預設資料庫中的coll 、db1.coll ,或'db1.*' 以備份資料庫中的所有集合。若要防止 shell 擴展,請將包含* 的模式以引號括起。
選擇備份格式或目的
預設值為--format auto 時,Milvus 3.0 會使用快照備份;受支援的 Milvus 2.x 伺服器則使用二進位日誌 (binlog)。若要明確保留二進位日誌的運作行為,請傳入--format binlog 。快照範例會明確選取--format snapshot 。
當備份目的符合您的工作流程時,請使用 `--for `:
| 用途 | 預設值所套用的參數 | 預期用途 |
|---|---|---|
clone | 啟用 RBAC 備份;保留您的格式與策略選擇 | 將資料複製至另一實例;auto 在 Milvus 3.0 上使用快照功能 |
archive | 強制使用binlog 並啟用 RBAC 備份 | 保留二進位日誌格式的備份,以便日後還原 |
secondary | 強制啟用binlog 、bulk_flush 、RBAC 備份,以及索引額外元資料 | 在已配置的複製拓撲中初始化次要節點 |
例如:
./milvus-backup create --for clone --filter coll -n clone_backup --config configs/backup.yaml
預設值會覆寫其所修訂選項中的衝突值。例如,--for archive --format snapshot 會產生二進位日誌備份。備份 RBAC 元資料並不會自動還原該資料;必要時請使用 restore 指令的--rbac 選項。
secondary 並非一般跨實例還原的捷徑。它還需要存取來源 etcd 以取得索引元資料、正確的複製叢集 ID 和通道,以及一個全新的次要目標。備份必須保留完整的元資料,包括 `meta/full_meta.json`。配置複製和執行故障轉移不在本指南範圍內。 有關特定版本的實作與需求,請參閱0.6.0 的原始碼與參考文件。
完整保留備份
備份儲存於<backup.storage.bucketName>/<backup.storage.rootPath>/<backup_name> 目錄下。請完整保留此目錄中的每個物件。快照備份包含已匯出的套件以及元資料。
請勿僅複製元資料檔案,亦勿假設快照備份與二進位日誌備份具有相同的結構。
還原資料
將 `coll ` 還原至已配置實例中的 `coll_bak `:
./milvus-backup restore --filter coll_bak -n my_backup -s _bak --config configs/backup.yaml
在 CLI 中,--filter 會與應用-s 或--rename 後的名稱相符。包含--filter coll -s _bak 的指令將無法找到任何匹配項目,並可在不還原任何集合的情況下成功退出。
若要使用原始名稱進行還原,請選擇一個該集合名稱不存在的目標位置,將設定指向該目標位置及備份位置,並省略後綴:
./milvus-backup restore --filter coll -n my_backup --config configs/backup-target.yaml
有關完整的同一實例範例,請參閱《單一實例中的快照備份與還原》。 現有的跨實例通用案例頁面採用 Backup 0.5.16 及 v1 配置;請勿將其命令直接套用至 0.6.0 版本。有關 0.6.0 版本的轉移配置,請參閱版本化的轉移指南。
驗證還原的資料
確認 `coll_bak ` 是否存在。若還原過程未重新建立其向量索引,請在載入集合前,根據您的資料結構建立適當的索引。將其資料結構、實體數量、標量與向量值,以及已知的搜尋結果,與備份前擷取的基準資料進行比對。
對於可拋棄的 256 個實體資料集,請使用「驗證結果」中的完整檢查步驟。僅憑指令執行成功,並不能證明已還原預期的資料。