使用指令備份與還原資料Compatible with Milvus Backup 0.6.x

使用 Milvus Backup 備份集合,並將其還原至同一或另一個 Milvus 執行個體。自Milvus 3.0.1 起,Milvus 3.0 正式支援備份與還原功能。Milvus Backup 亦支援受支援的 Milvus 2.x 版本上的二進位日誌 (binlog) 工作流程;請查閱Milvus Backup 相容性資訊。

若您仍在使用 Backup 0.5.x 版本,請參閱0.5.x CLI 指南。若您正進行升級,請先參閱《升級 Milvus Backup》。

取得 Milvus Backup

以下範例已透過Milvus Backup 0.6.0 進行驗證。請從v0.6.0 發行版中下載適用於您作業系統與架構的二進位檔,然後解壓縮。請確保二進位檔與設定範例使用相同的發行版本。

若要從原始碼編譯,請先安裝Go 1.26 或更新版本,然後執行:

git clone --branch v0.6.0 --depth 1 https://github.com/zilliztech/milvus-backup.git
cd milvus-backup
go build

預編譯二進位檔無需 Go 環境。請從包含 `milvus-backup` 的目錄中執行後續所有 shell 指令。

準備設定檔

Milvus Backup 需要存取 Milvus 的 gRPC 端點、其管理端點、實例的儲存空間以及備份目的地。若進行快照備份,Milvus 伺服器還需存取備份儲存空間。

建立配置目錄:

mkdir -p configs

將此 MinIO 範例儲存為configs/backup.yaml 。請將網址、憑證、儲存桶及根目錄路徑替換為您部署環境中的設定。minioadmin 的憑證為 MinIO 測試預設值。

configVersion: v2
milvus:
  grpc:
    address: localhost
    port: 19530
  management:
    endpoint: http://localhost:9091
  storage:
    provider: minio
    address: localhost
    port: 9000
    useSSL: false
    bucketName: a-bucket
    rootPath: files
    auth:
      type: static
      accessKeyID: minioadmin
      secretAccessKey: minioadmin
backup:
  storage:
    bucketName: a-bucket
    rootPath: backup
transfer:
  mode: auto
  • milvus.grpc 用於連線至正在備份或還原的實例。若已啟用驗證,請同時設定milvus.user 和milvus.password 。
  • milvus.management.endpoint 用於在備份期間暫停/恢復垃圾回收。
  • milvus.storage 必須與實例的實際物件儲存位置相符。在此設定儲存桶並不會變更 Milvus 的配置。
  • backup.storage 用於識別備份位置。未設定的欄位將繼承自milvus.storage ,惟rootPath 除外,其預設值為backup 。
  • transfer.mode: auto 當後端相同時,此設定會選擇儲存端複製;否則則透過 Milvus Backup 進行串流傳輸。此設定控制物件傳輸方式,而非備份格式。

以下列出常見的儲存預設值。使用前請先確認您正在運行的部署中的數值。

設定Docker ComposeHelm / Milvus Operator
儲存桶a-bucketmilvus-bucket
根目錄路徑filesfile

若 Milvus 伺服器使用不同的位址來存取備份儲存庫,請將 `backup.storage.milvusAddress ` 和 `milvusPort ` 設定為伺服器可存取的位址。有關驗證、TLS、其他儲存供應商及額外設定,請參閱0.6.0 版本的配置範例。

檢查實際值並驗證連線狀態:

./milvus-backup config show --config configs/backup.yaml
./milvus-backup check --config configs/backup.yaml

config show 會遮罩機密值,並報告各值的來源。連線性檢查應顯示Success! 。在建立備份前,請先解決連線或儲存錯誤。

關於現有的 v1 設定,請參閱《升級 Milvus 備份》。自動設定轉換功能無法取代已移除的 CLI 參數。

準備資料

請使用名為coll 的現有集合,並確保不存在coll_bak 。在備份前,請記錄資料結構、實體數量、具代表性的標量與向量值,以及已知的搜尋結果。在比對還原副本時,請保持範例資料不變。若要建立小型的一次性資料集,請參閱「準備範例資料」。

備份資料

建立名為coll 的備份:

./milvus-backup create --filter coll -n my_backup --config configs/backup.yaml
./milvus-backup list --config configs/backup.yaml
./milvus-backup get -n my_backup --config configs/backup.yaml

`create` 指令應回報 `create backup success`。執行 `get ` 可檢視備份元資料;請確認預期中的集合確實存在。若省略 `--filter `,系統將備份所有符合條件的集合。外部集合將被跳過。

--filter 接受以逗號分隔的名稱:預設資料庫中的coll 、db1.coll ,或'db1.*' 以備份資料庫中的所有集合。若要防止 shell 擴展,請將包含* 的模式以引號括起。

選擇備份格式或目的

預設值為--format auto 時,Milvus 3.0 會使用快照備份;受支援的 Milvus 2.x 伺服器則使用二進位日誌 (binlog)。若要明確保留二進位日誌的運作行為,請傳入--format binlog 。快照範例會明確選取--format snapshot 。

當備份目的符合您的工作流程時,請使用 `--for `:

用途預設值所套用的參數預期用途
clone啟用 RBAC 備份;保留您的格式與策略選擇將資料複製至另一實例;auto 在 Milvus 3.0 上使用快照功能
archive強制使用binlog 並啟用 RBAC 備份保留二進位日誌格式的備份,以便日後還原
secondary強制啟用binlog 、bulk_flush 、RBAC 備份,以及索引額外元資料在已配置的複製拓撲中初始化次要節點

例如:

./milvus-backup create --for clone --filter coll -n clone_backup --config configs/backup.yaml

預設值會覆寫其所修訂選項中的衝突值。例如,--for archive --format snapshot 會產生二進位日誌備份。備份 RBAC 元資料並不會自動還原該資料;必要時請使用 restore 指令的--rbac 選項。

secondary 並非一般跨實例還原的捷徑。它還需要存取來源 etcd 以取得索引元資料、正確的複製叢集 ID 和通道,以及一個全新的次要目標。備份必須保留完整的元資料,包括 `meta/full_meta.json`。配置複製和執行故障轉移不在本指南範圍內。 有關特定版本的實作與需求,請參閱0.6.0 的原始碼與參考文件。

完整保留備份

備份儲存於<backup.storage.bucketName>/<backup.storage.rootPath>/<backup_name> 目錄下。請完整保留此目錄中的每個物件。快照備份包含已匯出的套件以及元資料。

請勿僅複製元資料檔案,亦勿假設快照備份與二進位日誌備份具有相同的結構。

還原資料

將 `coll ` 還原至已配置實例中的 `coll_bak `:

./milvus-backup restore --filter coll_bak -n my_backup -s _bak --config configs/backup.yaml

在 CLI 中,--filter 會與應用-s 或--rename 後的名稱相符。包含--filter coll -s _bak 的指令將無法找到任何匹配項目,並可在不還原任何集合的情況下成功退出。

若要使用原始名稱進行還原,請選擇一個該集合名稱不存在的目標位置,將設定指向該目標位置及備份位置,並省略後綴:

./milvus-backup restore --filter coll -n my_backup --config configs/backup-target.yaml

有關完整的同一實例範例,請參閱《單一實例中的快照備份與還原》。 現有的跨實例通用案例頁面採用 Backup 0.5.16 及 v1 配置;請勿將其命令直接套用至 0.6.0 版本。有關 0.6.0 版本的轉移配置,請參閱版本化的轉移指南。

驗證還原的資料

確認 `coll_bak ` 是否存在。若還原過程未重新建立其向量索引,請在載入集合前,根據您的資料結構建立適當的索引。將其資料結構、實體數量、標量與向量值,以及已知的搜尋結果,與備份前擷取的基準資料進行比對。

對於可拋棄的 256 個實體資料集,請使用「驗證結果」中的完整檢查步驟。僅憑指令執行成功,並不能證明已還原預期的資料。

翻譯者DeepL

免費嘗試托管的 Milvus

Zilliz Cloud 無縫接入,由 Milvus 提供動力,速度提升 10 倍。

開始使用
反饋

這個頁面有幫助嗎?