コマンドを使用したデータのバックアップと復元Compatible with Milvus Backup 0.6.x

Milvus Backup を使用してコレクションをバックアップし、同じ Milvus インスタンスまたは別の Milvus インスタンスに復元します。Milvus 3.0 でのバックアップおよび復元は、Milvus 3.0.1 以降で正式にサポートされています。Milvus Backup は、サポート対象の Milvus 2.x バージョンにおける binlog ワークフローもサポートしています。Milvus Backup の互換性については、こちらをご確認ください。

Backup 0.5.x を引き続き使用している場合は、0.5.x CLI ガイドを参照してください。アップグレードを行う場合は、まず「Milvus Backup のアップグレード」の手順に従ってください。

Milvus Backup の入手

以下の例は、Milvus Backup 0.6.0 で検証済みです。v0.6.0 リリースから、お使いのオペレーティングシステムおよびアーキテクチャに対応したバイナリをダウンロードし、解凍してください。バイナリと設定例は、同じリリースバージョンに統一してください。

代わりにソースからビルドする場合は、Go 1.26 以降をインストールしてから、次のコマンドを実行してください:

git clone --branch v0.6.0 --depth 1 https://github.com/zilliztech/milvus-backup.git
cd milvus-backup
go build

あらかじめビルドされたバイナリには Go は必要ありません。以降のすべてのシェルコマンドは、milvus-backup を含むディレクトリから実行してください。

設定ファイルの準備

Milvus Backup は、Milvus の gRPC エンドポイント、その管理エンドポイント、インスタンスのストレージ、およびバックアップ先へのアクセスを必要とします。スナップショットバックアップの場合、Milvus サーバーはバックアップストレージへのアクセスも必要とします。

設定ディレクトリを作成します:

mkdir -p configs

この MinIO の例を `configs/backup.yaml` として保存してください。アドレス、認証情報、バケット、ルートパスは、ご自身のデプロイメントの設定に置き換えてください。minioadmin の認証情報は、MinIO のテスト用デフォルト値です。

configVersion: v2
milvus:
  grpc:
    address: localhost
    port: 19530
  management:
    endpoint: http://localhost:9091
  storage:
    provider: minio
    address: localhost
    port: 9000
    useSSL: false
    bucketName: a-bucket
    rootPath: files
    auth:
      type: static
      accessKeyID: minioadmin
      secretAccessKey: minioadmin
backup:
  storage:
    bucketName: a-bucket
    rootPath: backup
transfer:
  mode: auto
  • milvus.grpc バックアップまたは復元対象のインスタンスに接続します。認証が有効になっている場合は、milvus.user およびmilvus.password も設定してください。
  • milvus.management.endpoint は、バックアップ中のガベージコレクションの一時停止/再開に使用されます。
  • milvus.storage インスタンスの実際のオブジェクトストレージと一致している必要があります。ここでバケットを設定しても、Milvusの設定は変更されません。
  • backup.storage バックアップ先を指定します。設定されていないフィールドはmilvus.storage から継承されますが、rootPath は例外で、デフォルトはbackup です。
  • transfer.mode: auto バックエンドが一致する場合はストレージ側でのコピーを、それ以外の場合はMilvus Backup経由のストリーミングを選択します。この設定はオブジェクト転送を制御するものであり、バックアップ形式を制御するものではありません。

一般的なストレージのデフォルト設定を以下に示します。使用する前に、稼働中のデプロイメントでの値を確認してください。

設定Docker ComposeHelm / Milvus Operator
バケットa-bucketmilvus-bucket
ルートパスfilesfile

Milvus サーバーがバックアップストアへのアクセスに別のアドレスを使用する場合は、backup.storage.milvusAddress およびmilvusPort を、サーバーからアクセス可能なアドレスに設定してください。認証、TLS、その他のストレージプロバイダー、および追加の設定については、0.6.0 の設定例を参照してください。

有効な値を確認し、接続性をチェックしてください:

./milvus-backup config show --config configs/backup.yaml
./milvus-backup check --config configs/backup.yaml

config show 各値の出典元を報告します。接続性チェックでは、Success! が表示されるはずです。バックアップを作成する前に、接続エラーやストレージエラーを解決してください。

既存の v1 設定については、「Milvus バックアップのアップグレード」を参照してください。自動設定変換では、削除された CLI フラグは置き換えられません。

データの準備

coll という名前の既存のコレクションを使用し、coll_bak が存在しないことを確認してください。バックアップ前に、スキーマ、エンティティ数、代表的なスカラー値およびベクトル値、および既知の検索結果を記録してください。復元されたコピーと比較する際は、サンプルデータを変更しないでください。代わりに、小さな使い捨てデータセットを作成するには、「サンプルデータの準備」を参照してください。

データのバックアップ

coll の名前付きバックアップを作成します:

./milvus-backup create --filter coll -n my_backup --config configs/backup.yaml
./milvus-backup list --config configs/backup.yaml
./milvus-backup get -n my_backup --config configs/backup.yaml

create コマンドの実行結果に `create backup success` と表示されるはずです。`get ` を実行するとバックアップのメタデータが返されます。期待されるコレクションが存在することを確認してください。`--filter ` を省略すると、対象となるすべてのコレクションがバックアップされます。外部コレクションはスキップされます。

--filter カンマ区切りの名前を受け付けます:デフォルトデータベース内の `coll `、`db1.coll`、またはデータベース内のすべてのコレクションを指定する `'db1.*' `。シェル展開を防ぐには、`* ` を含むパターンを引用符で囲んでください。

バックアップ形式または目的を選択してください

デフォルトの--format auto では、Milvus 3.0 はスナップショットバックアップを使用します。サポートされている Milvus 2.x サーバーは binlog を使用します。binlog の動作を明示的に維持するには、--format binlog を指定してください。スナップショットの例では、--format snapshot を明示的に選択しています。

ワークフローに合致する目的がある場合は、--for を使用してください:

目的プリセットによって適用される値想定される用途
cloneRBACバックアップを有効化します。フォーマットと戦略の選択は維持されますデータを別のインスタンスにコピーします。auto はMilvus 3.0のスナップショット機能を使用します
archivebinlog を強制適用し、RBACバックアップを有効にします後日の復元用にbinlog形式のバックアップを保持します
secondarybinlog 、bulk_flush 、RBACバックアップ、およびインデックスの追加メタデータを強制適用します構成済みのレプリケーショントポロジーでセカンダリを初期化する

例:

./milvus-backup create --for clone --filter coll -n clone_backup --config configs/backup.yaml

プリセットは、それが設定するオプションについて、競合する値を上書きします。例えば、`--for archive --format snapshot ` はバイナリログ形式のバックアップを生成します。RBAC メタデータをバックアップしても、自動的に復元されるわけではありません。必要な場合は、`restore` コマンドの `--rbac ` オプションを使用してください。

secondary は、通常のインスタンス間復元のための近道ではありません。また、インデックス・メタデータ用のソース etcd へのアクセス、正しいレプリケーション・クラスタ ID およびチャネル、そして新しいセカンダリ・ターゲットも必要です。バックアップには、meta/full_meta.json を含む完全なメタデータが保持されている必要があります。レプリケーションの設定およびフェイルオーバーの実行については、本ガイドの範囲外です。 バージョン固有の実装および要件については、0.6.0のソースコードおよびリファレンスを参照してください。

バックアップを完全に保持する

バックアップは<backup.storage.bucketName>/<backup.storage.rootPath>/<backup_name> 配下に保存されます。このディレクトリ内のすべてのオブジェクトを保持してください。スナップショットバックアップには、エクスポートされたバンドルとメタデータが含まれます。

メタデータファイルのみをコピーしたり、スナップショットバックアップのレイアウトがbinlogバックアップと同じであると想定したりしないでください。

データの復元

coll を、設定済みのインスタンス内のcoll_bak として復元します。

./milvus-backup restore --filter coll_bak -n my_backup -s _bak --config configs/backup.yaml

CLI では、--filter は、-s または--rename が適用された後の名前と一致します。--filter coll -s _bak を含むコマンドは何も一致せず、コレクションを復元せずに正常に終了します。

元の名前を使用して復元するには、そのコレクション名が存在しないターゲットを選択し、構成でそのターゲットとバックアップの保存先を指定し、サフィックスを省略します:

./milvus-backup restore --filter coll -n my_backup --config configs/backup-target.yaml

同一インスタンスでの完全な例については、「1つのインスタンス内でのスナップショットのバックアップと復元」を参照してください。 既存のインスタンス間共通ケースのページでは、Backup 0.5.16 および v1 の設定が使用されています。これらのコマンドをそのまま 0.6.0 に適用しないでください。0.6.0 の転送設定については、バージョン別の転送ガイドを参照してください。

復元されたデータの確認

coll_bak が存在することを確認してください。復元時にベクトルインデックスが再作成されなかった場合は、コレクションを読み込む前に、スキーマに適したインデックスを作成してください。そのスキーマ、エンティティ数、スカラー値およびベクトル値、ならびに既知の検索結果を、バックアップ前にキャプチャされたベースラインと比較してください。

使い捨ての 256 エンティティのデータセットについては、「結果の確認」に記載されている完全なチェック手順を実行してください。コマンドが正常に実行されただけでは、期待通りのデータが復元されたことを証明するものではありません。