コマンドを使用したデータのバックアップと復元Compatible with Milvus Backup 0.6.x
Milvus Backup を使用してコレクションをバックアップし、同じ Milvus インスタンスまたは別の Milvus インスタンスに復元します。Milvus 3.0 でのバックアップおよび復元は、Milvus 3.0.1 以降で正式にサポートされています。Milvus Backup は、サポート対象の Milvus 2.x バージョンにおける binlog ワークフローもサポートしています。Milvus Backup の互換性については、こちらをご確認ください。
Backup 0.5.x を引き続き使用している場合は、0.5.x CLI ガイドを参照してください。アップグレードを行う場合は、まず「Milvus Backup のアップグレード」の手順に従ってください。
Milvus Backup の入手
以下の例は、Milvus Backup 0.6.0 で検証済みです。v0.6.0 リリースから、お使いのオペレーティングシステムおよびアーキテクチャに対応したバイナリをダウンロードし、解凍してください。バイナリと設定例は、同じリリースバージョンに統一してください。
代わりにソースからビルドする場合は、Go 1.26 以降をインストールしてから、次のコマンドを実行してください:
git clone --branch v0.6.0 --depth 1 https://github.com/zilliztech/milvus-backup.git
cd milvus-backup
go build
あらかじめビルドされたバイナリには Go は必要ありません。以降のすべてのシェルコマンドは、milvus-backup を含むディレクトリから実行してください。
設定ファイルの準備
Milvus Backup は、Milvus の gRPC エンドポイント、その管理エンドポイント、インスタンスのストレージ、およびバックアップ先へのアクセスを必要とします。スナップショットバックアップの場合、Milvus サーバーはバックアップストレージへのアクセスも必要とします。
設定ディレクトリを作成します:
mkdir -p configs
この MinIO の例を `configs/backup.yaml` として保存してください。アドレス、認証情報、バケット、ルートパスは、ご自身のデプロイメントの設定に置き換えてください。minioadmin の認証情報は、MinIO のテスト用デフォルト値です。
configVersion: v2
milvus:
grpc:
address: localhost
port: 19530
management:
endpoint: http://localhost:9091
storage:
provider: minio
address: localhost
port: 9000
useSSL: false
bucketName: a-bucket
rootPath: files
auth:
type: static
accessKeyID: minioadmin
secretAccessKey: minioadmin
backup:
storage:
bucketName: a-bucket
rootPath: backup
transfer:
mode: auto
milvus.grpcバックアップまたは復元対象のインスタンスに接続します。認証が有効になっている場合は、milvus.userおよびmilvus.passwordも設定してください。milvus.management.endpointは、バックアップ中のガベージコレクションの一時停止/再開に使用されます。milvus.storageインスタンスの実際のオブジェクトストレージと一致している必要があります。ここでバケットを設定しても、Milvusの設定は変更されません。backup.storageバックアップ先を指定します。設定されていないフィールドはmilvus.storageから継承されますが、rootPathは例外で、デフォルトはbackupです。transfer.mode: autoバックエンドが一致する場合はストレージ側でのコピーを、それ以外の場合はMilvus Backup経由のストリーミングを選択します。この設定はオブジェクト転送を制御するものであり、バックアップ形式を制御するものではありません。
一般的なストレージのデフォルト設定を以下に示します。使用する前に、稼働中のデプロイメントでの値を確認してください。
| 設定 | Docker Compose | Helm / Milvus Operator |
|---|---|---|
| バケット | a-bucket | milvus-bucket |
| ルートパス | files | file |
Milvus サーバーがバックアップストアへのアクセスに別のアドレスを使用する場合は、backup.storage.milvusAddress およびmilvusPort を、サーバーからアクセス可能なアドレスに設定してください。認証、TLS、その他のストレージプロバイダー、および追加の設定については、0.6.0 の設定例を参照してください。
有効な値を確認し、接続性をチェックしてください:
./milvus-backup config show --config configs/backup.yaml
./milvus-backup check --config configs/backup.yaml
config show 各値の出典元を報告します。接続性チェックでは、Success! が表示されるはずです。バックアップを作成する前に、接続エラーやストレージエラーを解決してください。
既存の v1 設定については、「Milvus バックアップのアップグレード」を参照してください。自動設定変換では、削除された CLI フラグは置き換えられません。
データの準備
coll という名前の既存のコレクションを使用し、coll_bak が存在しないことを確認してください。バックアップ前に、スキーマ、エンティティ数、代表的なスカラー値およびベクトル値、および既知の検索結果を記録してください。復元されたコピーと比較する際は、サンプルデータを変更しないでください。代わりに、小さな使い捨てデータセットを作成するには、「サンプルデータの準備」を参照してください。
データのバックアップ
coll の名前付きバックアップを作成します:
./milvus-backup create --filter coll -n my_backup --config configs/backup.yaml
./milvus-backup list --config configs/backup.yaml
./milvus-backup get -n my_backup --config configs/backup.yaml
create コマンドの実行結果に `create backup success` と表示されるはずです。`get ` を実行するとバックアップのメタデータが返されます。期待されるコレクションが存在することを確認してください。`--filter ` を省略すると、対象となるすべてのコレクションがバックアップされます。外部コレクションはスキップされます。
--filter カンマ区切りの名前を受け付けます:デフォルトデータベース内の `coll `、`db1.coll`、またはデータベース内のすべてのコレクションを指定する `'db1.*' `。シェル展開を防ぐには、`* ` を含むパターンを引用符で囲んでください。
バックアップ形式または目的を選択してください
デフォルトの--format auto では、Milvus 3.0 はスナップショットバックアップを使用します。サポートされている Milvus 2.x サーバーは binlog を使用します。binlog の動作を明示的に維持するには、--format binlog を指定してください。スナップショットの例では、--format snapshot を明示的に選択しています。
ワークフローに合致する目的がある場合は、--for を使用してください:
| 目的 | プリセットによって適用される値 | 想定される用途 |
|---|---|---|
clone | RBACバックアップを有効化します。フォーマットと戦略の選択は維持されます | データを別のインスタンスにコピーします。auto はMilvus 3.0のスナップショット機能を使用します |
archive | binlog を強制適用し、RBACバックアップを有効にします | 後日の復元用にbinlog形式のバックアップを保持します |
secondary | binlog 、bulk_flush 、RBACバックアップ、およびインデックスの追加メタデータを強制適用します | 構成済みのレプリケーショントポロジーでセカンダリを初期化する |
例:
./milvus-backup create --for clone --filter coll -n clone_backup --config configs/backup.yaml
プリセットは、それが設定するオプションについて、競合する値を上書きします。例えば、`--for archive --format snapshot ` はバイナリログ形式のバックアップを生成します。RBAC メタデータをバックアップしても、自動的に復元されるわけではありません。必要な場合は、`restore` コマンドの `--rbac ` オプションを使用してください。
secondary は、通常のインスタンス間復元のための近道ではありません。また、インデックス・メタデータ用のソース etcd へのアクセス、正しいレプリケーション・クラスタ ID およびチャネル、そして新しいセカンダリ・ターゲットも必要です。バックアップには、meta/full_meta.json を含む完全なメタデータが保持されている必要があります。レプリケーションの設定およびフェイルオーバーの実行については、本ガイドの範囲外です。 バージョン固有の実装および要件については、0.6.0のソースコードおよびリファレンスを参照してください。
バックアップを完全に保持する
バックアップは<backup.storage.bucketName>/<backup.storage.rootPath>/<backup_name> 配下に保存されます。このディレクトリ内のすべてのオブジェクトを保持してください。スナップショットバックアップには、エクスポートされたバンドルとメタデータが含まれます。
メタデータファイルのみをコピーしたり、スナップショットバックアップのレイアウトがbinlogバックアップと同じであると想定したりしないでください。
データの復元
coll を、設定済みのインスタンス内のcoll_bak として復元します。
./milvus-backup restore --filter coll_bak -n my_backup -s _bak --config configs/backup.yaml
CLI では、--filter は、-s または--rename が適用された後の名前と一致します。--filter coll -s _bak を含むコマンドは何も一致せず、コレクションを復元せずに正常に終了します。
元の名前を使用して復元するには、そのコレクション名が存在しないターゲットを選択し、構成でそのターゲットとバックアップの保存先を指定し、サフィックスを省略します:
./milvus-backup restore --filter coll -n my_backup --config configs/backup-target.yaml
同一インスタンスでの完全な例については、「1つのインスタンス内でのスナップショットのバックアップと復元」を参照してください。 既存のインスタンス間共通ケースのページでは、Backup 0.5.16 および v1 の設定が使用されています。これらのコマンドをそのまま 0.6.0 に適用しないでください。0.6.0 の転送設定については、バージョン別の転送ガイドを参照してください。
復元されたデータの確認
coll_bak が存在することを確認してください。復元時にベクトルインデックスが再作成されなかった場合は、コレクションを読み込む前に、スキーマに適したインデックスを作成してください。そのスキーマ、エンティティ数、スカラー値およびベクトル値、ならびに既知の検索結果を、バックアップ前にキャプチャされたベースラインと比較してください。
使い捨ての 256 エンティティのデータセットについては、「結果の確認」に記載されている完全なチェック手順を実行してください。コマンドが正常に実行されただけでは、期待通りのデータが復元されたことを証明するものではありません。