Milvus Backup を 0.6.x にアップグレードするCompatible with Milvus Backup 0.6.x
Milvus Backup ツールを0.5.x から 0.6.x にアップグレードする際は、このガイドを参照してください。以下の手順では、検証済みのターゲットバージョンとして 0.6.0 を使用しています。この手順では、Milvus サーバー自体はアップグレードされません。 0.5.x を引き続き使用する場合は、0.5.xのCLIまたはAPIガイドに従ってください。新規インストールについては、CLI ガイドを参照してください。
V1 YAML 設定は、自動変換を通じて引き続き読み込まれます。ただし、0.6.0 では非推奨の CLI フラグは拒否され、Milvus 3.0 ではデフォルトのバックアップ形式が変更されます。スケジュールされたジョブやサービスを切り替える前に、設定とコマンドの両方を確認してください。
開始点を確認する
バックアップのバージョン、Milvusのソースおよびターゲットのバージョン、設定ファイル、環境変数の上書き設定、バックアップの保存場所、およびスクリプトやAPIサービスで使用されているコマンドを記録してください。それらのサーバーバージョンの互換性情報を確認してください。
新しいインストールを検証する際は、元のバイナリ、設定、および既存のバックアップディレクトリを保持してください。「Milvus Backupの入手」を使用して、0.6.0を別のディレクトリにダウンロードしてください。以下のすべてのコマンドは、そのディレクトリから実行され、0.6.0のバイナリを呼び出します。v1の設定のコピーをconfigs/backup-v1.yaml に配置してください。
設定の移行
v1の設定ファイルは、0.6.0でも引き続き読み込まれます。Milvus Backupは起動時にそれをv2に変換し、警告を表示します。変換された設定を別のファイルに保存するには、次のように実行します:
./milvus-backup config migrate --config configs/backup-v1.yaml --output configs/backup-v2.yaml --strict
./milvus-backup config show --config configs/backup-v2.yaml
./milvus-backup check --config configs/backup-v2.yaml
--strict 無効な移行済み設定は拒否されます。--output を指定しない場合、コマンドは v2 YAML を標準出力に書き出します。設定が正しく変換されていることを確認してから、新しいファイルを確認・使用してください。
| v1の設定 | v2の設定 |
|---|---|
milvus.address,milvus.port | milvus.grpc.address,milvus.grpc.port |
以下のソースストレージminio.* | milvus.storage.* |
バックアップストレージの下にあるminio.backup* | backup.storage.* |
| ストレージ認証情報 | milvus.storage.auth.* /backup.storage.auth.* とし、明示的にauth.type |
minio.crossStorage | transfer.mode |
backup.gcPause.address | milvus.management.endpoint |
設定ファイルと同じ変更で環境変数を確認してください。V2では、MILVUS_STORAGE_AUTH_SECRET_ACCESS_KEY など、サポートされている認証情報関連の環境変数のみを受け付けます。旧バージョンのv1の名称はv2ファイルには適用されません。バケット名やエンドポイントなどの認証情報以外の設定については、YAMLまたは設定キーによる上書きを使用してください:
./milvus-backup config show --config configs/backup-v2.yaml --set milvus.storage.bucketName=my-bucket
config migrate 影響を受ける環境変数を報告しますが、そのシークレット値を出力ファイルにはコピーしません。サポートされている v2 環境変数を参照してください。config show は、非推奨となったcheck config コマンドに代わるものです。
CLI コマンドの更新
バージョン 0.5 で非推奨となったフラグは、バージョン 0.6.0 では受け入れられません。バイナリをアップグレードする前に、スクリプトを更新してください。
| コマンド | 削除されたオプション | 代替 |
|---|---|---|
create | --colls /-c,--databases /-d,--database_collections /-a | --filter |
create | --force /-f | --strategy skip_flush |
create | --meta_only | --strategy meta_only |
restore | --collections /-c,--databases /-d,--database_collections /-a | --filter、ターゲット名を使用して |
restore | --restore_index | --rebuild_index |
get | --detail /-d | フラグを削除してください。get はバックアップ情報を返します |
list | --collection /-c | 同等の収集フィルターはありません |
たとえば、以下の 0.5.16 のコマンドは、ソース名「coll 」を選択します:
./milvus-backup create -c coll -n my_backup
./milvus-backup restore -c coll -n my_backup -s _bak
0.6.0 での代替コマンドでは、復元対象としてターゲット名を使用します:
./milvus-backup create --filter coll -n my_backup --config configs/backup-v2.yaml
./milvus-backup restore --filter coll_bak -n my_backup -s _bak --config configs/backup-v2.yaml
何も一致しない復元フィルターは、コレクションを作成せずに正常に終了することがあります。常にターゲットコレクションとそのデータを確認してください。HTTP APIのcollection_names は、バックアップ内のソース名を依然として選択します。詳細はHTTP APIガイドを参照してください。
バックアップの動作を選択する
- サポートされている Milvus 2.x サーバーでは、
auto形式は binlog を使用します。バックアップのアップグレードには、Milvus 3.0 への移行は必要ありません。 - Milvus 3.0 では、
autoはスナップショットを選択します。バックアップおよび復元の公式サポートは Milvus 3.0.1 から開始されます。バックアップ作成時に binlog の動作を維持するには、--format binlogを指定してください。 - V1の設定との互換性では、削除されたコマンドフラグは保持されず、新しいフォーマットのデフォルト設定も上書きされません。
- 「目的」プリセットでは、フォーマットやその他のオプションを設定できます。たとえば、
--for archiveを指定すると、--format snapshotも指定されている場合でも、binlog が強制的に使用されます。フォーマットと目的の選択内容を確認してください。 - バックアップ中は外部コレクションはスキップされます。タスクが成功したからといってすべてのコレクションが含まれたとみなすのではなく、バックアップのメタデータを確認してください。
ジョブを切り替える前に検証を行う
次の例では、binlog 形式を維持したまま、新しいコレクションに復元します。「coll 」を、スキーマ、カウント、スカラーおよびベクトル値、検索結果が記録済みのコレクションに置き換えてください。新しいバックアップ名を使用し、ターゲット名「coll_upgrade_check 」が存在しないことを確認してください。
./milvus-backup check --config configs/backup-v2.yaml
./milvus-backup create --filter coll --format binlog -n upgrade_check --config configs/backup-v2.yaml
./milvus-backup get -n upgrade_check --config configs/backup-v2.yaml
./milvus-backup restore --filter coll_upgrade_check -n upgrade_check -s _upgrade_check --config configs/backup-v2.yaml
バックアップにcoll がリストされていること、および復元後にcoll_upgrade_check が存在することを確認してください。必要に応じてベクトルインデックスを作成し、ロードした後、復元されたデータと検索結果を記録済みのベースラインと比較してください。このテスト中は、ソースデータを変更しないでください。
また、新しいツールで既存のバックアップを利用する前に、代表的なバックアップをテストしてください。coll を含むlegacy_backup という名前の 0.5.16 バックアップの場合、別のターゲット名を使用してください:
./milvus-backup get -n legacy_backup --config configs/backup-v2.yaml
./milvus-backup restore --filter coll_legacy_check -n legacy_backup -s _legacy_check --config configs/backup-v2.yaml
これらのアップグレードパスは、Milvus 2.6.11、バックアップ0.5.16 → 0.6.0、および MinIO 内の binlog バックアップを使用して検証されました。新規に作成されたバックアップと既存のバックアップのいずれも、エンティティ値およびベクトル検索結果が一致して復元されました。 ただし、これはすべての過去のバックアップや、Milvus 2.x から 3.0 への復元における互換性を保証するものではありません。また、0.5.x が 0.6.0 で作成されたバックアップを読み込めることを保証するものでもありません。
検証に成功したら、新しいバイナリ、確認済みの構成、環境設定、および置換フラグを組み合わせて使用するようにジョブを更新してください。API デプロイメントの場合は、確認済みの構成で新しいサービスを起動し、HTTP API を通じてタスクの完了を確認してください。Milvus 3.0.1 以降でスナップショットを採用するには、「1 つのインスタンスでのスナップショットのバックアップと復元」の手順に従ってください。