1つのインスタンスでのスナップショットのバックアップと復元Compatible with Milvus Backup 0.6.x

コレクションをバックアップし、同じMilvusインスタンス内で新しい名前で復元します。この例では、coll のスナップショットを作成し、Milvus 3.0.1以降で coll_bak として復元します。Backup 0.5.xの場合は、「1つのインスタンス内でのバックアップと復元」を参照してください。

概要

場所Milvusインスタンスオブジェクトストアバケットルートパス
ソースデータmilvus-aminio-abucket-afiles
ソースによって作成されたバックアップ—minio-abucket-abackup/my_backup
復元されたデータmilvus-aminio-abucket-afiles

前提条件

  • Milvus 3.0.1 以降を使用してください。この例は、Milvus Backup 0.6.0 および Milvus 3.0.1 を使用して検証されています。「コマンドを使用したデータのバックアップと復元」の手順に従ってツールをインストールしてください。
  • 「coll 」という名前の既存のコレクションを使用するか、以下のオプションのサンプルコレクションを作成してください。ソースと復元後の結果を比較する際は、そのデータを変更しないでください。
  • Milvus Backup から Milvus の gRPC ポート (19530)、管理ポート (9091)、およびオブジェクトストレージにアクセスできるようにしてください。また、スナップショットのエクスポートおよびインポートを行うため、Milvus サーバーがバックアップストレージにアクセスできる必要があります。
  • 例示されているホスト名、バケット名、ルートパス、および認証情報を、ご自身のデプロイ設定に置き換えてください。Milvusのストレージ設定は、実行中のインスタンスと一致している必要があります。バックアップ構成を変更しても、Milvusの設定は再構成されません。
  • ターゲットインスタンスに `coll_bak ` が存在しないことを確認してください。

Milvusのストレージ設定については、「オブジェクトストレージ」を参照してください。既存のv1バックアップ構成については、「Milvus Backupのアップグレード」を参照してください。

サンプルデータの準備

以下のコマンドでは、coll という名前の既存のコレクションを使用しています。名前を一貫して変更することで、独自のコレクションを使用することもできます。

小規模なテスト用コレクションの場合は、PyMilvus をインストールし、空のコレクション名に対して以下のコマンドを実行してください。Milvus がローカルにない場合は、URI を置き換えてください:

pip install pymilvus==3.0.0
import random
from pymilvus import DataType, MilvusClient

client = MilvusClient(uri="http://localhost:19530")
assert not client.has_collection("coll"), "Use an empty sample collection name"
schema = client.create_schema(auto_id=False, enable_dynamic_field=False)
schema.add_field("id", DataType.INT64, is_primary=True)
schema.add_field("label", DataType.VARCHAR, max_length=64)
schema.add_field("vector", DataType.FLOAT_VECTOR, dim=8)
indexes = client.prepare_index_params()
indexes.add_index(field_name="vector", index_type="AUTOINDEX", metric_type="L2")
client.create_collection("coll", schema=schema, index_params=indexes)

rng = random.Random(601)
rows = [
    {"id": i, "label": f"backup-docs-{i}",
     "vector": [rng.randrange(256) / 256 for _ in range(8)]}
    for i in range(256)
]
client.insert("coll", rows)
client.flush("coll")

これにより、256個のエントティが作成されます。残りの手順を実行する間は、このテストデータを変更しないでください。

コレクションのバックアップ

ステップ 1: 設定の準備

milvus-backup バイナリが含まれるディレクトリから、以下のコマンドを実行してください。残りのコマンドを実行する際も、この作業ディレクトリを維持してください:

mkdir -p configs

以下の内容を「configs/backup-source.yaml 」として保存してください。この例では MinIO のデフォルトのテスト用認証情報を使用しています。お使いのオブジェクトストアの認証情報に置き換えてください。

configVersion: v2
milvus:
  grpc:
    address: milvus-a
    port: 19530
  management:
    endpoint: http://milvus-a:9091
  storage:
    provider: minio
    address: minio-a
    port: 9000
    useSSL: false
    bucketName: bucket-a
    rootPath: files
    auth:
      type: static
      accessKeyID: minioadmin
      secretAccessKey: minioadmin
backup:
  storage:
    bucketName: bucket-a
    rootPath: backup
transfer:
  mode: auto

milvus.storage はソースインスタンスのデータを記述します。backup.storage はバックアップ先を記述します。設定されていないバックアップストレージのフィールドはmilvus.storage から継承されますが、rootPath は例外で、デフォルトではbackup となります。

Milvus と Milvus Backup が同じオブジェクトストアにアクセスするために異なるアドレスを使用している場合は、backup.storage.milvusAddress およびmilvusPort を、Milvus サーバーからアクセス可能なアドレスに設定してください。0.6.0 の設定例を参照してください。

ステップ 2: 接続を確認し、バックアップを作成する

./milvus-backup check --config configs/backup-source.yaml
./milvus-backup create --format snapshot --filter coll -n my_backup --config configs/backup-source.yaml
./milvus-backup get -n my_backup --config configs/backup-source.yaml

接続性の確認では、Success! と表示されるはずです。create コマンドではcreate backup success と表示され、バックアップ情報にはcoll が一覧表示されるはずです。

明示的に `--format snapshot ` を指定すると、スナップショットワークフローが選択されます。Milvus 3.0 では、デフォルトの `auto ` でもスナップショットが選択されます。バックアップには、メタデータと、`bucket-a/backup/my_backup` 配下にエクスポートされたスナップショットバンドルが含まれます。ディレクトリ全体を保存してください。

同じインスタンス内での復元

同じ設定を使用して、サフィックスを付けてバックアップを復元します:

./milvus-backup restore --filter coll_bak -n my_backup -s _bak --config configs/backup-source.yaml

CLIの--filter は、-s または--renameを適用した後のターゲット名と一致します。この復元コマンドでは、coll ではなくcoll_bak を使用してください。何も一致しないフィルターは、コレクションを作成せずに正常に終了します。

復元されたコレクションは、ターゲットインスタンスで設定されたストレージを使用します。Milvus はスナップショットのインポートと、その結果として生成されるデータレイアウトを管理します。

結果の確認

上記のオプションの 256 エンティティのサンプルデータについては、復元先に対して以下のコマンドを実行してください。localhost:19530 を、データの準備に使用したのと同じ Milvus エンドポイントに置き換えてください。これにより、データを削除することなく、件数、すべてのスカラー値およびベクトル値、およびベクトル検索結果が検証されます:

import random
from pymilvus import MilvusClient

client = MilvusClient(uri="http://localhost:19530")
assert client.has_collection("coll_bak")
if not client.list_indexes("coll_bak"):
    indexes = client.prepare_index_params()
    indexes.add_index(field_name="vector", index_type="AUTOINDEX", metric_type="L2")
    client.create_index("coll_bak", indexes)
client.load_collection("coll_bak")

rng = random.Random(601)
expected = [
    {"id": i, "label": f"backup-docs-{i}",
     "vector": [rng.randrange(256) / 256 for _ in range(8)]}
    for i in range(256)
]
count = client.query("coll_bak", filter="", output_fields=["count(*)"],
                     consistency_level="Strong")[0]["count(*)"]
actual = client.query("coll_bak", filter="id >= 0",
                      output_fields=["id", "label", "vector"], limit=512,
                      consistency_level="Strong")
assert count == 256
assert sorted(actual, key=lambda row: row["id"]) == expected
hits = client.search("coll_bak", data=[expected[7]["vector"]], limit=1,
                     consistency_level="Strong")
assert hits[0][0]["id"] == 7
print("Backup and restore verified")

その他のデータについては、バックアップ時点のベースラインと比較してください。復元されたコレクションにベクトルインデックスがない場合は、読み込み前に適切なベクトルインデックスを作成してください。コマンドが正常に実行されただけでは、期待通りのデータが復元されたことを証明するものではありません。