Pencadangan dan Pemulihan Snapshot dalam Satu InstansiCompatible with Milvus Backup 0.6.x

Cadangkan sebuah koleksi dan pulihkan dengan nama baru di instance Milvus yang sama. Contoh ini membuat snapshot dari coll dan memulihkannya sebagai coll_bak pada Milvus 3.0.1 atau versi yang lebih baru. Untuk Backup 0.5.x, gunakan Cadangkan dan Pulihkan dalam Satu Instance.

Gambaran Umum

LokasiInstan MilvusPenyimpanan objekBucketJalur akar
Data sumbermilvus-aminio-abucket-afiles
Cadangan yang dibuat oleh sumber—minio-abucket-abackup/my_backup
Data yang dipulihkanmilvus-aminio-abucket-afiles

Persyaratan

  • Gunakan Milvus 3.0.1 atau versi yang lebih baru. Contoh ini telah diverifikasi menggunakan Milvus Backup 0.6.0 dan Milvus 3.0.1. Instal alat ini sesuai dengan petunjuk dalam "Membackup dan Memulihkan Data Menggunakan Perintah".
  • Gunakan koleksi yang sudah ada bernama " coll", atau buat koleksi contoh opsional di bawah ini. Pastikan data koleksi tersebut tetap tidak diubah saat membandingkan hasil sumber dan hasil yang dipulihkan.
  • Pastikan port gRPC Milvus (19530), port manajemen (9091), dan penyimpanan objek dapat diakses oleh Milvus Backup. Server Milvus juga harus dapat mengakses penyimpanan cadangan untuk ekspor dan impor snapshot.
  • Ganti nama host, nama bucket, jalur root, dan kredensial contoh dengan pengaturan deployment Anda. Pengaturan penyimpanan Milvus harus sesuai dengan instance yang sedang berjalan; mengubah konfigurasi cadangan tidak akan mengonfigurasi ulang Milvus.
  • Pastikan bahwa coll_bak tidak ada di instance tujuan.

Untuk pengaturan penyimpanan Milvus, lihat Penyimpanan Objek. Untuk konfigurasi cadangan v1 yang sudah ada, lihat Memutakhirkan Milvus Backup.

Siapkan data contoh

Perintah di bawah ini menggunakan koleksi yang sudah ada bernama coll. Anda dapat menggunakan koleksi Anda sendiri dengan mengubah nama secara konsisten.

Untuk koleksi uji kecil, instal PyMilvus dan jalankan perintah berikut pada nama koleksi kosong. Ganti URI jika Milvus tidak berada di lokal:

pip install pymilvus==3.0.0
import random
from pymilvus import DataType, MilvusClient

client = MilvusClient(uri="http://localhost:19530")
assert not client.has_collection("coll"), "Use an empty sample collection name"
schema = client.create_schema(auto_id=False, enable_dynamic_field=False)
schema.add_field("id", DataType.INT64, is_primary=True)
schema.add_field("label", DataType.VARCHAR, max_length=64)
schema.add_field("vector", DataType.FLOAT_VECTOR, dim=8)
indexes = client.prepare_index_params()
indexes.add_index(field_name="vector", index_type="AUTOINDEX", metric_type="L2")
client.create_collection("coll", schema=schema, index_params=indexes)

rng = random.Random(601)
rows = [
    {"id": i, "label": f"backup-docs-{i}",
     "vector": [rng.randrange(256) / 256 for _ in range(8)]}
    for i in range(256)
]
client.insert("coll", rows)
client.flush("coll")

Ini akan membuat 256 entitas. Biarkan data uji ini tetap tidak berubah saat mengikuti langkah-langkah selanjutnya.

Cadangkan koleksi

Langkah 1: Siapkan konfigurasi

Jalankan perintah berikut dari direktori yang berisi file biner ` milvus-backup `. Pertahankan direktori kerja ini untuk perintah-perintah selanjutnya:

mkdir -p configs

Simpan yang berikut ini sebagai configs/backup-source.yaml. Contoh ini menggunakan kredensial uji default MinIO; gantilah dengan kredensial untuk penyimpanan objek Anda.

configVersion: v2
milvus:
  grpc:
    address: milvus-a
    port: 19530
  management:
    endpoint: http://milvus-a:9091
  storage:
    provider: minio
    address: minio-a
    port: 9000
    useSSL: false
    bucketName: bucket-a
    rootPath: files
    auth:
      type: static
      accessKeyID: minioadmin
      secretAccessKey: minioadmin
backup:
  storage:
    bucketName: bucket-a
    rootPath: backup
transfer:
  mode: auto

milvus.storage menjelaskan data instance sumber. ` backup.storage ` menjelaskan tujuan cadangan. Bidang penyimpanan cadangan yang tidak diatur akan mewarisi nilai dari ` milvus.storage`, kecuali ` rootPath`, yang secara default bernilai ` backup`.

Jika Milvus dan Milvus Backup menggunakan alamat yang berbeda untuk mengakses penyimpanan objek yang sama, konfigurasikan ` backup.storage.milvusAddress ` dan ` milvusPort ` dengan alamat yang dapat dijangkau oleh server Milvus. Lihat contoh konfigurasi versi 0.6.0.

Langkah 2: Periksa konektivitas dan buat cadangan

./milvus-backup check --config configs/backup-source.yaml
./milvus-backup create --format snapshot --filter coll -n my_backup --config configs/backup-source.yaml
./milvus-backup get -n my_backup --config configs/backup-source.yaml

Pemeriksaan konektivitas seharusnya melaporkan Success!. Perintah create seharusnya melaporkan create backup success, dan informasi cadangan seharusnya mencantumkan coll.

--format snapshot yang dinyatakan secara eksplisit memilih alur kerja snapshot. auto default juga memilih snapshot pada Milvus 3.0. Cadangan mencakup metadata dan bundel snapshot yang diekspor di bawah bucket-a/backup/my_backup. Simpan seluruh direktori.

Pemulihan di dalam instance yang sama

Gunakan konfigurasi yang sama untuk memulihkan cadangan dengan sufiks:

./milvus-backup restore --filter coll_bak -n my_backup -s _bak --config configs/backup-source.yaml

Perintah CLI ` --filter ` mencocokkan nama target setelah menerapkan ` -s ` atau ` --rename`. Gunakan ` coll_bak`, bukan ` coll`, dalam perintah pemulihan ini. Filter yang tidak cocok dengan apa pun dapat keluar dengan sukses tanpa membuat koleksi.

Koleksi yang dipulihkan menggunakan penyimpanan yang telah dikonfigurasi pada instans target. Milvus mengelola impor snapshot dan tata letak data yang dihasilkan.

Verifikasi hasilnya

Untuk data sampel opsional dengan 256 entitas di atas, jalankan perintah ini pada target pemulihan. Ganti localhost:19530 dengan endpoint Milvus yang sama yang digunakan untuk menyiapkan data. Perintah ini memverifikasi jumlah entitas, setiap nilai skalar dan vektor, serta hasil pencarian vektor tanpa menghapus data:

import random
from pymilvus import MilvusClient

client = MilvusClient(uri="http://localhost:19530")
assert client.has_collection("coll_bak")
if not client.list_indexes("coll_bak"):
    indexes = client.prepare_index_params()
    indexes.add_index(field_name="vector", index_type="AUTOINDEX", metric_type="L2")
    client.create_index("coll_bak", indexes)
client.load_collection("coll_bak")

rng = random.Random(601)
expected = [
    {"id": i, "label": f"backup-docs-{i}",
     "vector": [rng.randrange(256) / 256 for _ in range(8)]}
    for i in range(256)
]
count = client.query("coll_bak", filter="", output_fields=["count(*)"],
                     consistency_level="Strong")[0]["count(*)"]
actual = client.query("coll_bak", filter="id >= 0",
                      output_fields=["id", "label", "vector"], limit=512,
                      consistency_level="Strong")
assert count == 256
assert sorted(actual, key=lambda row: row["id"]) == expected
hits = client.search("coll_bak", data=[expected[7]["vector"]], limit=1,
                     consistency_level="Strong")
assert hits[0][0]["id"] == 7
print("Backup and restore verified")

Untuk data lain, bandingkan dengan baseline pada saat pencadangan Anda sendiri. Buat indeks vektor yang sesuai sebelum memuat jika koleksi yang dipulihkan tidak memilikinya. Perintah yang berhasil saja tidak membuktikan bahwa data yang diharapkan telah dipulihkan.