Pencadangan dan Pemulihan Snapshot dalam Satu InstansiCompatible with Milvus Backup 0.6.x
Cadangkan sebuah koleksi dan pulihkan dengan nama baru di instance Milvus yang sama. Contoh ini membuat snapshot dari coll dan memulihkannya sebagai coll_bak pada Milvus 3.0.1 atau versi yang lebih baru. Untuk Backup 0.5.x, gunakan Cadangkan dan Pulihkan dalam Satu Instance.
Gambaran Umum
| Lokasi | Instan Milvus | Penyimpanan objek | Bucket | Jalur akar |
|---|---|---|---|---|
| Data sumber | milvus-a | minio-a | bucket-a | files |
| Cadangan yang dibuat oleh sumber | — | minio-a | bucket-a | backup/my_backup |
| Data yang dipulihkan | milvus-a | minio-a | bucket-a | files |
Persyaratan
- Gunakan Milvus 3.0.1 atau versi yang lebih baru. Contoh ini telah diverifikasi menggunakan Milvus Backup 0.6.0 dan Milvus 3.0.1. Instal alat ini sesuai dengan petunjuk dalam "Membackup dan Memulihkan Data Menggunakan Perintah".
- Gunakan koleksi yang sudah ada bernama "
coll", atau buat koleksi contoh opsional di bawah ini. Pastikan data koleksi tersebut tetap tidak diubah saat membandingkan hasil sumber dan hasil yang dipulihkan. - Pastikan port gRPC Milvus (19530), port manajemen (9091), dan penyimpanan objek dapat diakses oleh Milvus Backup. Server Milvus juga harus dapat mengakses penyimpanan cadangan untuk ekspor dan impor snapshot.
- Ganti nama host, nama bucket, jalur root, dan kredensial contoh dengan pengaturan deployment Anda. Pengaturan penyimpanan Milvus harus sesuai dengan instance yang sedang berjalan; mengubah konfigurasi cadangan tidak akan mengonfigurasi ulang Milvus.
- Pastikan bahwa
coll_baktidak ada di instance tujuan.
Untuk pengaturan penyimpanan Milvus, lihat Penyimpanan Objek. Untuk konfigurasi cadangan v1 yang sudah ada, lihat Memutakhirkan Milvus Backup.
Siapkan data contoh
Perintah di bawah ini menggunakan koleksi yang sudah ada bernama coll. Anda dapat menggunakan koleksi Anda sendiri dengan mengubah nama secara konsisten.
Untuk koleksi uji kecil, instal PyMilvus dan jalankan perintah berikut pada nama koleksi kosong. Ganti URI jika Milvus tidak berada di lokal:
pip install pymilvus==3.0.0
import random
from pymilvus import DataType, MilvusClient
client = MilvusClient(uri="http://localhost:19530")
assert not client.has_collection("coll"), "Use an empty sample collection name"
schema = client.create_schema(auto_id=False, enable_dynamic_field=False)
schema.add_field("id", DataType.INT64, is_primary=True)
schema.add_field("label", DataType.VARCHAR, max_length=64)
schema.add_field("vector", DataType.FLOAT_VECTOR, dim=8)
indexes = client.prepare_index_params()
indexes.add_index(field_name="vector", index_type="AUTOINDEX", metric_type="L2")
client.create_collection("coll", schema=schema, index_params=indexes)
rng = random.Random(601)
rows = [
{"id": i, "label": f"backup-docs-{i}",
"vector": [rng.randrange(256) / 256 for _ in range(8)]}
for i in range(256)
]
client.insert("coll", rows)
client.flush("coll")
Ini akan membuat 256 entitas. Biarkan data uji ini tetap tidak berubah saat mengikuti langkah-langkah selanjutnya.
Cadangkan koleksi
Langkah 1: Siapkan konfigurasi
Jalankan perintah berikut dari direktori yang berisi file biner ` milvus-backup `. Pertahankan direktori kerja ini untuk perintah-perintah selanjutnya:
mkdir -p configs
Simpan yang berikut ini sebagai configs/backup-source.yaml. Contoh ini menggunakan kredensial uji default MinIO; gantilah dengan kredensial untuk penyimpanan objek Anda.
configVersion: v2
milvus:
grpc:
address: milvus-a
port: 19530
management:
endpoint: http://milvus-a:9091
storage:
provider: minio
address: minio-a
port: 9000
useSSL: false
bucketName: bucket-a
rootPath: files
auth:
type: static
accessKeyID: minioadmin
secretAccessKey: minioadmin
backup:
storage:
bucketName: bucket-a
rootPath: backup
transfer:
mode: auto
milvus.storage menjelaskan data instance sumber. ` backup.storage ` menjelaskan tujuan cadangan. Bidang penyimpanan cadangan yang tidak diatur akan mewarisi nilai dari ` milvus.storage`, kecuali ` rootPath`, yang secara default bernilai ` backup`.
Jika Milvus dan Milvus Backup menggunakan alamat yang berbeda untuk mengakses penyimpanan objek yang sama, konfigurasikan ` backup.storage.milvusAddress ` dan ` milvusPort ` dengan alamat yang dapat dijangkau oleh server Milvus. Lihat contoh konfigurasi versi 0.6.0.
Langkah 2: Periksa konektivitas dan buat cadangan
./milvus-backup check --config configs/backup-source.yaml
./milvus-backup create --format snapshot --filter coll -n my_backup --config configs/backup-source.yaml
./milvus-backup get -n my_backup --config configs/backup-source.yaml
Pemeriksaan konektivitas seharusnya melaporkan Success!. Perintah create seharusnya melaporkan create backup success, dan informasi cadangan seharusnya mencantumkan coll.
--format snapshot yang dinyatakan secara eksplisit memilih alur kerja snapshot. auto default juga memilih snapshot pada Milvus 3.0. Cadangan mencakup metadata dan bundel snapshot yang diekspor di bawah bucket-a/backup/my_backup. Simpan seluruh direktori.
Pemulihan di dalam instance yang sama
Gunakan konfigurasi yang sama untuk memulihkan cadangan dengan sufiks:
./milvus-backup restore --filter coll_bak -n my_backup -s _bak --config configs/backup-source.yaml
Perintah CLI ` --filter ` mencocokkan nama target setelah menerapkan ` -s ` atau ` --rename`. Gunakan ` coll_bak`, bukan ` coll`, dalam perintah pemulihan ini. Filter yang tidak cocok dengan apa pun dapat keluar dengan sukses tanpa membuat koleksi.
Koleksi yang dipulihkan menggunakan penyimpanan yang telah dikonfigurasi pada instans target. Milvus mengelola impor snapshot dan tata letak data yang dihasilkan.
Verifikasi hasilnya
Untuk data sampel opsional dengan 256 entitas di atas, jalankan perintah ini pada target pemulihan. Ganti localhost:19530 dengan endpoint Milvus yang sama yang digunakan untuk menyiapkan data. Perintah ini memverifikasi jumlah entitas, setiap nilai skalar dan vektor, serta hasil pencarian vektor tanpa menghapus data:
import random
from pymilvus import MilvusClient
client = MilvusClient(uri="http://localhost:19530")
assert client.has_collection("coll_bak")
if not client.list_indexes("coll_bak"):
indexes = client.prepare_index_params()
indexes.add_index(field_name="vector", index_type="AUTOINDEX", metric_type="L2")
client.create_index("coll_bak", indexes)
client.load_collection("coll_bak")
rng = random.Random(601)
expected = [
{"id": i, "label": f"backup-docs-{i}",
"vector": [rng.randrange(256) / 256 for _ in range(8)]}
for i in range(256)
]
count = client.query("coll_bak", filter="", output_fields=["count(*)"],
consistency_level="Strong")[0]["count(*)"]
actual = client.query("coll_bak", filter="id >= 0",
output_fields=["id", "label", "vector"], limit=512,
consistency_level="Strong")
assert count == 256
assert sorted(actual, key=lambda row: row["id"]) == expected
hits = client.search("coll_bak", data=[expected[7]["vector"]], limit=1,
consistency_level="Strong")
assert hits[0][0]["id"] == 7
print("Backup and restore verified")
Untuk data lain, bandingkan dengan baseline pada saat pencadangan Anda sendiri. Buat indeks vektor yang sesuai sebelum memuat jika koleksi yang dipulihkan tidak memilikinya. Perintah yang berhasil saja tidak membuktikan bahwa data yang diharapkan telah dipulihkan.