Mencadangkan dan Memulihkan Data Menggunakan PerintahCompatible with Milvus Backup 0.6.x
Gunakan Milvus Backup untuk mencadangkan koleksi dan memulihkannya di instance Milvus yang sama atau yang lain. Fitur pencadangan dan pemulihan pada Milvus 3.0 secara resmi didukung mulai dari Milvus 3.0.1. Milvus Backup juga mendukung alur kerja binlog pada versi Milvus 2.x yang didukung; periksa kompatibilitas Milvus Backup.
Jika Anda masih menggunakan Milvus Backup 0.5.x, gunakan panduan CLI 0.5.x. Jika Anda melakukan peningkatan versi, ikuti panduan Peningkatan Milvus Backup terlebih dahulu.
Mendapatkan Milvus Backup
Contoh di bawah ini telah diverifikasi dengan Milvus Backup 0.6.0. Unduh file biner untuk sistem operasi dan arsitektur Anda dari rilis v0.6.0, lalu ekstrak. Pastikan file biner dan contoh konfigurasi berada pada rilis yang sama.
Untuk membangun dari sumber, instal Go 1.26 atau yang lebih baru, lalu jalankan:
git clone --branch v0.6.0 --depth 1 https://github.com/zilliztech/milvus-backup.git
cd milvus-backup
go build
Biner yang sudah dibuat sebelumnya tidak memerlukan Go. Jalankan semua perintah shell berikutnya dari direktori yang berisi milvus-backup.
Siapkan berkas konfigurasi
Milvus Backup memerlukan akses ke titik akhir gRPC Milvus, titik akhir manajemennya, penyimpanan instance, dan tujuan pencadangan. Untuk pencadangan snapshot, server Milvus juga memerlukan akses ke penyimpanan pencadangan.
Buat direktori konfigurasi:
mkdir -p configs
Simpan contoh MinIO ini sebagai configs/backup.yaml. Ganti alamat, kredensial, bucket, dan jalur akar dengan pengaturan deployment Anda. Kredensial minioadmin adalah pengaturan default uji coba MinIO.
configVersion: v2
milvus:
grpc:
address: localhost
port: 19530
management:
endpoint: http://localhost:9091
storage:
provider: minio
address: localhost
port: 9000
useSSL: false
bucketName: a-bucket
rootPath: files
auth:
type: static
accessKeyID: minioadmin
secretAccessKey: minioadmin
backup:
storage:
bucketName: a-bucket
rootPath: backup
transfer:
mode: auto
milvus.grpcterhubung ke instance yang sedang dicadangkan atau dipulihkan. Jika otentikasi diaktifkan, atur jugamilvus.userdanmilvus.password.milvus.management.endpointdigunakan untuk menjeda/melanjutkan pengumpulan sampah selama proses pencadangan.milvus.storageharus sesuai dengan penyimpanan objek aktual dari instance tersebut. Menetapkan bucket di sini tidak mengubah konfigurasi Milvus.backup.storagemengidentifikasi lokasi pencadangan. Bidang yang tidak diatur akan mewarisi nilai darimilvus.storage, kecualirootPath, yang secara default diatur kebackup.transfer.mode: automemilih penyalinan di sisi penyimpanan jika backend cocok, dan streaming melalui Milvus Backup jika tidak. Pengaturan ini mengontrol transfer objek, bukan format pencadangan.
Nilai default penyimpanan yang umum ditampilkan di bawah ini. Pastikan nilai-nilai tersebut sesuai dengan deployment yang sedang berjalan sebelum menggunakannya.
| Pengaturan | Docker Compose | Helm / Milvus Operator |
|---|---|---|
| Bucket | a-bucket | milvus-bucket |
| Jalur akar | files | file |
Jika server Milvus menggunakan alamat yang berbeda untuk mengakses penyimpanan cadangan, atur ` backup.storage.milvusAddress ` dan ` milvusPort ` ke alamat yang dapat dijangkau oleh server. Untuk otentikasi, TLS, penyedia penyimpanan lain, dan pengaturan tambahan, lihat contoh konfigurasi versi 0.6.0.
Periksa nilai yang berlaku dan uji konektivitas:
./milvus-backup config show --config configs/backup.yaml
./milvus-backup check --config configs/backup.yaml
config show menyembunyikan nilai rahasia dan melaporkan asal setiap nilai. Pemeriksaan konektivitas harus melaporkan Success!. Selesaikan kesalahan koneksi atau penyimpanan sebelum membuat cadangan.
Untuk konfigurasi v1 yang sudah ada, lihat Memperbarui Cadangan Milvus. Terjemahan konfigurasi otomatis tidak menggantikan bendera CLI yang dihapus.
Siapkan data
Gunakan koleksi yang sudah ada bernama coll dan pastikan bahwa coll_bak tidak ada. Catat skema, jumlah entitas, nilai skalar dan vektor yang representatif, serta hasil pencarian yang diketahui sebelum pencadangan. Pertahankan data contoh tanpa perubahan saat membandingkan salinan yang dipulihkan. Untuk membuat kumpulan data sekali pakai yang kecil sebagai gantinya, gunakan Siapkan data sampel.
Cadangkan data
Buat cadangan bernama dari ` coll`:
./milvus-backup create --filter coll -n my_backup --config configs/backup.yaml
./milvus-backup list --config configs/backup.yaml
./milvus-backup get -n my_backup --config configs/backup.yaml
Perintah create harus melaporkan create backup success. get mengembalikan metadata cadangan; pastikan koleksi yang diharapkan ada. Mengabaikan --filter akan mencadangkan semua koleksi yang memenuhi syarat. Koleksi eksternal dilewati.
--filter Menerima nama yang dipisahkan dengan koma: ` coll ` di basis data default, ` db1.coll`, atau ` 'db1.*' ` untuk semua koleksi dalam basis data. Gunakan tanda kutip pada pola yang mengandung ` * ` untuk mencegah ekspansi shell.
Pilih format atau tujuan cadangan
Dengan nilai default --format auto, Milvus 3.0 menggunakan cadangan snapshot; server Milvus 2.x yang didukung menggunakan binlog. Untuk mempertahankan perilaku binlog secara eksplisit, gunakan --format binlog. Contoh snapshot secara eksplisit memilih --format snapshot.
Gunakan ` --for ` jika tujuannya sesuai dengan alur kerja Anda:
| Tujuan | Nilai yang diterapkan oleh preset | Penggunaan yang dimaksud |
|---|---|---|
clone | Mengaktifkan pencadangan RBAC; mempertahankan pilihan format dan strategi Anda | Menyalin data ke instance lain; auto menggunakan snapshot pada Milvus 3.0 |
archive | Memaksa penggunaan " binlog " dan mengaktifkan pencadangan RBAC | Menyimpan cadangan dalam format binlog untuk pemulihan di kemudian hari |
secondary | Memaksa penggunaan binlog, bulk_flush, pencadangan RBAC, dan metadata tambahan indeks | Inisialisasi server sekunder dalam topologi replikasi yang telah dikonfigurasi |
Contoh:
./milvus-backup create --for clone --filter coll -n clone_backup --config configs/backup.yaml
Pengaturan awal akan menggantikan nilai yang bertentangan untuk opsi yang diperbaikinya. Misalnya, ` --for archive --format snapshot ` menghasilkan cadangan binlog. Mencadangkan metadata RBAC tidak secara otomatis memulihkannya; gunakan opsi ` --rbac ` pada perintah `restore` jika diperlukan.
secondary bukanlah jalan pintas untuk pemulihan antar-instans biasa. Proses ini juga memerlukan akses ke etcd sumber untuk metadata indeks, ID dan saluran kluster replikasi yang benar, serta target sekunder yang baru. Cadangan harus mempertahankan metadata lengkapnya, termasuk ` meta/full_meta.json`. Konfigurasi replikasi dan pelaksanaan failover berada di luar cakupan panduan ini. Lihat sumber dan referensi versi 0.6.0 untuk implementasi dan persyaratan khusus versi tersebut.
Pertahankan cadangan secara lengkap
Cadangan disimpan di bawah <backup.storage.bucketName>/<backup.storage.rootPath>/<backup_name>. Simpan setiap objek di direktori ini. Cadangan snapshot mencakup bundel yang diekspor serta metadata.
Jangan hanya menyalin berkas metadata atau menganggap cadangan snapshot memiliki tata letak yang sama dengan cadangan binlog.
Memulihkan data
Pulihkan coll sebagai coll_bak di instance yang telah dikonfigurasi:
./milvus-backup restore --filter coll_bak -n my_backup -s _bak --config configs/backup.yaml
Di CLI, --filter akan mencocokkan nama-nama setelah -s atau --rename diterapkan. Perintah dengan --filter coll -s _bak tidak akan mencocokkan apa pun dan dapat keluar dengan sukses tanpa memulihkan koleksi.
Untuk memulihkan menggunakan nama asli, pilih target di mana nama koleksi tersebut tidak ada, arahkan konfigurasi ke target tersebut dan lokasi cadangan, serta hilangkan sufiks:
./milvus-backup restore --filter coll -n my_backup --config configs/backup-target.yaml
Untuk contoh lengkap pada instans yang sama, lihat Pencadangan dan Pemulihan Snapshot dalam Satu Instans. Halaman kasus umum lintas instans yang ada menggunakan konfigurasi Backup 0.5.16 dan v1; jangan terapkan perintah tersebut secara langsung ke 0.6.0. Untuk konfigurasi transfer 0.6.0, lihat panduan transfer versi terbaru.
Verifikasi data yang dipulihkan
Pastikan bahwa coll_bak ada. Jika proses pemulihan tidak membuat ulang indeks vektornya, buatlah indeks yang sesuai dengan skema Anda sebelum memuat koleksi tersebut. Bandingkan skema, jumlah entitas, nilai skalar dan vektor, serta hasil pencarian yang diketahui dengan baseline yang diambil sebelum pencadangan.
Untuk kumpulan data sekali pakai yang berisi 256 entitas, gunakan pemeriksaan lengkap yang tercantum dalam bagian "Verifikasi Hasil". Perintah yang berhasil dijalankan saja tidak menjamin bahwa data yang diharapkan telah dipulihkan.