Mencadangkan dan Memulihkan Data Menggunakan PerintahCompatible with Milvus Backup 0.6.x

Gunakan Milvus Backup untuk mencadangkan koleksi dan memulihkannya di instance Milvus yang sama atau yang lain. Fitur pencadangan dan pemulihan pada Milvus 3.0 secara resmi didukung mulai dari Milvus 3.0.1. Milvus Backup juga mendukung alur kerja binlog pada versi Milvus 2.x yang didukung; periksa kompatibilitas Milvus Backup.

Jika Anda masih menggunakan Milvus Backup 0.5.x, gunakan panduan CLI 0.5.x. Jika Anda melakukan peningkatan versi, ikuti panduan Peningkatan Milvus Backup terlebih dahulu.

Mendapatkan Milvus Backup

Contoh di bawah ini telah diverifikasi dengan Milvus Backup 0.6.0. Unduh file biner untuk sistem operasi dan arsitektur Anda dari rilis v0.6.0, lalu ekstrak. Pastikan file biner dan contoh konfigurasi berada pada rilis yang sama.

Untuk membangun dari sumber, instal Go 1.26 atau yang lebih baru, lalu jalankan:

git clone --branch v0.6.0 --depth 1 https://github.com/zilliztech/milvus-backup.git
cd milvus-backup
go build

Biner yang sudah dibuat sebelumnya tidak memerlukan Go. Jalankan semua perintah shell berikutnya dari direktori yang berisi milvus-backup.

Siapkan berkas konfigurasi

Milvus Backup memerlukan akses ke titik akhir gRPC Milvus, titik akhir manajemennya, penyimpanan instance, dan tujuan pencadangan. Untuk pencadangan snapshot, server Milvus juga memerlukan akses ke penyimpanan pencadangan.

Buat direktori konfigurasi:

mkdir -p configs

Simpan contoh MinIO ini sebagai configs/backup.yaml. Ganti alamat, kredensial, bucket, dan jalur akar dengan pengaturan deployment Anda. Kredensial minioadmin adalah pengaturan default uji coba MinIO.

configVersion: v2
milvus:
  grpc:
    address: localhost
    port: 19530
  management:
    endpoint: http://localhost:9091
  storage:
    provider: minio
    address: localhost
    port: 9000
    useSSL: false
    bucketName: a-bucket
    rootPath: files
    auth:
      type: static
      accessKeyID: minioadmin
      secretAccessKey: minioadmin
backup:
  storage:
    bucketName: a-bucket
    rootPath: backup
transfer:
  mode: auto
  • milvus.grpc terhubung ke instance yang sedang dicadangkan atau dipulihkan. Jika otentikasi diaktifkan, atur juga milvus.user dan milvus.password.
  • milvus.management.endpoint digunakan untuk menjeda/melanjutkan pengumpulan sampah selama proses pencadangan.
  • milvus.storage harus sesuai dengan penyimpanan objek aktual dari instance tersebut. Menetapkan bucket di sini tidak mengubah konfigurasi Milvus.
  • backup.storage mengidentifikasi lokasi pencadangan. Bidang yang tidak diatur akan mewarisi nilai dari milvus.storage, kecuali rootPath, yang secara default diatur ke backup.
  • transfer.mode: auto memilih penyalinan di sisi penyimpanan jika backend cocok, dan streaming melalui Milvus Backup jika tidak. Pengaturan ini mengontrol transfer objek, bukan format pencadangan.

Nilai default penyimpanan yang umum ditampilkan di bawah ini. Pastikan nilai-nilai tersebut sesuai dengan deployment yang sedang berjalan sebelum menggunakannya.

PengaturanDocker ComposeHelm / Milvus Operator
Bucketa-bucketmilvus-bucket
Jalur akarfilesfile

Jika server Milvus menggunakan alamat yang berbeda untuk mengakses penyimpanan cadangan, atur ` backup.storage.milvusAddress ` dan ` milvusPort ` ke alamat yang dapat dijangkau oleh server. Untuk otentikasi, TLS, penyedia penyimpanan lain, dan pengaturan tambahan, lihat contoh konfigurasi versi 0.6.0.

Periksa nilai yang berlaku dan uji konektivitas:

./milvus-backup config show --config configs/backup.yaml
./milvus-backup check --config configs/backup.yaml

config show menyembunyikan nilai rahasia dan melaporkan asal setiap nilai. Pemeriksaan konektivitas harus melaporkan Success!. Selesaikan kesalahan koneksi atau penyimpanan sebelum membuat cadangan.

Untuk konfigurasi v1 yang sudah ada, lihat Memperbarui Cadangan Milvus. Terjemahan konfigurasi otomatis tidak menggantikan bendera CLI yang dihapus.

Siapkan data

Gunakan koleksi yang sudah ada bernama coll dan pastikan bahwa coll_bak tidak ada. Catat skema, jumlah entitas, nilai skalar dan vektor yang representatif, serta hasil pencarian yang diketahui sebelum pencadangan. Pertahankan data contoh tanpa perubahan saat membandingkan salinan yang dipulihkan. Untuk membuat kumpulan data sekali pakai yang kecil sebagai gantinya, gunakan Siapkan data sampel.

Cadangkan data

Buat cadangan bernama dari ` coll`:

./milvus-backup create --filter coll -n my_backup --config configs/backup.yaml
./milvus-backup list --config configs/backup.yaml
./milvus-backup get -n my_backup --config configs/backup.yaml

Perintah create harus melaporkan create backup success. get mengembalikan metadata cadangan; pastikan koleksi yang diharapkan ada. Mengabaikan --filter akan mencadangkan semua koleksi yang memenuhi syarat. Koleksi eksternal dilewati.

--filter Menerima nama yang dipisahkan dengan koma: ` coll ` di basis data default, ` db1.coll`, atau ` 'db1.*' ` untuk semua koleksi dalam basis data. Gunakan tanda kutip pada pola yang mengandung ` * ` untuk mencegah ekspansi shell.

Pilih format atau tujuan cadangan

Dengan nilai default --format auto, Milvus 3.0 menggunakan cadangan snapshot; server Milvus 2.x yang didukung menggunakan binlog. Untuk mempertahankan perilaku binlog secara eksplisit, gunakan --format binlog. Contoh snapshot secara eksplisit memilih --format snapshot.

Gunakan ` --for ` jika tujuannya sesuai dengan alur kerja Anda:

TujuanNilai yang diterapkan oleh presetPenggunaan yang dimaksud
cloneMengaktifkan pencadangan RBAC; mempertahankan pilihan format dan strategi AndaMenyalin data ke instance lain; auto menggunakan snapshot pada Milvus 3.0
archiveMemaksa penggunaan " binlog " dan mengaktifkan pencadangan RBACMenyimpan cadangan dalam format binlog untuk pemulihan di kemudian hari
secondaryMemaksa penggunaan binlog, bulk_flush, pencadangan RBAC, dan metadata tambahan indeksInisialisasi server sekunder dalam topologi replikasi yang telah dikonfigurasi

Contoh:

./milvus-backup create --for clone --filter coll -n clone_backup --config configs/backup.yaml

Pengaturan awal akan menggantikan nilai yang bertentangan untuk opsi yang diperbaikinya. Misalnya, ` --for archive --format snapshot ` menghasilkan cadangan binlog. Mencadangkan metadata RBAC tidak secara otomatis memulihkannya; gunakan opsi ` --rbac ` pada perintah `restore` jika diperlukan.

secondary bukanlah jalan pintas untuk pemulihan antar-instans biasa. Proses ini juga memerlukan akses ke etcd sumber untuk metadata indeks, ID dan saluran kluster replikasi yang benar, serta target sekunder yang baru. Cadangan harus mempertahankan metadata lengkapnya, termasuk ` meta/full_meta.json`. Konfigurasi replikasi dan pelaksanaan failover berada di luar cakupan panduan ini. Lihat sumber dan referensi versi 0.6.0 untuk implementasi dan persyaratan khusus versi tersebut.

Pertahankan cadangan secara lengkap

Cadangan disimpan di bawah <backup.storage.bucketName>/<backup.storage.rootPath>/<backup_name>. Simpan setiap objek di direktori ini. Cadangan snapshot mencakup bundel yang diekspor serta metadata.

Jangan hanya menyalin berkas metadata atau menganggap cadangan snapshot memiliki tata letak yang sama dengan cadangan binlog.

Memulihkan data

Pulihkan coll sebagai coll_bak di instance yang telah dikonfigurasi:

./milvus-backup restore --filter coll_bak -n my_backup -s _bak --config configs/backup.yaml

Di CLI, --filter akan mencocokkan nama-nama setelah -s atau --rename diterapkan. Perintah dengan --filter coll -s _bak tidak akan mencocokkan apa pun dan dapat keluar dengan sukses tanpa memulihkan koleksi.

Untuk memulihkan menggunakan nama asli, pilih target di mana nama koleksi tersebut tidak ada, arahkan konfigurasi ke target tersebut dan lokasi cadangan, serta hilangkan sufiks:

./milvus-backup restore --filter coll -n my_backup --config configs/backup-target.yaml

Untuk contoh lengkap pada instans yang sama, lihat Pencadangan dan Pemulihan Snapshot dalam Satu Instans. Halaman kasus umum lintas instans yang ada menggunakan konfigurasi Backup 0.5.16 dan v1; jangan terapkan perintah tersebut secara langsung ke 0.6.0. Untuk konfigurasi transfer 0.6.0, lihat panduan transfer versi terbaru.

Verifikasi data yang dipulihkan

Pastikan bahwa coll_bak ada. Jika proses pemulihan tidak membuat ulang indeks vektornya, buatlah indeks yang sesuai dengan skema Anda sebelum memuat koleksi tersebut. Bandingkan skema, jumlah entitas, nilai skalar dan vektor, serta hasil pencarian yang diketahui dengan baseline yang diambil sebelum pencadangan.

Untuk kumpulan data sekali pakai yang berisi 256 entitas, gunakan pemeriksaan lengkap yang tercantum dalam bagian "Verifikasi Hasil". Perintah yang berhasil dijalankan saja tidak menjamin bahwa data yang diharapkan telah dipulihkan.