Migrasi Antar-Instance di Berbagai BucketCompatible with Milvus Backup 0.5.x
Untuk alur kerja saat ini, lihat panduan CLI atau lakukan pembaruan dari versi 0.5.x. Periksa matriks kompatibilitas untuk versi server Milvus yang didukung.
Topik ini menjelaskan proses pencadangan koleksi dari satu instansi Milvus dan memulihkannya ke instansi lain, dengan setiap instansi menggunakan bucket yang berbeda di dalam penyimpanan objek yang sama.
Gambaran Umum
Diagram di bawah ini menggambarkan proses pencadangan dan pemulihan menggunakan bucket yang berbeda dalam penyimpanan objek yang sama.
cross-bucket-backup-and-restore.png
Asumsikan kita memiliki dua instance Milvus, milvus_A dan milvus_B, keduanya
menggunakan mesin penyimpanan MinIO default untuk penyimpanan objek. Instance-instance
ini menggunakan bucket yang berbeda, yaitu bucket_A dan bucket_B, di dalam
penyimpanan objek yang sama. Dalam contoh ini, tujuan kita adalah menyelesaikan
tugas-tugas berikut:
Buat cadangan (
my_backup) untuk koleksicolldibucket_Adan simpan cadangan tersebut dibucket_B.Di
bucket_B, pulihkan dari cadangan tersebut dan beri nama koleksi yang dipulihkan sebagaicoll_bak.
Prasyarat
Instal Milvus Backup 0.5.16 menggunakan panduan CLI versi 0.5.x.
Kenali cara mengonfigurasi pengaturan penyimpanan objek Milvus. Untuk detailnya, lihat Object Storage.
Cadangkan koleksi dari milvus_A
Langkah 1: Siapkan konfigurasi
Buka direktori proyek milvus-backup dan buat direktori
bernama configs. Jalankan perintah berikut dari direktori yang berisi milvus-backup:
mkdir -p configs
Unduh berkas konfigurasi cadangan backup.yaml:
wget -O configs/backup.yaml https://raw.githubusercontent.com/zilliztech/milvus-backup/v0.5.16/configs/backup.yaml
Struktur berkasnya terlihat seperti ini:
├── configs
│ └── backup.yaml
├── milvus-backup
└── README.md
Langkah 2: Edit berkas konfigurasi
YAML di bawah ini menunjukkan bidang-bidang yang perlu diedit dalam berkas v1 yang telah diunduh. Pertahankan pengaturan wajib lainnya. Arahkan milvus.address dan milvus.port ke instance yang sedang dicadangkan atau dipulihkan. Atur minio.backupAddress, minio.backupPort, dan minio.backupStorageType ke tujuan cadangan, serta backup.gcPause.address ke titik akhir manajemen Milvus sumber (port 9091 secara default). Ganti semua alamat contoh, nama bucket, jalur, dan kredensial dengan pengaturan deployment Anda.
Ubah berkas backup.yaml untuk mengatur konfigurasi yang sesuai untuk
milvus_A:
Konfigurasi koneksi
# milvus proxy address, compatible to milvus.yaml milvus: address: milvus_A port: 19530 authorizationEnabled: false # tls mode values [0, 1, 2] # 0 is close, 1 is one-way authentication, 2 is two-way authentication. tlsMode: 0 user: "root" password: "Milvus"milvus.address: Alamat IP atau nama host servermilvus_A.milvus.port: Port TCP yang digunakan server Milvus untuk mendengarkan (secara default 19530).
Konfigurasi penyimpanan (pengaturan MinIO/S3)
# Related configuration of minio, which is responsible for data persistence for Milvus. minio: # cloudProvider: "minio" # deprecated use storageType instead storageType: "minio" # support storage type: local, minio, s3, aws, gcp, ali(aliyun), azure, tc(tencent) address: localhost # Address of MinIO/S3 port: 9000 # Port of MinIO/S3 accessKeyID: minioadmin # accessKeyID of MinIO/S3 secretAccessKey: minioadmin # MinIO/S3 encryption string useSSL: false # Access to MinIO/S3 with SSL useIAM: false iamEndpoint: "" bucketName: "bucket_A" # Milvus Bucket name in MinIO/S3, make it the same as your milvus instance rootPath: "files" # Milvus storage root path in MinIO/S3, make it the same as your milvus instance # Backup storage credentials backupAccessKeyID: minioadmin # accessKeyID of MinIO/S3 backupSecretAccessKey: minioadmin # MinIO/S3 encryption string backupBucketName: "bucket_B" # Bucket name to store backup data. Backup data will store to backupBucketName/backupRootPath backupRootPath: "backup" # Rootpath to store backup data. Backup data will store to backupBucketName/backupRootPathminio.bucketName: Nama bucket yang digunakan untuk penyimpanan data dimilvus_A. Dalam contoh ini, atur kebucket_A.minio.rootPath: Jalur akar di dalam bucket tempat data darimilvus_Adisimpan. Dalam contoh ini, atur kefiles.minio.backupBucketName: Nama bucket yang digunakan untuk penyimpanan cadangan dimilvus_B. Dalam contoh ini,milvus_Adanmilvus_Bmenggunakan bucket yang berbeda. Oleh karena itu, atur kebucket_B.minio.backupRootPath: Jalur akar di dalam bucket yang ditentukan untuk menyimpan berkas cadangan dimilvus_B. Dalam contoh ini, atur kebackup.
Langkah 3: Buat cadangan
Setelah backup.yaml disimpan, buat cadangan bernama my_backup:
./milvus-backup create -c coll -n my_backup --config configs/backup.yaml
Perintah ini membuat cadangan bucket_B/backup/my_backup di penyimpanan objek
untuk koleksi coll.
Kembalikan cadangan ke milvus_B
Langkah 1: Konfigurasikan pengaturan pemulihan
Ulangi langkah
2 untuk mengubah konfigurasi pemulihan ke ` milvus_B`, pastikan ` minio.bucketName ` diatur ke ` bucket_B`.
Berikut adalah contoh konfigurasi:
...
# milvus proxy address, compatible to milvus.yaml
milvus:
address: milvus_B
port: 19530
authorizationEnabled: false
# tls mode values [0, 1, 2]
# 0 is close, 1 is one-way authentication, 2 is two-way authentication.
tlsMode: 0
user: "root"
password: "Milvus"
# Related configuration of minio, which is responsible for data persistence for Milvus.
minio:
# cloudProvider: "minio" # deprecated use storageType instead
storageType: "minio" # support storage type: local, minio, s3, aws, gcp, ali(aliyun), azure, tc(tencent)
address: localhost # Address of MinIO/S3
port: 9000 # Port of MinIO/S3
accessKeyID: minioadmin # accessKeyID of MinIO/S3
secretAccessKey: minioadmin # MinIO/S3 encryption string
useSSL: false # Access to MinIO/S3 with SSL
useIAM: false
iamEndpoint: ""
bucketName: "bucket_B" # Milvus Bucket name in MinIO/S3, make it the same as your milvus instance
rootPath: "files" # Milvus storage root path in MinIO/S3, make it the same as your milvus instance
# Backup storage credentials
backupAccessKeyID: minioadmin # accessKeyID of MinIO/S3
backupSecretAccessKey: minioadmin # MinIO/S3 encryption string
backupBucketName: "bucket_B" # Bucket name to store backup data. Backup data will store to backupBucketName/backupRootPath
backupRootPath: "backup" # Rootpath to store backup data. Backup data will store to backupBucketName/backupRootPath
...
Langkah 2: Pulihkan cadangan
Pulihkan cadangan ke milvus_B:
./milvus-backup restore -c coll -n my_backup -s _bak --config configs/backup.yaml
Perintah ini memulihkan cadangan ke dalam koleksi baru bernama coll_bak di milvus_B, menggunakan akar penyimpanan yang dikonfigurasi pada instance tujuan, yaitu bucket_B/files.
Pada Backup 0.5.16, opsi -c yang sudah tidak direkomendasikan lagi memilih nama koleksi dalam cadangan, sebelum _bak diterapkan. Penggantinya pada versi 0.6.0, --filter, menggunakan nama target sebagai gantinya; lihat Perbarui perintah CLI.
Setelah pemulihan, pastikan bahwa coll_bak ada, buat indeks vektor yang sesuai jika diperlukan, dan bandingkan jumlah entitas, nilai representatif, serta hasil pencariannya dengan baseline yang diambil sebelum pencadangan. Perintah yang berhasil saja tidak menjamin keakuratan data.