Migrasi Antar-Instance di Berbagai BucketCompatible with Milvus Backup 0.5.x

Untuk alur kerja saat ini, lihat panduan CLI atau lakukan pembaruan dari versi 0.5.x. Periksa matriks kompatibilitas untuk versi server Milvus yang didukung.

Topik ini menjelaskan proses pencadangan koleksi dari satu instansi Milvus dan memulihkannya ke instansi lain, dengan setiap instansi menggunakan bucket yang berbeda di dalam penyimpanan objek yang sama.

Gambaran Umum

Diagram di bawah ini menggambarkan proses pencadangan dan pemulihan menggunakan bucket yang berbeda dalam penyimpanan objek yang sama.

cross-bucket-backup-and-restore.png cross-bucket-backup-and-restore.png

Asumsikan kita memiliki dua instance Milvus, milvus_A dan milvus_B, keduanya menggunakan mesin penyimpanan MinIO default untuk penyimpanan objek. Instance-instance ini menggunakan bucket yang berbeda, yaitu bucket_A dan bucket_B, di dalam penyimpanan objek yang sama. Dalam contoh ini, tujuan kita adalah menyelesaikan tugas-tugas berikut:

  1. Buat cadangan (my_backup) untuk koleksi coll di bucket_A dan simpan cadangan tersebut di bucket_B.

  2. Di bucket_B, pulihkan dari cadangan tersebut dan beri nama koleksi yang dipulihkan sebagai coll_bak.

Prasyarat

  • Instal Milvus Backup 0.5.16 menggunakan panduan CLI versi 0.5.x.

  • Kenali cara mengonfigurasi pengaturan penyimpanan objek Milvus. Untuk detailnya, lihat Object Storage.

Cadangkan koleksi dari milvus_A

Langkah 1: Siapkan konfigurasi

Buka direktori proyek milvus-backup dan buat direktori bernama configs. Jalankan perintah berikut dari direktori yang berisi milvus-backup:

mkdir -p configs

Unduh berkas konfigurasi cadangan backup.yaml:

wget -O configs/backup.yaml https://raw.githubusercontent.com/zilliztech/milvus-backup/v0.5.16/configs/backup.yaml

Struktur berkasnya terlihat seperti ini:

├── configs
│   └── backup.yaml
├── milvus-backup
└── README.md

Langkah 2: Edit berkas konfigurasi

YAML di bawah ini menunjukkan bidang-bidang yang perlu diedit dalam berkas v1 yang telah diunduh. Pertahankan pengaturan wajib lainnya. Arahkan milvus.address dan milvus.port ke instance yang sedang dicadangkan atau dipulihkan. Atur minio.backupAddress, minio.backupPort, dan minio.backupStorageType ke tujuan cadangan, serta backup.gcPause.address ke titik akhir manajemen Milvus sumber (port 9091 secara default). Ganti semua alamat contoh, nama bucket, jalur, dan kredensial dengan pengaturan deployment Anda.

Ubah berkas backup.yaml untuk mengatur konfigurasi yang sesuai untuk milvus_A:

  • Konfigurasi koneksi

    # milvus proxy address, compatible to milvus.yaml
    milvus:
      address: milvus_A
      port: 19530
      authorizationEnabled: false
      # tls mode values [0, 1, 2]
      # 0 is close, 1 is one-way authentication, 2 is two-way authentication.
      tlsMode: 0
      user: "root"
      password: "Milvus"
    
    • milvus.address: Alamat IP atau nama host server milvus_A.

    • milvus.port: Port TCP yang digunakan server Milvus untuk mendengarkan (secara default 19530).

  • Konfigurasi penyimpanan (pengaturan MinIO/S3)

    # Related configuration of minio, which is responsible for data persistence for Milvus.
    minio:
      # cloudProvider: "minio" # deprecated use storageType instead
      storageType: "minio" # support storage type: local, minio, s3, aws, gcp, ali(aliyun), azure, tc(tencent)
      
      address: localhost # Address of MinIO/S3
      port: 9000   # Port of MinIO/S3
      accessKeyID: minioadmin  # accessKeyID of MinIO/S3
      secretAccessKey: minioadmin # MinIO/S3 encryption string
      useSSL: false # Access to MinIO/S3 with SSL
      useIAM: false
      iamEndpoint: ""
      
      bucketName: "bucket_A" # Milvus Bucket name in MinIO/S3, make it the same as your milvus instance
      rootPath: "files" # Milvus storage root path in MinIO/S3, make it the same as your milvus instance
    
      # Backup storage credentials
      backupAccessKeyID: minioadmin  # accessKeyID of MinIO/S3
      backupSecretAccessKey: minioadmin # MinIO/S3 encryption string
      
      backupBucketName: "bucket_B" # Bucket name to store backup data. Backup data will store to backupBucketName/backupRootPath
      backupRootPath: "backup" # Rootpath to store backup data. Backup data will store to backupBucketName/backupRootPath
    
  • minio.bucketName: Nama bucket yang digunakan untuk penyimpanan data di milvus_A. Dalam contoh ini, atur ke bucket_A.

  • minio.rootPath: Jalur akar di dalam bucket tempat data dari milvus_A disimpan. Dalam contoh ini, atur ke files.

  • minio.backupBucketName: Nama bucket yang digunakan untuk penyimpanan cadangan di milvus_B. Dalam contoh ini, milvus_A dan milvus_B menggunakan bucket yang berbeda. Oleh karena itu, atur ke bucket_B.

  • minio.backupRootPath: Jalur akar di dalam bucket yang ditentukan untuk menyimpan berkas cadangan di milvus_B. Dalam contoh ini, atur ke backup.

Langkah 3: Buat cadangan

Setelah backup.yaml disimpan, buat cadangan bernama my_backup:

./milvus-backup create -c coll -n my_backup --config configs/backup.yaml

Perintah ini membuat cadangan bucket_B/backup/my_backup di penyimpanan objek untuk koleksi coll.

Kembalikan cadangan ke milvus_B

Langkah 1: Konfigurasikan pengaturan pemulihan

Ulangi langkah 2 untuk mengubah konfigurasi pemulihan ke ` milvus_B`, pastikan ` minio.bucketName ` diatur ke ` bucket_B`.

Berikut adalah contoh konfigurasi:

...
# milvus proxy address, compatible to milvus.yaml
milvus:
  address: milvus_B
  port: 19530
  authorizationEnabled: false
  # tls mode values [0, 1, 2]
  # 0 is close, 1 is one-way authentication, 2 is two-way authentication.
  tlsMode: 0
  user: "root"
  password: "Milvus"
  
# Related configuration of minio, which is responsible for data persistence for Milvus.
minio:
  # cloudProvider: "minio" # deprecated use storageType instead
  storageType: "minio" # support storage type: local, minio, s3, aws, gcp, ali(aliyun), azure, tc(tencent)
  
  address: localhost # Address of MinIO/S3
  port: 9000   # Port of MinIO/S3
  accessKeyID: minioadmin  # accessKeyID of MinIO/S3
  secretAccessKey: minioadmin # MinIO/S3 encryption string
  useSSL: false # Access to MinIO/S3 with SSL
  useIAM: false
  iamEndpoint: ""
  
  bucketName: "bucket_B" # Milvus Bucket name in MinIO/S3, make it the same as your milvus instance
  rootPath: "files" # Milvus storage root path in MinIO/S3, make it the same as your milvus instance

  # Backup storage credentials
  backupAccessKeyID: minioadmin  # accessKeyID of MinIO/S3
  backupSecretAccessKey: minioadmin # MinIO/S3 encryption string
  
  backupBucketName: "bucket_B" # Bucket name to store backup data. Backup data will store to backupBucketName/backupRootPath
  backupRootPath: "backup" # Rootpath to store backup data. Backup data will store to backupBucketName/backupRootPath
...

Langkah 2: Pulihkan cadangan

Pulihkan cadangan ke milvus_B:

./milvus-backup restore -c coll -n my_backup -s _bak --config configs/backup.yaml

Perintah ini memulihkan cadangan ke dalam koleksi baru bernama coll_bak di milvus_B, menggunakan akar penyimpanan yang dikonfigurasi pada instance tujuan, yaitu bucket_B/files.

Pada Backup 0.5.16, opsi -c yang sudah tidak direkomendasikan lagi memilih nama koleksi dalam cadangan, sebelum _bak diterapkan. Penggantinya pada versi 0.6.0, --filter, menggunakan nama target sebagai gantinya; lihat Perbarui perintah CLI.

Setelah pemulihan, pastikan bahwa coll_bak ada, buat indeks vektor yang sesuai jika diperlukan, dan bandingkan jumlah entitas, nilai representatif, serta hasil pencariannya dengan baseline yang diambil sebelum pencadangan. Perintah yang berhasil saja tidak menjamin keakuratan data.