🚀 Coba Zilliz Cloud, Milvus yang sepenuhnya terkelola, secara gratis—rasakan performa 10x lebih cepat! Coba Sekarang>>

milvus-logo
LFAI
Beranda

Dari Milvus 1.x

Panduan ini menyediakan proses langkah demi langkah yang komprehensif untuk memindahkan data dari Milvus 1.x (termasuk 0.9.x dan yang lebih baru) ke Milvus 2.x. Dengan mengikuti panduan ini, Anda akan dapat memindahkan data Anda secara efisien, dengan memanfaatkan fitur-fitur canggih Milvus 2.x dan meningkatkan kinerja.

Prasyarat

  • Versi perangkat lunak:
    • Milvus Sumber: 0.9.x hingga 1.x
    • Target Milvus: 2.x
  • Alat yang dibutuhkan:

Mengekspor metadata dari instalasi Milvus sumber

Untuk menyiapkan data migrasi untuk Milvus 0.9.x hingga 1.x, hentikan Milvus sumber atau setidaknya hentikan operasi DML di dalamnya.

  1. Ekspor metadata dari instalasi Milvus sumber ke meta.json.

    • Untuk instalasi yang menggunakan MySQL sebagai backend, jalankan
    ./milvus-migration export -m "user:password@tcp(adderss)/milvus?charset=utf8mb4&parseTime=True&loc=Local" -o outputDir
    
    • Untuk instalasi yang menggunakan SQLite sebagai backend, jalankan
    ./milvus-migration export -s /milvus/db/meta.sqlite -o outputDir
    
  2. Salin folder tables dari instalasi Milvus Anda, lalu pindahkan folder meta.json dan tables ke folder kosong.

    Setelah langkah ini selesai, struktur folder kosong akan terlihat seperti ini:

    migration_data
    ├── meta.json
    └── tables
    
  3. Unggah folder yang telah disiapkan pada langkah sebelumnya ke ember penyimpanan blok S3 atau langsung gunakan folder lokal ini pada bagian selanjutnya.

Konfigurasikan file migrasi

Simpan file konfigurasi migrasi contoh sebagai migration.yaml dan modifikasi konfigurasi berdasarkan kondisi aktual Anda. Anda bebas meletakkan file konfigurasi di direktori lokal mana pun.

dumper:
  worker:
    limit: 2
    workMode: milvus1x
    reader:
      bufferSize: 1024
    writer:
      bufferSize: 1024
loader:
  worker:
    limit: 16
meta:
  mode: local
  localFile: /outputDir/test/meta.json
source:
  mode: local
  local:
    tablesDir: /db/tables/
target:
  mode: remote
  remote:
    outputDir: "migration/test/xx"
    ak: xxxx
    sk: xxxx
    cloud: aws
    region: us-west-2
    bucket: xxxxx
    useIAM: true
    checkBucket: false
  milvus2x:
    endpoint: "{yourMilvus2_xServerAddress}:{port}"
    username: xxxx
    password: xxxx

Tabel berikut ini menjelaskan parameter dalam berkas konfigurasi contoh. Untuk daftar lengkap konfigurasi, lihat Migrasi Milvus: Milvus1.x ke Milvus 2.x.

  • dumper

    ParameterDeskripsi
    dumper.worker.limitKonkurensi utas dumper.
    dumper.worker.workModeMode operasional pekerjaan migrasi. Diatur ke milvus1x saat melakukan migrasi dari Milvus 1.x.
    dumper.worker.reader.bufferSizeUkuran buffer untuk dibaca dari Milvus 1.x dalam setiap batch. Unit: KB.
    dumper.worker.writer.bufferSizeUkuran buffer untuk menulis ke Milvus 2.x dalam setiap batch. Unit: KB.
  • loader

    ParameterDeskripsi
    loader.worker.limitKonkurensi utas pemuat.
  • meta

    ParameterDeskripsi
    meta.modeMenentukan dari mana file meta meta.json dibaca. Nilai yang valid: local, remote, mysql, sqlite.
    meta.localFileJalur direktori lokal tempat file meta.json berada. Konfigurasi ini hanya digunakan jika meta.mode disetel ke local. Untuk konfigurasi meta lainnya, lihat README_1X.
  • source

    ParameterDeskripsi
    source.modeMenentukan dari mana file sumber dibaca. Nilai yang valid:
    - local: membaca file dari disk lokal.
    - remote: membaca file dari penyimpanan jarak jauh.
    source.local.tablesDirJalur direktori tempat file sumber berada. Misalnya, /db/tables/.
  • target

    ParameterDeskripsi
    target.modeLokasi penyimpanan untuk file yang dibuang. Nilai yang valid:
    - local: Menyimpan file yang dibuang di disk lokal.
    - remote: Menyimpan file yang dibuang di penyimpanan objek.
    target.remote.outputDirJalur direktori keluaran di ember penyimpanan cloud.
    target.remote.akKunci akses untuk penyimpanan Milvus 2.x.
    target.remote.skKunci rahasia untuk penyimpanan Milvus 2.x.
    target.remote.cloudPenyedia layanan penyimpanan awan. Contoh nilai: aws, gcp, azure.
    target.remote.regionWilayah penyimpanan cloud. Dapat berupa nilai apa pun jika Anda menggunakan MinIO lokal.
    target.remote.bucketNama bucket untuk menyimpan data. Nilainya harus sama dengan konfigurasi di Milvus 2.x. Untuk informasi lebih lanjut, lihat Konfigurasi Sistem.
    target.remote.useIAMApakah akan menggunakan Peran IAM untuk koneksi.
    target.remote.checkBucketApakah akan memeriksa apakah bucket yang ditentukan ada dalam penyimpanan objek.
    target.milvus2x.endpointAlamat server Milvus target.
    target.milvus2x.usernameNama pengguna untuk server Milvus 2.x. Parameter ini diperlukan jika autentikasi pengguna diaktifkan untuk server Milvus Anda. Untuk informasi lebih lanjut, lihat Mengaktifkan Autentikasi.
    target.milvus2x.passwordKata sandi untuk server Milvus 2.x. Parameter ini diperlukan jika autentikasi pengguna diaktifkan untuk server Milvus Anda. Untuk informasi lebih lanjut, lihat Mengaktifkan Autentikasi.

Memulai tugas migrasi

  1. Mulai tugas migrasi dengan perintah berikut. Ganti {YourConfigFilePath} dengan direktori lokal tempat berkas konfigurasi migration.yaml berada.

    ./milvus-migration  dump  --config=/{YourConfigFilePath}/migration.yaml
    

    Perintah di atas akan mengubah data sumber pada Milvus 1.x menjadi berkas NumPy, dan kemudian menggunakan operasi bulkInsert untuk menulis data ke bucket target.

  2. Setelah file NumPy dihasilkan, impor file-file ini ke dalam Milvus 2.x dengan perintah berikut. Ganti {YourConfigFilePath} dengan direktori lokal di mana berkas konfigurasi migration.yaml berada.

    ./milvus-migration  load  --config=/{YourConfigFilePath}/migration.yaml
    

Verifikasi hasil

Setelah tugas migrasi dijalankan, Anda dapat melakukan panggilan API atau menggunakan Attu untuk melihat jumlah entitas yang dimigrasi. Untuk informasi lebih lanjut, lihat Attu dan get_collection_stats().

Coba Milvus yang Dikelola secara Gratis

Zilliz Cloud bebas masalah, didukung oleh Milvus dan 10x lebih cepat.

Mulai
Umpan balik

Apakah halaman ini bermanfaat?