Dari Milvus 2.3.x
Panduan ini menyediakan proses langkah demi langkah yang komprehensif untuk memigrasi data dari Milvus 2.3.x ke Milvus 2.3.x atau yang lebih tinggi.
Prasyarat
- Versi perangkat lunak:
- Milvus Sumber: 2.3.0+ (Alat ini menggunakan iterator untuk mengambil data koleksi sumber, sehingga Milvus sumber harus versi 2.3.0 atau lebih tinggi).
- Milvus target: 2.3.0+
- Alat yang dibutuhkan:
- Alatmigrasi Milvus. Untuk detail instalasi, lihat Menginstal Alat Migrasi.
- Persiapan data:
- Pastikan bahwa koleksi Milvus sumber telah dimuat dan siap untuk ekspor data.
- Jika Milvus target tidak berisi koleksi yang sesuai dengan koleksi sumber, alat migrasi-milvus akan secara otomatis membuatnya. Perhatikan bahwa setelah migrasi, koleksi target tidak akan diindeks, dan Anda harus mengindeks koleksi tersebut secara manual.
Mengkonfigurasi berkas migrasi
Simpan berkas konfigurasi migrasi contoh sebagai migration.yaml
dan ubahlah konfigurasinya sesuai dengan kondisi Anda yang sebenarnya. Anda bebas meletakkan berkas konfigurasi di direktori lokal mana pun.
dumper:
worker:
workMode: milvus2x
reader:
bufferSize: 500
meta:
mode: config
version: 2.3.0
collection: src_table_name
source:
milvus2x:
endpoint: {milvus2x_domain}:{milvus2x_port}
username: xxxx
password: xxxxx
target:
milvus2x:
endpoint: {milvus2x_domain}:{milvus2x_port}
username: xxxx
password: xxxxx
Tabel berikut ini menjelaskan parameter dalam berkas konfigurasi contoh. Untuk informasi lebih lanjut, lihat Migrasi Milvus: Milvus2.x ke Milvus2.x.
dumper
Parameter Deskripsi dumper.worker.workMode
Mode operasional dari pekerjaan migrasi. Ditetapkan ke milvus2x saat memigrasi dari Milvus 2.x. dumper.worker.reader.bufferSize
Ukuran buffer untuk dibaca dari Milvus 2.x dalam setiap batch. meta
Parameter Deskripsi meta.mode
Menentukan dari mana file meta dibaca. Diatur ke config, mengindikasikan bahwa meta config dapat diperoleh dari file migration.yaml ini. meta.version
Sumber versi Milvus. Diatur ke 2.3.0 atau lebih tinggi. meta.collection
Nama koleksi sumber. source
Parameter Deskripsi source.milvus2x.endpoint
Alamat server Milvus sumber. source.milvus2x.username
Nama pengguna untuk server Milvus sumber. Parameter ini diperlukan jika autentikasi pengguna diaktifkan untuk server Milvus Anda. Untuk informasi lebih lanjut, lihat Mengaktifkan Autentikasi. source.milvus2x.password
Kata sandi untuk server Milvus sumber. Parameter ini diperlukan jika autentikasi pengguna diaktifkan untuk server Milvus Anda. Untuk informasi lebih lanjut, lihat Mengaktifkan Autentikasi. target
Parameter Deskripsi target.milvus2x.endpoint
Alamat server Milvus target. target.milvus2x.username
Nama pengguna untuk server Milvus target. Parameter ini diperlukan jika autentikasi pengguna diaktifkan untuk server Milvus Anda. Untuk informasi lebih lanjut, lihat Mengaktifkan Autentikasi. target.milvus2x.password
Kata sandi untuk server Milvus target. Parameter ini diperlukan jika autentikasi pengguna diaktifkan untuk server Milvus Anda. Untuk informasi lebih lanjut, lihat Mengaktifkan Autentikasi.
Memulai tugas migrasi
Anda memiliki dua opsi untuk memulai tugas migrasi - menggunakan CLI atau membuat permintaan API. Pilih salah satu yang paling sesuai dengan kebutuhan Anda.
Opsi 1: Menggunakan CLI
Mulai tugas migrasi dengan perintah berikut. Ganti {YourConfigFilePath}
dengan direktori lokal tempat berkas konfigurasi migration.yaml
berada.
./milvus-migration start --config=/{YourConfigFilePath}/migration.yaml
Pantau log untuk mengetahui pembaruan kemajuan. Log migrasi yang berhasil harus menyertakan entri seperti:
[INFO] [migration/milvus2x_starter.go:79] ["=================>JobProcess!"] [Percent=100]
[INFO] [migration/milvus2x_starter.go:27] ["[Starter] migration Milvus2x to Milvus2x finish!!!"] [Cost=94.877717375]
[INFO] [starter/starter.go:109] ["[Starter] Migration Success!"] [Cost=94.878243583]
Opsi 2: Membuat permintaan API
Anda juga dapat menggunakan API Restful untuk menjalankan migrasi. Mulai server API dengan:
./milvus-migration server run -p 8080
Setelah server berhasil dijalankan, letakkan berkas migration.yaml
di direktori configs/
pada proyek dan mulai migrasi dengan menggunakan:
curl -XPOST http://localhost:8080/api/v1/start
Verifikasi hasilnya
Setelah tugas migrasi selesai, gunakan Attu untuk melihat jumlah entitas yang dimigrasi. Selain itu, Anda dapat membuat indeks dan memuat koleksi di Attu. Untuk informasi lebih lanjut, lihat Attu dan get_collection_stats().
Opsi konfigurasi tambahan
Selain konfigurasi dasar yang disebutkan di atas, Anda juga dapat menambahkan pengaturan tambahan berdasarkan kebutuhan spesifik Anda.
Migrasi bidang selektif: Jika Anda hanya perlu memigrasikan bidang tertentu dalam koleksi daripada semua bidang, tentukan bidang yang akan dimigrasikan di bagian
meta
pada filemigration.yaml
.meta: fields: - name: id - name: title_vector - name: reading_time
Koleksi target khusus: Untuk menyesuaikan properti koleksi target, tambahkan konfigurasi terkait di bagian
meta
pada filemigration.yaml
.meta: milvus: collection: target_collection_name shardNum: 2 closeDynamicField: false consistencyLevel: Customized
Untuk informasi rinci, lihat Migrasi Milvus: Milvus2.x ke Milvus2.x.