🚀 Coba Zilliz Cloud, Milvus yang sepenuhnya terkelola, secara gratis—rasakan performa 10x lebih cepat! Coba Sekarang>>

milvus-logo
LFAI
Beranda

Gambaran Umum Migrasi Milvus

Menyadari beragamnya kebutuhan pengguna, Milvus telah memperluas alat migrasi untuk tidak hanya memfasilitasi peningkatan dari versi Milvus 1.x sebelumnya, tetapi juga untuk memungkinkan integrasi data yang lancar dari sistem lain seperti Elasticsearch dan Faiss. Proyek migrasi Milvus dirancang untuk menjembatani kesenjangan antara lingkungan data yang bervariasi ini dan kemajuan terbaru dalam teknologi Milvus, memastikan Anda dapat memanfaatkan fitur dan kinerja yang lebih baik dengan mulus.

Migrasi yang didukung

Alat migrasi Milvus mendukung berbagai jalur migrasi untuk mengakomodasi kebutuhan pengguna yang berbeda:

Fitur

Milvus-migrasi dirancang dengan fitur-fitur yang kuat untuk menangani beragam skenario migrasi:

  • Berbagai metode interaksi: Anda dapat melakukan migrasi melalui antarmuka baris perintah atau melalui API Restful, dengan fleksibilitas dalam cara migrasi dijalankan.
  • Dukungan untuk berbagai format file dan penyimpanan awan: Alat migrasi Milvus dapat menangani data yang disimpan dalam file lokal maupun dalam solusi penyimpanan awan seperti S3, OSS, dan GCP, memastikan kompatibilitas yang luas.
  • Penanganan tipe data: Milvus-migration mampu menangani data vektor dan bidang skalar, menjadikannya pilihan serbaguna untuk kebutuhan migrasi data yang berbeda.

Arsitektur

Arsitektur Milvus-migration dirancang secara strategis untuk memfasilitasi proses streaming, penguraian, dan penulisan data yang efisien, sehingga memungkinkan kemampuan migrasi yang kuat di berbagai sumber data.

Milvus-migration architecture Arsitektur migrasi Milvus

Pada gambar sebelumnya:

  • Sumber data: Milvus-migration mendukung berbagai sumber data termasuk Elasticsearch melalui API gulir, file data penyimpanan lokal atau cloud, dan basis data Milvus 1.x. Semua ini diakses dan dibaca dengan cara yang efisien untuk memulai proses migrasi.
  • Pipa aliran:
    • Proses penguraian: Data dari sumber diurai sesuai dengan formatnya. Misalnya, untuk sumber data dari Elasticsearch, parser format Elasticsearch digunakan, sementara format lain menggunakan parser masing-masing. Langkah ini sangat penting untuk mengubah data mentah menjadi format terstruktur yang dapat diproses lebih lanjut.
    • Proses konversi: Setelah penguraian, data mengalami konversi di mana bidang disaring, tipe data dikonversi, dan nama tabel disesuaikan sesuai dengan target skema Milvus 2.x. Hal ini memastikan bahwa data sesuai dengan struktur dan tipe yang diharapkan dalam Milvus.
  • Penulisan dan pemuatan data:
    • Menulis data: Data yang telah diproses ditulis ke dalam file JSON atau NumPy perantara, yang siap untuk dimuat ke dalam Milvus 2.x.
    • Memuat data: Data akhirnya dimuat ke dalam Milvus 2.x menggunakan operasi BulkInsert, yang secara efisien menulis data dalam jumlah besar ke dalam sistem penyimpanan Milvus, baik yang berbasis cloud maupun filestore.

Rencana masa depan

Tim pengembang berkomitmen untuk meningkatkan migrasi Milvus dengan fitur-fitur seperti:

  • Dukungan untuk lebih banyak sumber data: Berencana untuk memperluas dukungan untuk database dan sistem file tambahan, seperti Pinecone, Chroma, Qdrant. Jika Anda membutuhkan dukungan untuk sumber data tertentu, silakan kirimkan permintaan Anda melalui tautan masalah GitHub ini.
  • Penyederhanaan perintah: Upaya untuk menyederhanakan proses perintah agar lebih mudah dieksekusi.
  • Pengurai / konversiSPI: Arsitektur ini diharapkan dapat menyertakan alat bantu Service Provider Interface (SPI) untuk penguraian dan konversi. Alat-alat ini memungkinkan implementasi khusus yang dapat disambungkan oleh pengguna ke dalam proses migrasi untuk menangani format data atau aturan konversi tertentu.
  • Memulai kembali pos pemeriksaan: Memungkinkan migrasi dilanjutkan dari checkpoint terakhir untuk meningkatkan keandalan dan efisiensi jika terjadi gangguan. Titik penyimpanan akan dibuat untuk memastikan integritas data dan disimpan dalam database seperti SQLite atau MySQL untuk melacak kemajuan proses migrasi.

Coba Milvus yang Dikelola secara Gratis

Zilliz Cloud bebas masalah, didukung oleh Milvus dan 10x lebih cepat.

Mulai
Umpan balik

Apakah halaman ini bermanfaat?