🚀 جرب Zilliz Cloud، الـ Milvus المدارة بالكامل، مجاناً — تجربة أداء أسرع بـ 10 أضعاف! جرب الآن>>

milvus-logo
LFAI
الصفحة الرئيسية

نظرة عامة على ترحيل ميلفوس

إدراكًا للاحتياجات المتنوعة لقاعدة المستخدمين، قامت ميلفوس بتوسيع أدوات الترحيل الخاصة بها ليس فقط لتسهيل الترقيات من إصدارات ميلفوس 1.x السابقة ولكن أيضًا لتمكين التكامل السلس للبيانات من أنظمة أخرى مثل Elasticsearch وFaiss. تم تصميم مشروع Milvus-migration لسد الفجوة بين بيئات البيانات المتنوعة هذه وأحدث التطورات في تقنية Milvus، مما يضمن لك الاستفادة من الميزات المحسنة والأداء المحسن بسلاسة.

عمليات الترحيل المدعومة

تدعم أداة Milvus-migration مجموعة متنوعة من مسارات الترحيل لاستيعاب احتياجات المستخدمين المختلفة:

  • Elasticsearch إلى Milvus 2.x: تمكين المستخدمين من ترحيل البيانات من بيئات Elasticsearch للاستفادة من إمكانيات البحث المتجه المحسّنة في Milvus.
  • فايس إلى ميلفوس 2.x: توفير دعم تجريبي لنقل البيانات من Faiss، وهي مكتبة شائعة للبحث الفعال عن التشابه.
  • Milvus 1.x إلى Milvus 2.x: ضمان نقل البيانات من الإصدارات السابقة بسلاسة إلى الإطار الأحدث.
  • Milvus 2.3.x إلى Milvus 2.3.x أو أعلى: توفير مسار ترحيل لمرة واحدة للمستخدمين الذين قاموا بالترحيل بالفعل إلى 2.3.x.

الميزات

تم تصميم Milvus-migration بميزات قوية للتعامل مع سيناريوهات الترحيل المتنوعة:

  • طرق تفاعل متعددة: يمكنك إجراء عمليات الترحيل عبر واجهة سطر الأوامر أو من خلال واجهة برمجة التطبيقات المريحة، مع مرونة في كيفية تنفيذ عمليات الترحيل.
  • دعم مختلف تنسيقات الملفات والتخزين السحابي: يمكن لأداة الترحيل Milvus-migration التعامل مع البيانات المخزنة في الملفات المحلية وكذلك في حلول التخزين السحابية مثل S3 و OSS و GCP، مما يضمن توافقًا واسعًا.
  • معالجة نوع البيانات: أداة Milvus-migration قادرة على التعامل مع كل من البيانات المتجهة والحقول القياسية، مما يجعلها خيارًا متعدد الاستخدامات لتلبية احتياجات ترحيل البيانات المختلفة.

البنية

صُممت بنية برنامج Milvus-migration بشكل استراتيجي لتسهيل عمليات تدفق البيانات وتحليلها وكتابتها بكفاءة، مما يتيح قدرات ترحيل قوية عبر مصادر البيانات المختلفة.

Milvus-migration architecture بنية Milvus-migration

في الشكل السابق:

  • مصدر البيانات: يدعم ترحيل Milvus-migration مصادر بيانات متعددة بما في ذلك Elasticsearch عبر واجهة برمجة تطبيقات التمرير وملفات بيانات التخزين المحلي أو السحابي وقواعد بيانات Milvus 1.x. يتم الوصول إليها وقراءتها بطريقة مبسطة لبدء عملية الترحيل.
  • خط أنابيب التدفق:
    • عملية التحليل: يتم تحليل البيانات من المصادر وفقًا لتنسيقها. على سبيل المثال، بالنسبة لمصدر البيانات من Elasticsearch، يتم استخدام محلل تنسيق Elasticsearch، بينما تستخدم التنسيقات الأخرى محللون معنيون. هذه الخطوة ضرورية لتحويل البيانات الأولية إلى تنسيق منظم يمكن معالجته بشكل أكبر.
    • عملية التحويل: بعد التحليل، تخضع البيانات لعملية تحويل حيث تتم تصفية الحقول، وتحويل أنواع البيانات، وتعديل أسماء الجداول وفقًا لمخطط Milvus 2.x المستهدف. هذا يضمن توافق البيانات مع البنية والأنواع المتوقعة في ملفوس.
  • كتابة البيانات وتحميلها:
    • كتابة البيانات: تتم كتابة البيانات المعالجة في ملفات JSON أو NumPy الوسيطة، وتكون جاهزة للتحميل في Milvus 2.x.
    • تحميل البيانات: يتم تحميل البيانات أخيرًا إلى Milvus 2.x باستخدام عملية BulkInsert، والتي تكتب بكفاءة كميات كبيرة من البيانات في أنظمة تخزين Milvus، سواءً كانت سحابية أو مخزن ملفات.

الخطط المستقبلية

يلتزم فريق التطوير بتعزيز ترحيل Milvus بميزات مثل:

  • دعم المزيد من مصادر البيانات: خطط لتوسيع الدعم ليشمل قواعد بيانات وأنظمة ملفات إضافية، مثل Pinecone و Chroma و Qdrant. إذا كنت بحاجة إلى دعم مصدر بيانات معين، يرجى إرسال طلبك من خلال رابط مشكلة GitHub هذا.
  • تبسيط الأوامر: جهود لتبسيط عملية الأوامر لتسهيل التنفيذ.
  • محلل / تحويلSPI: من المتوقع أن تتضمن البنية أدوات واجهة مزود الخدمة (SPI) لكل من التحليل والتحويل. تسمح هذه الأدوات بالتطبيقات المخصصة التي يمكن للمستخدمين توصيلها في عملية الترحيل للتعامل مع تنسيقات بيانات أو قواعد تحويل محددة.
  • استئناف نقطة التدقيق: تمكين عمليات الترحيل من استئناف الترحيل من آخر نقطة تدقيق لتعزيز الموثوقية والكفاءة في حالة الانقطاعات. سيتم إنشاء نقاط حفظ لضمان تكامل البيانات وتخزينها في قواعد بيانات مثل SQLite أو MySQL لتتبع تقدم عملية الترحيل.

جرب Managed Milvus مجاناً

Zilliz Cloud خالي من المتاعب، ويعمل بواسطة Milvus ويعمل بسرعة 10 أضعاف.

ابدأ
التعليقات

هل كانت هذه الصفحة مفيدة؟