خريطة طريق Milvus

🌌 نحو قاعدة البيانات متعددة الوسائط من الجيل التالي و Vector Lakebase

خريطة طريق منتجات Milvus

مرحبًا بكم في خارطة طريق Milvus!

نحن ندخل Milvus في عصر جديد — قاعدة البيانات متعددة الوسائط من الجيل التالي — التي تشمل البيانات المنظمة وغير المنظمة، والاسترجاع في الوقت الفعلي والتحليلات غير المتصلة بالإنترنت، وأداء المجموعة الواحدة إلى بنية Vector Lakebase العالمية .

تحدد خارطة الطريق هذه الأهداف الأساسية لـ Milvus v3.0 (الإصدار التجريبي العام)، و Milvus v3.1 (التطوير طويل الأجل)، إلى جانب خطة تطوير Zilliz Vector Lakebase.

🌠 Milvus v3.0 (الإصدار التجريبي العام)

الإصدار التجريبي العام: مايو 2026

التركيز: بناء محرك استعلام أصلي دلالي مع ميزات الفرز والتجميع والاسترجاع متعدد المتجهات داخل المحرك، والأساس الأصلي لـ Zilliz Vector Lakebase بحيث تصل عمليات الحوسبة إلى البيانات دون الحاجة إلى الترحيل.

🎯 أبرز الميزات

🔹 تطور المخطط وأنواع البيانات

• دعم أوامر ALTER COLLECTION ADD COLUMN و DROP COLUMN أثناء التشغيل دون الحاجة إلى إعادة بناء الفهارس أو مقاطعة الخدمة.
• توفير مسارين للتعبئة اللاحقة للأعمدة الجديدة: مسار خارجي عبر Spark Connector، ومسار داخلي باستخدام متجهات BM25 المتفرقة التي يتم إنشاؤها تلقائيًا عند الكتابة.
• إدخال TEXT كنوع بيانات من الدرجة الأولى يخزن النص الأصلي جنبًا إلى جنب مع المتجهات مع دعم BM25 ومطابقة النص.

🔹 إصلاح شامل لتنفيذ الاستعلامات

• دمج الأمر Order By في المحرك مع الفرز لكل مقطع والفرز بالدمج عبر عقد الاستعلام.
• إضافة تجميع الاستعلامات بنمط SQL (GROUP BY مع COUNT و SUM و AVG و MIN و MAX) الذي يتم حسابه في النواة.
• إدخال جوانب البحث على نتائج الشبكات العصبية الاصطناعية (ANN) مع إحصائيات لكل مجموعة وجوانب فرعية متداخلة من جانب الخادم.
• دعم القواميس المخصصة وجداول المرادفات المسجلة على مستوى المجموعة لتحسين استرجاع نتائج CJK والمجالات المحددة.

🔹 دعم المتجهات المتعددة والتفاعل المتأخر

• إدخال StructList لتمثيل كيان واحد كصف واحد يحتوي على العديد من المتجهات، مع دعم أصلي للتفاعل المتأخر (ColBERT، ColPali) عبر MAX_SIM.
• دعم البحث على مستوى العناصر وعلى مستوى الكيانات في حقول StructList، مع سياسات مطابقة قابلة للتكوين للنتائج على مستوى الكيانات.
• إضافة ثلاث استراتيجيات استرجاع متعددة المتجهات: TokenANN (شاملة)، وMuvera (قائمة على الإسقاط، بدون تدريب)، وLemur (ضغط مُكتسب).

🔹 إصلاح عملية الاسترجاع والفهرسة

• إجراء إصلاح شامل للفهرس المقلوب المتفرق باستخدام ضغط الكتل، وتكمية الأوزان، وتنسيق دائم؛ وإدخال SINDI كخوارزمية IP المتفرقة الافتراضية.
• توسيع تغطية الفهرس باستخدام عائلة Faiss الكاملة (SVS، Panorama، PQ، IVFPQ، ScaNN) و MinHash DIDO للكشف عن التكرارات شبه المتطابقة.
• دعم الحقول المتجهة القابلة للإلغاء للتضمينات غير المتزامنة والطرائق المفقودة، مع التصفية التلقائية في وقت البحث.

🔹 بنية التخزين والحوسبة Vector Lakebase

• تقديم External Collection لفهرسة البيانات والاستعلام عنها في S3 / GCS / Azure في مكانها، مع دعم تنسيقات الجداول Lance وParquet وIceberg وVortex.
• إضافة Vortex، وهو تنسيق عمودي مفتوح، و Loon (Storage V3)، وهي طبقة تخزين ذات تنسيق مختلط لقراءة النقاط بكفاءة من تخزين الكائنات.
• دعم اللقطات في وقت محدد مع عزل على غرار MVCC للمعالجة الدفعية بينما يستمر الخدمة في الكتابة.
• التكامل كمصدر بيانات Spark DataSource v2 للقراءة من Milvus والكتابة إليه مباشرةً في خطوط أنابيب Spark / Databricks / EMR.

🪐 Milvus v3.1 (رؤية طويلة المدى)

الجدول الزمني: أواخر عام 2026 وما بعده

التركيز: ذكاء التخزين، وسلامة مسار الكتابة، وقابلية التوسع الحاسوبي، وتوسيع قابلية التشغيل البيني لـ Vector Lakebase.

🎯 أبرز الميزات

🔹 التخزين ومسار الكتابة

• إضافة دفع المسند مع تقليم فهرس الصفحة وفلتر بلوم في طبقة التخزين.
• تنفيذ إزالة التكرار للمفتاح الأساسي عند الاستيعاب لمنع التكرارات في وقت الكتابة.

🔹 الحوسبة والمرونة

• دعم الوظائف المعرفة من قبل المستخدم (UDFs) لتشغيل المنطق المخصص في المحرك، على مستوى البيانات.
• تمكين تقسيم الشرائح لإعادة تقسيم الشرائح مع نمو البيانات، مع دعم مفتاح التقسيم المخصص.

🔹 توسيع نطاق Spark و Vector Lakebase

• توسيع موصل Spark بمكتبة أكثر ثراءً من مشغلات الدُفعات الأصلية.
• إضافة إمكانيات تنسيق الجداول بما في ذلك السفر عبر الزمن، وتطور المخطط، والتراجع عن اللقطات.
• توسيع قابلية التشغيل البيني لـ Vector Lakebase من خلال الفهارس الخارجية المحدثة بواسطة CDC، ودعم Apache Paimon، وتنسيقات البيانات الإضافية.

🤝 البناء المشترك لمستقبل Milvus

Milvus هو مشروع مفتوح المصدر يقوده مجتمع عالمي من المطورين. ندعو جميع أعضاء المجتمع للمساعدة في تشكيل الجيل القادم من قواعد البيانات متعددة الوسائط:

• 💬 مشاركة الملاحظات: اقترح ميزات جديدة أو أفكارًا للتحسين على GitHub Discussions.

• 🐛 الإبلاغ عن المشكلات: أبلغ عن الأخطاء عبر GitHub Issues.

• 🔧 المساهمة بالكود: أرسل طلبات سحب (PRs) وساعد في بناء الميزات الأساسية.

  • طلبات السحب (Pull Requests): ساهم مباشرةً في قاعدة الكود الخاصة بنا. سواء كنت تعمل على إصلاح الأخطاء البرمجية أو إضافة ميزات أو تحسين الوثائق، فإن مساهماتك مرحب بها.
  • دليل التطوير: راجع دليل المساهمين للحصول على إرشادات حول المساهمة في الكود.

• 🗣️ انضم إلى المحادثة: اطرح أسئلة وتعرف على القائمين على الصيانة على Discord، أو خلال ساعات العمل في Milvus، أو عبر جميع قنوات المجتمع.

• ⭐ انشر الخبر: شارك أفضل الممارسات وقصص النجاح، وتابع Milvus على X و LinkedIn و YouTube.

👉 GitHub: milvus-io/milvus