فتح أداء ميلفوس 8 × 8 أضعاف مع Cloudian HyperStore و NVIDIA RDMA للتخزين S3

نُشر هذا المنشور في الأصل على Cloudian ويُعاد نشره هنا بإذن.

تعاونت Cloudian مع NVIDIA لإضافة دعم RDMA للتخزين المتوافق مع S3 إلى حل HyperStore® الخاص بها، مستفيدة من خبرتها التي تزيد عن 13 عامًا في تنفيذ واجهة برمجة تطبيقات S3. وباعتبارها منصة قائمة على واجهة برمجة التطبيقات S3 مع بنية معالجة متوازية، فإن Cloudian مناسبة بشكل فريد للمساهمة في تطوير هذه التقنية والاستفادة منها. يستفيد هذا التعاون من خبرة Cloudian العميقة في بروتوكولات تخزين الكائنات وريادة NVIDIA في الحوسبة وتسريع الشبكة لإنشاء حل يدمج بسلاسة بين الحوسبة عالية الأداء والتخزين على نطاق المؤسسة.

أعلنت NVIDIA عن التوفر العام القادم لتقنية RDMA للتخزين المتوافق مع S3 (الوصول المباشر للذاكرة عن بُعد)، مما يمثل علامة فارقة في تطور البنية التحتية للذكاء الاصطناعي. تعد هذه التقنية المتطورة بتحويل كيفية تعامل المؤسسات مع متطلبات البيانات الضخمة لأحمال عمل الذكاء الاصطناعي الحديثة، مما يوفر تحسينات غير مسبوقة في الأداء مع الحفاظ على قابلية التوسع والبساطة التي جعلت من تخزين الكائنات المتوافق مع S3 أساس الحوسبة السحابية.

ما هو RDMA للتخزين المتوافق مع S3؟

يمثل هذا الإطلاق تقدماً أساسياً في كيفية تواصل أنظمة التخزين مع مسرعات الذكاء الاصطناعي. تتيح هذه التقنية إمكانية النقل المباشر للبيانات بين تخزين الكائنات المتوافق مع واجهة برمجة التطبيقات S3 وذاكرة وحدة معالجة الرسومات، متجاوزةً بذلك مسارات البيانات التقليدية التي تتوسطها وحدة المعالجة المركزية. على عكس بنيات التخزين التقليدية التي توجّه جميع عمليات نقل البيانات عبر وحدة المعالجة المركزية وذاكرة النظام - مما يؤدي إلى اختناقات وزمن انتقال - تنشئ تقنية RDMA للتخزين المتوافق مع S3 طريقاً سريعاً مباشراً من التخزين إلى وحدة معالجة الرسومات.

تعمل هذه التقنية في جوهرها على التخلص من الخطوات الوسيطة من خلال مسار مباشر يقلل من زمن الاستجابة ويقلل بشكل كبير من متطلبات معالجة وحدة المعالجة المركزية ويقلل بشكل كبير من استهلاك الطاقة. والنتيجة هي أنظمة تخزين يمكنها توصيل البيانات بالسرعة التي تتطلبها وحدات معالجة الرسومات الحديثة لتطبيقات الذكاء الاصطناعي المتطلبة.

تحافظ هذه التقنية على التوافق مع واجهات برمجة التطبيقات S3 المنتشرة في كل مكان مع إضافة مسار البيانات عالي الأداء هذا. لا يزال يتم إصدار الأوامر من خلال بروتوكولات التخزين القياسية المستندة إلى واجهة برمجة التطبيقات S3، ولكن النقل الفعلي للبيانات يحدث عبر RDMA مباشرةً إلى ذاكرة وحدة معالجة الرسومات، متجاوزاً وحدة المعالجة المركزية بالكامل ومزيلًا النفقات الزائدة لمعالجة بروتوكول TCP.

نتائج أداء مذهلة

إن التحسينات في الأداء التي تقدمها RDMA للتخزين المتوافق مع S3 ليست أقل من تحويلية. توضح اختبارات العالم الحقيقي قدرة التقنية على التخلص من اختناقات الإدخال/الإخراج للتخزين التي تقيد أعباء عمل الذكاء الاصطناعي.

تحسينات دراماتيكية في السرعة:

• تم قياسإنتاجية 35 جيجابايت/ث لكل عقدة (قراءة) تم قياسها، مع قابلية التوسع الخطي عبر المجموعات

• قابلية التوسع إلى تيرابايت/ثانية مع بنية المعالجة المتوازية من Cloudian

• تحسين الإنتاجية بمعدل 3-5 أضعاف مقارنةً بتخزين الكائنات التقليدي القائم على TCP

مكاسب كفاءة الموارد:

• تقليل استخدام وحدة المعالجة المركزية بنسبة 90% من خلال إنشاء مسارات بيانات مباشرة إلى وحدات معالجة الرسومات

• زيادة استخدام وحدة معالجة الرسوميات مع التخلص من الاختناقات

• انخفاض كبير في استهلاك الطاقة من خلال تقليل النفقات العامة للمعالجة

• تخفيض تكلفة التخزين بالذكاء الاصطناعي

تعزيز الأداء 8 أضعاف الأداء على Milvus بواسطة Zilliz Vector DB

تتجلى هذه التحسينات في الأداء بشكل خاص في عمليات قواعد البيانات المتجهة، حيث أظهر التعاون بين Cloudian و Zilliz باستخدام وحدات معالجة الرسومات NVIDIA cuVS و NVIDIA L40S تعزيزاً للأداء بمقدار 8 أضعاف في عمليات Milvus عند مقارنتها بالأنظمة القائمة على وحدة المعالجة المركزية ونقل البيانات المستند إلى TCP. يمثل هذا تحولاً جوهرياً من التخزين الذي يمثل قيداً إلى التخزين الذي يمكّن تطبيقات الذكاء الاصطناعي من تحقيق إمكاناتها الكاملة.

لماذا تخزين الكائنات المستند إلى S3 API لأحمال عمل الذكاء الاصطناعي

يؤدي التقارب بين تقنية RDMA وبنية تخزين الكائنات إلى إنشاء الأساس المثالي للبنية التحتية للذكاء الاصطناعي، ومعالجة التحديات المتعددة التي قيدت أساليب التخزين التقليدية.

قابلية توسع إكسابايت لانفجار بيانات الذكاء الاصطناعي: تدفع أعباء عمل الذكاء الاصطناعي، لا سيما تلك التي تتضمن بيانات اصطناعية ومتعددة الوسائط، متطلبات التخزين إلى نطاق 100 بيتابايت وما بعدها. تتسع مساحة العنوان المسطحة لتخزين الكائنات بسلاسة من بيتابايت إلى إكسابايت، مما يستوعب النمو الهائل في مجموعات بيانات تدريب الذكاء الاصطناعي دون قيود التسلسل الهرمي التي تقيد الأنظمة القائمة على الملفات.

منصة موحدة لسير عمل الذكاء الاصطناعي الكامل: تشمل عمليات الذكاء الاصطناعي الحديثة استيعاب البيانات وتنقيتها وتدريبها وتدقيقها والاستدلال عليها - ولكل منها متطلبات أداء وسعة متميزة. يدعم تخزين الكائنات المتوافق مع S3 هذا الطيف بأكمله من خلال الوصول المتسق إلى واجهة برمجة التطبيقات، مما يلغي تعقيد وتكلفة إدارة مستويات تخزين متعددة. يمكن أن تتواجد بيانات التدريب والنماذج وملفات نقاط التدقيق ومجموعات بيانات الاستدلال في بحيرة بيانات واحدة عالية الأداء.

بيانات وصفية غنية لعمليات الذكاء الاصطناعي: عمليات الذكاء الاصطناعي الحرجة مثل البحث والتعداد تعتمد بشكل أساسي على البيانات الوصفية. تتيح إمكانيات البيانات الوصفية الغنية والقابلة للتخصيص التي يوفرها تخزين الكائنات إمكانية وضع علامات على البيانات والبحث عنها وإدارتها بكفاءة، وهي ضرورية لتنظيم البيانات واسترجاعها في عمليات تدريب نماذج الذكاء الاصطناعي المعقدة وسير عمل الاستدلال.

المزايا الاقتصادية والتشغيلية: يوفّر تخزين الكائنات المتوافق مع S3 تكلفة إجمالية أقل بنسبة تصل إلى 80% من التكلفة الإجمالية للملكية مقارنةً ببدائل تخزين الملفات، مع الاستفادة من الأجهزة المتوافقة مع معايير الصناعة والتوسع المستقل في السعة والأداء. تصبح هذه الكفاءة الاقتصادية بالغة الأهمية مع وصول مجموعات بيانات الذكاء الاصطناعي إلى نطاق المؤسسة.

أمن المؤسسات وحوكمتها: على عكس تطبيقات GPUDirect التي تتطلب تعديلات على مستوى النواة (kernel)، لا يتطلب RDMA للتخزين المتوافق مع S3 أي تغييرات في النواة الخاصة بالبائع، مما يحافظ على أمان النظام والامتثال التنظيمي. ويُعد هذا النهج ذا قيمة خاصة في قطاعات مثل الرعاية الصحية والمالية حيث يكون أمن البيانات والامتثال التنظيمي أمرًا بالغ الأهمية.

الطريق إلى الأمام

يمثل إعلان NVIDIA عن توافر RDMA للتخزين المتوافق مع S3 المتوفر بشكل عام أكثر من مجرد علامة فارقة تكنولوجية - فهو يشير إلى نضج بنية البنية التحتية للذكاء الاصطناعي. من خلال الجمع بين قابلية التوسع غير المحدودة لتخزين الكائنات والأداء المذهل للوصول المباشر إلى وحدة معالجة الرسومات، يمكن للمؤسسات أخيرًا بناء بنى تحتية للذكاء الاصطناعي تتناسب مع طموحاتها.

مع استمرار نمو أعباء عمل الذكاء الاصطناعي في التعقيد والتوسع، توفر RDMA للتخزين المتوافق مع S3 أساس التخزين الذي يمكّن المؤسسات من زيادة استثماراتها في الذكاء الاصطناعي مع الحفاظ على سيادة البيانات والبساطة التشغيلية. تعمل هذه التقنية على تحويل التخزين من عنق الزجاجة إلى عامل تمكين، مما يسمح لتطبيقات الذكاء الاصطناعي بتحقيق إمكاناتها الكاملة على نطاق المؤسسة.

بالنسبة للمؤسسات التي تخطط لخارطة طريق البنية الأساسية للذكاء الاصطناعي، يمثل التوافر العام لتقنية RDMA للتخزين المتوافق مع S3 بداية حقبة جديدة يتوافق فيها أداء التخزين مع متطلبات أعباء عمل الذكاء الاصطناعي الحديثة.

وجهات نظر الصناعة

مع تزايد أهمية الذكاء الاصطناعي في تقديم الرعاية الصحية، فإننا نسعى باستمرار إلى تعزيز أداء وكفاءة البنية التحتية لدينا. سيكون RDMA الجديد للتخزين المتوافق مع S3 من NVIDIA و Cloudian بالغ الأهمية لتحليل التصوير الطبي وتطبيقات الذكاء الاصطناعي التشخيصية لدينا، حيث يمكن أن تؤثر معالجة مجموعات البيانات الكبيرة بسرعة على رعاية المرضى بشكل مباشر، مع تقليل تكاليف نقل البيانات بين أجهزة التخزين القائمة على S3-API ومخازن NASD القائمة على SSD. - د. سوابنيل راني دكتور في الطب، دكتوراه في الطب، دكتوراه في الطب (DNB)، دكتوراه في علم الأمراض، دكتوراه في علم أمراض الكلى، دكتوراه في الطب التشخيصي والزمالة في علم الأورام، دكتوراه في علم الأمراض، أستاذ علم الأمراض، رئيس قسم علم الأمراض، مختبر الذكاء الاصطناعي/علم الأمراض والتصوير الحاسوبي - قسم علم الأورام الرقمي والحاسوبي، مركز تاتا التذكاري

"يؤكد إعلان NVIDIA المتوافق مع RDMA لـ S3 من NVIDIA قيمة استراتيجية البنية التحتية للذكاء الاصطناعي القائمة على Cloudian. نحن نمكّن المؤسسات من تشغيل ذكاء اصطناعي عالي الأداء على نطاق واسع مع الحفاظ على توافق واجهة برمجة التطبيقات S3 التي تحافظ على بساطة الترحيل وانخفاض تكاليف تطوير التطبيقات." - سونيل جوبتا، المؤسس المشارك والعضو المنتدب والرئيس التنفيذي لشركة يوتا لخدمات البيانات

"بينما نقوم بتوسيع قدراتنا المحلية لتقديم ذكاء اصطناعي سيادي، فإن تقنية التخزين المتوافقة مع S3 من NVIDIA RDMA من NVIDIA وتقنية تخزين الكائنات عالية الأداء من Cloudian تمنحنا الأداء الذي نحتاجه دون المساس بمكانة البيانات ودون الحاجة إلى أي تعديلات على مستوى النواة. تتيح لنا منصة Cloudian HyperStore توسيع نطاق تخزيننا إلى إكسابايت مع الحفاظ على بيانات الذكاء الاصطناعي الحساسة لدينا تحت سيطرتنا الكاملة." - لوجان لي، نائب الرئيس التنفيذي ورئيس السحابة، كاكاو

"نحن متحمسون لإعلان NVIDIA عن الإصدار القادم من RDMA للتخزين المتوافق مع S3 المتوافقة مع GA. لقد أظهرت اختباراتنا مع Cloudian تحسناً في الأداء يصل إلى 8 أضعاف في عمليات قواعد البيانات المتجهة، مما سيتيح لمستخدمي Milvus by Zilliz تحقيق أداء على نطاق السحابة لأعباء عمل الذكاء الاصطناعي المتطلبة مع الحفاظ على السيادة الكاملة للبيانات." - تشارلز شيه، المؤسس والرئيس التنفيذي لشركة Zilliz