تشغيل RAG عالي الأداء لـ GenAI مع HPE Alletra Storage MP + Milvus

نُشرت هذه التدوينة في الأصل على مجتمع HPE وأعيد نشرها هنا بإذن.

يعمل كل من HPE Alletra Storage MP X10000 وMilvus على تشغيل RAG القابل للتطوير ومنخفض الكمون مما يتيح لـ LLMs تقديم استجابات دقيقة وغنية بالسياق مع بحث متجه عالي الأداء لأعباء عمل GenAI.

في الذكاء الاصطناعي التوليدي، يحتاج RAG إلى أكثر من مجرد LLM

يُطلق السياق العنان للقوة الحقيقية للذكاء الاصطناعي التوليدي (GenAI) ونماذج اللغات الكبيرة (LLMs). عندما يكون لدى نموذج LLM الإشارات الصحيحة لتوجيه استجاباته، يمكنه تقديم إجابات دقيقة وذات صلة وجديرة بالثقة.

فكّر في الأمر على هذا النحو: إذا تم إسقاطك في غابة كثيفة مع جهاز تحديد المواقع العالمي (GPS) ولكن لا توجد إشارة قمر صناعي. ستعرض الشاشة خريطة، ولكن بدون موقعك الحالي، لن يكون الجهاز عديم الفائدة للملاحة. وعلى العكس من ذلك، فإن نظام تحديد المواقع العالمي المزوّد بإشارة قمر صناعي قوية لا يعرض لك خريطة فحسب؛ بل يمنحك إرشادات خطوة بخطوة.

هذا ما يفعله الجيل المعزَّز بالاسترجاع (RAG) لنماذج تحديد المواقع. يمتلك النموذج بالفعل الخريطة (معرفته المدربة مسبقًا)، ولكن ليس الاتجاه (بياناتك الخاصة بالمجال). يشبه التوليد المعزّز للاستدلال (RAG) أجهزة تحديد المواقع المليئة بالمعرفة ولكن ليس لديها اتجاه في الوقت الحقيقي. يوفر RAG الإشارة التي تخبر النموذج بمكانه وإلى أين يتجه.

يقوم RAG بتأسيس استجابات النموذج في معرفة موثوقة ومحدثة مأخوذة من المحتوى الخاص بمجالك من السياسات ومستندات المنتج والتذاكر وملفات PDF والرموز والنصوص الصوتية والصور وغيرها. من الصعب جعل RAG يعمل على نطاق واسع. يجب أن تكون عملية الاسترجاع سريعة بما يكفي للحفاظ على سلاسة تجارب المستخدم، ودقيقة بما يكفي لإرجاع المعلومات الأكثر صلة، ويمكن التنبؤ بها حتى عندما يكون النظام تحت عبء ثقيل. ويعني ذلك التعامل مع أحجام الاستعلامات العالية والاستيعاب المستمر للبيانات ومهام الخلفية مثل إنشاء الفهرس دون تدهور الأداء. يعد تدوير خط أنابيب RAG مع عدد قليل من ملفات PDF أمرًا بسيطًا نسبيًا. ومع ذلك، عند التوسع إلى مئات ملفات PDF، يصبح الأمر أكثر صعوبة بشكل كبير. لا يمكنك الاحتفاظ بكل شيء في الذاكرة، لذلك تصبح استراتيجية التخزين القوية والفعالة ضرورية لإدارة التضمينات والفهارس وأداء الاسترجاع. يتطلب RAG قاعدة بيانات متجهة وطبقة تخزين يمكنها مواكبة وتيرة نمو التزامن وأحجام البيانات.

تعمل قواعد البيانات المتجهة على تشغيل RAG

يقع البحث الدلالي في صميم RAG، أي البحث عن المعلومات حسب المعنى بدلاً من الكلمات المفتاحية الدقيقة. وهنا يأتي دور قواعد البيانات المتجهة. فهي تخزن التضمينات عالية الأبعاد للنصوص والصور والبيانات الأخرى غير المهيكلة، مما يتيح البحث عن التشابه الذي يسترجع السياق الأكثر صلة باستفساراتك. Milvus هو مثال رائد: قاعدة بيانات متجهات سحابية مفتوحة المصدر ومفتوحة المصدر مصممة للبحث عن التشابه على نطاق مليار. وهي تدعم البحث الهجين، وتجمع بين التشابه المتجهي ومرشحات الكلمات الرئيسية والقياسية من أجل الدقة، وتوفر توسيعًا مستقلاً للحوسبة والتخزين مع خيارات تحسين مدركة لوحدة معالجة الرسومات لتسريع البحث. تدير Milvus أيضًا البيانات من خلال دورة حياة ذكية للمقاطع، حيث تنتقل من المقاطع المتنامية إلى المقاطع المغلقة مع الضغط وخيارات فهرسة أقرب جار تقريبي متعددة مثل HNSW وDiskANN، مما يضمن الأداء وقابلية التوسع لأعباء عمل الذكاء الاصطناعي في الوقت الحقيقي مثل RAG.

التحدي الخفي: إنتاجية التخزين ووقت الاستجابة

تضع أعباء عمل البحث المتجه ضغطًا على كل جزء من أجزاء النظام. فهي تتطلب استيعاباً عالي السرعة مع الحفاظ على استرجاع منخفض الكمون للاستعلامات التفاعلية. وفي الوقت نفسه، يجب تشغيل عمليات الخلفية مثل إنشاء الفهرس والضغط وإعادة تحميل البيانات دون تعطيل الأداء المباشر. تعود العديد من اختناقات الأداء في البنى التقليدية إلى التخزين. سواء كانت قيود الإدخال/الإخراج (I/O) أو التأخير في البحث عن البيانات الوصفية أو قيود التزامن. لتقديم أداء يمكن التنبؤ به في الوقت الحقيقي على نطاق واسع، يجب أن تواكب طبقة التخزين متطلبات قواعد البيانات المتجهة.

أساس التخزين للبحث المتجه عالي الأداء

إنHPE Alletra Storage MP X10000 عبارة عن منصة تخزين كائناتHPE Alletra Storage MP X10000 عبارة عن منصة تخزين كائنات محسنة بالكامل ومتوافقة مع S3 ومصممة لتحقيق أداء في الوقت الفعلي على نطاق واسع. على عكس مخازن الكائنات التقليدية التي تركز على السعة، تم تصميم HPE Alletra Storage MP X10000 لأحمال العمل ذات الكمون المنخفض والإنتاجية العالية مثل البحث المتجه. يتيح محرك القيمة الرئيسية المنظم بالسجل والبيانات الوصفية المستندة إلى النطاق قراءات وكتابات متوازية للغاية، بينما يوفر محرك GPUDirect RDMA مسارات بيانات بدون نسخ تقلل من عبء وحدة المعالجة المركزية وتسرع من حركة البيانات إلى وحدات معالجة الرسومات. تدعم البنية التوسع المجزأ، مما يسمح بنمو السعة والأداء بشكل مستقل، وتتضمن ميزات على مستوى المؤسسات مثل التشفير والتحكم في الوصول المستند إلى الأدوار (RBAC) والثبات ومتانة البيانات. بالإضافة إلى تصميمه السحابي الأصلي، يتكامل HPE Alletra Storage MP X10000 بسلاسة مع بيئات Kubernetes، مما يجعله أساس تخزين مثالي لعمليات نشر Milvus.

HPE Alletra Alletra Storage MP X10000 وMilvus: أساس قابل للتطوير ل RAG

يكمل كل من HPE Alletra Storage MP X10000 وMilvus بعضهما البعض لتقديم RAG الذي يتميز بالسرعة وإمكانية التنبؤ به وسهولة التوسع. يوضح الشكل 1 بنية حالات استخدام الذكاء الاصطناعي القابلة للتطوير وخطوط أنابيب RAG، ويوضح كيفية تفاعل مكونات Milvus المنشورة في بيئة حاوية مع تخزين الكائنات عالي الأداء من HPE Alletra Alletra Storage MP X10000.

تقوم Milvus بفصل الحوسبة عن التخزين بشكل نظيف، بينما توفر HPE Alletra Storage MP X10000 وصولاً عالي الإنتاجية ومنخفض التأخير إلى الكائنات التي تواكب أعباء العمل المتجهة. يعملان معًا على تمكين أداء يمكن التنبؤ به على نطاق واسع: يوزع Milvus الاستعلامات عبر الأجزاء، ويحافظ التحجيم الجزئي متعدد الأبعاد متعدد الأبعاد من HPE Alletra Storage MP X10000 على ثبات زمن الوصول إلى الكائنات مع نمو البيانات وأداء QPS. بعبارات بسيطة، يمكنك إضافة السعة أو الأداء الذي تحتاجه بالضبط، عندما تحتاج إليه. تُعد البساطة التشغيلية ميزة أخرى: يحافظ HPE Alletra Storage MP X10000 على أقصى أداء من دلو واحد، مما يلغي الطبقات المعقدة، بينما تدعم ميزات المؤسسة (التشفير، وRBAC، والثبات، والمتانة القوية) عمليات النشر داخل الشركة أو عمليات النشر المختلطة مع سيادة قوية للبيانات وأهداف مستوى الخدمة (SLOs) المتسقة.

عندما يتم توسيع نطاق البحث المتجه، غالبًا ما يتم إلقاء اللوم على التخزين بسبب بطء الاستيعاب أو الضغط أو الاسترجاع. مع Milvus على منصة HPE Alletra Storage MP X10000 من HPE Alletra Storage X10000، يتغير هذا السرد. توفر بنية النظام الأساسي NVMe المهيكلة بالكامل من NVMe وبنية السجل وخيار GPUDirect RDMA وصولًا متسقًا ومنخفض الكمون للغاية إلى الكائنات - حتى في ظل التزامن الشديد وأثناء عمليات دورة الحياة مثل إنشاء الفهرس وإعادة تحميله. من الناحية العملية، تظل خطوط أنابيب RAG الخاصة بك مرتبطة بالحوسبة وليس بالتخزين. مع نمو المجموعات وارتفاع أحجام الاستعلام، يظل Milvus مستجيبًا بينما تحافظ HPE Alletra Storage MP X10000 على مساحة رأس الإدخال/الإخراج، مما يتيح إمكانية التوسع الخطي المتوقع دون إعادة هندسة التخزين. يصبح هذا الأمر مهمًا بشكل خاص مع توسيع نطاق عمليات نشر RAG إلى ما بعد مراحل إثبات المفهوم الأولية والانتقال إلى الإنتاج الكامل.

RAG الجاهز للمؤسسات: قابل للتطوير، وقابل للتنبؤ، ومصمم للذكاء الاصطناعي العام

بالنسبة لأحمال عمل RAG وأعباء عمل GenAI في الوقت الفعلي، يوفر الجمع بين HPE Alletra Storage MP X10000 وMilvus أساسًا جاهزًا للمستقبل يتوسع بثقة. يمكّن هذا الحل المتكامل المؤسسات من بناء أنظمة ذكية سريعة ومرنة وآمنة - دون المساومة على الأداء أو إمكانية الإدارة. يوفر Milvus بحثًا متجهًا موزعًا ومسرعًا بوحدة معالجة الرسومات مع إمكانية التوسع المعياري، بينما يضمن HPE Alletra Storage MP X10000 الوصول إلى الكائنات بسرعة فائقة وكمون منخفض مع متانة على مستوى المؤسسات وإدارة دورة الحياة. يعملان معًا على فصل الحوسبة عن التخزين، مما يتيح أداءً يمكن التنبؤ به حتى مع نمو أحجام البيانات وتعقيد الاستعلام. سواء أكنت تقدم توصيات في الوقت الفعلي، أو تقوم بتشغيل البحث الدلالي، أو تقوم بالتوسع عبر مليارات المتجهات، فإن هذه البنية تحافظ على استجابة خطوط أنابيب RAG الخاصة بك وفعاليتها من حيث التكلفة وتحسينها على السحابة. من خلال التكامل السلس في Kubernetes وسحابة HPE GreenLake، يمكنك الحصول على إدارة موحدة وتسعير قائم على الاستهلاك ومرونة النشر عبر بيئات السحابة الهجينة أو الخاصة. HPE Alletra Storage MP X10000 وMilvus من HPE Alletra Storage: حل RAG قابل للتطوير وعالي الأداء مصمم لتلبية متطلبات GenAI الحديثة.