تشذيب سياق LLM: دليل المطور لتحسين نتائج RAG والذكاء الاصطناعي العميل

لقد أصبحت نوافذ السياق في LLMs ضخمة في الآونة الأخيرة. يمكن أن تأخذ بعض النماذج مليون رمز أو أكثر في تمريرة واحدة، ويبدو أن كل إصدار جديد يرفع هذا الرقم إلى أعلى. إنه أمر مثير، ولكن إذا كنت قد بنيت بالفعل أي شيء يستخدم سياقًا طويلًا، فأنت تعلم أن هناك فجوة بين ما هو ممكن وما هو مفيد.

فقط لأن النموذج يمكنه قراءة كتاب كامل في مطالبة واحدة لا يعني أنه يجب أن تعطيه واحدة. معظم المدخلات الطويلة مليئة بأشياء لا يحتاجها النموذج. بمجرد أن تبدأ بإغراق مئات الآلاف من الرموز في المطالبة، عادةً ما تحصل على استجابات أبطأ، وفواتير حوسبة أعلى، وأحيانًا إجابات أقل جودة لأن النموذج يحاول الانتباه إلى كل شيء في وقت واحد.

لذا، على الرغم من أن نوافذ السياق تكبر باستمرار، يصبح السؤال الحقيقي هو: ما الذي يجب أن نضعه بالفعل هناك؟ وهنا يأتي دور تشذيب السياق. إنها في الأساس عملية تشذيب أجزاء السياق المسترجعة أو المجمّعة التي لا تساعد النموذج في الإجابة عن السؤال. إذا تم ذلك بشكل صحيح، فإنه يحافظ على نظامك سريعًا ومستقرًا ويمكن التنبؤ به بشكل أكبر.

في هذه المقالة، سنتحدث عن السبب الذي يجعل السياق الطويل يتصرف غالبًا بشكل مختلف عما تتوقعه، وكيف يساعد التقليم في إبقاء الأمور تحت السيطرة، وكيف تتناسب أدوات التقليم مثل بروفانس مع خطوط أنابيب RAG الحقيقية دون أن تجعل إعدادك أكثر تعقيدًا.

أربعة أنماط فشل شائعة في أنظمة السياق الطويل

نافذة السياق الأكبر لا تجعل النموذج أكثر ذكاءً بطريقة سحرية. إذا كان هناك أي شيء، فبمجرد أن تبدأ في حشو الكثير من المعلومات في المطالبة، فإنك تفتح مجموعة جديدة كاملة من الطرق التي يمكن أن تسوء بها الأمور. إليك أربع مشكلات ستواجهها طوال الوقت عند بناء أنظمة السياق الطويل أو أنظمة RAG.

1. تضارب السياق

يحدث تضارب السياق عندما تصبح المعلومات المتراكمة عبر عدة أدوار متناقضة داخليًا.

على سبيل المثال، قد يقول المستخدم "أنا أحب التفاح" في بداية المحادثة ثم يقول لاحقًا "أنا لا أحب الفاكهة". عندما تبقى كلتا العبارتين في السياق، لا يكون لدى النموذج طريقة موثوقة لحل التعارض، مما يؤدي إلى استجابات غير متسقة أو مترددة.

2. ارتباك السياق

ينشأ ارتباك السياق عندما يحتوي السياق على كميات كبيرة من المعلومات غير ذات الصلة أو ذات الصلة الضعيفة، مما يجعل من الصعب على النموذج اختيار الإجراء أو الأداة الصحيحة.

تظهر هذه المشكلة بشكل خاص في الأنظمة المعززة بالأدوات. عندما يكون السياق مزدحمًا بتفاصيل غير ذات صلة، قد يسيء النموذج تفسير نية المستخدم ويختار الأداة أو الإجراء الخاطئ - ليس لأن الخيار الصحيح مفقود، ولكن لأن الإشارة مدفونة تحت الضوضاء.

3. تشتيت السياق

يحدث تشتيت السياق عندما تهيمن المعلومات السياقية المفرطة على انتباه النموذج، مما يقلل من اعتماده على المعرفة المدربة مسبقًا والاستدلال العام.

فبدلاً من الاعتماد على الأنماط المكتسبة على نطاق واسع، يفرط النموذج في ترجيح التفاصيل الحديثة في السياق، حتى عندما تكون غير مكتملة أو غير موثوقة. يمكن أن يؤدي ذلك إلى التفكير السطحي أو الهش الذي يعكس السياق بشكل وثيق للغاية بدلاً من تطبيق فهم أعلى مستوى.

4. تسمم السياق

يحدث تسمم السياق عندما تدخل معلومات غير صحيحة في السياق ويتم الرجوع إليها وتعزيزها بشكل متكرر على مدى عدة أدوار.

يمكن أن تصبح عبارة واحدة خاطئة يتم تقديمها في وقت مبكر من المحادثة أساسًا للتفكير اللاحق. ومع استمرار الحوار، يبني النموذج على هذا الافتراض الخاطئ، مما يضاعف الخطأ ويبتعد أكثر عن الإجابة الصحيحة.

ما هو تشذيب السياق وسبب أهميته

بمجرد البدء في التعامل مع السياقات الطويلة، سرعان ما تدرك أنك بحاجة إلى أكثر من حيلة لإبقاء الأمور تحت السيطرة. في الأنظمة الحقيقية، عادةً ما تجمع الفرق عادةً بين مجموعة من التكتيكات - مثل: تشذيب السياقات، وتحميل الأدوات، والتلخيص، وعزل رسائل معينة، وإلغاء تحميل السجل القديم، وما إلى ذلك. كلها تساعد بطرق مختلفة. لكن تشذيب السياق هو الذي يقرر بشكل مباشر ما يتم تغذيته فعليًا إلى النموذج.

تشذيب السياق، بعبارات بسيطة، هو عملية إزالة المعلومات غير ذات الصلة أو منخفضة القيمة أو المتضاربة تلقائيًا قبل أن تدخل إلى نافذة سياق النموذج. إنه في الأساس مرشح يحتفظ فقط بالأجزاء النصية الأكثر أهمية للمهمة الحالية.

قد تقوم استراتيجيات أخرى بإعادة تنظيم السياق أو ضغطه أو تنحية بعض الأجزاء جانبًا لوقت لاحق. أما التقليم فهو أكثر مباشرة: فهو يجيب على السؤال "هل يجب أن تدخل هذه القطعة من المعلومات في المطالبة على الإطلاق؟

لهذا السبب يصبح التقليم مهمًا بشكل خاص في أنظمة RAG. البحث المتجه رائع، لكنه ليس مثاليًا. فغالبًا ما يُرجع كيسًا كبيرًا من المعلومات المرشحة - بعضها مفيد، وبعضها مرتبط بشكل فضفاض، وبعضها بعيد تمامًا عن القاعدة. إذا قمت بتفريغها جميعًا في المطالبة، فسوف تصطدم بأوضاع الفشل التي تناولناها سابقًا. يقع التقليم بين الاسترجاع والنموذج، حيث يعمل كحارس بوابة يقرر أي الأجزاء التي يجب الاحتفاظ بها.

عندما يعمل التقليم بشكل جيد، تظهر الفوائد على الفور: سياق أنظف، وإجابات أكثر اتساقًا، واستخدام أقل للرموز الرمزية، وآثار جانبية غريبة أقل من تسلل نص غير ذي صلة. حتى إذا لم تقم بتغيير أي شيء في إعداد الاسترجاع، فإن إضافة خطوة تشذيب قوية يمكن أن تحسن أداء النظام بشكل ملحوظ.

في الممارسة العملية، يعد التقليم أحد أعلى التحسينات ذات الفائدة القصوى في سياق طويل أو خط أنابيب RAG - فكرة بسيطة، وتأثير كبير.

بروفانس: نموذج عملي لتشذيب السياق

أثناء استكشاف مناهج تشذيب السياق، صادفتُ نموذجين مقنعين مفتوحَي المصدر تم تطويرهما في مختبرات Naver Labs Europe: بروفانس ومتغيره متعدد اللغات XProvence.

بروفانس هي طريقة لتدريب نموذج تقليم سياق خفيف الوزن لتوليد الاسترجاع المعزز، مع التركيز بشكل خاص على الإجابة عن الأسئلة. وبالنظر إلى سؤال المستخدم والمقطع المسترجع، فإنه يحدد ويزيل الجمل غير ذات الصلة، مع الاحتفاظ فقط بالمعلومات التي تساهم في الإجابة النهائية.

من خلال تشذيب المحتوى منخفض القيمة قبل التوليد، يقلل بروفانس من التشويش في مدخلات النموذج، ويقلل من المطالبات، ويقلل من زمن استنتاج LLM. كما أنه قابل للتوصيل والتشغيل، حيث يعمل مع أي نظام LLM أو نظام استرجاع دون الحاجة إلى تكامل محكم أو تغييرات معمارية.

يقدم Provence العديد من الميزات العملية لخطوط أنابيب RAG في العالم الحقيقي.

1. الفهم على مستوى المستند

يتعلل بروفانس بالمستندات ككل، بدلاً من تسجيل الجمل بمعزل عن بعضها البعض. هذا مهم لأن المستندات في العالم الحقيقي تحتوي في كثير من الأحيان على إشارات مثل "إنه" أو "هذا" أو "الطريقة أعلاه". يمكن أن تكون هذه الجمل بمعزل عن بعضها البعض غامضة أو حتى بلا معنى. عند النظر إليها في سياقها، تصبح أهميتها واضحة. من خلال نمذجة المستند بشكل كلي، ينتج بروفانس قرارات تشذيب أكثر دقة وتماسكًا.

2. الاختيار التكيّفي للجمل

يحدد بروفانس تلقائيًا عدد الجمل التي يجب الاحتفاظ بها من المستند المسترجع. وبدلًا من الاعتماد على قواعد ثابتة مثل "الاحتفاظ بأفضل خمس جمل"، يتكيف مع الاستعلام والمحتوى.

يمكن الإجابة على بعض الأسئلة بجملة واحدة، بينما يتطلب البعض الآخر عدة جمل داعمة. يتعامل Provence مع هذا التباين بشكل ديناميكي، باستخدام عتبة ملاءمة تعمل بشكل جيد عبر المجالات ويمكن تعديلها عند الحاجة - دون ضبط يدوي في معظم الحالات.

3. كفاءة عالية مع إعادة الترتيب المتكاملة

صُمم بروفانس ليكون فعالاً. إنه نموذج مدمج وخفيف الوزن، مما يجعله أسرع وأرخص بكثير في التشغيل من مناهج التقليم القائمة على LLM.

والأهم من ذلك، يمكن ل Provence الجمع بين إعادة الترتيب وتشذيب السياق في خطوة واحدة. نظرًا لأن إعادة الترتيب هي بالفعل مرحلة قياسية في خطوط أنابيب RAG الحديثة، فإن دمج التقليم في هذه المرحلة يجعل التكلفة الإضافية لتشذيب السياق قريبة من الصفر، مع الاستمرار في تحسين جودة السياق الذي يتم تمريره إلى نموذج اللغة.

4. دعم متعدد اللغات عبر XProvence

يحتوي بروفانس أيضًا على متغير يسمى XProvence، والذي يستخدم نفس البنية ولكن يتم تدريبه على بيانات متعددة اللغات. وهذا يمكّنها من تقييم الاستعلامات والمستندات عبر اللغات - مثل الصينية والإنجليزية والكورية - مما يجعلها مناسبة لأنظمة RAG متعددة اللغات وعبر اللغات.

كيف يتم تدريب بروفانس

يستخدم بروفانس تصميم تدريب نظيف وفعّال يعتمد على بنية مُبرمجة متقاطعة. أثناء التدريب، يتم دمج الاستعلام وكل مقطع مسترجع في مدخل واحد ويتم ترميزهما معًا. يسمح ذلك للنموذج بملاحظة السياق الكامل لكل من السؤال والمقطع في آنٍ واحد والاستدلال مباشرةً على مدى ملاءمتهما.

هذا الترميز المشترك يمكّن بروفانس من التعلم من إشارات الملاءمة الدقيقة. تم ضبط النموذج بدقة على DeBERTa باعتباره مُشفّرًا خفيف الوزن وتم تحسينه لأداء مهمتين في وقت واحد:

1. تسجيل درجة الملاءمة على مستوى المستند (درجة إعادة الترتيب): يتنبأ النموذج بدرجة الملاءمة للمستند بأكمله، مما يشير إلى مدى تطابقه مع الاستعلام. على سبيل المثال، تمثل الدرجة 0.8 درجة أهمية قوية.

2. تصنيف الصلة على مستوى الرمز (قناع ثنائي): بالتوازي مع ذلك، يعيّن النموذج تسمية ثنائية لكل رمز مميز، مع تحديد ما إذا كان ذا صلة (1) أو غير ذي صلة (0) بالاستعلام.

ونتيجة لذلك، يمكن للنموذج المدرّب تقييم الصلة الإجمالية للمستند وتحديد الأجزاء التي يجب الاحتفاظ بها أو إزالتها.

في وقت الاستدلال، يتنبأ بروفانس بتسميات الملاءمة على مستوى الرمز المميز. ثم يتم تجميع هذه التنبؤات على مستوى الجملة: يتم الاحتفاظ بالجملة إذا كانت تحتوي على رموز ذات صلة أكثر من تلك غير ذات الصلة؛ وإلا يتم تشذيبها. نظرًا لأن النموذج يتم تدريبه بإشراف على مستوى الجملة، تميل تنبؤات الرموز الرمزية داخل نفس الجملة إلى أن تكون متسقة، مما يجعل استراتيجية التجميع هذه موثوقة من الناحية العملية. يمكن أيضًا ضبط سلوك التقليم عن طريق ضبط عتبة التجميع لتحقيق تقليم أكثر تحفظًا أو أكثر قوة.

والأهم من ذلك هو أن بروفانس يعيد استخدام خطوة إعادة الترتيب التي تتضمنها بالفعل معظم خطوط أنابيب RAG. وهذا يعني أنه يمكن إضافة تشذيب السياق دون أي تكاليف إضافية تُذكر، مما يجعل بروفنس عمليًا بشكل خاص لأنظمة RAG في العالم الحقيقي.

تقييم أداء تشذيب السياق عبر النماذج

لقد ركزنا حتى الآن على تصميم بروفانس وتدريبها. والخطوة التالية هي تقييم كيفية أدائه عمليًا: مدى جودة تشذيب السياق، ومقارنته مع المناهج الأخرى، وكيف يتصرف في ظل ظروف العالم الحقيقي.

وللإجابة عن هذه الأسئلة، قمنا بتصميم مجموعة من التجارب الكمية لمقارنة جودة تشذيب السياق عبر نماذج متعددة في إعدادات تقييم واقعية.

تركز التجارب على هدفين أساسيين:

• فعالية التقليم: نقيس مدى دقة كل نموذج في الاحتفاظ بالمحتوى ذي الصلة مع إزالة المعلومات غير ذات الصلة، باستخدام مقاييس قياسية مثل الدقة والاسترجاع ودرجة F1.

• التعميم خارج المجال: نقوم بتقييم مدى جودة أداء كل نموذج على توزيعات البيانات التي تختلف عن بيانات التدريب الخاصة به، وتقييم مدى قوة كل نموذج في سيناريوهات خارج المجال.

مقارنة النماذج

• بروفانس

• إكس بروفانس

• أداة التظليل الدلالي OpenSearch Semantic Highlighter (نموذج تقليم يعتمد على بنية BERT، مصمم خصيصًا لمهام التظليل الدلالي)

مجموعة البيانات

نستخدم WikiText-2 كمجموعة بيانات للتقييم. يستمد WikiText-2 من مقالات ويكيبيديا ويحتوي على هياكل وثائق متنوعة، حيث تنتشر المعلومات ذات الصلة غالبًا عبر جمل متعددة ويمكن أن تكون العلاقات الدلالية غير تافهة.

والأهم من ذلك أن WikiText-2 يختلف اختلافًا كبيرًا عن البيانات المستخدمة عادةً لتدريب نماذج تشذيب السياق، بينما لا يزال يشبه محتوى العالم الحقيقي الغني بالمعارف. وهذا يجعله مناسبًا تمامًا للتقييم خارج المجال، وهو محور التركيز الرئيسي لتجاربنا.

توليد الاستعلامات والتعليقات التوضيحية

لإنشاء مهمة تشذيب خارج النطاق، نقوم تلقائيًا بإنشاء أزواج أسئلة وأجوبة من مجموعة ويكي تكست 2 الخام باستخدام GPT-4o-mini. تتكون كل عينة تقييم من ثلاثة مكونات:

• الاستعلام: سؤال بلغة طبيعية تم إنشاؤه من المستند.

• السياق: المستند الكامل غير المعدّل.

• الحقيقة الأساسية: التعليقات التوضيحية على مستوى الجمل التي تشير إلى الجمل التي تحتوي على الإجابة (التي سيتم الاحتفاظ بها) والجمل غير ذات الصلة (التي سيتم تشذيبها).

يُعرّف هذا الإعداد بشكل طبيعي مهمة تشذيب السياق: بالنظر إلى الاستعلام والمستند الكامل، يجب أن يحدد النموذج الجمل المهمة بالفعل. يتم تصنيف الجمل التي تحتوي على الإجابة على أنها ذات صلة ويجب الاحتفاظ بها، في حين يتم التعامل مع جميع الجمل الأخرى على أنها غير ذات صلة ويجب تشذيبها. تسمح هذه الصيغة بقياس جودة التشذيب كميًا باستخدام الدقة والاستعادة ودرجة F1.

والأهم من ذلك، لا تظهر الأسئلة التي تم إنشاؤها في بيانات التدريب لأي نموذج تم تقييمه. ونتيجة لذلك، يعكس الأداء التعميم الحقيقي وليس الحفظ. في المجموع، نقوم بتوليد 300 نموذج، تشمل الأسئلة البسيطة القائمة على الحقائق، ومهام التفكير متعدد القفزات، والمطالبات التحليلية الأكثر تعقيدًا، من أجل عكس أنماط الاستخدام في العالم الحقيقي بشكل أفضل.

خط أنابيب التقييم

تحسين المعلمة الفائقة: لكل نموذج، نجري بحثًا شبكيًا على مساحة محددة مسبقًا من المعرفات الفائقة ونختار التكوين الذي يزيد من درجة F1.

النتائج والتحليل

تكشف النتائج عن اختلافات واضحة في الأداء بين النماذج الثلاثة.

يحققبروفانس أقوى أداء عام، حيث حصل على درجة F1 بنسبة 66.76%. كما أن الدقة(69.53%) والتذكر(64.19%) متوازنة بشكل جيد، مما يشير إلى تعميم قوي خارج المجال. يستخدم التكوين الأمثل عتبة تقليم تبلغ 0.6 و α = 0.051، مما يشير إلى أن درجات ملاءمة النموذج تمت معايرتها بشكل جيد وأن سلوك التقليم بديهي وسهل الضبط عمليًا.

يصلنموذج XProvence إلى درجة F1 تبلغ 58.97%، ويتميز باستدعاء عالٍ (75.52%) ودقة أقل (48.37%). يعكس هذا استراتيجية تشذيب أكثر تحفظًا تعطي الأولوية للاحتفاظ بالمعلومات ذات الصلة المحتملة على إزالة الضوضاء بقوة. يمكن أن يكون هذا السلوك مرغوبًا في المجالات التي تكون فيها النتائج السلبية الخاطئة مكلفة - مثل تطبيقات الرعاية الصحية أو التطبيقات القانونية - ولكنه يزيد أيضًا من النتائج الإيجابية الخاطئة، مما يقلل من الدقة. على الرغم من هذه المفاضلة، فإن قدرة XProvence متعددة اللغات تجعله خيارًا قويًا للإعدادات غير الإنجليزية أو متعددة اللغات.

في المقابل، كان أداء أداة التمييز الدلالي OpenSearch Semantic Highlighter أسوأ بكثير، حيث بلغت نسبة F1 46.37% (الدقة 62.35%، والتذكر 36.98%). تشير الفجوة بالنسبة إلى بروفانس وإكس بروفانس إلى وجود قيود في كل من معايرة الدرجات والتعميم خارج المجال، خاصةً في ظل ظروف خارج المجال.

تسليط الضوء الدلالي: طريقة أخرى للعثور على ما يهم بالفعل في النص

الآن بعد أن تحدثنا عن تشذيب السياق، يجدر بنا أن ننظر إلى جزء ذي صلة من اللغز: التظليل الدلالي. من الناحية الفنية، كلتا الميزتين تقومان بنفس المهمة الأساسية تقريبًا - فهما تسجلان أجزاء النص بناءً على مدى صلتها بالاستعلام. يكمن الفرق في كيفية استخدام النتيجة في خط الإنتاج.

معظم الناس يسمعون كلمة "تمييز" ويفكرون في أدوات تمييز الكلمات الرئيسية التقليدية التي تراها في Elasticsearch أو Solr. تبحث هذه الأدوات بشكل أساسي عن مطابقات الكلمات الرئيسية الحرفية وتلفها في شيء مثل <em>. إنها رخيصة ويمكن التنبؤ بها، لكنها لا تعمل إلا عندما يستخدم النص نفس الكلمات التي يستخدمها الاستعلام بالضبط. إذا قام المستند بإعادة الصياغة، أو استخدم مرادفات، أو صاغ الفكرة بشكل مختلف، فإن أدوات التظليل التقليدية تفوتها تمامًا.

تسلك أدوات التمييز الدلالي طريقًا مختلفًا. فبدلاً من التحقق من التطابق التام للسلسلة، يستخدم نموذجًا لتقدير التشابه الدلالي بين الاستعلام ومختلف امتدادات النص. وهذا يتيح له تمييز المحتوى ذي الصلة حتى عندما تكون الصياغة مختلفة تمامًا. بالنسبة لخطوط أنابيب RAG، أو سير عمل الوكيل، أو أي نظام بحث بالذكاء الاصطناعي حيث يكون المعنى أكثر أهمية من الرموز، يمنحك التظليل الدلالي صورة أوضح بكثير عن سبب استرجاع المستند.

وتكمن المشكلة في أن معظم حلول التظليل الدلالي الحالية ليست مصممة لإنتاج أعباء عمل الذكاء الاصطناعي. لقد اختبرنا كل ما هو متاح، ولم يقدم أي منها مستوى الدقة أو زمن الاستجابة أو الموثوقية متعددة اللغات التي نحتاجها لأنظمة RAG والوكلاء الحقيقية. لذلك انتهى بنا المطاف بتدريب نموذجنا الخاص بنا وفتح مصادره بدلاً من ذلك: zilliz/semantic-hemantic-highlight-bilingual-v1

على مستوى عالٍ، يحل التقليم السياقي والتمييز الدلالي نفس المهمة الأساسية: إذا كان لديك استعلام وجزء من النص، اكتشف الأجزاء المهمة بالفعل. الفرق الوحيد هو ما يحدث بعد ذلك.

• يُسقطتشذيب السياق الأجزاء غير ذات الصلة قبل التوليد.

• أماالتظليل الدلالي فيحتفظ بالنص الكامل ولكنه يظهر بصريًا الأجزاء المهمة.

نظرًا لأن العملية الأساسية متشابهة جدًا، يمكن للنموذج نفسه في كثير من الأحيان تشغيل كلتا الميزتين. هذا يجعل من السهل إعادة استخدام المكونات عبر المكدس ويحافظ على نظام RAG الخاص بك أبسط وأكثر كفاءة بشكل عام.

التظليل الدلالي في Milvus وZilliz Cloud

أصبح التظليل الدلالي الآن مدعومًا بالكامل في Milvus وZilliz Cloud (الخدمة المدارة بالكامل من Milvus)، وقد أثبتت بالفعل أنها مفيدة لأي شخص يعمل مع RAG أو البحث القائم على الذكاء الاصطناعي. تعمل هذه الميزة على حل مشكلة بسيطة للغاية ولكنها مؤلمة: عندما يُرجع البحث المتجه عددًا كبيرًا من الأجزاء، كيف يمكنك أن تعرف بسرعة أي الجمل داخل تلك الأجزاء مهمة بالفعل؟

بدون التظليل، ينتهي الأمر بالمستخدمين بقراءة مستندات كاملة فقط لفهم سبب استرجاع شيء ما. من خلال التظليل الدلالي المدمج في التظليل الدلالي، يقوم Milvus و Zilliz Cloud تلقائيًا بتمييز المقاطع المحددة المرتبطة دلاليًا باستعلامك - حتى لو كانت الصياغة مختلفة. لا مزيد من البحث عن تطابق الكلمات المفتاحية أو تخمين سبب ظهور قطعة ما.

هذا يجعل الاسترجاع أكثر شفافية بكثير. فبدلاً من مجرد إرجاع "المستندات ذات الصلة"، يُظهر Milvus مكان وجود الصلة. بالنسبة لخطوط أنابيب RAG، هذا مفيد بشكل خاص لأنه يمكنك أن ترى على الفور ما يفترض أن يحضره النموذج، مما يجعل تصحيح الأخطاء وبناء المطالبات أسهل بكثير.

لقد قمنا ببناء هذا الدعم مباشرةً في Milvus و Zilliz Cloud، لذلك لن تضطر إلى تثبيت نماذج خارجية أو تشغيل خدمة أخرى فقط للحصول على إسناد قابل للاستخدام. يتم تشغيل كل شيء داخل مسار الاسترجاع: البحث المتجه ← تسجيل الملاءمة ← الامتدادات المميزة. وهو يعمل خارج الصندوق على نطاق واسع ويدعم أعباء العمل متعدد اللغات من خلال نموذج zilliz/semantic-highlight-bighlight-bilingual-v1.

استشراف المستقبل

لا تزال هندسة السياق حديثة العهد، ولا يزال هناك الكثير من الأمور التي يجب اكتشافها. حتى مع عمل التقليم والتمييز الدلالي بشكل جيد داخل Milvus و Zilliz Cloud، لم نقترب بعد من نهاية القصة. هناك مجموعة من المجالات التي لا تزال بحاجة إلى عمل هندسي حقيقي - جعل نماذج التقليم أكثر دقة دون إبطاء الأمور، والتحسن في التعامل مع الاستعلامات الغريبة أو خارج النطاق، وربط جميع الأجزاء معًا بحيث يبدو الاسترجاع ← إعادة الترتيب ← التقليم ← التظليل وكأنه خط واحد نظيف بدلاً من مجموعة من الاختراقات الملتصقة ببعضها البعض.

مع استمرار نمو نوافذ السياق، تزداد أهمية هذه القرارات. لم تعد الإدارة الجيدة للسياق "مكافأة لطيفة" بعد الآن؛ بل أصبحت جزءًا أساسيًا من جعل أنظمة السياق الطويل و RAG تعمل بشكل موثوق.

سنستمر في إجراء التجارب وقياس المعايير وشحن الأجزاء التي تُحدث فرقًا فعليًا للمطورين. الهدف واضح ومباشر: تسهيل بناء أنظمة لا تتعطل في ظل البيانات الفوضوية أو الاستعلامات غير المتوقعة أو أعباء العمل واسعة النطاق.

إذا كنت ترغب في التحدث عن أي من هذا - أو تحتاج فقط إلى مساعدة في تصحيح أخطاء شيء ما - يمكنك الدخول إلى قناة Discord الخاصة بنا أو حجز جلسة فردية لمدة 20 دقيقة للحصول على رؤى وإرشادات وإجابات لأسئلتك من خلال ساعات عمل Milvus المكتبية.

يسعدنا دائمًا الدردشة وتبادل الملاحظات مع البناة الآخرين.