فوياج للذكاء الاصطناعيCompatible with Milvus 2.6.x

يصف هذا الموضوع كيفية تكوين واستخدام وظائف تضمين Voyage AI في Milvus.

اختيار نموذج التضمين

يدعم Milvus نماذج التضمين التي توفرها Voyage AI. فيما يلي نماذج التضمين المتوفرة حالياً للرجوع إليها بسرعة:

اسم النموذج	الأبعاد	الحد الأقصى للرموز	الوصف
فوياج-3-كبير	1,024 (افتراضي)، 256، 512، 2,048، 256، 512، 2,048	32,000	أفضل جودة استرجاع للأغراض العامة ومتعددة اللغات.
رحلة -3	1,024	32,000	مُحسَّن لأفضل جودة استرجاع للأغراض العامة ومتعددة اللغات. راجع منشور المدونة للحصول على التفاصيل.
فوياج-3-لايت	512	32,000	مُحسَّن لوقت الاستجابة والتكلفة. راجع منشور المدونة للحصول على التفاصيل.
رمز الرحلة-3	1,024 (افتراضي)، 256، 512، 2,048	32,000	مُحسَّن لاسترجاع الرمز. راجع منشور المدونة للحصول على التفاصيل.
الرحلة-التمويل-2	1,024	32,000	مُحسَّن لاسترجاع التمويل و RAG. راجع منشور المدونة للحصول على التفاصيل.
رحلة-قانون-2	1,024	16,000	مُحسَّن للاسترجاع القانوني و RAG. كما تم تحسين الأداء في جميع المجالات. راجع منشور المدونة للحصول على التفاصيل.
رمز الرحلة-2	1,536	16,000	مُحسَّن لاسترجاع الكود (أفضل بنسبة 17% من البدائل) / الجيل السابق من تضمينات الكود. راجع منشور المدونة للحصول على التفاصيل.

لمزيد من التفاصيل، راجع نماذج تضمين النص.

تكوين بيانات الاعتماد

يجب أن يعرف ميلفوس مفتاح Voyage AI API الخاص بك قبل أن يتمكن من طلب التضمينات. يوفر ميلفوس طريقتين لتكوين بيانات الاعتماد:

• ملف التكوين (موصى به): قم بتخزين مفتاح واجهة برمجة التطبيقات في milvus.yaml بحيث تلتقطه كل إعادة تشغيل وعقدة تلقائيًا.

• متغيرات البيئة: أدخل المفتاح في وقت النشر - مثالي لـ Docker Compose.

اختر إحدى الطريقتين أدناه - من الأسهل الحفاظ على ملف التهيئة على الأجهزة العارية والأجهزة الافتراضية، بينما يناسب مسار env-var سير عمل الحاوية.

الخيار 1: ملف التكوين (موصى به وأولوية أعلى)

احتفظ بمفاتيح واجهة برمجة التطبيقات الخاصة بك في milvus.yaml ؛ يقرأها Milvus عند بدء التشغيل ويتجاوز أي متغير بيئة لنفس الموفر.

1. **أعلن مفاتيحك تحت credential:

   يمكنك إدراج مفتاح واحد أو أكثر من مفاتيح واجهة برمجة التطبيقات - أعطِ كل مفتاح تسمية تخترعها وستشير إليها لاحقًا.

   # milvus.yaml
   credential:
     apikey_dev:            # dev environment
       apikey: <YOUR_DEV_KEY>
     apikey_prod:           # production environment
       apikey: <YOUR_PROD_KEY>    
   

   وضع مفاتيح واجهة برمجة التطبيقات هنا يجعلها ثابتة عند إعادة التشغيل ويتيح لك تبديل المفاتيح بمجرد تغيير التسمية.

2. أخبر ميلفوس بالمفتاح الذي سيستخدمه لاستدعاءات الخدمة

   في نفس الملف، وجّه موفر Voyage AI إلى التسمية التي تريده أن يستخدمها.

   function:
     textEmbedding:
       providers:
         voyageai:
           credential: apikey_dev      # ← choose any label you defined above
           # url: https://api.voyageai.com/v1/embeddings   # (optional) custom url
   

   هذا يربط مفتاحًا محددًا لكل طلب يرسله ميلفوس إلى نقطة نهاية تضمينات Voyage AI.

الخيار 2: متغير البيئة

استخدم هذه الطريقة عندما تقوم بتشغيل Milvus مع Docker Compose وتفضل الاحتفاظ بالأسرار خارج الملفات والصور.

يعود Milvus إلى متغير البيئة فقط إذا لم يتم العثور على مفتاح للموفر في milvus.yaml.

المتغير	مطلوب	الوصف
MILVUSAI_VOYAGEAI_API_KEY	نعم	مفتاح Voyage AI API الصالح الخاص بك.

في ملف docker-compose.yaml الخاص بك، قم بتعيين متغير البيئة MILVUSAI_VOYAGEAI_API_KEY.

# docker-compose.yaml (standalone service section)
standalone:
  # ... other configurations ...
  environment:
    # ... other environment variables ...
    # Set the environment variable pointing to the Voyage AI API key inside the container
    MILVUSAI_VOYAGEAI_API_KEY: <MILVUSAI_VOYAGEAI_API_KEY>

تقوم كتلة environment: بحقن المفتاح فقط في حاوية Milvus، تاركةً نظام التشغيل المضيف الخاص بك دون تغيير. لمزيد من التفاصيل، راجع تكوين Milvus مع Docker Compose.

استخدام وظيفة التضمين

بمجرد تكوين بيانات الاعتماد، اتبع هذه الخطوات لتعريف دوال التضمين واستخدامها.

الخطوة 1: تحديد حقول المخطط

لاستخدام دالة التضمين، قم بإنشاء مجموعة بمخطط محدد. يجب أن يتضمن هذا المخطط ثلاثة حقول ضرورية على الأقل:

• الحقل الأساسي الذي يحدد بشكل فريد كل كيان في المجموعة.

• حقل قياسي يخزن البيانات الأولية المراد تضمينها.

• حقل متجه محجوز لتخزين التضمينات المتجهة التي ستقوم الدالة بإنشائها للحقل القياسي.

يحدد المثال التالي مخططًا يحتوي على حقل قياسي واحد "document" لتخزين البيانات النصية وحقل متجه واحد "dense" لتخزين التضمينات التي سيتم إنشاؤها بواسطة الوحدة النمطية للدالة. تذكر تعيين البعد المتجه (dim) لمطابقة مخرجات نموذج التضمين الذي اخترته.

from pymilvus import MilvusClient, DataType, Function, FunctionType

# Initialize Milvus client
client = MilvusClient(
    uri="http://localhost:19530",
)

# Create a new schema for the collection
schema = client.create_schema()

# Add primary field "id"
schema.add_field("id", DataType.INT64, is_primary=True, auto_id=False)

# Add scalar field "document" for storing textual data
schema.add_field("document", DataType.VARCHAR, max_length=9000)

# Add vector field "dense" for storing embeddings.
# IMPORTANT: Set dim to match the exact output dimension of the embedding model.
schema.add_field("dense", DataType.FLOAT_VECTOR, dim=1024)

الخطوة 2: إضافة دالة التضمين إلى المخطط

تقوم الوحدة النمطية الدالة في ميلفوس تلقائيًا بتحويل البيانات الأولية المخزنة في حقل قياسي إلى تضمينات وتخزينها في حقل المتجه المحدد صراحةً.

يضيف المثال أدناه وحدة الدالة (voya) التي تقوم بتحويل الحقل القياسي "document" إلى تضمينات، وتخزين المتجهات الناتجة في الحقل المتجه "dense" المحدد مسبقًا.

بمجرد تعريف دالة التضمين الخاصة بك، قم بإضافتها إلى مخطط مجموعتك. هذا يوجه ميلفوس لاستخدام دالة التضمين المحددة لمعالجة التضمينات وتخزينها من بياناتك النصية.

# Define embedding function specifically for embedding model provider
text_embedding_function = Function(
    name="voya",                                  # Unique identifier for this embedding function
    function_type=FunctionType.TEXTEMBEDDING,     # Indicates a text embedding function
    input_field_names=["document"],               # Scalar field(s) containing text data to embed
    output_field_names=["dense"],                 # Vector field(s) for storing embeddings
    params={                                      # Provider-specific embedding parameters (function-level)
        "provider": "voyageai",                   # Must be set to "voyageai"
        "model_name": "voyage-3-large",                 # Specifies the embedding model to use
        # Optional parameters:
        # "credential": "apikey_dev",      # Optional: Credential label specified in milvus.yaml
        # "url": "https://api.voyageai.com/v1/embeddings",     # Defaults to the official endpoint if omitted
        # "dim": "1024"                           # Output dimension of the vector embeddings after truncation
        # "truncation": "true"                    # Whether to truncate the input texts to fit within the context length. Defaults to true.
    }
)

# Add the configured embedding function to your existing collection schema
schema.add_function(text_embedding_function)

الخطوات التالية

بعد تكوين دالة التضمين، ارجع إلى نظرة عامة على الدالة للحصول على إرشادات إضافية حول تكوين الفهرس وأمثلة إدراج البيانات وعمليات البحث الدلالي.