فيرتكس للذكاء الاصطناعيCompatible with Milvus 2.6.x

Google Cloud Vertex AI هي خدمة عالية الأداء مصممة خصيصًا لنماذج تضمين النصوص. يشرح هذا الدليل كيفية استخدام Google Cloud Vertex AI مع Milvus لتوليد تضمين النص بكفاءة.

يدعم Vertex AI العديد من نماذج التضمين لحالات استخدام مختلفة:

• gemini-embedding-001 (أحدث أداء عبر مهام اللغة الإنجليزية ومتعددة اللغات والرموز)

• النص-التضمين النصي-005 (أحدث نموذج تضمين نصي)

• text-multultilingual-embedding-002 (أحدث نموذج لتضمين النص متعدد اللغات)

لمزيد من المعلومات، راجع نماذج تضمين النصوص فيرتكس AI.

المتطلبات الأساسية

تأكد من استيفاء هذه المتطلبات قبل تكوين Vertex AI:

• تشغيل الإصدار 2.6 أو أعلى من Milvus - تحقق من أن عملية النشر تفي بالحد الأدنى من متطلبات الإصدار.

• إنشاء حساب خدمة Google Cloud - كحد أدنى، ستحتاج على الأرجح إلى أدوار مثل "مستخدم Vertex AI" أو أدوار أخرى أكثر تحديدًا. لمزيد من التفاصيل، راجع إنشاء حسابات الخدمة.

• قم بتنزيل ملف مفتاح JSON لحساب الخدمة - قم بتخزين ملف بيانات الاعتماد هذا بشكل آمن على الخادم أو الجهاز المحلي. لمزيد من التفاصيل، راجع إنشاء مفتاح حساب خدمة.

تكوين بيانات الاعتماد

قبل أن يتمكن Milvus من استدعاء Vertex AI، يحتاج إلى الوصول إلى مفتاح JSON لحساب خدمة GCP الخاص بك. نحن ندعم طريقتين - اختر إحداهما بناءً على احتياجات النشر والتشغيل الخاصة بك.

الخيار	الأولوية	الأفضل لـ
ملف التكوين (milvus.yaml)	عالية	إعدادات ثابتة على مستوى المجموعة
متغيرات البيئة (MILVUSAI_GOOGLE_APPLICATION_CREDENTIALS)	منخفض	سير عمل الحاوية والاختبارات السريعة

الخيار 1: ملف التكوين (موصى به وأولوية أعلى)

سيفضل Milvus دائمًا بيانات الاعتماد المعلنة في milvus.yaml على أي متغيرات بيئة لنفس الموفر.

1. Base64-encode مفتاح JSON الخاص بك

   cat credentials.json | jq . | base64
   

2. قم بإعلان بيانات الاعتماد في milvus.yaml

   # milvus.yaml
   credential:
     gcp_vertex:                      # arbitrary label
       credential_json: |
         <YOUR_BASE64_ENCODED_JSON>
   

3. ربط بيانات الاعتماد بموفر Vertex AI

   # milvus.yaml
   function:
     textEmbedding:
       providers:
         vertexai:
           credential: gcp_vertex      # must match the label above
           url: <optional: custom Vertex AI endpoint>
   

   إذا احتجت لاحقًا إلى تدوير المفاتيح، ما عليك سوى تحديث سلسلة Base64 ضمن credential_json وإعادة تشغيل Milvus - لا يلزم إجراء تغييرات على بيئتك أو حاوياتك.

الخيار 2: متغيرات البيئة

استخدم هذه الطريقة عندما تفضل حقن الأسرار في وقت النشر. يعود Milvus إلى متغيرات البيئة فقط في حالة عدم وجود إدخال مطابق في milvus.yaml.

استخدم وظيفة التضمين

بمجرد تكوين Vertex AI، اتبع هذه الخطوات لتحديد دوال التضمين واستخدامها.

الخطوة 1: تحديد حقول المخطط

لاستخدام دالة التضمين، قم بإنشاء مجموعة بمخطط محدد. يجب أن يتضمن هذا المخطط ثلاثة حقول ضرورية على الأقل:

• الحقل الأساسي الذي يحدد بشكل فريد كل كيان في المجموعة.

• حقل قياسي يخزن البيانات الأولية المراد تضمينها.

• حقل متجه محجوز لتخزين التضمينات المتجهة التي ستنشئها الدالة للحقل القياسي.

from pymilvus import MilvusClient, DataType, Function, FunctionType, CollectionSchema, FieldSchema

# Assume you have connected to Milvus
# client = MilvusClient(uri="http://localhost:19530")

# 1. Create Schema
schema = MilvusClient.create_schema()

# 2. Add fields
schema.add_field("id", DataType.INT64, is_primary=True, auto_id=False)
schema.add_field("document", DataType.VARCHAR, max_length=9000) # Store text data
# IMPORTANT: Set dim to match the output dimension of the model and parameters
schema.add_field("dense_vector", DataType.FLOAT_VECTOR, dim=768) # Store embedding vectors (example dimension)

الخطوة 2: إضافة دالة التضمين إلى المخطط

تقوم الوحدة النمطية الدالة في ميلفوس تلقائيًا بتحويل البيانات الخام المخزنة في الحقل القياسي إلى تضمينات وتخزينها في الحقل المتجه المحدد صراحةً.

# 3. Define Vertex AI embedding function
text_embedding_function = Function(
    name="vert_func",                           # Unique identifier for this embedding function
    function_type=FunctionType.TEXTEMBEDDING,   # Indicates a text embedding function
    input_field_names=["document"],             # Scalar field(s) containing text data to embed
    output_field_names=["dense_vector"],        # Vector field(s) for storing embeddings
    params={                                    # Vertex AI specific parameters (function-level)
        "provider": "vertexai",                 # Must be set to "vertexai"
        "model_name": "text-embedding-005",     # Required: Specifies the Vertex AI model to use
        "projectid": "your-gcp-project-id",     # Required: Your Google Cloud project ID
        # Optional parameters (include these only if necessary):
        # "location": "us-central1",            # Optional: Vertex AI service region (default us-central1)
        # "task": "DOC_RETRIEVAL",              # Optional: Embedding task type (default DOC_RETRIEVAL)
        # "dim": 768                            # Optional: Output vector dimension (1-768)
    }
)

# Add the configured embedding function to your existing collection schema
schema.add_function(text_embedding_function)

المعلمة	الوصف	مطلوبة؟	مثال القيمة
provider	موفر نموذج التضمين. تعيين إلى "vertexai".	نعم	"vertexai"
model_name	تحديد نموذج تضمين Vertex AI المراد استخدامه.	نعم	"text-embedding-005"
projectid	معرّف مشروع Google Cloud الخاص بك.	نعم	"your-gcp-project-id"
location	المنطقة الخاصة بخدمة Vertex AI. تدعم تضمينات Vertex AI حاليًا تضمينات Vertex AI بشكل أساسي us-central1. افتراضي إلى us-central1.	لا	"us-central1"
task	تحديد نوع مهمة التضمين، مما يؤثر على نتائج التضمين. القيم المقبولة: DOC_RETRIETRIEVAL (افتراضي)، CODE_RETRIEVAL (مدعومة فقط 005)، STS (التشابه النصي الدلالي).	لا يوجد	"DOC_RETRIEVAL"
dim	بُعد ناقلات تضمين الإخراج. يقبل الأعداد الصحيحة بين 1 و768. ملاحظة: في حالة تحديدها، تأكد من أن بُعد حقل المتجه في المخطط يطابق هذه القيمة.	لا يوجد	768

الخطوات التالية

بعد تكوين دالة التضمين، ارجع إلى نظرة عامة على الدالة للحصول على إرشادات إضافية حول تكوين الفهرس وأمثلة إدراج البيانات وعمليات البحث الدلالي.