من فايس

يوفر هذا الدليل عملية شاملة وخطوة بخطوة لترحيل البيانات من فايس إلى ميلفوس 2.x. باتباع هذا الدليل، ستتمكن من نقل بياناتك بكفاءة والاستفادة من ميزات ميلفوس 2.x المتقدمة والأداء المحسّن.

المتطلبات الأساسية

• إصدارات البرنامج:
  • المصدر فايس المصدر
  • الهدف ملفوس: 2.x
  • للحصول على تفاصيل التثبيت، راجع تثبيت فايس وتثبيت ملفوس.
• الأدوات المطلوبة:
  • أداةالترحيل Milvus-migration. للحصول على تفاصيل التثبيت، راجع تثبيت أداة الترحيل.

تكوين الترحيل

احفظ مثال ملف تهيئة الترحيل بصيغة migration.yaml وقم بتعديل التكوينات بناءً على ظروفك الفعلية. لك الحرية في وضع ملف التكوين في أي دليل محلي.

dumper: # configs for the migration job.
  worker:
    limit: 2
    workMode: faiss    # operational mode of the migration job.
    reader:
      bufferSize: 1024
    writer:
      bufferSize: 1024
loader:
  worker:
    limit: 2
source: # configs for the source Faiss index.
  mode: local
  local:
    faissFile: ./testfiles/faiss/faiss_ivf_flat.index

target: # configs for the target Milvus collection.
create:
collection:
name: test1w
shardsNums: 2
dim: 256
metricType: L2

mode: remote
remote:
outputDir: testfiles/output/
cloud: aws
endpoint: 0.0.0.0:9000
region: ap-southeast-1
bucket: a-bucket
ak: minioadmin
sk: minioadmin
useIAM: false
useSSL: false
checkBucket: true
milvus2x:
endpoint: localhost:19530
username: xxxxx
password: xxxxx

يصف الجدول التالي المعلمات في ملف التكوين النموذجي. للحصول على قائمة كاملة بالتكوينات، ارجع إلى Milvus Migration: فايس إلى ميلفوس 2.x.

• dumper

  المعلمة	الوصف
  dumper.worker.limit	تزامن خيوط الترحيل.
  dumper.worker.workMode	الوضع التشغيلي لمهمة الترحيل. تعيين إلى فايس عند الترحيل من فهارس فايس.
  dumper.worker.reader.bufferSize	حجم المخزن المؤقت للقراءة من فايس في كل دفعة. الوحدة: كيلوبايت.
  dumper.worker.writer.bufferSize	حجم المخزن المؤقت للكتابة إلى ميلفيس في كل دفعة. الوحدة: كيلوبايت: كيلوبايت.

• loader

  المعلمة	الوصف
  loader.worker.limit	تزامن خيوط المحمل.

• source

  المعلمة	الوصف
  source.mode	يحدد مكان قراءة الملفات المصدر من. القيم الصالحة: - local: يقرأ الملفات من قرص محلي. - remote: يقرأ الملفات من وحدة تخزين بعيدة.
  source.local.faissFile	مسار الدليل حيث توجد الملفات المصدر. على سبيل المثال، /db/faiss.index.

• target

  المعلمة	الوصف
  target.create.collection.name	اسم مجموعة ميلفوس.
  target.create.collection.shardsNums	عدد الأجزاء المراد إنشاؤها في المجموعة. لمزيد من المعلومات عن القطع، راجع المصطلحات.
  target.create.collection.dim	بُعد الحقل المتجه.
  target.create.collection.metricType	النوع المتري المستخدم لقياس أوجه التشابه بين المتجهات. لمزيد من المعلومات، راجع المصطلحات.
  target.mode	موقع تخزين الملفات الملقاة. القيم الصالحة: - local: تخزين الملفات التي تم تفريغها على الأقراص المحلية. - remote: تخزين الملفات التي تم تفريغها على وحدة تخزين الكائنات.
  target.remote.outputDir	مسار دليل الإخراج في دلو التخزين السحابي.
  target.remote.cloud	موفر خدمة التخزين السحابي. مثال على القيم: aws ، gcp ، azure.
  target.remote.endpoint	نقطة نهاية تخزين Milvus 2.x.
  target.remote.region	منطقة التخزين السحابي. يمكن أن تكون أي قيمة إذا كنت تستخدم MinIO المحلي.
  target.remote.bucket	اسم الدلو لتخزين البيانات. يجب أن تكون القيمة هي نفس قيمة التكوين في Milvus 2.x. لمزيد من المعلومات، راجع تكوينات النظام.
  target.remote.ak	مفتاح الوصول لمخزن Milvus 2.x.
  target.remote.sk	مفتاح سري لتخزين Milvus 2.x.
  target.remote.useIAM	ما إذا كان سيتم استخدام دور IAM للاتصال.
  target.remote.useSSL	ما إذا كان سيتم تمكين SSL عند الاتصال بـ Milvus 2.x. لمزيد من المعلومات، راجع التشفير في النقل.
  target.remote.checkBucket	ما إذا كان سيتم التحقق مما إذا كانت الحافظة المحددة موجودة في تخزين الكائنات.
  target.milvus2x.endpoint	عنوان خادم Milvus الهدف.
  target.milvus2x.username	اسم المستخدم لخادم Milvus 2.x. هذه المعلمة مطلوبة إذا تم تمكين مصادقة المستخدم لخادم Milvus الخاص بك. لمزيد من المعلومات، راجع تمكين المصادقة.
  target.milvus2x.password	كلمة المرور لخادم Milvus 2.x. هذه المعلمة مطلوبة إذا تم تمكين مصادقة المستخدم لخادم Milvus الخاص بك. لمزيد من المعلومات، راجع تمكين المصادقة.

بدء مهمة الترحيل

1. ابدأ مهمة الترحيل باستخدام الأمر التالي. استبدل {YourConfigFilePath} بالدليل المحلي حيث يوجد ملف التكوين migration.yaml.

   ./milvus-migration  dump  --config=/{YourConfigFilePath}/migration.yaml
   

   يقوم الأمر أعلاه بتحويل بيانات فهرس Faiss إلى ملفات NumPy، ثم يستخدم عملية الإدراج الجماعي لكتابة البيانات إلى الدلو الهدف.

2. بمجرد إنشاء ملفات NumPy، قم باستيراد هذه الملفات إلى Milvus 2.x باستخدام الأمر التالي. استبدل {YourConfigFilePath} بالدليل المحلي حيث يوجد ملف التكوين migration.yaml.

   ./milvus-migration  load  --config=/{YourConfigFilePath}/migration.yaml
   

تحقق من النتيجة

بمجرد تنفيذ مهمة الترحيل، يمكنك إجراء مكالمات واجهة برمجة التطبيقات أو استخدام Attu لعرض عدد الكيانات التي تم ترحيلها. لمزيد من المعلومات، راجع Attu و get_collection_stats().