كيف تزيل منصة مقاطع الفيديو القصيرة Likee مقاطع الفيديو المكررة باستخدام Milvus

صورة الغلاف

كتب هذا المقال شينيانغ قوه وباويو هان، مهندسان في شركة BIGO، وترجمته روزي تشانغ.

شركة BIGOTechnology (BIGO) هي واحدة من أسرع شركات التكنولوجيا السنغافورية نموًا. بدعم من تكنولوجيا الذكاء الاصطناعي، اكتسبت منتجات وخدمات BIGO القائمة على الفيديو شعبية هائلة في جميع أنحاء العالم، مع أكثر من 400 مليون مستخدم في أكثر من 150 دولة. وتشمل هذه المنتجات وخدمات Bigo Live (البث المباشر) و Likee (مقاطع الفيديو القصيرة).

Likee هي منصة عالمية لإنشاء مقاطع الفيديو القصيرة حيث يمكن للمستخدمين مشاركة لحظاتهم والتعبير عن أنفسهم والتواصل مع العالم. ولزيادة تجربة المستخدم والتوصية بمحتوى عالي الجودة للمستخدمين، تحتاج Likee إلى التخلص من مقاطع الفيديو المكررة من بين الكم الهائل من مقاطع الفيديو التي ينشئها المستخدمون كل يوم، وهو ما لا يمثل مهمة سهلة.

تعرض هذه المدونة كيفية استخدام BIGO لـ Milvus، وهي قاعدة بيانات متجهة مفتوحة المصدر، لإزالة مقاطع الفيديو المكررة بشكل فعال.

الانتقال إلى:

• نظرة عامة
• سير عمل إلغاء تكرار الفيديو
• بنية النظام
• استخدام Milvus لتشغيل البحث عن التشابه

Milvus هي قاعدة بيانات متجهة مفتوحة المصدر تتميز ببحث متجه فائق السرعة. بدعم من Milvus، يمكن ل Likee إكمال البحث في غضون 200 مللي ثانية مع ضمان معدل استرجاع مرتفع. وفي الوقت نفسه، من خلال توسيع نطاق Milvus أفقيًا، تزيد Likee بنجاح من إنتاجية الاستعلامات المتجهة، مما يزيد من كفاءتها.

كيف يحدد Likee مقاطع الفيديو المكررة؟ في كل مرة يتم فيها إدخال مقطع فيديو استعلام في نظام Likee، يتم تقطيعه إلى 15-20 إطارًا ويتم تحويل كل إطار إلى متجه ميزة. ثم يقوم Likee بالبحث في قاعدة بيانات تضم 700 مليون متجه للعثور على أفضل K أكثر المتجهات تشابهًا. يتوافق كل واحد من أفضل متجهات K مع مقطع فيديو في قاعدة البيانات. يقوم Likee بإجراء المزيد من عمليات البحث المنقّحة للحصول على النتائج النهائية وتحديد مقاطع الفيديو التي ستتم إزالتها.

دعونا نلقي نظرة فاحصة على كيفية عمل نظام Likee لإزالة الازدواجية في الفيديو باستخدام Milvus. كما هو موضح في الرسم البياني أدناه، ستتم كتابة مقاطع الفيديو الجديدة التي يتم تحميلها إلى Likee إلى نظام تخزين البيانات Kafka في الوقت الفعلي ويستهلكها مستهلكو Kafka. يتم استخراج متجهات الميزات الخاصة بمقاطع الفيديو هذه من خلال نماذج التعلّم العميق، حيث يتم تحويل البيانات غير المهيكلة (الفيديو) إلى متجهات ميزات. يتم تجميع متجهات الميزات هذه بواسطة النظام وإرسالها إلى مدقق التشابه.

التصميم الهندسي لنظام إلغاء ازدواجية الفيديو في Likee

ستتم فهرسة ناقلات الميزات المستخرجة بواسطة Milvus وتخزينها في Ceph، قبل أن يتم تحميلها بواسطة عقدة استعلام Milvus لمزيد من البحث. سيتم أيضًا تخزين معرّفات الفيديو المقابلة لمتجهات الميزات هذه في نفس الوقت في TiDB أو Pika وفقًا للاحتياجات الفعلية.

استخدام قاعدة بيانات متجهات Milvus لتشغيل البحث عن التشابه

عند البحث عن متجهات متشابهة، تشكل مليارات البيانات الموجودة، إلى جانب كميات كبيرة من البيانات الجديدة التي يتم إنشاؤها كل يوم، تحديات كبيرة لوظائف محرك البحث عن المتجهات. بعد تحليل شامل، اختارت Likee في النهاية محرك البحث المتجه الموزع Milvus، وهو محرك بحث متجهي موزع ذو أداء عالٍ ومعدل استرجاع مرتفع، لإجراء بحث تشابه المتجهات.

كما هو موضح في الرسم البياني أدناه، يسير إجراء بحث التشابه على النحو التالي:

1. أولاً، يُجري برنامج Milvus بحثًا دفعيًا لاستدعاء أفضل 100 متجه متشابه لكل متجه من متجهات السمات المتعددة المستخرجة من فيديو جديد. يرتبط كل متجه مشابه بمعرف الفيديو المقابل له.

2. ثانيًا، من خلال مقارنة معرّفات الفيديو، يزيل Milvus مقاطع الفيديو المكررة ويسترجع متجهات الملامح لمقاطع الفيديو المتبقية من TiDB أو Pika.

3. أخيرًا، يحسب Milvus التشابه بين كل مجموعة من متجهات الميزات المسترجعة ومتجهات ميزات الفيديو المستعلم ويضع درجات التشابه بينهما. يتم إرجاع معرف الفيديو الذي حصل على أعلى الدرجات كنتيجة. وهكذا يتم الانتهاء من البحث عن تشابه الفيديو.

إجراء بحث التشابه

بصفته محرك بحث متجه عالي الأداء، قام ميلفوس بعمل استثنائي في نظام إلغاء ازدواجية الفيديو الخاص بشركة Likee، مما عزز بشكل كبير نمو أعمال الفيديو القصير في BIGO. فيما يتعلق بأعمال الفيديو، هناك العديد من السيناريوهات الأخرى التي يمكن تطبيق Milvus عليها، مثل حظر المحتوى غير القانوني أو التوصية بمقاطع الفيديو المخصصة. تتطلع كل من BIGO و Milvus إلى التعاون المستقبلي في المزيد من المجالات.