Pencarian Kemiripan Video

Tutorial ini mendemonstrasikan cara menggunakan Milvus, basis data vektor sumber terbuka, untuk membangun sistem pencarian kemiripan video.

• Buka buku catatan Jupyter

Model ML dan perangkat lunak pihak ketiga yang digunakan meliputi:

• OpenCV
• ResNet-50
• MySQL
• Towhee

Saat ini, setelah menonton film atau video yang mereka sukai, orang dapat dengan mudah mengambil tangkapan layar dan membagikan pemikiran mereka dengan memposting di berbagai platform jejaring sosial. Ketika para pengikut melihat tangkapan layar, akan sangat sulit bagi mereka untuk mengetahui film mana yang dimaksud jika nama film tersebut tidak disebutkan secara eksplisit dalam postingan. Untuk mengetahui nama filmnya, orang bisa memanfaatkan sistem pencarian kemiripan video. Dengan menggunakan sistem ini, pengguna dapat mengunggah sebuah gambar dan mendapatkan video atau film yang mengandung frame kunci yang mirip dengan gambar yang diunggah.

Dalam tutorial ini, Anda akan belajar cara membuat sistem pencarian kemiripan video. Tutorial ini menggunakan sekitar 100 gif animasi di Tumblr untuk membangun sistem. Namun, Anda juga dapat menyiapkan dataset video Anda sendiri. Sistem ini pertama-tama menggunakan OpenCV untuk mengekstrak frame kunci dalam video dan kemudian mendapatkan vektor fitur dari setiap frame kunci menggunakan ResNet-50. Semua vektor disimpan dan dicari di Milvus, yang akan mengembalikan ID vektor yang serupa. Kemudian memetakan ID ke video yang sesuai yang disimpan di MySQL.

video_search video_search_demo