Recherche de similarité vidéo

Ce tutoriel montre comment utiliser Milvus, la base de données vectorielle open-source, pour construire un système de recherche de similarité vidéo.

• Bloc-notes Jupyter ouvert

Les modèles ML et les logiciels tiers utilisés sont les suivants :

• OpenCV
• ResNet-50
• MySQL
• Towhee

De nos jours, après avoir regardé un film ou une vidéo qu'ils aiment, les gens peuvent facilement faire des captures d'écran et partager leurs pensées en les publiant sur diverses plateformes de réseaux sociaux. Lorsque les internautes voient les captures d'écran, il peut être très difficile pour eux de savoir de quel film il s'agit si le nom du film n'est pas explicitement indiqué dans le message. Pour trouver le nom du film, les internautes peuvent utiliser un système de recherche de similitudes vidéo. Ce système permet aux utilisateurs de télécharger une image et d'obtenir des vidéos ou des films contenant des images clés similaires à l'image téléchargée.

Dans ce tutoriel, vous apprendrez à construire un système de recherche par similarité vidéo. Ce tutoriel utilise environ 100 gifs animés sur Tumblr pour construire le système. Cependant, vous pouvez également préparer vos propres ensembles de données vidéo. Le système utilise d'abord OpenCV pour extraire les images clés des vidéos, puis obtient les vecteurs de caractéristiques de chaque image clé à l'aide de ResNet-50. Tous les vecteurs sont stockés et recherchés dans Milvus, qui renvoie les ID des vecteurs similaires. Les ID sont ensuite mis en correspondance avec la vidéo correspondante stockée dans MySQL.

video_search video_search_demo