Búsqueda de similitudes en vídeo

Este tutorial muestra cómo utilizar Milvus, la base de datos vectorial de código abierto, para crear un sistema de búsqueda de similitudes en vídeo.

• Cuaderno Jupyter abierto

Los modelos ML y el software de terceros utilizados incluyen:

• OpenCV
• ResNet-50
• MySQL
• Towhee

Hoy en día, después de ver una película o un vídeo que les gusta, la gente puede hacer fácilmente capturas de pantalla y compartir sus opiniones publicándolas en varias plataformas de redes sociales. Cuando los seguidores ven las capturas de pantalla, les puede resultar muy difícil saber de qué película se trata si el nombre de la película no se indica explícitamente en la publicación. Para averiguar el nombre de la película, se puede recurrir a un sistema de búsqueda de similitudes de vídeos. Mediante este sistema, los usuarios pueden subir una imagen y obtener vídeos o películas que contengan fotogramas clave similares a la imagen subida.

En este tutorial, aprenderás a crear un sistema de búsqueda por similitud de vídeos. Este tutorial utiliza aproximadamente 100 gifs animados en Tumblr para construir el sistema. Sin embargo, también puedes preparar tus propios conjuntos de datos de vídeo. En primer lugar, el sistema utiliza OpenCV para extraer fotogramas clave en los vídeos y, a continuación, obtiene vectores de características de cada fotograma clave utilizando ResNet-50. Todos los vectores se almacenan y se buscan en Milvus, que devolverá los ID de vectores similares. A continuación, asigna los ID al vídeo correspondiente almacenado en MySQL.

video_search video_search_demo