Поиск по сходству видео
В этом руководстве показано, как использовать Milvus, векторную базу данных с открытым исходным кодом, для создания системы поиска сходства видео.
Используемые ML-модели и стороннее программное обеспечение включают:
- OpenCV
- ResNet-50
- MySQL
- Towhee
В наши дни после просмотра понравившегося фильма или видео люди могут легко сделать скриншоты и поделиться своими мыслями, разместив их на различных платформах социальных сетей. Когда подписчики видят скриншоты, им бывает очень сложно определить, о каком фильме идет речь, если название фильма не указано в сообщении. Чтобы узнать название фильма, люди могут воспользоваться системой поиска по сходству видео. С помощью этой системы пользователи могут загрузить изображение и получить видео или фильмы, содержащие ключевые кадры, похожие на загруженное изображение.
В этом уроке вы узнаете, как создать систему поиска по сходству видео. Для создания системы в этом уроке используется около 100 анимированных gif на Tumblr. Однако вы можете подготовить и свои собственные наборы данных видео. Сначала система использует OpenCV для извлечения ключевых кадров из видео, а затем получает векторы признаков каждого ключевого кадра с помощью ResNet-50. Все векторы сохраняются и ищутся в Milvus, который возвращает идентификаторы похожих векторов. Затем эти идентификаторы сопоставляются с соответствующим видео, хранящимся в MySQL.
video_search
video_search_demo