Pesquisa de similaridade de vídeo
Este tutorial demonstra como usar o Milvus, a base de dados vetorial de código aberto, para construir um sistema de pesquisa de semelhança de vídeo.
Os modelos de ML e software de terceiros utilizados incluem:
- OpenCV
- ResNet-50
- MySQL
- Towhee
Hoje em dia, depois de verem um filme ou vídeo de que gostam, as pessoas podem facilmente fazer capturas de ecrã e partilhar as suas ideias publicando-as em várias plataformas de redes sociais. Quando os seguidores vêem as capturas de ecrã, pode ser muito difícil saberem de que filme se trata, se o nome do filme não estiver explicitamente escrito na publicação. Para descobrir o nome do filme, as pessoas podem tirar partido de um sistema de pesquisa de semelhanças de vídeo. Ao utilizar o sistema, os utilizadores podem carregar uma imagem e obter vídeos ou filmes que contenham fotogramas chave semelhantes à imagem carregada.
Neste tutorial, aprenderá a criar um sistema de pesquisa de semelhança de vídeo. Este tutorial usa aproximadamente 100 gifs animados no Tumblr para construir o sistema. No entanto, você também pode preparar seus próprios conjuntos de dados de vídeo. O sistema usa primeiro o OpenCV para extrair quadros-chave em vídeos e, em seguida, obtém vetores de recursos de cada quadro-chave usando o ResNet-50. Todos os vectores são armazenados e pesquisados no Milvus, que devolverá os IDs de vectores semelhantes. Em seguida, mapeia os IDs para o vídeo correspondente armazenado no MySQL.
video_search 
video_search_demo
