Pesquisa de similaridade de áudio

Este tutorial demonstra como usar o Milvus, o banco de dados vetorial de código aberto, para criar um sistema de pesquisa de similaridade de áudio.

O modelo ML e o software de terceiros utilizados incluem:

• PANNs (redes neurais de áudio pré-treinadas em grande escala)
• MySQL
• Towhee

A pesquisa de fala, música, efeitos sonoros e outros tipos de áudio permite consultar rapidamente volumes maciços de dados de áudio e fazer emergir sons semelhantes. As aplicações dos sistemas de pesquisa de similaridade de áudio incluem a identificação de efeitos sonoros semelhantes, minimizando a infração de IP, entre outras. A recuperação de áudio pode ser utilizada para pesquisar e monitorizar os meios de comunicação em linha em tempo real, a fim de reprimir a violação dos direitos de propriedade intelectual. Também assume um papel importante na classificação e análise estatística de dados de áudio.

Neste tutorial, vai aprender a construir um sistema de pesquisa de semelhança de áudio que pode devolver clips de som semelhantes. Os clips de áudio carregados são convertidos em vectores utilizando PANNs. Estes vectores são armazenados no Milvus, que gera automaticamente um ID único para cada vetor. Em seguida, os utilizadores podem efetuar uma pesquisa de semelhança de vectores no Milvus e consultar o caminho de dados do clip de áudio correspondente ao ID único do vetor devolvido pelo Milvus.

Audio_search Audio_search_demo