🚀 Experimente o Zilliz Cloud, o Milvus totalmente gerenciado, gratuitamente—experimente um desempenho 10x mais rápido! Experimente Agora>>

milvus-logo
LFAI
  • Home
  • Blog
  • Como criar 4 aplicações populares de IA com o Milvus

Como criar 4 aplicações populares de IA com o Milvus

  • Scenarios
April 08, 2021
milvus

blog cover.png capa do blogue.png

O Milvus é uma base de dados vetorial de código aberto. Suporta a adição, eliminação, atualização e pesquisa quase em tempo real de conjuntos de dados vectoriais maciços criados através da extração de vectores de caraterísticas de dados não estruturados utilizando modelos de IA. Com um conjunto abrangente de APIs intuitivas e suporte para várias bibliotecas de índices amplamente adoptadas (por exemplo, Faiss, NMSLIB e Annoy), o Milvus acelera o desenvolvimento de aplicações de aprendizagem automática e operações de aprendizagem automática (MLOps). Com o Milvus, é possível desenvolver rapidamente um produto mínimo viável (MVP), mantendo os custos em limites mais baixos.

"Que recursos estão disponíveis para desenvolver uma aplicação de IA com Milvus?" é uma pergunta frequente na comunidade Milvus. A Zilliz, a empresa por detrás do Milvus, desenvolveu uma série de demonstrações que utilizam o Milvus para efetuar pesquisas de semelhanças extremamente rápidas que alimentam aplicações inteligentes. O código-fonte das soluções Milvus pode ser encontrado em zilliz-bootcamp. Os seguintes cenários interactivos demonstram o processamento de linguagem natural (PNL), a pesquisa inversa de imagens, a pesquisa de áudio e a visão por computador.

Não hesite em experimentar as soluções para ganhar alguma experiência prática com cenários específicos! Partilhe os seus próprios cenários de aplicação através do:


Saltar para:


Processamento de linguagem natural (chatbots)

O Milvus pode ser utilizado para criar chatbots que utilizam o processamento de linguagem natural para simular um operador em direto, responder a perguntas, encaminhar os utilizadores para informações relevantes e reduzir os custos de mão de obra. Para demonstrar este cenário de aplicação, a Zilliz criou um chatbot alimentado por IA que compreende linguagem semântica, combinando o Milvus com o BERT, um modelo de aprendizagem automática (ML) desenvolvido para pré-treino de PNL.

Código-fonte:zilliz-bootcamp/intelligent_question_answering_v2

1.png 1.png

Como utilizar

  1. Carregue um conjunto de dados que inclua pares de perguntas e respostas. Formate as perguntas e respostas em duas colunas separadas. Em alternativa, está disponível para transferência um conjunto de dados de amostra.

  2. Depois de digitar a sua pergunta, uma lista de perguntas semelhantes será recuperada do conjunto de dados carregado.

  3. Revele a resposta selecionando a pergunta mais semelhante à sua.

👉Vídeo:[Demonstração] Sistema de controlo de qualidade desenvolvido pela Milvus

Como funciona

As perguntas são convertidas em vectores de caraterísticas utilizando o modelo BERT da Google e, em seguida, o Milvus é utilizado para gerir e consultar o conjunto de dados.

Processamento de dados:

  1. O BERT é utilizado para converter os pares de perguntas e respostas carregados em vectores de caraterísticas de 768 dimensões. Os vectores são depois importados para o Milvus e são-lhes atribuídos IDs individuais.
  2. Os IDs dos vectores de perguntas e respostas correspondentes são armazenados no PostgreSQL.

Pesquisa de perguntas semelhantes:

  1. O BERT é utilizado para extrair vectores de caraterísticas da pergunta introduzida por um utilizador.
  2. O Milvus recupera IDs de vectores para perguntas que são mais semelhantes à pergunta de entrada.
  3. O sistema procura as respostas correspondentes no PostgreSQL.


Sistemas de pesquisa inversa de imagens

A pesquisa inversa de imagens está a transformar o comércio eletrónico através de recomendações personalizadas de produtos e ferramentas de pesquisa de produtos semelhantes que podem aumentar as vendas. Neste cenário de aplicação, Zilliz criou um sistema de pesquisa inversa de imagens combinando o Milvus com o VGG, um modelo de ML capaz de extrair caraterísticas de imagens.

Código-fonte:zilliz-bootcamp/image_search

2.jpeg 2.jpeg

Como utilizar

  1. Carregue um conjunto de dados de imagem zipado composto apenas por imagens .jpg (não são aceites outros tipos de ficheiros de imagem). Em alternativa, está disponível para transferência um conjunto de dados de amostra.
  2. Carregue uma imagem para utilizar como entrada de pesquisa para encontrar imagens semelhantes.

👉Vídeo: [Demonstração] Pesquisa de imagens com o Milvus

Como funciona

As imagens são convertidas em vectores de caraterísticas de 512 dimensões utilizando o modelo VGG e, em seguida, o Milvus é utilizado para gerir e consultar o conjunto de dados.

Processamento de dados:

  1. O modelo VGG é utilizado para converter o conjunto de dados de imagens carregado em vectores de caraterísticas. Os vectores são depois importados para o Milvus e são-lhes atribuídos IDs individuais.
  2. Os vectores de caraterísticas das imagens e os caminhos dos ficheiros de imagem correspondentes são armazenados na CacheDB.

Pesquisa de imagens semelhantes:

  1. O VGG é utilizado para converter a imagem carregada por um utilizador em vectores de caraterísticas.
  2. Os IDs dos vectores das imagens mais semelhantes à imagem de entrada são obtidos a partir do Milvus.
  3. O sistema procura os caminhos dos ficheiros de imagem correspondentes na CacheDB.


Sistemas de pesquisa de áudio

A pesquisa de fala, música, efeitos sonoros e outros tipos de áudio permite consultar rapidamente grandes volumes de dados de áudio e obter sons semelhantes. As aplicações incluem a identificação de efeitos sonoros semelhantes, minimizando a infração de IP e muito mais. Para demonstrar este cenário de aplicação, Zilliz criou um sistema de pesquisa de semelhança de áudio altamente eficiente, combinando Milvus com PANNs - umarede neural de áudio pré-treinada em grande escala criada para reconhecimento de padrões de áudio.

Código fonte:zilliz-bootcamp/audio_search 3.png3.png

Como utilizar

  1. Carregue um conjunto de dados de áudio zipado composto apenas por ficheiros .wav (não são aceites outros tipos de ficheiros de áudio). Em alternativa, está disponível para transferência um conjunto de dados de amostra.
  2. Carregue um ficheiro .wav para utilizar como entrada de pesquisa para encontrar áudio semelhante.

👉Vídeo: [Demonstração] Pesquisa de áudio com o Milvus

Como funciona

O áudio é convertido em vectores de caraterísticas utilizando PANNs, redes neurais de áudio pré-treinadas em grande escala criadas para o reconhecimento de padrões de áudio. Em seguida, o Milvus é utilizado para gerir e consultar o conjunto de dados.

Processamento de dados:

  1. As PANNs convertem o áudio do conjunto de dados carregado em vectores de caraterísticas. Os vectores são depois importados para o Milvus e são-lhes atribuídos IDs individuais.
  2. Os IDs dos vectores de caraterísticas de áudio e os caminhos dos ficheiros .wav correspondentes são armazenados no PostgreSQL.

Pesquisa de áudio semelhante:

  1. O PANNs é utilizado para converter o ficheiro de áudio carregado por um utilizador em vectores de caraterísticas.
  2. Os ID dos vectores de áudio mais semelhantes ao ficheiro carregado são recuperados do Milvus através do cálculo da distância do produto interno (IP).
  3. O sistema procura os caminhos dos ficheiros de áudio correspondentes no MySQL.


Deteção de objectos de vídeo (visão por computador)

A deteção de objectos de vídeo tem aplicações na visão por computador, recuperação de imagens, condução autónoma, etc. Para demonstrar este cenário de aplicação, Zilliz criou um sistema de deteção de objectos vídeo combinando o Milvus com tecnologias e algoritmos como o OpenCV, o YOLOv3 e o ResNet50.

👉Código-fonte: zilliz-bootcamp/video_analysis

4.png 4.png

Como utilizar

  1. Carregue um conjunto de dados de imagem zipado composto apenas por ficheiros .jpg (não são aceites outros tipos de ficheiros de imagem). Certifique-se de que cada ficheiro de imagem tem o nome do objeto que representa. Em alternativa, está disponível para transferência um conjunto de dados de amostra.
  2. Carregue um vídeo para utilizar na análise.
  3. Clique no botão de reprodução para ver o vídeo carregado com os resultados da deteção de objectos mostrados em tempo real.

👉Vídeo: [Demonstração] Sistema de deteção de objectos em vídeo com tecnologia Milvus

Como funciona

As imagens de objectos são convertidas em vectores de caraterísticas de 2048 dimensões utilizando o ResNet50. Em seguida, o Milvus é utilizado para gerir e consultar o conjunto de dados.

Processamento de dados:

  1. O ResNet50 converte imagens de objectos em vectores de caraterísticas de 2048 dimensões. Os vectores são depois importados para o Milvus e são-lhes atribuídos IDs individuais.
  2. Os IDs dos vectores de caraterísticas de áudio e os caminhos dos ficheiros de imagem correspondentes são armazenados no MySQL.

Deteção de objectos no vídeo:

  1. O OpenCV é utilizado para cortar o vídeo.
  2. O YOLOv3 é utilizado para detetar objectos no vídeo.
  3. O ResNet50 converte as imagens dos objectos detectados em vectores de caraterísticas de 2048 dimensões.

O Milvus procura as imagens de objectos mais semelhantes no conjunto de dados carregado. Os nomes dos objectos correspondentes e os caminhos dos ficheiros de imagem são recuperados do MySQL.

    Try Managed Milvus for Free

    Zilliz Cloud is hassle-free, powered by Milvus and 10x faster.

    Get Started

    Like the article? Spread the word

    Continue Lendo