Revelação do Milvus 2.4: Pesquisa multi-vetorial, vetor esparso, índice CAGRA e muito mais!
Temos o prazer de anunciar o lançamento do Milvus 2.4, um grande avanço no aprimoramento dos recursos de pesquisa para conjuntos de dados em grande escala. Esta última versão adiciona novos recursos, como suporte para o índice CAGRA baseado em GPU, suporte beta para embeddings esparsos, pesquisa em grupo e várias outras melhorias nos recursos de pesquisa. Estes desenvolvimentos reforçam o nosso compromisso para com a comunidade, oferecendo a programadores como você uma ferramenta poderosa e eficiente para o tratamento e consulta de dados vectoriais. Vamos ver juntos os principais benefícios do Milvus 2.4.
Pesquisa multi-vetorial activada para pesquisas multimodais simplificadas
O Milvus 2.4 oferece a capacidade de pesquisa multivectorial, permitindo a pesquisa simultânea e a classificação de diferentes tipos de vectores dentro do mesmo sistema Milvus. Esta funcionalidade simplifica as pesquisas multimodais, melhorando significativamente as taxas de recuperação e permitindo aos programadores gerir sem esforço aplicações de IA complexas com tipos de dados variados. Além disso, essa funcionalidade simplifica a integração e o ajuste fino de modelos de reranking personalizados, auxiliando na criação de funções de pesquisa avançadas, como sistemas de recomendação precisos que utilizam insights de dados multidimensionais.
Como funciona a funcionalidade de pesquisa milti-vetorial
O suporte multivectorial em Milvus tem dois componentes:
A capacidade de armazenar/pesquisar múltiplos vectores para uma única entidade dentro de uma coleção, que é uma forma mais natural de organizar dados
A capacidade de construir/otimizar um algoritmo de reranking, aproveitando os algoritmos de reranking pré-construídos em Milvus
Para além de ser uma funcionalidade muito solicitada, criámos esta capacidade porque a indústria está a avançar para modelos multimodais com o lançamento do GPT-4 e do Claude 3. O ranqueamento é uma técnica comumente usada para melhorar ainda mais o desempenho da consulta na pesquisa. O nosso objetivo foi facilitar aos programadores a criação e otimização dos seus rerankers no ecossistema Milvus.
Suporte à pesquisa de agrupamento para maior eficiência computacional
A pesquisa de agrupamento é outra funcionalidade frequentemente solicitada que adicionámos ao Milvus 2.4. Integra uma operação de agrupamento concebida para campos dos tipos BOOL, INT ou VARCHAR, preenchendo uma lacuna crucial de eficiência na execução de consultas de agrupamento em grande escala.
Tradicionalmente, os programadores baseavam-se em pesquisas Top-K extensas seguidas de pós-processamento manual para destilar resultados específicos do grupo, um método de computação intensiva e de código pesado. A Pesquisa de Agrupamento aperfeiçoa este processo ligando eficazmente os resultados das consultas a identificadores de grupos agregados, como nomes de documentos ou vídeos, simplificando o tratamento de entidades segmentadas em conjuntos de dados maiores.
A Milvus distingue a sua Pesquisa de Agrupamento com uma implementação baseada em iteradores, oferecendo uma melhoria acentuada na eficiência computacional em relação a tecnologias semelhantes. Esta escolha garante uma escalabilidade de desempenho superior, particularmente em ambientes de produção onde a otimização dos recursos de computação é fundamental. Ao reduzir a passagem de dados e a sobrecarga de computação, o Milvus suporta um processamento de consultas mais eficiente, reduzindo significativamente os tempos de resposta e os custos operacionais em comparação com outras bases de dados vectoriais.
O Grouping Search reforça a capacidade do Milvus de gerir consultas complexas e de elevado volume e alinha-se com as práticas de computação de elevado desempenho para soluções robustas de gestão de dados.
Suporte Beta para Embeddings de Vectores Esparsos
As inc orporações esparsas representam uma mudança de paradigma em relação às abordagens tradicionais de vetores densos, atendendo às nuances da similaridade semântica em vez da mera frequência de palavras-chave. Esta distinção permite uma capacidade de pesquisa com mais nuances, alinhando-se estreitamente com o conteúdo semântico da consulta e dos documentos. Os modelos vectoriais esparsos, particularmente úteis na recuperação de informação e no processamento de linguagem natural, oferecem poderosas capacidades de pesquisa fora do domínio e interpretabilidade em comparação com os seus homólogos densos.
No Milvus 2.4, expandimos a Pesquisa Híbrida para incluir embeddings esparsos gerados por modelos neurais avançados como o SPLADEv2 ou modelos estatísticos como o BM25. No Milvus, os vectores esparsos são tratados em pé de igualdade com os vectores densos, permitindo a criação de colecções com campos vectoriais esparsos, a inserção de dados, a construção de índices e a realização de pesquisas de semelhança. Em particular, os embeddings esparsos em Milvus suportam a métrica de distância Inner Product (IP), o que é vantajoso dada a sua natureza de alta dimensão, tornando outras métricas menos eficazes. Esta funcionalidade também suporta tipos de dados com uma dimensão como um inteiro de 32 bits sem sinal e um float de 32 bits para o valor, facilitando assim um vasto espetro de aplicações, desde pesquisas de texto com nuances a sistemas elaborados de recuperação de informação.
Com esta nova funcionalidade, o Milvus permite metodologias de pesquisa híbridas que combinam palavras-chave e técnicas baseadas em incorporação, oferecendo uma transição perfeita para os utilizadores que se deslocam de estruturas de pesquisa centradas em palavras-chave que procuram uma solução abrangente e de baixa manutenção.
Estamos a classificar esta funcionalidade como "Beta" para continuar os nossos testes de desempenho da funcionalidade e recolher feedback da comunidade. A disponibilidade geral (GA) do suporte a vetores esparsos está prevista para o lançamento do Milvus 3.0.
Suporte ao índice CAGRA para indexação avançada de gráficos acelerada por GPU
Desenvolvida pela NVIDIA, a CAGRA (Cuda Anns GRAph-based) é uma tecnologia de indexação de gráficos baseada em GPU que supera significativamente os métodos tradicionais baseados em CPU, como o índice HNSW, em termos de eficiência e desempenho, especialmente em ambientes de alto rendimento.
Com a introdução do índice CAGRA, o Milvus 2.4 fornece uma capacidade aprimorada de indexação de gráficos acelerada por GPU. Esse aprimoramento é ideal para a criação de aplicativos de pesquisa de similaridade que exigem latência mínima. Além disso, o Milvus 2.4 integra uma pesquisa de força bruta com o índice CAGRA para atingir taxas máximas de recuperação em aplicativos. Para obter informações detalhadas, explore o blogue de introdução ao CAGRA.
Milvus Raft CAGRA vs. Milvus HNSW
Melhorias e recursos adicionais
O Milvus 2.4 também inclui outras melhorias importantes, como o suporte a expressões regulares para melhorar a correspondência de substring na filtragem de metadados, um novo índice escalar invertido para uma filtragem eficiente de tipos de dados escalares e uma ferramenta de captura de dados de alterações para monitorizar e replicar alterações em colecções Milvus. Estas actualizações melhoram coletivamente o desempenho e a versatilidade do Milvus, tornando-o uma solução abrangente para operações de dados complexas.
Para obter mais detalhes, consulte a documentação do Milvus 2.4.
Fique ligado!
Ansioso para saber mais sobre o Milvus 2.4? Participe no nosso próximo webinar com James Luan, VP de Engenharia da Zilliz, para uma discussão aprofundada sobre as capacidades desta última versão. Se tiver dúvidas ou comentários, junte-se ao nosso canal Discord para interagir com os nossos engenheiros e membros da comunidade. Não se esqueça de nos seguir no Twitter ou no LinkedIn para obter as últimas notícias e actualizações sobre o Milvus.
- Pesquisa multi-vetorial activada para pesquisas multimodais simplificadas
- Suporte à pesquisa de agrupamento para maior eficiência computacional
- Suporte Beta para Embeddings de Vectores Esparsos
- Suporte ao índice CAGRA para indexação avançada de gráficos acelerada por GPU
- Melhorias e recursos adicionais
- Fique ligado!
On This Page
Try Managed Milvus for Free
Zilliz Cloud is hassle-free, powered by Milvus and 10x faster.
Get StartedLike the article? Spread the word