<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Multimodal_Semantic_Search_with_Images_and_Text_180d89d5aa.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Como seres humanos, interpretamos o mundo através dos nossos sentidos. Ouvimos sons, vemos imagens, vídeos e textos, muitas vezes sobrepostos uns aos outros. Compreendemos o mundo através destas múltiplas modalidades e da relação entre elas. Para que a inteligência artificial possa realmente igualar ou exceder as capacidades humanas, tem de desenvolver esta mesma capacidade de compreender o mundo através de múltiplas lentes em simultâneo.</p>
<p>Nesta publicação, no vídeo que a acompanha (brevemente) e no bloco de notas, apresentaremos as recentes descobertas em modelos que podem processar texto e imagens em conjunto. Vamos demonstrar isto construindo uma aplicação de pesquisa semântica que vai além da simples correspondência de palavras-chave - compreende a relação entre o que os utilizadores estão a pedir e o conteúdo visual que estão a pesquisar.</p>
<p>O que torna este projeto particularmente excitante é o facto de ser construído inteiramente com ferramentas de código aberto: a base de dados de vectores Milvus, as bibliotecas de aprendizagem automática da HuggingFace e um conjunto de dados de críticas de clientes da Amazon. É extraordinário pensar que, há apenas uma década, construir algo deste género teria exigido recursos proprietários significativos. Atualmente, estes poderosos componentes estão disponíveis gratuitamente e podem ser combinados de formas inovadoras por qualquer pessoa com curiosidade para experimentar.</p>
<custom-h1>Visão geral</custom-h1><p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/overview_97a124bc9a.jpg" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>A nossa aplicação de pesquisa multimodal é do tipo <em>retrieve-and-rerank.</em> Se estiver familiarizado com o <em>retrieval-augmented-generation</em> (RAG), é muito semelhante, só que o resultado final é uma lista de imagens que foram classificadas por um modelo de visão de linguagem de grande dimensão (LLVM). A consulta de pesquisa do utilizador contém texto e imagem, e o alvo é um conjunto de imagens indexadas numa base de dados vetorial. A arquitetura tem três passos - <em>indexação</em>, <em>recuperação</em> e <em>classificação</em> (semelhante a "geração") - que resumimos de seguida.</p>
<h2 id="Indexing" class="common-anchor-header">Indexação<button data-href="#Indexing" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>A nossa aplicação de pesquisa tem de ter algo para pesquisar. No nosso caso, usamos um pequeno subconjunto do conjunto de dados "Amazon Reviews 2023", que contém texto e imagens de avaliações de clientes da Amazon em todos os tipos de produtos. É possível imaginar uma pesquisa semântica como a que estamos a construir como um complemento útil para um sítio Web de comércio eletrónico. Utilizamos 900 imagens e descartamos o texto, embora observemos que este bloco de notas pode ser escalado para o tamanho de produção com a base de dados correta e implementações de inferência.</p>
<p>A primeira peça de "magia" no nosso pipeline é a escolha do modelo de incorporação. Usamos um modelo multimodal recentemente desenvolvido, chamado <a href="https://huggingface.co/BAAI/bge-visualized">Visualized BGE</a>, que é capaz de incorporar texto e imagens em conjunto, ou separadamente, no mesmo espaço com um único modelo em que os pontos próximos são semanticamente semelhantes. Recentemente, foram desenvolvidos outros modelos deste tipo, por exemplo, <a href="https://github.com/google-deepmind/magiclens">o MagicLens</a>.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/indexing_1937241be5.jpg" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>A figura acima ilustra: a incorporação para [uma imagem de um leão de lado] mais o texto "vista frontal disto" está próxima de uma incorporação para [uma imagem de um leão de frente] sem texto. O mesmo modelo é utilizado para entradas de texto e imagem e entradas só de imagem (bem como entradas só de texto). <em>Desta forma, o modelo é capaz de compreender a intenção do utilizador na forma como o texto de consulta se relaciona com a imagem de consulta.</em></p>
<p>Incorporamos as nossas 900 imagens de produtos sem o texto correspondente e armazenamos as incorporações numa base de dados vetorial utilizando <a href="https://milvus.io/docs">o Milvus</a>.</p>
<h2 id="Retrieval" class="common-anchor-header">Recuperação<button data-href="#Retrieval" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Agora que a nossa base de dados está construída, podemos servir uma consulta do utilizador. Imaginemos que um utilizador vem com a consulta: "uma capa de telemóvel com isto" mais [uma imagem de um Leopardo]. Ou seja, está à procura de capas de telemóvel com estampas de pele de leopardo.</p>
<p>Note-se que o texto da consulta do utilizador dizia "isto" em vez de "a pele de um Leopardo". O nosso modelo de incorporação deve ser capaz de ligar "isto" àquilo a que se refere, o que é um feito impressionante, dado que a iteração anterior de modelos não era capaz de lidar com instruções tão abertas. O <a href="https://arxiv.org/abs/2403.19651">documento MagicLens</a> dá outros exemplos.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Retrieval_ad64f48e49.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Inserimos o texto e a imagem da consulta em conjunto e efectuamos uma pesquisa de semelhanças na nossa base de dados de vectores, devolvendo os nove melhores resultados. Os resultados são apresentados na figura acima, juntamente com a imagem de consulta do leopardo. Verifica-se que o primeiro resultado não é o mais relevante para a consulta. O sétimo resultado parece ser o mais relevante - é uma capa de telemóvel com uma impressão de pele de leopardo.</p>
<h2 id="Generation" class="common-anchor-header">Geração<button data-href="#Generation" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Parece que a nossa pesquisa falhou no facto de o resultado principal não ser o mais relevante. No entanto, podemos corrigir isso com uma etapa de reordenamento. Talvez esteja familiarizado com a reavaliação de itens recuperados como sendo um passo importante em muitos pipelines RAG. Utilizamos o <a href="https://huggingface.co/microsoft/Phi-3-vision-128k-instruct">Phi-3 Vision</a> como modelo de reclassificação.</p>
<p>Em primeiro lugar, pedimos a um LLVM para gerar uma legenda para a imagem consultada. O LLVM gera:</p>
<p><em>"A imagem mostra um grande plano do rosto de um leopardo, com destaque para o pelo manchado e os olhos verdes."</em></p>
<p>Em seguida, alimentamos esta legenda, uma única imagem com os nove resultados e a imagem de consulta, e construímos uma mensagem de texto pedindo ao modelo para reordenar os resultados, dando a resposta como uma lista e fornecendo uma razão para a escolha da melhor correspondência.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Generation_b016a6c26a.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>O resultado é visualizado na figura acima - o item mais relevante é agora o melhor resultado - e a razão dada é:</p>
<p><em>"O item mais adequado é o que tem o tema leopardo, que corresponde à instrução de consulta do utilizador para uma capa de telemóvel com um tema semelhante."</em></p>
<p>O nosso re-classificador LLVM foi capaz de efetuar a compreensão de imagens e texto e melhorar a relevância dos resultados da pesquisa. <em>Um artefacto interessante é que o re-classificador só deu oito resultados e deixou cair um, o que realça a necessidade de guardrails e de resultados estruturados.</em></p>
<h2 id="Summary" class="common-anchor-header">Resumo<button data-href="#Summary" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Neste post, no vídeo que o acompanha (em breve) e no <a href="https://github.com/milvus-io/bootcamp/blob/master/bootcamp/tutorials/quickstart/multimodal_retrieval_amazon_reviews.ipynb">bloco de notas</a>, construímos uma aplicação para pesquisa semântica multimodal em texto e imagens. O modelo de incorporação foi capaz de incorporar texto e imagens conjunta ou separadamente no mesmo espaço, e o modelo de fundação foi capaz de introduzir texto e imagem enquanto gerava texto em resposta. <em>Mais importante ainda, o modelo de incorporação foi capaz de relacionar a intenção do utilizador de uma instrução aberta com a imagem de consulta e, dessa forma, especificar como o utilizador queria que os resultados se relacionassem com a imagem introduzida.</em></p>
<p>Isto é apenas uma amostra do que está para vir num futuro próximo. Veremos muitas aplicações de pesquisa multimodal, compreensão e raciocínio multimodais, etc., em diversas modalidades: imagem, vídeo, áudio, moléculas, redes sociais, dados tabulares, séries temporais, o potencial é ilimitado.</p>
<p>E no centro destes sistemas está uma base de dados vetorial que contém a "memória" externa do sistema. O Milvus é uma excelente escolha para este fim. É de código aberto, tem todas as funcionalidades (ver <a href="https://milvus.io/blog/get-started-with-hybrid-semantic-full-text-search-with-milvus-2-5.md">este artigo sobre a pesquisa de texto integral no Milvus 2.5</a>) e é escalável de forma eficiente para milhares de milhões de vectores com tráfego à escala da Web e latência inferior a 100 ms. Saiba mais na <a href="https://milvus.io/docs">documentação do Milvus</a>, junte-se à nossa comunidade <a href="https://milvus.io/discord">Discord</a> e esperamos vê-lo no nosso próximo <a href="https://lu.ma/unstructured-data-meetup">encontro de dados não estruturados</a>. Até lá!</p>
<h2 id="Resources" class="common-anchor-header">Recursos<button data-href="#Resources" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p>Caderno de notas: <a href="https://github.com/milvus-io/bootcamp/blob/master/bootcamp/tutorials/quickstart/multimodal_retrieval_amazon_reviews.ipynb">"Pesquisa multimodal com comentários da Amazon e LLVM Reranking</a>"</p></li>
<li><p>Vídeo do Youtube AWS Developers (em breve)</p></li>
<li><p><a href="https://milvus.io/docs">Documentação do Milvus</a></p></li>
<li><p><a href="https://lu.ma/unstructured-data-meetup">Encontro de dados não estruturados</a></p></li>
<li><p>Modelo de incorporação: <a href="https://huggingface.co/BAAI/bge-visualized">Cartão de modelo BGE visualizado</a></p></li>
<li><p>Modelo de incorporação alternativo: <a href="https://github.com/google-deepmind/magiclens">Repositório de modelos MagicLens</a></p></li>
<li><p>LLVM: <a href="https://huggingface.co/microsoft/Phi-3-vision-128k-instruct">Cartão de modelo Phi-3 Vision</a></p></li>
<li><p>Artigo: "<a href="https://arxiv.org/abs/2403.19651">MagicLens: Recuperação auto-supervisionada de imagens com instruções abertas</a>"</p></li>
<li><p>Conjunto de dados: <a href="https://amazon-reviews-2023.github.io/">Comentários da Amazon 2023</a></p></li>
</ul>


Pesquisa semântica multimodal com imagens e texto

Como começar a utilizar o Milvus

<p>Neste momento, toda a gente sabe que a pesquisa híbrida melhorou a qualidade da pesquisa <a href="https://zilliz.com/learn/Retrieval-Augmented-Generation">RAG</a> (Retrieval-Augmented Generation). Embora a pesquisa <a href="https://zilliz.com/learn/sparse-and-dense-embeddings">com incorporação densa</a> tenha mostrado capacidades impressionantes na captura de relações semânticas profundas entre consultas e documentos, ainda tem limitações notáveis. Estas incluem a falta de explicabilidade e um desempenho subóptimo com consultas de cauda longa e termos raros.</p>
<p>Muitas aplicações RAG têm dificuldades porque os modelos pré-treinados carecem frequentemente de conhecimentos específicos do domínio. Em alguns cenários, a simples correspondência de palavras-chave BM25 supera estes modelos sofisticados. É aqui que a pesquisa híbrida preenche a lacuna, combinando a compreensão semântica da recuperação de vectores densos com a precisão da correspondência de palavras-chave.</p>
<h2 id="Why-Hybrid-Search-is-Complex-in-Production" class="common-anchor-header">Porque é que a pesquisa híbrida é complexa na produção<button data-href="#Why-Hybrid-Search-is-Complex-in-Production" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Embora estruturas como <a href="https://zilliz.com/learn/LangChain">LangChain</a> ou <a href="https://zilliz.com/learn/getting-started-with-llamaindex">LlamaIndex</a> facilitem a construção de um recuperador híbrido de prova de conceito, o escalonamento para produção com conjuntos de dados massivos é um desafio. As arquitecturas tradicionais requerem bases de dados vectoriais e motores de pesquisa separados, o que leva a vários desafios importantes:</p>
<ul>
<li><p>Elevados custos de manutenção da infraestrutura e complexidade operacional</p></li>
<li><p>Redundância de dados em vários sistemas</p></li>
<li><p>Gestão difícil da consistência dos dados</p></li>
<li><p>Segurança e controlo de acesso complexos entre sistemas</p></li>
</ul>
<p>O mercado precisa de uma solução unificada que suporte a pesquisa lexical e semântica, reduzindo a complexidade e o custo do sistema.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/elasticsearch_vs_milvus_5be6e2b69e.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<h2 id="The-Pain-Points-of-Elasticsearch" class="common-anchor-header">Os pontos problemáticos do Elasticsearch<button data-href="#The-Pain-Points-of-Elasticsearch" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>O Elasticsearch tem sido um dos projectos de pesquisa open-source mais influentes da última década. Criado com base no Apache Lucene, ganhou popularidade graças ao seu elevado desempenho, escalabilidade e arquitetura distribuída. Embora tenha adicionado a pesquisa ANN vetorial na versão 8.0, as implementações de produção enfrentam vários desafios críticos:</p>
<p><strong>Altos custos de atualização e indexação:</strong> A arquitetura do Elasticsearch não dissocia totalmente as operações de gravação, a criação de índices e a consulta. Isso leva a uma sobrecarga significativa de CPU e E/S durante as operações de gravação, especialmente em atualizações em massa. A contenção de recursos entre a indexação e a consulta afeta o desempenho, criando um grande gargalo para cenários de atualização de alta frequência.</p>
<p><strong>Fraco desempenho em tempo real:</strong> Como um mecanismo de busca "quase em tempo real", o Elasticsearch introduz uma latência percetível na visibilidade dos dados. Essa latência se torna particularmente problemática para aplicações de IA, como sistemas Agent, em que interações de alta frequência e tomadas de decisão dinâmicas exigem acesso imediato aos dados.</p>
<p><strong>Difícil gerenciamento de shards:</strong> Embora o Elasticsearch use sharding para arquitetura distribuída, o gerenciamento de shards apresenta desafios significativos. A falta de suporte a sharding dinâmico cria um dilema: muitos shards em conjuntos de dados pequenos levam a um desempenho ruim, enquanto poucos shards em conjuntos de dados grandes limitam a escalabilidade e causam distribuição desigual de dados.</p>
<p><strong>Arquitetura não nativa da nuvem:</strong> Desenvolvido antes de as arquiteturas nativas da nuvem se tornarem predominantes, o design do Elasticsearch une fortemente o armazenamento e a computação, limitando sua integração com a infraestrutura moderna, como nuvens públicas e Kubernetes. A ampliação de recursos exige aumentos simultâneos no armazenamento e na computação, reduzindo a flexibilidade. Em cenários de várias réplicas, cada fragmento deve criar seu índice de forma independente, aumentando os custos computacionais e reduzindo a eficiência dos recursos.</p>
<p><strong>Baixo desempenho de pesquisa vetorial:</strong> Embora o Elasticsearch 8.0 tenha introduzido a pesquisa vetorial ANN, seu desempenho fica significativamente atrás do desempenho de mecanismos vetoriais dedicados, como o Milvus. Com base no kernel do Lucene, sua estrutura de índice se mostra ineficiente para dados de alta dimensão, com dificuldades para atender aos requisitos de busca vetorial em grande escala. O desempenho torna-se particularmente instável em cenários complexos que envolvem filtragem escalar e multi-tenancy, o que torna difícil suportar cargas elevadas ou necessidades empresariais diversas.</p>
<p><strong>Consumo excessivo de recursos:</strong> O Elasticsearch impõe demandas extremas de memória e CPU, especialmente ao processar dados em grande escala. Sua dependência da JVM exige ajustes frequentes no tamanho do heap e no ajuste da coleta de lixo, afetando severamente a eficiência da memória. As operações de pesquisa vetorial exigem cálculos intensivos otimizados para SIMD, para os quais o ambiente JVM está longe de ser ideal.</p>
<p>Essas limitações fundamentais se tornam cada vez mais problemáticas à medida que as organizações ampliam sua infraestrutura de IA, tornando o Elasticsearch particularmente desafiador para aplicações modernas de IA que exigem alto desempenho e confiabilidade.</p>
<h2 id="Introducing-Sparse-BM25-Reimagining-Lexical-Search" class="common-anchor-header">Apresentando o Sparse-BM25: Reimaginando a pesquisa lexical<button data-href="#Introducing-Sparse-BM25-Reimagining-Lexical-Search" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><a href="https://milvus.io/blog/introduce-milvus-2-5-full-text-search-powerful-metadata-filtering-and-more.md">O Milvus 2.5</a> introduz o suporte nativo à pesquisa lexical por meio do Sparse-BM25, com base nos recursos de pesquisa híbrida introduzidos na versão 2.4. Essa abordagem inovadora inclui os seguintes componentes principais:</p>
<ul>
<li><p>Tokenização avançada e pré-processamento via Tantivy</p></li>
<li><p>Gestão distribuída do vocabulário e da frequência dos termos</p></li>
<li><p>Geração de vectores esparsos utilizando TF do corpus e TF-IDF da consulta</p></li>
<li><p>Suporte a índices invertidos com o algoritmo WAND (Block-Max WAND e suporte a índices gráficos em desenvolvimento)</p></li>
</ul>
<p>Em comparação com o Elasticsearch, o Milvus oferece vantagens significativas em termos de flexibilidade de algoritmos. O seu cálculo de semelhança baseado na distância vetorial permite uma correspondência mais sofisticada, incluindo a implementação do TW-BERT (Term Weighting BERT) com base na investigação "End-to-End Query Term Weighting". Esta abordagem demonstrou um desempenho superior em testes no domínio e fora do domínio.</p>
<p>Outra vantagem crucial é a eficiência de custos. Ao tirar partido do índice invertido e da compressão de incorporação densa, o Milvus consegue quintuplicar o desempenho com menos de 1% de degradação da recuperação. Através da poda de cauda e da quantização de vectores, a utilização de memória foi reduzida em mais de 50%.</p>
<p>A otimização de consultas longas destaca-se como um ponto forte particular. Enquanto os algoritmos WAND tradicionais têm dificuldades com consultas mais longas, o Milvus se destaca pela combinação de embeddings esparsos com índices gráficos, proporcionando uma melhoria de desempenho dez vezes maior em cenários de pesquisa de vetores esparsos de alta dimensão.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/document_in_and_out_b84771bec4.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<h2 id="Milvus-The-Ultimate-Vector-Database-for-RAG" class="common-anchor-header">Milvus: A melhor base de dados vetorial para RAG<button data-href="#Milvus-The-Ultimate-Vector-Database-for-RAG" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>O Milvus é a primeira escolha para aplicações RAG graças ao seu conjunto abrangente de funcionalidades. As principais vantagens incluem:</p>
<ul>
<li><p>Suporte rico de metadados com capacidades de esquema dinâmico e opções de filtragem poderosas</p></li>
<li><p>Multitenancy de nível empresarial com isolamento flexível através de colecções, partições e chaves de partição</p></li>
<li><p>Suporte de índice de vetor de disco pioneiro no setor com armazenamento em vários níveis, da memória ao S3</p></li>
<li><p>Escalabilidade nativa da nuvem com suporte para escalonamento contínuo de 10 milhões a mais de 1 bilhão de vetores</p></li>
<li><p>Recursos de pesquisa abrangentes, incluindo agrupamento, intervalo e pesquisa híbrida</p></li>
<li><p>Integração profunda do ecossistema com LangChain, LlamaIndex, Dify e outras ferramentas de IA</p></li>
</ul>
<p>As diversas capacidades de pesquisa do sistema abrangem metodologias de pesquisa de agrupamento, de intervalo e híbridas. A profunda integração com ferramentas como LangChain, LlamaIndex e Dify, bem como o suporte a vários produtos de IA, coloca o Milvus no centro do ecossistema moderno de infraestrutura de IA.</p>
<h2 id="Looking-Forward" class="common-anchor-header">Olhando para o futuro<button data-href="#Looking-Forward" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>À medida que a IA passa do POC para a produção, a Milvus continua a evoluir. Concentramo-nos em tornar a pesquisa vetorial mais acessível e rentável, melhorando simultaneamente a qualidade da pesquisa. Quer se trate de uma startup ou de uma empresa, a Milvus reduz as barreiras técnicas ao desenvolvimento de aplicações de IA.</p>
<p>Este compromisso com a acessibilidade e a inovação levou-nos a dar mais um grande passo em frente. Embora a nossa solução de código aberto continue a servir de base a milhares de aplicações em todo o mundo, reconhecemos que muitas organizações necessitam de uma solução totalmente gerida que elimine as despesas operacionais.</p>
<h2 id="Zilliz-Cloud-The-Managed-Solution" class="common-anchor-header">Zilliz Cloud: A Solução Gerenciada<button data-href="#Zilliz-Cloud-The-Managed-Solution" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Nos últimos três anos, criámos <a href="https://zilliz.com/cloud">o Zilliz Cloud</a>, um serviço de base de dados vetorial totalmente gerido, baseado no Milvus. Através de uma reimplementação nativa da nuvem do protocolo Milvus, oferece maior usabilidade, eficiência de custos e segurança.</p>
<p>Com base na nossa experiência na manutenção dos maiores clusters de pesquisa vetorial do mundo e no suporte a milhares de programadores de aplicações de IA, o Zilliz Cloud reduz significativamente as despesas gerais e os custos operacionais em comparação com as soluções auto-hospedadas.</p>
<p>Pronto para experimentar o futuro da pesquisa vetorial? Comece hoje mesmo a sua avaliação gratuita com até $200 em créditos, sem necessidade de cartão de crédito.</p>


O Elasticsearch está morto, viva a pesquisa lexical

Introdução à pesquisa híbrida semântica/texto integral com o Milvus 2.5

Apresentamos o Milvus 2.5: Pesquisa de texto integral, filtragem de metadados mais potente e melhorias na usabilidade!

Pesquisa semântica vs. pesquisa de texto integral: Qual devo escolher no Milvus 2.5?

Conceção de RAG multi-tenancy com Milvus: Melhores práticas para bases de conhecimento empresariais escaláveis

Como contribuir para o Milvus: um início rápido para os programadores

Getting Started with HNSWlib

Introdução ao HNSWlib

<p>Estamos entusiasmados com a introdução de horas de expediente semanais para os utilizadores do Milvus obterem apoio prático nos seus projectos <a href="https://zilliz.com/learn/what-is-vector-database">de bases de dados vectoriais</a>! Junte-se à nossa equipa de especialistas para uma sessão individual de 20 minutos para obter informações, orientação e respostas às suas perguntas. Quer esteja apenas a começar ou precise de ajuda com um problema específico, estamos aqui para o ajudar a tirar o máximo partido do Milvus.</p>
<p><strong>Reserve a sua sessão de horário de expediente aqui:<a href="https://meetings.hubspot.com/chloe-williams1/milvus-office-hours">https://meetings.hubspot.com/chloe-williams1/milvus-office-hours</a></strong></p>
<h2 id="Why-Book-a-Session" class="common-anchor-header">Porquê marcar uma sessão?<button data-href="#Why-Book-a-Session" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Aqui estão algumas grandes razões para reservar tempo durante o nosso horário de expediente:</p>
<ul>
<li><p><strong>Otimização do desempenho do Milvus:</strong> Obter dicas sobre configurações de ajuste para aumentar o desempenho da base de dados.</p></li>
<li><p><strong>Conselhos sobre o desenho do esquema de dados:</strong> Aprenda as melhores práticas para o esquema de dados e tipos de índice para melhor se adequar ao seu caso de uso.</p></li>
<li><p><strong>Dimensionamento da implantação do Milvus:</strong> Obtenha conselhos sobre como gerenciar e dimensionar o Milvus para volumes de dados maiores.</p></li>
<li><p><strong>Solução de problemas específicos:</strong> Está preso a um erro ou a um comportamento invulgar? Nós podemos ajudar a solucionar o problema.</p></li>
<li><p><strong>Assistência à integração:</strong> Precisa de orientação sobre como usar o Milvus com outros frameworks integrados como LangChain, LlamaIndex, Spark ou seus pipelines de processamento de dados?</p></li>
<li><p><strong>Aprendendo sobre novos recursos:</strong> Mantenha-se atualizado com os recursos mais recentes do Milvus e como eles podem beneficiar seu projeto.</p></li>
</ul>
<p>Não perca esta oportunidade de elevar o nível da sua implementação do Milvus com orientação especializada.</p>
<p>Se não puder juntar-se a nós ao vivo, não se preocupe - ainda há muitas formas de obter apoio! A comunidade Milvus está ativa e pronta a ajudar tanto no <a href="https://discord.com/invite/8uyFbECzPX">Discord</a> como nas<a href="https://github.com/search?q=milvus&amp;type=discussions"> Discussões GitHub</a>. Quer prefira um chat ao vivo ou discussões assíncronas, estas plataformas são um ótimo local para colocar questões, partilhar conhecimentos e ligar-se a outros utilizadores e colaboradores do Milvus.</p>


Junte-se ao Milvus Office Hours para obter apoio de especialistas em Vetor DB!

What are Matryoshka Embeddings?

Embeddings Matryoshka: Detalhe em várias escalas

Como utilizar a ferramenta de cópia de segurança Milvus: Um guia passo-a-passo

Implantação do Milvus no Kubernetes: Um guia passo-a-passo para utilizadores de Kubernetes

Como implementar a base de dados vetorial Milvus de código aberto no Amazon EKS

<p><a href="https://milvus.io/intro">O Milvus</a> é uma base de dados vetorial de código aberto concebida especificamente para aplicações de IA. Quer esteja a trabalhar em aprendizagem automática, aprendizagem profunda ou qualquer outro projeto relacionado com IA, o Milvus oferece uma forma robusta e eficiente de lidar com dados vectoriais em grande escala.</p>
<p>Agora, com a <a href="https://milvus.io/docs/embeddings.md">integração do módulo de modelo</a> no PyMilvus, o Python SDK para Milvus, é ainda mais fácil adicionar modelos de Embedding e Reranking. Esta integração simplifica a transformação dos seus dados em vectores pesquisáveis ou a reclassificação dos resultados para obter resultados mais precisos, como no <a href="https://zilliz.com/learn/Retrieval-Augmented-Generation">Retrieval Augmented Generation (RAG)</a>.</p>
<p>Neste blogue, vamos rever os modelos de incorporação densos, modelos de incorporação esparsos e re-classificadores e demonstrar como usá-los na prática usando <a href="https://milvus.io/blog/introducing-milvus-lite.md">o Milvus Lite</a>, uma versão leve do Milvus que pode ser executada localmente nas suas aplicações Python.</p>
<h2 id="Dense-vs-Sparse-Embeddings" class="common-anchor-header">Embeddings densos vs esparsos<button data-href="#Dense-vs-Sparse-Embeddings" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Antes de mostrarmos como usar nossas integrações, vamos dar uma olhada em duas categorias principais de embeddings vetoriais.</p>
<p><a href="https://zilliz.com/glossary/vector-embeddings">Embeddings v</a> etoriais geralmente se enquadram em duas categorias principais: <a href="https://zilliz.com/learn/sparse-and-dense-embeddings"><strong>Embeddings densos</strong> e <strong>Embeddings esparsos</strong></a>.</p>
<ul>
<li><p>Os Embeddings densos são vetores de alta dimensão nos quais a maioria ou todos os elementos são diferentes de zero, o que os torna ideais para codificar a semântica do texto ou o significado difuso.</p></li>
<li><p>Os Embeddings esparsos são vectores de alta dimensão com muitos elementos nulos, mais adequados para codificar conceitos exactos ou adjacentes.</p></li>
</ul>
<p>Milvus suporta ambos os tipos de embeddings e oferece pesquisa híbrida. <a href="https://zilliz.com/blog/hybrid-search-with-milvus">A pesquisa híbrida</a> permite-lhe efetuar pesquisas em vários campos vectoriais dentro da mesma coleção. Estes vectores podem representar diferentes facetas dos dados, utilizar diversos modelos de embedding ou empregar métodos de processamento de dados distintos, combinando os resultados através de re-rankers.</p>
<h2 id="How-to-Use-Our-Embedding-and-Reranking-Integrations" class="common-anchor-header">Como usar nossas integrações de incorporação e classificação<button data-href="#How-to-Use-Our-Embedding-and-Reranking-Integrations" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Nas seções a seguir, demonstraremos três exemplos práticos de uso de nossas integrações para gerar embeddings e conduzir pesquisas vetoriais.</p>
<h3 id="Example-1-Use-the-Default-Embedding-Function-to-Generate-Dense-Vectors" class="common-anchor-header">Exemplo 1: usar a função de incorporação padrão para gerar vetores densos</h3><p>É necessário instalar o cliente <code translate="no">pymilvus</code> com o pacote <code translate="no">model</code> para usar as funções de embedding e reranking com o Milvus.</p>
<pre><code translate="no">pip install <span class="hljs-string">&quot;pymilvus[model]&quot;</span>
<button class="copy-code-btn"></button></code></pre>
<p>Este passo irá instalar <a href="https://milvus.io/docs/quickstart.md">o Milvus Lite</a>, permitindo-lhe executar o Milvus localmente dentro da sua aplicação Python. Também inclui o subpacote do modelo, que inclui todos os utilitários para Embedding e reranking.</p>
<p>O subpacote de modelos suporta vários modelos de incorporação, incluindo os da OpenAI, <a href="https://zilliz.com/learn/Sentence-Transformers-for-Long-Form-Text">Sentence Transformers</a>, <a href="https://zilliz.com/learn/bge-m3-and-splade-two-machine-learning-models-for-generating-sparse-embeddings">BGE-M3</a>, BM25, <a href="https://zilliz.com/learn/bge-m3-and-splade-two-machine-learning-models-for-generating-sparse-embeddings">SPLADE</a> e modelos pré-treinados da Jina AI.</p>
<p>Este exemplo usa o <code translate="no">DefaultEmbeddingFunction</code>, baseado no modelo <code translate="no">all-MiniLM-L6-v2</code> Sentence Transformer para simplificar. O modelo tem cerca de 70 MB e será descarregado durante a primeira utilização:</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> model

<span class="hljs-comment"># This will download &quot;all-MiniLM-L6-v2&quot;, a lightweight model.</span>
ef = model.DefaultEmbeddingFunction()

<span class="hljs-comment"># Data from which embeddings are to be generated</span>
docs = [
   <span class="hljs-string">&quot;Artificial intelligence was founded as an academic discipline in 1956.&quot;</span>,
   <span class="hljs-string">&quot;Alan Turing was the first person to conduct substantial research in AI.&quot;</span>,
   <span class="hljs-string">&quot;Born in Maida Vale, London, Turing was raised in southern England.&quot;</span>,
]

embeddings = ef.encode_documents(docs)

<span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Embeddings:&quot;</span>, embeddings)
<span class="hljs-comment"># Print dimension and shape of embeddings</span>
<span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Dim:&quot;</span>, ef.dim, embeddings[<span class="hljs-number">0</span>].shape)
<button class="copy-code-btn"></button></code></pre>
<p>O resultado esperado deve ser algo como o seguinte:</p>
<pre><code translate="no">Embeddings: [array([<span class="hljs-number">-3.09392996e-02</span>, <span class="hljs-number">-1.80662833e-02</span>,  <span class="hljs-number">1.34775648e-02</span>,  <span class="hljs-number">2.77156215e-02</span>,
      <span class="hljs-number">-4.86349640e-03</span>, <span class="hljs-number">-3.12581174e-02</span>, <span class="hljs-number">-3.55921760e-02</span>,  <span class="hljs-number">5.76934684e-03</span>,
       <span class="hljs-number">2.80773244e-03</span>,  <span class="hljs-number">1.35783911e-01</span>,  <span class="hljs-number">3.59678417e-02</span>,  <span class="hljs-number">6.17732145e-02</span>,
...
      <span class="hljs-number">-4.61330153e-02</span>, <span class="hljs-number">-4.85207550e-02</span>,  <span class="hljs-number">3.13997865e-02</span>,  <span class="hljs-number">7.82178566e-02</span>,
      <span class="hljs-number">-4.75336798e-02</span>,  <span class="hljs-number">5.21207601e-02</span>,  <span class="hljs-number">9.04406682e-02</span>, <span class="hljs-number">-5.36676683e-02</span>],
     dtype=<span class="hljs-type">float32</span>)]
Dim: <span class="hljs-number">384</span> (<span class="hljs-number">384</span>,)
<button class="copy-code-btn"></button></code></pre>
<h3 id="Example-2-Generate-Sparse-Vectors-Using-The-BM25-Model" class="common-anchor-header">Exemplo 2: Gerar vectores esparsos usando o modelo BM25</h3><p>O BM25 é um método bem conhecido que usa frequências de ocorrência de palavras para determinar a relevância entre consultas e documentos. Neste exemplo, mostraremos como usar <code translate="no">BM25EmbeddingFunction</code> para gerar embeddings esparsos para consultas e documentos.</p>
<p>No BM25, é importante calcular as estatísticas nos seus documentos para obter o IDF (Inverse Document Frequency), que pode representar os padrões nos seus documentos. O IDF mede a quantidade de informações que uma palavra fornece, seja ela comum ou rara em todos os documentos.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus.model.sparse <span class="hljs-keyword">import</span> BM25EmbeddingFunction

<span class="hljs-comment"># 1. Prepare a small corpus to search</span>
docs = [
   <span class="hljs-string">&quot;Artificial intelligence was founded as an academic discipline in 1956.&quot;</span>,
   <span class="hljs-string">&quot;Alan Turing was the first person to conduct substantial research in AI.&quot;</span>,
   <span class="hljs-string">&quot;Born in Maida Vale, London, Turing was raised in southern England.&quot;</span>,
]
query = <span class="hljs-string">&quot;Where was Turing born?&quot;</span>
bm25_ef = BM25EmbeddingFunction()

<span class="hljs-comment"># 2. Fit the corpus to get BM25 model parameters on your documents.</span>
bm25_ef.fit(docs)

<span class="hljs-comment"># 3. Store the fitted parameters to expedite future processing.</span>
bm25_ef.save(<span class="hljs-string">&quot;bm25_params.json&quot;</span>)

<span class="hljs-comment"># 4. Load the saved params</span>
new_bm25_ef = BM25EmbeddingFunction()
new_bm25_ef.load(<span class="hljs-string">&quot;bm25_params.json&quot;</span>)

docs_embeddings = new_bm25_ef.encode_documents(docs)
query_embeddings = new_bm25_ef.encode_queries([query])
<span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Dim:&quot;</span>, new_bm25_ef.dim, <span class="hljs-built_in">list</span>(docs_embeddings)[<span class="hljs-number">0</span>].shape)
<button class="copy-code-btn"></button></code></pre>
<h3 id="Example-3-Using-a-ReRanker" class="common-anchor-header">Exemplo 3: Utilizar um ReRanker</h3><p>Um sistema de pesquisa tem como objetivo encontrar os resultados mais relevantes de forma rápida e eficiente. Tradicionalmente, métodos como BM25 ou TF-IDF têm sido utilizados para classificar os resultados da pesquisa com base na correspondência de palavras-chave. Os métodos mais recentes, como a similaridade de cosseno baseada na incorporação, são simples, mas podem por vezes ignorar as subtilezas da linguagem e, mais importante, a interação entre os documentos e a intenção de uma consulta.</p>
<p>É aqui que a utilização de um <a href="https://zilliz.com/learn/optimize-rag-with-rerankers-the-role-and-tradeoffs">re-ranker</a> ajuda. Um re-classificador é um modelo avançado de IA que pega no conjunto inicial de resultados de uma pesquisa - muitas vezes fornecido por uma pesquisa baseada em embeddings/token - e reavalia-os para garantir que se alinham melhor com a intenção do utilizador. Não se limita à correspondência superficial de termos e considera a interação mais profunda entre a consulta de pesquisa e o conteúdo dos documentos.</p>
<p>Para este exemplo, vamos utilizar o <a href="https://milvus.io/docs/integrate_with_jina.md">Jina AI Reranker</a>.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus.model.reranker <span class="hljs-keyword">import</span> JinaRerankFunction

jina_api_key = <span class="hljs-string">&quot;&lt;YOUR_JINA_API_KEY&gt;&quot;</span>

rf = JinaRerankFunction(<span class="hljs-string">&quot;jina-reranker-v1-base-en&quot;</span>, jina_api_key)

query = <span class="hljs-string">&quot;What event in 1956 marked the official birth of artificial intelligence as a discipline?&quot;</span>

documents = [
   <span class="hljs-string">&quot;In 1950, Alan Turing published his seminal paper, &#x27;Computing Machinery and Intelligence,&#x27; proposing the Turing Test as a criterion of intelligence, a foundational concept in the philosophy and development of artificial intelligence.&quot;</span>,
   <span class="hljs-string">&quot;The Dartmouth Conference in 1956 is considered the birthplace of artificial intelligence as a field; here, John McCarthy and others coined the term &#x27;artificial intelligence&#x27; and laid out its basic goals.&quot;</span>,
   <span class="hljs-string">&quot;In 1951, British mathematician and computer scientist Alan Turing also developed the first program designed to play chess, demonstrating an early example of AI in game strategy.&quot;</span>,
   <span class="hljs-string">&quot;The invention of the Logic Theorist by Allen Newell, Herbert A. Simon, and Cliff Shaw in 1955 marked the creation of the first true AI program, which was capable of solving logic problems, akin to proving mathematical theorems.&quot;</span>
]

results = rf(query, documents)

<span class="hljs-keyword">for</span> result <span class="hljs-keyword">in</span> results:
   <span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;Index: <span class="hljs-subst">{result.index}</span>&quot;</span>)
   <span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;Score: <span class="hljs-subst">{result.score:<span class="hljs-number">.6</span>f}</span>&quot;</span>)
   <span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;Text: <span class="hljs-subst">{result.text}</span>\n&quot;</span>)
<button class="copy-code-btn"></button></code></pre>
<p>O resultado esperado é semelhante ao seguinte:</p>
<pre><code translate="no">Index: <span class="hljs-number">1</span>
Score: <span class="hljs-number">0.937096</span>
Text: The Dartmouth Conference <span class="hljs-keyword">in</span> <span class="hljs-number">1956</span> <span class="hljs-keyword">is</span> considered the birthplace of artificial intelligence <span class="hljs-keyword">as</span> a field; here, John McCarthy <span class="hljs-keyword">and</span> others coined the term <span class="hljs-string">&#x27;artificial intelligence&#x27;</span> <span class="hljs-keyword">and</span> laid <span class="hljs-keyword">out</span> its basic goals.

Index: <span class="hljs-number">3</span>
Score: <span class="hljs-number">0.354210</span>
Text: The invention of the Logic Theorist <span class="hljs-keyword">by</span> Allen Newell, Herbert A. Simon, <span class="hljs-keyword">and</span> Cliff Shaw <span class="hljs-keyword">in</span> <span class="hljs-number">1955</span> marked the creation of the first <span class="hljs-literal">true</span> AI program, which was capable of solving logic problems, akin to proving mathematical theorems.

Index: <span class="hljs-number">0</span>
Score: <span class="hljs-number">0.349866</span>
Text: In <span class="hljs-number">1950</span>, Alan Turing published his seminal paper, <span class="hljs-string">&#x27;Computing Machinery and Intelligence,&#x27;</span> proposing the Turing Test <span class="hljs-keyword">as</span> a criterion of intelligence, a foundational concept <span class="hljs-keyword">in</span> the philosophy <span class="hljs-keyword">and</span> development of artificial intelligence.

Index: <span class="hljs-number">2</span>
Score: <span class="hljs-number">0.272896</span>
Text: In <span class="hljs-number">1951</span>, British mathematician <span class="hljs-keyword">and</span> computer scientist Alan Turing also developed the first program designed to play chess, demonstrating an early example of AI <span class="hljs-keyword">in</span> game strategy.
<button class="copy-code-btn"></button></code></pre>
<h2 id="Star-Us-On-GitHub-and-Join-Our-Discord" class="common-anchor-header">Inscreva-nos no GitHub e junte-se ao nosso Discord!<button data-href="#Star-Us-On-GitHub-and-Join-Our-Discord" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Se gostou deste post, considere marcar Milvus com uma estrela no <a href="https://github.com/milvus-io/milvus">GitHub</a> e junte-se ao nosso <a href="https://discord.gg/FG6hMJStWu">Discord</a>! 💙</p>


Apresentando a integração do PyMilvus com modelos de incorporação

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/2_72e444c8dc.JPG" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Temos o prazer de apresentar <a href="https://milvus.io/docs/milvus_lite.md">o Milvus Lite</a>, um banco de dados vetorial leve que roda localmente dentro de seu aplicativo Python. Baseado no popular banco de dados vetorial de código aberto <a href="https://milvus.io/intro">Milvus</a>, o Milvus Lite reutiliza os componentes principais para indexação vetorial e análise de consultas, enquanto remove elementos projetados para alta escalabilidade em sistemas distribuídos. Este design torna a solução compacta e eficiente ideal para ambientes com recursos de computação limitados, como laptops, Jupyter Notebooks e dispositivos móveis ou de ponta.</p>
<p>O Milvus Lite integra-se com várias pilhas de desenvolvimento de IA, como LangChain e LlamaIndex, permitindo a sua utilização como um armazenamento de vectores em pipelines RAG (Retrieval Augmented Generation) sem a necessidade de configuração do servidor. Basta executar <code translate="no">pip install pymilvus</code> (versão 2.4.3 ou superior) para o incorporar na sua aplicação de IA como uma biblioteca Python.</p>
<p>O Milvus Lite compartilha a API do Milvus, garantindo que seu código do lado do cliente funcione tanto para implantações locais de pequena escala quanto para servidores Milvus implantados no Docker ou Kubernetes com bilhões de vetores.</p>
<h2 id="Why-We-Built-Milvus-Lite" class="common-anchor-header">Por que criamos o Milvus Lite<button data-href="#Why-We-Built-Milvus-Lite" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Muitas aplicações de IA requerem pesquisa de similaridade de vetores para dados não estruturados, incluindo texto, imagens, vozes e vídeos, para aplicações como chatbots e assistentes de compras. Os bancos de dados vetoriais são criados para armazenar e pesquisar embeddings vetoriais e são uma parte crucial da pilha de desenvolvimento de IA, particularmente para casos de uso de IA generativa, como <a href="https://zilliz.com/learn/Retrieval-Augmented-Generation">Retrieval Augmented Generation (RAG)</a>.</p>
<p>Apesar da disponibilidade de inúmeras soluções de pesquisa de vectores, faltava uma opção fácil de iniciar que também funcionasse para implementações de produção em grande escala. Como criadores do Milvus, projetamos o Milvus Lite para ajudar os desenvolvedores de IA a criar aplicativos mais rapidamente, garantindo uma experiência consistente em várias opções de implantação, incluindo Milvus no Kubernetes, Docker e serviços de nuvem gerenciados.</p>
<p>O Milvus Lite é uma adição crucial ao nosso conjunto de ofertas no ecossistema Milvus. Ele fornece aos desenvolvedores uma ferramenta versátil que suporta todas as etapas de sua jornada de desenvolvimento. Desde a prototipagem até aos ambientes de produção e desde a computação periférica até às implementações em grande escala, o Milvus é agora a única base de dados vetorial que abrange casos de utilização de qualquer dimensão e em todas as fases de desenvolvimento.</p>
<h2 id="How-Milvus-Lite-Works" class="common-anchor-header">Como funciona o Milvus Lite<button data-href="#How-Milvus-Lite-Works" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>O Milvus Lite suporta todas as operações básicas disponíveis no Milvus, como a criação de colecções e a inserção, pesquisa e eliminação de vectores. Em breve, ele suportará recursos avançados como a pesquisa híbrida. O Milvus Lite carrega dados na memória para pesquisas eficientes e persiste-os como um ficheiro SQLite.</p>
<p>O Milvus Lite está incluído no <a href="https://github.com/milvus-io/pymilvus">Python SDK do Milvus</a> e pode ser implementado com um simples <code translate="no">pip install pymilvus</code>. O seguinte trecho de código demonstra como configurar uma base de dados vetorial com o Milvus Lite, especificando um nome de ficheiro local e criando depois uma nova coleção. Para quem está familiarizado com a API Milvus, a única diferença é que <code translate="no">uri</code> se refere a um nome de ficheiro local em vez de um ponto final de rede, por exemplo, <code translate="no">&quot;milvus_demo.db&quot;</code> em vez de <code translate="no">&quot;http://localhost:19530&quot;</code> para um servidor Milvus. Tudo o resto permanece o mesmo. O Milvus Lite também suporta o armazenamento de texto bruto e outros rótulos como metadados, usando um esquema dinâmico ou explicitamente definido, como mostrado abaixo.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> MilvusClient

client = MilvusClient(<span class="hljs-string">&quot;milvus_demo.db&quot;</span>)
<span class="hljs-comment"># This collection can take input with mandatory fields named &quot;id&quot;, &quot;vector&quot; and</span>
<span class="hljs-comment"># any other fields as &quot;dynamic schema&quot;. You can also define the schema explicitly.</span>
client.create_collection(
    collection_name=<span class="hljs-string">&quot;demo_collection&quot;</span>,
    dimension=<span class="hljs-number">384</span>  <span class="hljs-comment"># Dimension for vectors.</span>
)
<button class="copy-code-btn"></button></code></pre>
<p>Para escalabilidade, um aplicativo de IA desenvolvido com o Milvus Lite pode facilmente fazer a transição para o uso do Milvus implantado no Docker ou no Kubernetes simplesmente especificando o <code translate="no">uri</code> com o ponto de extremidade do servidor.</p>
<h2 id="Integration-with-AI-Development-Stack" class="common-anchor-header">Integração com a pilha de desenvolvimento de IA<button data-href="#Integration-with-AI-Development-Stack" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Além de apresentar o Milvus Lite para facilitar a pesquisa vetorial, o Milvus também se integra a muitos frameworks e provedores da pilha de desenvolvimento de IA, incluindo <a href="https://python.langchain.com/v0.2/docs/integrations/vectorstores/milvus/">LangChain</a>, <a href="https://docs.llamaindex.ai/en/stable/examples/vector_stores/MilvusIndexDemo/">LlamaIndex</a>, <a href="https://haystack.deepset.ai/integrations/milvus-document-store">Haystack</a>, <a href="https://blog.voyageai.com/2024/05/30/semantic-search-with-milvus-lite-and-voyage-ai/">Voyage AI</a>, <a href="https://milvus.io/docs/integrate_with_ragas.md">Ragas</a>, <a href="https://jina.ai/news/implementing-a-chat-history-rag-with-jina-ai-and-milvus-lite/">Jina AI</a>, <a href="https://dspy-docs.vercel.app/docs/deep-dive/retrieval_models_clients/MilvusRM">DSPy</a>, <a href="https://www.bentoml.com/blog/building-a-rag-app-with-bentocloud-and-milvus-lite">BentoML</a>, <a href="https://chiajy.medium.com/70873c7576f1">WhyHow</a>, <a href="https://blog.relari.ai/case-study-using-synthetic-data-to-benchmark-rag-systems-be324904ace1">Relari AI</a>, <a href="https://docs.airbyte.com/integrations/destinations/milvus">Airbyte</a>, <a href="https://milvus.io/docs/integrate_with_hugging-face.md">HuggingFace</a> e <a href="https://memgpt.readme.io/docs/storage#milvus">MemGPT</a>. Graças às suas extensas ferramentas e serviços, estas integrações simplificam o desenvolvimento de aplicações de IA com capacidade de pesquisa vetorial.</p>
<p>E isto é apenas o início - muitas outras integrações interessantes estão a chegar em breve! Fique ligado!</p>
<h2 id="More-Resources-and-Examples" class="common-anchor-header">Mais recursos e exemplos<button data-href="#More-Resources-and-Examples" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Explore <a href="https://milvus.io/docs/quickstart.md">a documentação de início rápido do Milvus</a> para obter guias detalhados e exemplos de código sobre como usar o Milvus Lite para criar aplicativos de IA como Retrieval-Augmented Generation<a href="https://github.com/milvus-io/bootcamp/blob/master/bootcamp/tutorials/quickstart/build_RAG_with_milvus.ipynb">(RAG</a>) e <a href="https://github.com/milvus-io/bootcamp/blob/master/bootcamp/tutorials/quickstart/image_search_with_milvus.ipynb">pesquisa de imagens</a>.</p>
<p>O Milvus Lite é um projeto de código aberto, e as suas contribuições são bem-vindas. Veja o nosso <a href="https://github.com/milvus-io/milvus-lite/blob/main/CONTRIBUTING.md">Guia de Contribuição</a> para começar. Também pode reportar bugs ou solicitar funcionalidades registando um problema no repositório <a href="https://github.com/milvus-io/milvus-lite">GitHub do Milvus Lite</a>.</p>


Apresentando o Milvus Lite: Comece a criar uma aplicação GenAI em segundos

Otimizar bases de dados de vectores, melhorar a IA generativa orientada por RAG

Introdução ao cluster Milvus e ao K8s

<p>Temos o prazer de anunciar o lançamento do Milvus 2.4, um grande avanço no aprimoramento dos recursos de pesquisa para conjuntos de dados em grande escala. Esta última versão adiciona novos recursos, como suporte para o índice CAGRA baseado em GPU, suporte beta para <a href="https://zilliz.com/learn/sparse-and-dense-embeddings">embeddings esparsos</a>, pesquisa em grupo e várias outras melhorias nos recursos de pesquisa. Estes desenvolvimentos reforçam o nosso compromisso para com a comunidade, oferecendo a programadores como você uma ferramenta poderosa e eficiente para o tratamento e consulta de dados vectoriais. Vamos ver juntos os principais benefícios do Milvus 2.4.</p>
<h2 id="Enabled-Multi-vector-Search-for-Simplified-Multimodal-Searches" class="common-anchor-header">Pesquisa multi-vetorial activada para pesquisas multimodais simplificadas<button data-href="#Enabled-Multi-vector-Search-for-Simplified-Multimodal-Searches" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>O Milvus 2.4 oferece a capacidade de pesquisa multivectorial, permitindo a pesquisa simultânea e a classificação de diferentes tipos de vectores dentro do mesmo sistema Milvus. Esta funcionalidade simplifica as pesquisas multimodais, melhorando significativamente as taxas de recuperação e permitindo aos programadores gerir sem esforço aplicações de IA complexas com tipos de dados variados. Além disso, essa funcionalidade simplifica a integração e o ajuste fino de modelos de reranking personalizados, auxiliando na criação de funções de pesquisa avançadas, como <a href="https://zilliz.com/vector-database-use-cases/recommender-system">sistemas de recomendação</a> precisos que utilizam insights de dados multidimensionais.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/How_the_multi_vector_search_feature_works_6c85961349.png" alt="How the Milti-Vector Search Feature Works" class="doc-image" id="how-the-milti-vector-search-feature-works" />
   </span> <span class="img-wrapper"> <span>Como funciona a funcionalidade de pesquisa milti-vetorial</span> </span></p>
<p>O suporte multivectorial em Milvus tem dois componentes:</p>
<ol>
<li><p>A capacidade de armazenar/pesquisar múltiplos vectores para uma única entidade dentro de uma coleção, que é uma forma mais natural de organizar dados</p></li>
<li><p>A capacidade de construir/otimizar um algoritmo de reranking, aproveitando os algoritmos de reranking pré-construídos em Milvus</p></li>
</ol>
<p>Para além de ser uma funcionalidade muito <a href="https://github.com/milvus-io/milvus/issues/25639">solicitada</a>, criámos esta capacidade porque a indústria está a avançar para modelos multimodais com o lançamento do GPT-4 e do Claude 3. O ranqueamento é uma técnica comumente usada para melhorar ainda mais o desempenho da consulta na pesquisa. O nosso objetivo foi facilitar aos programadores a criação e otimização dos seus rerankers no ecossistema Milvus.</p>
<h2 id="Grouping-Search-Support-for-Enhanced-Compute-Efficiency" class="common-anchor-header">Suporte à pesquisa de agrupamento para maior eficiência computacional<button data-href="#Grouping-Search-Support-for-Enhanced-Compute-Efficiency" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>A pesquisa de agrupamento é outra <a href="https://github.com/milvus-io/milvus/issues/25343">funcionalidade</a> frequentemente <a href="https://github.com/milvus-io/milvus/issues/25343">solicitada</a> que adicionámos ao Milvus 2.4. Integra uma operação de agrupamento concebida para campos dos tipos BOOL, INT ou VARCHAR, preenchendo uma lacuna crucial de eficiência na execução de consultas de agrupamento em grande escala.</p>
<p>Tradicionalmente, os programadores baseavam-se em pesquisas Top-K extensas seguidas de pós-processamento manual para destilar resultados específicos do grupo, um método de computação intensiva e de código pesado. A Pesquisa de Agrupamento aperfeiçoa este processo ligando eficazmente os resultados das consultas a identificadores de grupos agregados, como nomes de documentos ou vídeos, simplificando o tratamento de entidades segmentadas em conjuntos de dados maiores.</p>
<p>A Milvus distingue a sua Pesquisa de Agrupamento com uma implementação baseada em iteradores, oferecendo uma melhoria acentuada na eficiência computacional em relação a tecnologias semelhantes. Esta escolha garante uma escalabilidade de desempenho superior, particularmente em ambientes de produção onde a otimização dos recursos de computação é fundamental. Ao reduzir a passagem de dados e a sobrecarga de computação, o Milvus suporta um processamento de consultas mais eficiente, reduzindo significativamente os tempos de resposta e os custos operacionais em comparação com outras bases de dados vectoriais.</p>
<p>O Grouping Search reforça a capacidade do Milvus de gerir consultas complexas e de elevado volume e alinha-se com as práticas de computação de elevado desempenho para soluções robustas de gestão de dados.</p>
<h2 id="Beta-Support-for-Sparse-Vector-Embeddings" class="common-anchor-header">Suporte Beta para Embeddings de Vectores Esparsos<button data-href="#Beta-Support-for-Sparse-Vector-Embeddings" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><a href="https://zilliz.com/learn/sparse-and-dense-embeddings">As inc</a> orporações esparsas representam uma mudança de paradigma em relação às abordagens tradicionais de vetores densos, atendendo às nuances da similaridade semântica em vez da mera frequência de palavras-chave. Esta distinção permite uma capacidade de pesquisa com mais nuances, alinhando-se estreitamente com o conteúdo semântico da consulta e dos documentos. Os modelos vectoriais esparsos, particularmente úteis na recuperação de informação e no processamento de linguagem natural, oferecem poderosas capacidades de pesquisa fora do domínio e interpretabilidade em comparação com os seus homólogos densos.</p>
<p>No Milvus 2.4, expandimos a Pesquisa Híbrida para incluir embeddings esparsos gerados por modelos neurais avançados como o SPLADEv2 ou modelos estatísticos como o BM25. No Milvus, os vectores esparsos são tratados em pé de igualdade com os vectores densos, permitindo a criação de colecções com campos vectoriais esparsos, a inserção de dados, a construção de índices e a realização de pesquisas de semelhança. Em particular, os embeddings esparsos em Milvus suportam a métrica de distância <a href="https://zilliz.com/blog/similarity-metrics-for-vector-search#Inner-Product">Inner Product</a> (IP), o que é vantajoso dada a sua natureza de alta dimensão, tornando outras métricas menos eficazes. Esta funcionalidade também suporta tipos de dados com uma dimensão como um inteiro de 32 bits sem sinal e um float de 32 bits para o valor, facilitando assim um vasto espetro de aplicações, desde pesquisas de texto com nuances a sistemas elaborados de <a href="https://zilliz.com/learn/information-retrieval-metrics">recuperação de informação</a>.</p>
<p>Com esta nova funcionalidade, o Milvus permite metodologias de pesquisa híbridas que combinam palavras-chave e técnicas baseadas em incorporação, oferecendo uma transição perfeita para os utilizadores que se deslocam de estruturas de pesquisa centradas em palavras-chave que procuram uma solução abrangente e de baixa manutenção.</p>
<p>Estamos a classificar esta funcionalidade como "Beta" para continuar os nossos testes de desempenho da funcionalidade e recolher feedback da comunidade. A disponibilidade geral (GA) do suporte a vetores esparsos está prevista para o lançamento do Milvus 3.0.</p>
<h2 id="CAGRA-Index-Support-for-Advanced-GPU-Accelerated-Graph-Indexing" class="common-anchor-header">Suporte ao índice CAGRA para indexação avançada de gráficos acelerada por GPU<button data-href="#CAGRA-Index-Support-for-Advanced-GPU-Accelerated-Graph-Indexing" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Desenvolvida pela NVIDIA, <a href="https://arxiv.org/abs/2308.15136">a CAGRA</a> (Cuda Anns GRAph-based) é uma tecnologia de indexação de gráficos baseada em GPU que supera significativamente os métodos tradicionais baseados em CPU, como o índice HNSW, em termos de eficiência e desempenho, especialmente em ambientes de alto rendimento.</p>
<p>Com a introdução do índice CAGRA, o Milvus 2.4 fornece uma capacidade aprimorada de indexação de gráficos acelerada por GPU. Esse aprimoramento é ideal para a criação de aplicativos de pesquisa de similaridade que exigem latência mínima. Além disso, o Milvus 2.4 integra uma pesquisa de força bruta com o índice CAGRA para atingir taxas máximas de recuperação em aplicativos. Para obter informações detalhadas, explore o <a href="https://zilliz.com/blog/Milvus-introduces-GPU-index-CAGRA">blogue de introdução ao CAGRA</a>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Milvus_raft_cagra_vs_milvus_hnsw_ffe0415ff5.png" alt="Milvus Raft CAGRA vs. Milvus HNSW" class="doc-image" id="milvus-raft-cagra-vs.-milvus-hnsw" />
   </span> <span class="img-wrapper"> <span>Milvus Raft CAGRA vs. Milvus HNSW</span> </span></p>
<h2 id="Additional-Enhancements-and-Features" class="common-anchor-header">Melhorias e recursos adicionais<button data-href="#Additional-Enhancements-and-Features" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>O Milvus 2.4 também inclui outras melhorias importantes, como o suporte a expressões regulares para melhorar a correspondência de substring na <a href="https://zilliz.com/blog/metadata-filtering-with-zilliz-cloud-pipelines">filtragem de metadados</a>, um novo índice escalar invertido para uma filtragem eficiente de tipos de dados escalares e uma ferramenta de captura de dados de alterações para monitorizar e replicar alterações em colecções Milvus. Estas actualizações melhoram coletivamente o desempenho e a versatilidade do Milvus, tornando-o uma solução abrangente para operações de dados complexas.</p>
<p>Para obter mais detalhes, consulte <a href="https://milvus.io/docs/release_notes.md">a documentação do Milvus 2.4</a>.</p>
<h2 id="Stay-Connected" class="common-anchor-header">Fique ligado!<button data-href="#Stay-Connected" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Ansioso para saber mais sobre o Milvus 2.4? <a href="https://zilliz.com/event/unlocking-advanced-search-capabilities-milvus">Participe no nosso próximo webinar</a> com James Luan, VP de Engenharia da Zilliz, para uma discussão aprofundada sobre as capacidades desta última versão. Se tiver dúvidas ou comentários, junte-se ao nosso <a href="https://discord.com/invite/8uyFbECzPX">canal Discord</a> para interagir com os nossos engenheiros e membros da comunidade. Não se esqueça de nos seguir no <a href="https://twitter.com/milvusio">Twitter</a> ou no <a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn</a> para obter as últimas notícias e actualizações sobre o Milvus.</p>


Milvus 2.4 Supports Multi-vector Search, Sparse Vector, CAGRA, and More!

Revelação do Milvus 2.4: Pesquisa multi-vetorial, vetor esparso, índice CAGRA e muito mais!

<p><a href="https://zilliz.com/what-is-milvus">Milvus</a>, a base de dados vetorial altamente escalável conhecida pela sua capacidade de lidar com vastos conjuntos de dados, dá um passo em frente significativo ao introduzir o suporte de ficheiros Parquet na <a href="https://zilliz.com/blog/what-is-new-in-milvus-2-3-4">versão 2.3.4</a>. Ao adotar o Apache Parquet, os utilizadores podem simplificar os seus processos de importação de dados e beneficiar de poupanças substanciais nos custos de armazenamento e de cálculo.</p>
<p>No nosso último post, exploramos as vantagens do Parquet e os benefícios que traz aos utilizadores do Milvus. Discutimos a motivação por detrás da integração desta funcionalidade e fornecemos um guia passo-a-passo sobre a importação de ficheiros Parquet para o Milvus, abrindo novas possibilidades para uma gestão e análise de dados eficiente.</p>
<h2 id="What-Is-Apache-Parquet" class="common-anchor-header">O que é o Apache Parquet?<button data-href="#What-Is-Apache-Parquet" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><a href="https://parquet.apache.org/">O Apache Parquet</a> é um popular formato de ficheiro de dados orientado para colunas, de código aberto, concebido para aumentar a eficiência do armazenamento e processamento de conjuntos de dados em grande escala. Em contraste com os formatos de dados tradicionais orientados para linhas, como CSV ou JSON, o Parquet armazena dados por coluna, oferecendo esquemas de compressão e codificação de dados mais eficientes. Esta abordagem traduz-se num melhor desempenho, em requisitos de armazenamento reduzidos e numa maior capacidade de processamento, tornando-o ideal para o tratamento de dados complexos em massa.</p>
<h2 id="How-Milvus-Users-Benefit-from-the-Support-for-Parquet-File-Imports" class="common-anchor-header">Como os usuários do Milvus se beneficiam do suporte para importação de arquivos Parquet<button data-href="#How-Milvus-Users-Benefit-from-the-Support-for-Parquet-File-Imports" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>O Milvus amplia o suporte para a importação de ficheiros Parquet, proporcionando aos utilizadores experiências optimizadas e várias vantagens, incluindo despesas de armazenamento e computação reduzidas, gestão de dados optimizada e um processo de importação simplificado.</p>
<h3 id="Optimized-Storage-Efficiency-and-Streamlined-Data-Management" class="common-anchor-header">Eficiência de armazenamento optimizada e gestão de dados simplificada</h3><p>O Parquet oferece opções de compressão flexíveis e esquemas de codificação eficientes que atendem a diferentes tipos de dados, garantindo uma eficiência de armazenamento optimizada. Esta flexibilidade é particularmente valiosa em ambientes de nuvem, onde cada grama de poupança de armazenamento está diretamente relacionada com reduções de custos tangíveis. Com esta nova funcionalidade do Milvus, os utilizadores podem consolidar sem esforço todos os seus dados diversos num único ficheiro, simplificando a gestão de dados e melhorando a experiência geral do utilizador. Esta funcionalidade é particularmente vantajosa para os utilizadores que trabalham com tipos de dados Array de comprimento variável, que podem agora desfrutar de um processo de importação de dados simplificado.</p>
<h3 id="Improved-Query-Performance" class="common-anchor-header">Desempenho de consulta melhorado</h3><p>O design de armazenamento em colunas do Parquet e os métodos avançados de compressão melhoram significativamente o desempenho das consultas. Quando realizam consultas, os utilizadores podem concentrar-se apenas nos dados pertinentes, sem percorrer os dados irrelevantes. Esta leitura selectiva de colunas minimiza a utilização da CPU, resultando em tempos de consulta mais rápidos.</p>
<h3 id="Broad-Language-Compatibility" class="common-anchor-header">Ampla compatibilidade de idiomas</h3><p>O Parquet está disponível em várias linguagens, como Java, C++ e Python, e é compatível com um grande número de ferramentas de processamento de dados. Com o suporte de ficheiros Parquet, os utilizadores do Milvus que utilizam diferentes SDKs podem gerar facilmente ficheiros Parquet para análise na base de dados.</p>
<h2 id="How-to-Import-Parquet-Files-into-Milvus" class="common-anchor-header">Como importar ficheiros Parquet para o Milvus<button data-href="#How-to-Import-Parquet-Files-into-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Se os seus dados já estiverem no formato de ficheiro Parquet, a importação é fácil. Carregue o ficheiro Parquet para um sistema de armazenamento de objectos, como o MinIO, e está pronto para importar.</p>
<p>O trecho de código abaixo é um exemplo de importação de ficheiros Parquet para o Milvus.</p>
<pre><code translate="no">remote_files = []
<span class="hljs-keyword">try</span>:
    <span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Prepare upload files&quot;</span>)
    minio_client = Minio(endpoint=MINIO_ADDRESS, access_key=MINIO_ACCESS_KEY, secret_key=MINIO_SECRET_KEY,
                         secure=<span class="hljs-literal">False</span>)
    found = minio_client.bucket_exists(bucket_name)
    <span class="hljs-keyword">if</span> <span class="hljs-keyword">not</span> found:
        minio_client.make_bucket(bucket_name)
        <span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;MinIO bucket &#x27;{}&#x27; doesn&#x27;t exist&quot;</span>.<span class="hljs-built_in">format</span>(bucket_name))
        <span class="hljs-keyword">return</span> <span class="hljs-literal">False</span>, []

    <span class="hljs-comment"># set your remote data path</span>
    remote_data_path = <span class="hljs-string">&quot;milvus_bulkinsert&quot;</span>

    <span class="hljs-keyword">def</span> <span class="hljs-title function_">upload_file</span>(<span class="hljs-params">f: <span class="hljs-built_in">str</span></span>):
        file_name = os.path.basename(f)
        minio_file_path = os.path.join(remote_data_path, <span class="hljs-string">&quot;parquet&quot;</span>, file_name)
        minio_client.fput_object(bucket_name, minio_file_path, f)
        <span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Upload file &#x27;{}&#x27; to &#x27;{}&#x27;&quot;</span>.<span class="hljs-built_in">format</span>(f, minio_file_path))
        remote_files.append(minio_file_path)

    upload_file(data_file)

<span class="hljs-keyword">except</span> S3Error <span class="hljs-keyword">as</span> e:
    <span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Failed to connect MinIO server {}, error: {}&quot;</span>.<span class="hljs-built_in">format</span>(MINIO_ADDRESS, e))
    <span class="hljs-keyword">return</span> <span class="hljs-literal">False</span>, []

<span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Successfully upload files: {}&quot;</span>.<span class="hljs-built_in">format</span>(remote_files))
<span class="hljs-keyword">return</span> <span class="hljs-literal">True</span>, remote_files
<button class="copy-code-btn"></button></code></pre>
<p>Se os seus dados não forem ficheiros Parquet ou tiverem campos dinâmicos, pode utilizar o BulkWriter, a nossa ferramenta de conversão de formatos de dados, para o ajudar a gerar ficheiros Parquet. O BulkWriter adoptou agora o Parquet como formato de dados de saída predefinido, garantindo uma experiência mais intuitiva para os programadores.</p>
<p>O fragmento de código abaixo é um exemplo de utilização do BulkWriter para gerar ficheiros Parquet.</p>
<pre><code translate="no"><span class="hljs-keyword">import</span> numpy <span class="hljs-keyword">as</span> np
<span class="hljs-keyword">import</span> json

<span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> (
    RemoteBulkWriter,
    BulkFileType,
)

remote_writer = RemoteBulkWriter(
        schema=your_collection_schema,
        remote_path=<span class="hljs-string">&quot;your_remote_data_path&quot;</span>,
        connect_param=RemoteBulkWriter.ConnectParam(
            endpoint=YOUR_MINIO_ADDRESS,
            access_key=YOUR_MINIO_ACCESS_KEY,
            secret_key=YOUR_MINIO_SECRET_KEY,
            bucket_name=<span class="hljs-string">&quot;a-bucket&quot;</span>,
        ),
        file_type=BulkFileType.PARQUET,
)

<span class="hljs-comment"># append your data</span>
batch_count = <span class="hljs-number">10000</span>
<span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(batch_count):
    row = {
        <span class="hljs-string">&quot;id&quot;</span>: i,
        <span class="hljs-string">&quot;bool&quot;</span>: <span class="hljs-literal">True</span> <span class="hljs-keyword">if</span> i % <span class="hljs-number">5</span> == <span class="hljs-number">0</span> <span class="hljs-keyword">else</span> <span class="hljs-literal">False</span>,
        <span class="hljs-string">&quot;int8&quot;</span>: i % <span class="hljs-number">128</span>,
        <span class="hljs-string">&quot;int16&quot;</span>: i % <span class="hljs-number">1000</span>,
        <span class="hljs-string">&quot;int32&quot;</span>: i % <span class="hljs-number">100000</span>,
        <span class="hljs-string">&quot;int64&quot;</span>: i,
        <span class="hljs-string">&quot;float&quot;</span>: i / <span class="hljs-number">3</span>,
        <span class="hljs-string">&quot;double&quot;</span>: i / <span class="hljs-number">7</span>,
        <span class="hljs-string">&quot;varchar&quot;</span>: <span class="hljs-string">f&quot;varchar_<span class="hljs-subst">{i}</span>&quot;</span>,
        <span class="hljs-string">&quot;json&quot;</span>: {<span class="hljs-string">&quot;dummy&quot;</span>: i, <span class="hljs-string">&quot;ok&quot;</span>: <span class="hljs-string">f&quot;name_<span class="hljs-subst">{i}</span>&quot;</span>},
        <span class="hljs-string">&quot;vector&quot;</span>: gen_binary_vector() <span class="hljs-keyword">if</span> bin_vec <span class="hljs-keyword">else</span> gen_float_vector(),
        <span class="hljs-string">f&quot;dynamic_<span class="hljs-subst">{i}</span>&quot;</span>: i,
    }
    remote_writer.append_row(row)

<span class="hljs-comment"># append rows by numpy type</span>
<span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(batch_count):
    remote_writer.append_row({
        <span class="hljs-string">&quot;id&quot;</span>: np.int64(i + batch_count),
        <span class="hljs-string">&quot;bool&quot;</span>: <span class="hljs-literal">True</span> <span class="hljs-keyword">if</span> i % <span class="hljs-number">3</span> == <span class="hljs-number">0</span> <span class="hljs-keyword">else</span> <span class="hljs-literal">False</span>,
        <span class="hljs-string">&quot;int8&quot;</span>: np.int8(i % <span class="hljs-number">128</span>),
        <span class="hljs-string">&quot;int16&quot;</span>: np.int16(i % <span class="hljs-number">1000</span>),
        <span class="hljs-string">&quot;int32&quot;</span>: np.int32(i % <span class="hljs-number">100000</span>),
        <span class="hljs-string">&quot;int64&quot;</span>: np.int64(i),
        <span class="hljs-string">&quot;float&quot;</span>: np.float32(i / <span class="hljs-number">3</span>),
        <span class="hljs-string">&quot;double&quot;</span>: np.float64(i / <span class="hljs-number">7</span>),
        <span class="hljs-string">&quot;varchar&quot;</span>: <span class="hljs-string">f&quot;varchar_<span class="hljs-subst">{i}</span>&quot;</span>,
        <span class="hljs-string">&quot;json&quot;</span>: json.dumps({<span class="hljs-string">&quot;dummy&quot;</span>: i, <span class="hljs-string">&quot;ok&quot;</span>: <span class="hljs-string">f&quot;name_<span class="hljs-subst">{i}</span>&quot;</span>}),
        <span class="hljs-string">&quot;vector&quot;</span>: gen_binary_vector() <span class="hljs-keyword">if</span> bin_vec <span class="hljs-keyword">else</span> gen_float_vector(),
        <span class="hljs-string">f&quot;dynamic_<span class="hljs-subst">{i}</span>&quot;</span>: i,
    })

<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;<span class="hljs-subst">{remote_writer.total_row_count}</span> rows appends&quot;</span>)
<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;<span class="hljs-subst">{remote_writer.buffer_row_count}</span> rows in buffer not flushed&quot;</span>)
<span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Generate data files...&quot;</span>)
remote_writer.commit()
<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;Data files have been uploaded: <span class="hljs-subst">{remote_writer.batch_files}</span>&quot;</span>)
remote_files = remote_writer.batch_files
<button class="copy-code-btn"></button></code></pre>
<p>Depois, pode começar a importar os seus ficheiros Parquet para o Milvus.</p>
<pre><code translate="no">remote_files = [remote_file_path]
task_id = utility.do_bulk_insert(collection_name=collection_name,
                                 files=remote_files)

task_ids = [task_id]         
states = wait_tasks_to_state(task_ids, BulkInsertState.ImportCompleted)
complete_count = 0
for state in states:
    if state.state == BulkInsertState.ImportCompleted:
        complete_count = complete_count + 1
<button class="copy-code-btn"></button></code></pre>
<p>Agora, os seus dados estão perfeitamente integrados no Milvus.</p>
<h2 id="Whats-Next" class="common-anchor-header">O que vem a seguir?<button data-href="#Whats-Next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>À medida que o Milvus continua a suportar volumes de dados cada vez maiores, surge o desafio de gerir importações de grandes dimensões, particularmente quando os ficheiros Parquet ultrapassam os 10GB. Para enfrentar este desafio, planeamos separar os dados de importação em colunas escalares e vectoriais, criando dois ficheiros Parquet por importação para aliviar a pressão de I/O. Para conjuntos de dados que excedam várias centenas de gigabytes, recomendamos a importação dos dados várias vezes.</p>


Milvus Supports Imports of Apache Parquet Files

Milvus suporta a importação de ficheiros Apache Parquet para uma maior eficiência no processamento de dados

<custom-h1>Introdução às versões do Milvus</custom-h1><p>A seleção da versão adequada do Milvus é fundamental para o sucesso de qualquer projeto que utilize a tecnologia de pesquisa vetorial. Com diferentes versões do Milvus adaptadas a diferentes requisitos, compreender a importância de selecionar a versão correta é crucial para alcançar os resultados desejados.</p>
<p>A versão certa do Milvus pode ajudar um programador a aprender e a criar protótipos rapidamente ou ajudar a otimizar a utilização de recursos, simplificar os esforços de desenvolvimento e garantir a compatibilidade com as infra-estruturas e ferramentas existentes. Em última análise, trata-se de manter a produtividade do programador e melhorar a eficiência, a fiabilidade e a satisfação do utilizador.</p>
<h2 id="Available-Milvus-versions" class="common-anchor-header">Versões disponíveis do Milvus<button data-href="#Available-Milvus-versions" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Estão disponíveis três versões do Milvus para os programadores e todas elas são de código aberto. As três versões são o Milvus Lite, o Milvus Standalone e o Milvus Cluster, que diferem nas funcionalidades e na forma como os utilizadores planeiam utilizar o Milvus a curto e longo prazo. Portanto, vamos explorá-las individualmente.</p>
<h2 id="Milvus-Lite" class="common-anchor-header">Milvus Lite<button data-href="#Milvus-Lite" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Como o nome sugere, o Milvus Lite é uma versão leve que se integra perfeitamente com o Google Colab e o Jupyter Notebook. É empacotado como um único binário sem dependências adicionais, tornando-o fácil de instalar e executar na sua máquina ou incorporar em aplicações Python. Além disso, o Milvus Lite inclui um servidor independente Milvus baseado em CLI, proporcionando flexibilidade para executá-lo diretamente em sua máquina. Se o integra no seu código Python ou o utiliza como um servidor autónomo, depende inteiramente da sua preferência e dos requisitos específicos da aplicação.</p>
<h3 id="Features-and-Capabilities" class="common-anchor-header">Caraterísticas e Capacidades</h3><p>O Milvus Lite inclui todas as funcionalidades principais de pesquisa vetorial do Milvus.</p>
<ul>
<li><p><strong>Recursos de pesquisa</strong>: Suporta pesquisas top-k, de intervalo e híbridas, incluindo filtragem de metadados, para atender a diversos requisitos de pesquisa.</p></li>
<li><p><strong>Tipos de índices e métricas de similaridade</strong>: Oferece suporte para 11 tipos de índices e cinco métricas de similaridade, fornecendo flexibilidade e opções de personalização para seu caso de uso específico.</p></li>
<li><p><strong>Processamento de dados</strong>: Permite o processamento em lote (Apache Parquet, Arrays, JSON) e em fluxo, com integração perfeita através de conectores para Airbyte, Apache Kafka e Apache Spark.</p></li>
<li><p><strong>Operações CRUD</strong>: Oferece suporte CRUD completo (criar, ler, atualizar/acrescentar, eliminar), capacitando os utilizadores com capacidades abrangentes de gestão de dados.</p></li>
</ul>
<h3 id="Applications-and-limitations" class="common-anchor-header">Aplicações e limitações</h3><p>O Milvus Lite é ideal para prototipagem rápida e desenvolvimento local, oferecendo suporte para configuração rápida e experimentação com conjuntos de dados de pequena escala na sua máquina. No entanto, as suas limitações tornam-se evidentes quando se faz a transição para ambientes de produção com conjuntos de dados maiores e requisitos de infra-estruturas mais exigentes. Assim, embora o Milvus Lite seja uma excelente ferramenta para exploração e testes iniciais, ele pode não ser adequado para a implantação de aplicativos em configurações de alto volume ou prontas para produção.</p>
<h3 id="Available-Resources" class="common-anchor-header">Recursos disponíveis</h3><ul>
<li><p><a href="https://milvus.io/docs/milvus_lite.md">Documentação</a></p></li>
<li><p><a href="https://github.com/milvus-io/milvus-lite/">Repositório do Github</a></p></li>
<li><p><a href="https://github.com/milvus-io/milvus-lite/tree/main/examples">Exemplo do Google Colab</a></p></li>
<li><p><a href="https://www.youtube.com/watch?v=IgJdrGiB5ZY">Vídeo de introdução</a></p></li>
</ul>
<h2 id="Milvus-Standalone" class="common-anchor-header">Milvus autónomo<button data-href="#Milvus-Standalone" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>O Milvus oferece dois modos operacionais: Standalone e Cluster. Ambos os modos são idênticos no que diz respeito às principais funcionalidades da base de dados vetorial e diferem no que diz respeito ao suporte do tamanho dos dados e aos requisitos de escalabilidade. Esta distinção permite-lhe selecionar o modo que melhor se alinha com o tamanho do seu conjunto de dados, volume de tráfego e outros requisitos de infraestrutura para produção.</p>
<p>O Milvus Standalone é um modo de funcionamento do sistema de base de dados vetorial Milvus em que este funciona de forma independente como uma única instância, sem qualquer agrupamento ou configuração distribuída. Neste modo, o Milvus funciona num único servidor ou máquina, fornecendo funcionalidades como a indexação e a pesquisa de vectores. É adequado para situações em que a escala de volume de dados e de tráfego é relativamente pequena e não requer as capacidades distribuídas fornecidas por uma configuração em cluster.</p>
<h3 id="Features-and-Capabilities" class="common-anchor-header">Caraterísticas e capacidades</h3><ul>
<li><p><strong>Alto desempenho</strong>: Realizar pesquisas vectoriais em conjuntos de dados maciços (milhares de milhões ou mais) com velocidade e eficiência excepcionais.</p></li>
<li><p><strong>Capacidades de pesquisa</strong>: Suporta pesquisas top-k, de intervalo e híbridas, incluindo filtragem de metadados, para atender a diversos requisitos de pesquisa.</p></li>
<li><p><strong>Tipos de índices e métricas de similaridade</strong>: Oferece suporte para 11 tipos de índices e 5 métricas de similaridade, proporcionando flexibilidade e opções de personalização para o seu caso de utilização específico.</p></li>
<li><p><strong>Processamento de dados</strong>: Permite o processamento em lote (Apache Parquet, Arrays, Json) e em fluxo, com integração perfeita através de conectores para Airbyte, Apache Kafka e Apache Spark.</p></li>
<li><p><strong>Replicação de dados e failover</strong>: Os recursos integrados de replicação e failover/failback garantem a integridade dos dados e a disponibilidade do aplicativo, mesmo durante interrupções ou falhas.</p></li>
<li><p><strong>Escalabilidade</strong>: Alcance a escalabilidade dinâmica com o escalonamento no nível do componente, permitindo o escalonamento contínuo para cima e para baixo com base na demanda. O Milvus pode escalonar automaticamente no nível do componente, otimizando a alocação de recursos para aumentar a eficiência.</p></li>
<li><p><strong>Multitenancy</strong>: Suporta multi-tenancy com a capacidade de gerenciar até 10.000 coleções/partições em um cluster, fornecendo utilização eficiente de recursos e isolamento para diferentes usuários ou aplicações.</p></li>
<li><p><strong>Operações CRUD</strong>: Oferece suporte completo a CRUD (criar, ler, atualizar/acrescentar, eliminar), dando aos utilizadores capacidades abrangentes de gestão de dados.</p></li>
</ul>
<h3 id="Essential-components" class="common-anchor-header">Componentes essenciais:</h3><ul>
<li><p>Milvus: O componente funcional principal.</p></li>
<li><p>etcd: O mecanismo de metadados responsável por acessar e armazenar metadados dos componentes internos do Milvus, incluindo proxies, nós de índice e outros.</p></li>
<li><p>MinIO: O mecanismo de armazenamento responsável pela persistência de dados no Milvus.</p></li>
</ul>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Screenshot_2024_02_19_at_4_16_41_PM_5e635586a7.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Figura 1: Arquitetura autónoma do Milvus</p>
<h3 id="Available-Resources" class="common-anchor-header">Recursos disponíveis</h3><ul>
<li><p>Documentação</p>
<ul>
<li><p><a href="https://milvus.io/docs/prerequisite-docker.md">Lista de verificação do ambiente para o Milvus com o Docker Compose</a></p></li>
<li><p><a href="https://milvus.io/docs/install_standalone-docker.md">Instalar o Milvus Standalone com o Docker</a></p></li>
</ul></li>
<li><p><a href="https://github.com/milvus-io/milvus">Repositório Github</a></p></li>
</ul>
<h2 id="Milvus-Cluster" class="common-anchor-header">Milvus Cluster<button data-href="#Milvus-Cluster" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>O Milvus Cluster é um modo de funcionamento do sistema de base de dados vetorial Milvus em que este funciona e é distribuído por vários nós ou servidores. Neste modo, as instâncias do Milvus são agrupadas em clusters para formar um sistema unificado que pode lidar com volumes maiores de dados e cargas de tráfego mais elevadas em comparação com uma configuração autónoma. O Milvus Cluster oferece escalabilidade, tolerância a falhas e recursos de balanceamento de carga, tornando-o adequado para cenários que precisam lidar com grandes volumes de dados e atender a muitas consultas simultâneas de forma eficiente.</p>
<h3 id="Features-and-Capabilities" class="common-anchor-header">Caraterísticas e capacidades</h3><ul>
<li><p>Herda todos os recursos disponíveis no Milvus Standalone, incluindo pesquisa vetorial de alto desempenho, suporte a vários tipos de índices e métricas de similaridade e integração perfeita com estruturas de processamento em lote e fluxo.</p></li>
<li><p>Oferece disponibilidade, desempenho e otimização de custos incomparáveis, aproveitando a computação distribuída e o balanceamento de carga em vários nós.</p></li>
<li><p>Permite implementar e escalar cargas de trabalho seguras e de nível empresarial com custos totais mais baixos, utilizando eficientemente os recursos em todo o cluster e optimizando a atribuição de recursos com base nas exigências da carga de trabalho.</p></li>
</ul>
<h3 id="Essential-components" class="common-anchor-header">Componentes essenciais:</h3><p>O Milvus Cluster inclui oito componentes de microsserviço e três dependências de terceiros. Todos os microsserviços podem ser implantados no Kubernetes independentemente uns dos outros.</p>
<h4 id="Microservice-components" class="common-anchor-header">Componentes de microsserviços</h4><ul>
<li><p>Coordenação de raiz</p></li>
<li><p>Proxy</p></li>
<li><p>Coordenação de consulta</p></li>
<li><p>Nó de consulta</p></li>
<li><p>Coordenada de índice</p></li>
<li><p>Nó de índice</p></li>
<li><p>Coordenada de dados</p></li>
<li><p>Nó de dados</p></li>
</ul>
<h4 id="Third-party-dependencies" class="common-anchor-header">Dependências de terceiros</h4><ul>
<li><p>etcd: Armazena metadados para vários componentes no cluster.</p></li>
<li><p>MinIO: Responsável pela persistência de dados de arquivos grandes no cluster, como arquivos de índice e de log binário.</p></li>
<li><p>Pulsar: Gerencia logs de operações de mutação recentes, gera logs de streaming e fornece serviços de publicação e assinatura de logs.</p></li>
</ul>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Screenshot_2024_02_19_at_4_18_01_PM_88971280ed.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Figura 2: Arquitetura do Cluster Milvus</p>
<h4 id="Available-Resources" class="common-anchor-header">Recursos disponíveis</h4><ul>
<li><p><a href="https://milvus.io/docs/install_cluster-milvusoperator.md">Documentação</a> | Como começar</p>
<ul>
<li><p><a href="https://milvus.io/docs/install_cluster-milvusoperator.md">Instalar o Milvus Cluster com o Milvus Operator</a></p></li>
<li><p><a href="https://milvus.io/docs/install_cluster-helm.md">Instalar o Milvus Cluster com o Helm</a></p></li>
<li><p><a href="https://milvus.io/docs/scaleout.md">Como escalar um Cluster Milvus</a></p></li>
</ul></li>
<li><p><a href="https://github.com/milvus-io/milvus">Repositório Github</a></p></li>
</ul>
<h2 id="Making-the-Decision-on-which-Milvus-version-to-use" class="common-anchor-header">Tomando a decisão sobre qual versão do Milvus usar<button data-href="#Making-the-Decision-on-which-Milvus-version-to-use" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Ao decidir qual a versão do Milvus a utilizar no seu projeto, deve considerar factores como o tamanho do conjunto de dados, o volume de tráfego, os requisitos de escalabilidade e as restrições do ambiente de produção. O Milvus Lite é perfeito para a criação de protótipos no seu computador portátil. O Milvus Standalone oferece alto desempenho e flexibilidade para realizar pesquisas vetoriais em seus conjuntos de dados, tornando-o adequado para implantações de menor escala, CI / CD e implantações offline quando você não tem suporte para Kubernetes ... E, finalmente, o Milvus Cluster oferece disponibilidade incomparável, escalabilidade e otimização de custos para cargas de trabalho de nível empresarial, tornando-o a escolha preferida para ambientes de produção de grande escala e altamente disponíveis.</p>
<p>Existe outra versão que é uma versão sem complicações, que é uma versão gerida do Milvus chamada <a href="https://cloud.zilliz.com/signup">Zilliz Cloud</a>.</p>
<p>Em última análise, a versão do Milvus dependerá do seu caso de utilização específico, dos requisitos de infraestrutura e dos objectivos a longo prazo. Ao avaliar cuidadosamente estes factores e ao compreender as caraterísticas e capacidades de cada versão, pode tomar uma decisão informada que se alinhe com as necessidades e objectivos do seu projeto. Quer escolha o Milvus Standalone ou o Milvus Cluster, pode tirar partido do poder das bases de dados vectoriais para melhorar o desempenho e a eficiência das suas aplicações de IA.</p>


Com que versão do Milvus começar?

Top 10 Keywords Dominating the Milvus Community in 2023

Revelar as 10 principais palavras-chave que dominam a comunidade Milvus em 2023

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/What_is_new_in_Milvus_2_3_4_1847b0fa8a.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Temos o prazer de apresentar a última versão do Milvus 2.3.4. Esta atualização introduz um conjunto de funcionalidades e melhorias meticulosamente concebidas para otimizar o desempenho, aumentar a eficiência e proporcionar uma experiência de utilizador perfeita. Nesta postagem do blog, vamos nos aprofundar nos destaques do Milvus 2.3.4.</p>
<h2 id="Access-logs-for-improved-monitoring" class="common-anchor-header">Registos de acesso para uma melhor monitorização<button data-href="#Access-logs-for-improved-monitoring" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>O Milvus agora suporta logs de acesso, oferecendo informações valiosas sobre interações com interfaces externas. Estes registos gravam os nomes dos métodos, os pedidos dos utilizadores, os tempos de resposta, os códigos de erro e outras informações de interação, permitindo aos programadores e administradores de sistemas efetuar análises de desempenho, auditorias de segurança e uma resolução de problemas eficiente.</p>
<p><strong><em>Nota:</em></strong> <em>Atualmente, os registos de acesso apenas suportam interações gRPC. No entanto, o nosso compromisso de melhoria continua e as versões futuras irão alargar esta capacidade para incluir registos de pedidos RESTful.</em></p>
<p>Para obter informações mais detalhadas, consulte <a href="https://milvus.io/docs/configure_access_logs.md">Configurar logs de acesso</a>.</p>
<h2 id="Parquet-file-imports-for-enhanced-data-processing-efficiency" class="common-anchor-header">Importação de ficheiros Parquet para uma maior eficiência no processamento de dados<button data-href="#Parquet-file-imports-for-enhanced-data-processing-efficiency" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>O Milvus 2.3.4 agora suporta a importação de arquivos Parquet, um formato de armazenamento colunar amplamente adotado, projetado para aumentar a eficiência do armazenamento e processamento de conjuntos de dados em grande escala. Esta adição oferece aos utilizadores uma maior flexibilidade e eficiência nos seus esforços de processamento de dados. Ao eliminar a necessidade de conversões laboriosas de formatos de dados, os utilizadores que gerem conjuntos de dados substanciais no formato Parquet terão um processo de importação de dados simplificado, reduzindo significativamente o tempo desde a preparação inicial dos dados até à subsequente recuperação de vectores.</p>
<p>Além disso, a nossa ferramenta de conversão de formatos de dados, BulkWriter, adoptou agora o Parquet como formato de dados de saída predefinido, garantindo uma experiência mais intuitiva para os programadores.</p>
<h2 id="Binlog-index-on-growing-segments-for-faster-searches" class="common-anchor-header">Índice binlog em segmentos crescentes para pesquisas mais rápidas<button data-href="#Binlog-index-on-growing-segments-for-faster-searches" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>O Milvus utiliza agora um índice binlog em segmentos crescentes, resultando em pesquisas até dez vezes mais rápidas em segmentos crescentes. Esta melhoria aumenta significativamente a eficiência da pesquisa e suporta índices avançados como o IVF ou o Fast Scan, melhorando a experiência geral do utilizador.</p>
<h2 id="Support-for-up-to-10000-collectionspartitions" class="common-anchor-header">Suporte para até 10.000 colecções/partições<button data-href="#Support-for-up-to-10000-collectionspartitions" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Tal como as tabelas e as partições nas bases de dados relacionais, as colecções e as partições são as unidades principais para armazenar e gerir dados vectoriais no Milvus. Em resposta à evolução das necessidades dos utilizadores em termos de organização de dados, o Milvus 2.3.4 suporta agora até 10 000 colecções/partições num cluster, um salto significativo em relação ao limite anterior de 4 096. Esta melhoria beneficia diversos casos de utilização, como a gestão de bases de dados de conhecimento e ambientes multi-tenant. O suporte expandido para colecções/partições resulta de refinamentos no mecanismo de marcação de tempo, gestão de goroutine e utilização de memória.</p>
<p><strong><em>Observação:</em></strong> <em>o limite recomendado para o número de coleções/partições é 10.000, pois exceder esse limite pode afetar a recuperação de falhas e o uso de recursos.</em></p>
<h2 id="Other-enhancements" class="common-anchor-header">Outras melhorias<button data-href="#Other-enhancements" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Para além das funcionalidades acima referidas, o Milvus 2.3.4 inclui várias melhorias e correcções de erros. Estas incluem a redução do uso de memória durante a recuperação de dados e o tratamento de dados de comprimento variável, mensagens de erro refinadas, velocidade de carregamento acelerada e melhor equilíbrio de fragmentos de consulta. Estas melhorias colectivas contribuem para uma experiência geral do utilizador mais suave e eficiente.</p>
<p>Para uma visão abrangente de todas as alterações introduzidas no Milvus 2.3.4, consulte <a href="https://milvus.io/docs/release_notes.md#v234">as</a> nossas <a href="https://milvus.io/docs/release_notes.md#v234">Notas de Lançamento</a>.</p>
<h2 id="Stay-connected" class="common-anchor-header">Fique ligado!<button data-href="#Stay-connected" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Se tiver perguntas ou comentários sobre o Milvus, junte-se ao nosso <a href="https://discord.com/invite/8uyFbECzPX">canal Discord</a> para interagir com os nossos engenheiros e a comunidade diretamente ou junte-se ao nosso <a href="https://discord.com/invite/RjNbk8RR4f">Milvus Community Lunch and Learn</a> todas as terças-feiras das 12-12:30 PM PST. Também pode seguir-nos no <a href="https://twitter.com/milvusio">Twitter</a> ou no <a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn</a> para obter as últimas notícias e actualizações sobre o Milvus.</p>


Milvus 2.3.4: Pesquisas mais rápidas, suporte de dados alargado, monitorização melhorada e muito mais

2023: o ano da IA

Pesquisa eficiente de similaridade de vetores em fluxos de trabalho de recomendação usando Milvus com NVIDIA Merlin

Como obter os Embeddings Vectoriais corretos

Como migrar os seus dados para Milvus sem problemas: Um guia completo

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Exploring_NATS_878f48c848.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Na intrincada tapeçaria do processamento de dados, a comunicação sem falhas é o fio condutor que une as operações. <a href="https://zilliz.com/what-is-milvus">Milvus</a>, a inovadora <a href="https://zilliz.com/cloud">base de dados vetorial de código aberto</a>, embarcou numa viagem transformadora com a sua mais recente funcionalidade: Integração de mensagens NATS. Nesta publicação abrangente do blogue, vamos desvendar os meandros desta integração, explorando as suas principais funcionalidades, o processo de configuração, as vantagens da migração e a forma como se compara com o seu antecessor, o RocksMQ.</p>
<h2 id="Understanding-the-role-of-message-queues-in-Milvus" class="common-anchor-header">Compreender o papel das filas de mensagens no Milvus<button data-href="#Understanding-the-role-of-message-queues-in-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Na arquitetura nativa da nuvem do Milvus, a fila de mensagens, ou Log Broker, tem uma importância fundamental. É a espinha dorsal que garante fluxos de dados persistentes, sincronização, notificações de eventos e integridade dos dados durante as recuperações do sistema. Tradicionalmente, o RocksMQ era a escolha mais direta no modo Milvus Standalone, especialmente quando comparado com o Pulsar e o Kafka, mas as suas limitações tornaram-se evidentes com dados extensos e cenários complexos.</p>
<p>O Milvus 2.3 apresenta o NATS, uma implementação de MQ de nó único, redefinindo a forma de gerenciar fluxos de dados. Ao contrário dos seus antecessores, o NATS liberta os utilizadores do Milvus das restrições de desempenho, proporcionando uma experiência perfeita no tratamento de volumes de dados substanciais.</p>
<h2 id="What-is-NATS" class="common-anchor-header">O que é NATS?<button data-href="#What-is-NATS" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>NATS é uma tecnologia de conetividade de sistemas distribuídos implementada em Go. Suporta vários modos de comunicação como Request-Reply e Publish-Subscribe entre sistemas, fornece persistência de dados através do JetStream, e oferece capacidades distribuídas através do RAFT incorporado. Pode consultar o <a href="https://nats.io/">site oficial do NATS</a> para uma compreensão mais detalhada do NATS.</p>
<p>No modo Milvus 2.3 Standalone, NATS, JetStream e PubSub fornecem ao Milvus capacidades robustas de MQ.</p>
<h2 id="Enabling-NATS" class="common-anchor-header">Habilitando o NATS<button data-href="#Enabling-NATS" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>O Milvus 2.3 oferece uma nova opção de controlo, <code translate="no">mq.type</code>, que permite aos utilizadores especificar o tipo de MQ que pretendem utilizar. Para habilitar o NATS, configure <code translate="no">mq.type=natsmq</code>. Se você vir logs semelhantes aos abaixo depois de iniciar instâncias do Milvus, você habilitou com sucesso o NATS como a fila de mensagens.</p>
<pre><code translate="no">[INFO] [dependency/factory.go:83] [<span class="hljs-string">&quot;try to init mq&quot;</span>] [standalone=<span class="hljs-literal">true</span>] [mqType=natsmq]
<button class="copy-code-btn"></button></code></pre>
<h2 id="Configuring-NATS-for-Milvus" class="common-anchor-header">Configurando o NATS para o Milvus<button data-href="#Configuring-NATS-for-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>As opções de personalização do NATS incluem a especificação da porta de escuta, o diretório de armazenamento do JetStream, o tamanho máximo da carga útil e o tempo limite de inicialização. O ajuste fino dessas configurações garante desempenho e confiabilidade ideais.</p>
<pre><code translate="no">natsmq:
server: <span class="hljs-comment"># server side configuration for natsmq.</span>
port: <span class="hljs-number">4222</span> <span class="hljs-comment"># 4222 by default, Port for nats server listening.</span>
storeDir: /var/lib/milvus/nats <span class="hljs-comment"># /var/lib/milvus/nats by default, directory to use for JetStream storage of nats.</span>
maxFileStore: <span class="hljs-number">17179869184</span> <span class="hljs-comment"># (B) 16GB by default, Maximum size of the &#x27;file&#x27; storage.</span>
maxPayload: <span class="hljs-number">8388608</span> <span class="hljs-comment"># (B) 8MB by default, Maximum number of bytes in a message payload.</span>
maxPending: <span class="hljs-number">67108864</span> <span class="hljs-comment"># (B) 64MB by default, Maximum number of bytes buffered for a connection Applies to client connections.</span>
initializeTimeout: <span class="hljs-number">4000</span> <span class="hljs-comment"># (ms) 4s by default, waiting for initialization of natsmq finished.</span>
monitor:
trace: false <span class="hljs-comment"># false by default, If true enable protocol trace log messages.</span>
debug: false <span class="hljs-comment"># false by default, If true enable debug log messages.</span>
logTime: true <span class="hljs-comment"># true by default, If set to false, log without timestamps.</span>
logFile: /tmp/milvus/logs/nats.log <span class="hljs-comment"># /tmp/milvus/logs/nats.log by default, Log file path relative to .. of milvus binary if use relative path.</span>
logSizeLimit: <span class="hljs-number">536870912</span> <span class="hljs-comment"># (B) 512MB by default, Size in bytes after the log file rolls over to a new one.</span>
retention:
maxAge: <span class="hljs-number">4320</span> <span class="hljs-comment"># (min) 3 days by default, Maximum age of any message in the P-channel.</span>
maxBytes: <span class="hljs-comment"># (B) None by default, How many bytes the single P-channel may contain. Removing oldest messages if the P-channel exceeds this size.</span>
maxMsgs: <span class="hljs-comment"># None by default, How many message the single P-channel may contain. Removing oldest messages if the P-channel exceeds this limit.</span>
<button class="copy-code-btn"></button></code></pre>
<p><strong>Observação:</strong></p>
<ul>
<li><p>É necessário especificar <code translate="no">server.port</code> para a escuta do servidor NATS. Se houver um conflito de portas, o Milvus não poderá iniciar. Defina <code translate="no">server.port=-1</code> para selecionar aleatoriamente uma porta.</p></li>
<li><p><code translate="no">storeDir</code> especifica o diretório para o armazenamento do JetStream. Recomendamos que o diretório seja armazenado em uma unidade de estado sólido (SSD) de alto desempenho para melhorar a taxa de transferência de leitura/gravação do Milvus.</p></li>
<li><p><code translate="no">maxFileStore</code> define o limite superior do tamanho do armazenamento do JetStream. Exceder este limite impedirá a escrita de mais dados.</p></li>
<li><p><code translate="no">maxPayload</code> limita o tamanho das mensagens individuais. Deve manter-se acima dos 5MB para evitar rejeições de escrita.</p></li>
<li><p><code translate="no">initializeTimeout</code>controla o tempo limite de inicialização do servidor NATS.</p></li>
<li><p><code translate="no">monitor</code> configura os registos independentes do NATS.</p></li>
<li><p><code translate="no">retention</code> controla o mecanismo de retenção das mensagens NATS.</p></li>
</ul>
<p>Para mais informações, consulte a <a href="https://docs.nats.io/running-a-nats-service/configuration">documentação oficial do NATS</a>.</p>
<h2 id="Migrating-from-RocksMQ-to-NATS" class="common-anchor-header">Migrando do RocksMQ para o NATS<button data-href="#Migrating-from-RocksMQ-to-NATS" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>A migração do RocksMQ para o NATS é um processo contínuo que envolve etapas como a interrupção de operações de gravação, a descarga de dados, a modificação de configurações e a verificação da migração por meio dos logs do Milvus.</p>
<ol>
<li><p>Antes de iniciar a migração, interrompa todas as operações de gravação no Milvus.</p></li>
<li><p>Executar a operação <code translate="no">FlushALL</code> no Milvus e aguardar a sua conclusão. Este passo assegura que todos os dados pendentes são eliminados e que o sistema está pronto para ser encerrado.</p></li>
<li><p>Modifique o ficheiro de configuração do Milvus, definindo <code translate="no">mq.type=natsmq</code> e ajustando as opções relevantes na secção <code translate="no">natsmq</code>.</p></li>
<li><p>Inicie o Milvus 2.3.</p></li>
<li><p>Faça uma cópia de segurança e limpe os dados originais armazenados no diretório <code translate="no">rocksmq.path</code>. (Opcional)</p></li>
</ol>
<h2 id="NATS-vs-RocksMQ-A-Performance-Showdown" class="common-anchor-header">NATS vs. RocksMQ: um confronto de desempenho<button data-href="#NATS-vs-RocksMQ-A-Performance-Showdown" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="PubSub-Performance-Testing" class="common-anchor-header">Teste de desempenho do Pub/Sub</h3><ul>
<li><p><strong>Plataforma de teste:</strong> Chip M1 Pro / Memória: 16 GB</p></li>
<li><p><strong>Cenário de teste:</strong> Assinatura e publicação de pacotes de dados aleatórios num tópico repetidamente até que o último resultado publicado seja recebido.</p></li>
<li><p><strong>Resultados:</strong></p>
<ul>
<li><p>Para pacotes de dados menores (&lt; 64kb), o RocksMQ supera o NATS em relação à memória, CPU e velocidade de resposta.</p></li>
<li><p>Para pacotes de dados maiores (&gt; 64kb), o NATS supera o RocksMQ, oferecendo tempos de resposta muito mais rápidos.</p></li>
</ul></li>
</ul>
<table>
<thead>
<tr><th>Tipo de teste</th><th>MQ</th><th>contagem de operações</th><th>custo por operação</th><th>Custo de memória</th><th>Tempo total da CPU</th><th>Custo de armazenamento</th></tr>
</thead>
<tbody>
<tr><td>5MB*100 Pub/Sub</td><td>NATS</td><td>50</td><td>1.650328186 s/op</td><td>4,29 GB</td><td>85.58</td><td>25G</td></tr>
<tr><td>5MB*100 Pub/Sub</td><td>RocksMQ</td><td>50</td><td>2.475595131 s/op</td><td>1,18 GB</td><td>81.42</td><td>19G</td></tr>
<tr><td>1MB*500 Pub/Sub</td><td>NATS</td><td>50</td><td>2.248722593 s/op</td><td>2,60 GB</td><td>96.50</td><td>25G</td></tr>
<tr><td>1MB*500 Pub/Sub</td><td>RocksMQ</td><td>50</td><td>2.554614279 s/op</td><td>614,9 MB</td><td>80.19</td><td>19G</td></tr>
<tr><td>64KB*10000 Pub/Sub</td><td>NATS</td><td>50</td><td>2.133345262 s/op</td><td>3,29 GB</td><td>97.59</td><td>31G</td></tr>
<tr><td>64KB*10000 Pub/Sub</td><td>RocksMQ</td><td>50</td><td>3.253778195 s/op</td><td>331,2 MB</td><td>134.6</td><td>24G</td></tr>
<tr><td>1KB*50000 Pub/Sub</td><td>NATS</td><td>50</td><td>2.629391004 s/op</td><td>635,1 MB</td><td>179.67</td><td>2.6G</td></tr>
<tr><td>1KB*50000 Pub/Sub</td><td>RocksMQ</td><td>50</td><td>0.897638581 s/op</td><td>232,3 MB</td><td>60.42</td><td>521M</td></tr>
</tbody>
</table>
<p>Tabela 1: Resultados dos testes de desempenho Pub/Sub</p>
<h3 id="Milvus-Integration-Testing" class="common-anchor-header">Teste de integração Milvus</h3><p><strong>Tamanho dos dados:</strong> 100M</p>
<p><strong>Resultado:</strong> Em testes extensivos com um conjunto de dados de 100 milhões de vectores, o NATS demonstrou uma menor latência de pesquisa e consulta de vectores.</p>
<table>
<thead>
<tr><th>Métricas</th><th>RocksMQ (ms)</th><th>NATS (ms)</th></tr>
</thead>
<tbody>
<tr><td>Latência média de pesquisa vetorial</td><td>23.55</td><td>20.17</td></tr>
<tr><td>Pedidos de pesquisa vetorial por segundo (RPS)</td><td>2.95</td><td>3.07</td></tr>
<tr><td>Latência média de consulta</td><td>7.2</td><td>6.74</td></tr>
<tr><td>Pedidos de consulta por segundo (RPS)</td><td>1.47</td><td>1.54</td></tr>
</tbody>
</table>
<p>Tabela 2: Resultados dos testes de integração do Milvus com o conjunto de dados 100m</p>
<p><strong>Conjunto de dados: &lt;100M</strong></p>
<p><strong>Resultado:</strong> Para conjuntos de dados menores que 100M, NATS e RocksMQ apresentam desempenho semelhante.</p>
<h2 id="Conclusion-Empowering-Milvus-with-NATS-messaging" class="common-anchor-header">Conclusão: Capacitando o Milvus com mensagens NATS<button data-href="#Conclusion-Empowering-Milvus-with-NATS-messaging" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>A integração do NATS no Milvus marca um avanço significativo no processamento de dados. Quer se trate de análises em tempo real, de aplicações de aprendizagem automática ou de qualquer outro empreendimento com utilização intensiva de dados, o NATS confere aos seus projectos eficiência, fiabilidade e rapidez. À medida que o panorama dos dados evolui, dispor de um sistema de mensagens robusto como o NATS no Milvus garante uma comunicação de dados sem falhas, fiável e de elevado desempenho.</p>


Otimização da comunicação de dados: Milvus adopta o serviço de mensagens NATS

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/What_s_New_in_Milvus_2_3_2_and_2_3_3_d3d0db03c3.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>No panorama em constante evolução das tecnologias de pesquisa vetorial, o Milvus mantém-se na vanguarda, ultrapassando os limites e estabelecendo novos padrões. Hoje, temos o prazer de anunciar o lançamento do Milvus 2.3.2 e 2.3.3! Estas actualizações trazem muitas caraterísticas interessantes, optimizações e melhorias, melhorando o desempenho do sistema, a flexibilidade e a experiência geral do utilizador.</p>
<h2 id="Support-for-Array-data-types---making-search-results-more-accurate-and-relevant" class="common-anchor-header">Suporte para tipos de dados Array - tornando os resultados da pesquisa mais precisos e relevantes<button data-href="#Support-for-Array-data-types---making-search-results-more-accurate-and-relevant" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>A adição do suporte ao tipo de dados Array é uma melhoria fundamental para o Milvus, particularmente em cenários de filtragem de consultas como intersecção e união. Esta adição garante que os resultados da pesquisa são não só mais exactos como também mais relevantes. Em termos práticos, por exemplo, no sector do comércio eletrónico, as etiquetas de produtos armazenadas como arrays de cadeias de caracteres permitem aos consumidores efetuar pesquisas avançadas, filtrando resultados irrelevantes.</p>
<p>Mergulhe na nossa <a href="https://milvus.io/docs/array_data_type.md">documentação</a> abrangente para obter um guia detalhado sobre a utilização de tipos Array em Milvus.</p>
<h2 id="Support-for-complex-delete-expressions---improving-your-data-management" class="common-anchor-header">Suporte para expressões de eliminação complexas - melhorando a sua gestão de dados<button data-href="#Support-for-complex-delete-expressions---improving-your-data-management" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Nas versões anteriores, o Milvus suportava expressões de eliminação de chaves primárias, proporcionando uma arquitetura estável e simplificada. Com o Milvus 2.3.2 ou 2.3.3, os utilizadores podem empregar expressões de eliminação complexas, facilitando tarefas sofisticadas de gestão de dados, como a limpeza contínua de dados antigos ou a eliminação de dados em conformidade com o RGPD com base em IDs de utilizador.</p>
<p>Nota: Certifique-se de que carregou as colecções antes de utilizar expressões complexas. Além disso, é importante notar que o processo de eliminação não garante a atomicidade.</p>
<h2 id="TiKV-integration---scalable-metadata-storage-with-stability" class="common-anchor-header">Integração do TiKV - armazenamento de metadados escalável com estabilidade<button data-href="#TiKV-integration---scalable-metadata-storage-with-stability" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Anteriormente dependente do Etcd para o armazenamento de metadados, a Milvus enfrentou desafios de capacidade limitada e de escalabilidade no armazenamento de metadados. Para resolver estes problemas, a Milvus adicionou o TiKV, um armazenamento de valores chave de código aberto, como mais uma opção para o armazenamento de metadados. O TiKV oferece maior escalabilidade, estabilidade e eficiência, tornando-o uma solução ideal para os requisitos em evolução da Milvus. A partir do Milvus 2.3.2, os utilizadores podem fazer a transição para o TiKV para o seu armazenamento de metadados modificando a configuração.</p>
<h2 id="Support-for-FP16-vector-type---embracing-machine-learning-efficiency" class="common-anchor-header">Suporte para o tipo de vetor FP16 - abraçando a eficiência da aprendizagem automática<button data-href="#Support-for-FP16-vector-type---embracing-machine-learning-efficiency" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>O Milvus 2.3.2 e versões posteriores suportam agora o tipo de vetor FP16 ao nível da interface. O FP16, ou ponto flutuante de 16 bits, é um formato de dados amplamente utilizado na aprendizagem profunda e na aprendizagem automática, proporcionando uma representação e um cálculo eficientes dos valores numéricos. Embora o suporte total para FP16 esteja em andamento, vários índices na camada de indexação exigem a conversão de FP16 para FP32 durante a construção.</p>
<p>Iremos suportar totalmente os tipos de dados FP16, BF16 e int8 em versões posteriores do Milvus. Fique atento.</p>
<h2 id="Significant-improvement-in-the-rolling-upgrade-experience---seamless-transition-for-users" class="common-anchor-header">Melhoria significativa na experiência de atualização contínua - transição perfeita para os utilizadores<button data-href="#Significant-improvement-in-the-rolling-upgrade-experience---seamless-transition-for-users" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>A atualização contínua é uma caraterística crítica para os sistemas distribuídos, permitindo actualizações do sistema sem interromper os serviços comerciais ou sofrer períodos de inatividade. Nas últimas versões do Milvus, reforçámos a funcionalidade de atualização contínua do Milvus, assegurando uma transição mais simplificada e eficiente para os utilizadores que actualizam da versão 2.2.15 para a 2.3.3 e todas as versões posteriores. A comunidade também investiu em testes e optimizações extensivos, reduzindo o impacto da consulta durante a atualização para menos de 5 minutos, proporcionando aos utilizadores uma experiência sem problemas.</p>
<h2 id="Performance-optimization" class="common-anchor-header">Otimização do desempenho<button data-href="#Performance-optimization" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Para além da introdução de novas funcionalidades, optimizámos significativamente o desempenho do Milvus nas duas últimas versões.</p>
<ul>
<li><p>Minimização das operações de cópia de dados para um carregamento de dados optimizado</p></li>
<li><p>Simplificámos as inserções de grande capacidade utilizando a leitura varchar em lote</p></li>
<li><p>Remoção de verificações de deslocamento desnecessárias durante o preenchimento de dados para melhorar o desempenho da fase de recuperação.</p></li>
<li><p>Resolveu problemas de alto consumo de CPU em cenários com inserções substanciais de dados</p></li>
</ul>
<p>Estas optimizações contribuem coletivamente para uma experiência Milvus mais rápida e eficiente. Consulte o nosso painel de controlo para ver como o Milvus melhorou o seu desempenho.</p>
<h2 id="Incompatible-changes" class="common-anchor-header">Alterações incompatíveis<button data-href="#Incompatible-changes" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p>Código relacionado com o TimeTravel permanentemente eliminado.</p></li>
<li><p>Suporte obsoleto para MySQL como armazenamento de metadados.</p></li>
</ul>
<p>Consulte as <a href="https://milvus.io/docs/release_notes.md">notas de lançamento do Milvus</a> para obter informações mais detalhadas sobre todas as novas funcionalidades e melhorias.</p>
<h2 id="Conclusion" class="common-anchor-header">Conclusão<button data-href="#Conclusion" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Com as últimas versões do Milvus 2.3.2 e 2.3.3, estamos empenhados em fornecer uma solução de base de dados robusta, rica em funcionalidades e de elevado desempenho. Explore estas novas funcionalidades, tire partido das optimizações e junte-se a nós nesta viagem emocionante à medida que evoluímos o Milvus para satisfazer as exigências da gestão de dados moderna. Descarregue a versão mais recente agora e experimente o futuro do armazenamento de dados com Milvus!</p>
<h2 id="Let’s-keep-in-touch" class="common-anchor-header">Vamos manter-nos em contacto!<button data-href="#Let’s-keep-in-touch" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Se tiver perguntas ou comentários sobre Milvus, junte-se ao nosso <a href="https://discord.com/invite/8uyFbECzPX">canal Discord</a> para interagir diretamente com os nossos engenheiros e a comunidade ou junte-se ao nosso <a href="https://discord.com/invite/RjNbk8RR4f">Milvus Community Lunch and Learn</a> todas as terças-feiras das 12-12:30 PM PST. Também pode seguir-nos no <a href="https://twitter.com/milvusio">Twitter</a> ou no <a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn</a> para obter as últimas notícias e actualizações sobre Milvus.</p>


Revelando Milvus 2.3.2 &amp; 2.3.3: Suporte para tipos de dados de matriz, exclusão complexa, integração com TiKV e muito mais

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Exploring_M_Map_5086d652bd.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p><a href="https://zilliz.com/what-is-milvus">O Milvus</a> é a solução mais rápida em <a href="https://zilliz.com/blog/what-is-a-real-vector-database">bases de dados vectoriais</a> de código aberto, atendendo a utilizadores com requisitos de desempenho intensivos. No entanto, a diversidade das necessidades dos utilizadores reflecte os dados com que trabalham. Alguns dão prioridade a soluções económicas e a um armazenamento expansivo em detrimento da velocidade. Compreendendo este espetro de exigências, a Milvus introduz a funcionalidade MMap, redefinindo a forma como lidamos com grandes volumes de dados, prometendo eficiência de custos sem sacrificar a funcionalidade.</p>
<h2 id="What-is-MMap" class="common-anchor-header">O que é o MMap?<button data-href="#What-is-MMap" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>MMap, abreviatura de memory-mapped files, faz a ponte entre os ficheiros e a memória nos sistemas operativos. Esta tecnologia permite ao Milvus mapear grandes ficheiros diretamente no espaço de memória do sistema, transformando os ficheiros em blocos de memória contíguos. Esta integração elimina a necessidade de operações explícitas de leitura ou escrita, alterando fundamentalmente a forma como o Milvus gere os dados. Assegura um acesso sem falhas e um armazenamento eficiente para ficheiros de grandes dimensões ou situações em que os utilizadores necessitam de aceder aos ficheiros de forma aleatória.</p>
<h2 id="Who-benefits-from-MMap" class="common-anchor-header">Quem beneficia da MMap?<button data-href="#Who-benefits-from-MMap" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>As bases de dados vectoriais exigem uma capacidade de memória substancial devido aos requisitos de armazenamento dos dados vectoriais. Com a funcionalidade MMap, o processamento de mais dados numa memória limitada torna-se uma realidade. No entanto, esta capacidade acrescida tem um custo de desempenho. O sistema gere a memória de forma inteligente, retirando alguns dados com base na carga e na utilização. Esse despejo permite que o Milvus processe mais dados com a mesma capacidade de memória.</p>
<p>Durante os nossos testes, observámos que, com uma memória ampla, todos os dados residem na memória após um período de aquecimento, preservando o desempenho do sistema. No entanto, à medida que o volume de dados aumenta, o desempenho diminui gradualmente. <strong>Por isso, recomendamos a funcionalidade MMap para utilizadores menos sensíveis a flutuações de desempenho.</strong></p>
<h2 id="Enabling-MMap-in-Milvus-a-simple-configuration" class="common-anchor-header">Ativar o MMap no Milvus: uma configuração simples<button data-href="#Enabling-MMap-in-Milvus-a-simple-configuration" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>A ativação do MMap no Milvus é extremamente simples. Basta modificar o ficheiro <code translate="no">milvus.yaml</code>: adicionar o item <code translate="no">mmapDirPath</code> à configuração <code translate="no">queryNode</code> e definir um caminho válido como o seu valor.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/enabling_mmap_a2df88276b.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<h2 id="Striking-the-balance-performance-storage-and-system-limits" class="common-anchor-header">Atingir o equilíbrio: desempenho, armazenamento e limites do sistema<button data-href="#Striking-the-balance-performance-storage-and-system-limits" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Os padrões de acesso aos dados têm um impacto significativo no desempenho. O recurso MMap do Milvus otimiza o acesso aos dados com base na localidade. O MMap permite ao Milvus escrever dados escalares diretamente no disco para segmentos de dados acedidos sequencialmente. Dados de comprimento variável, como strings, são achatados e indexados usando uma matriz de offsets na memória. Esta abordagem garante a localidade de acesso aos dados e elimina a sobrecarga de armazenar cada dado de comprimento variável separadamente. As optimizações para índices vectoriais são meticulosas. O MMap é utilizado seletivamente para dados vectoriais enquanto mantém as listas de adjacência na memória, conservando uma memória significativa sem comprometer o desempenho.</p>
<p>Além disso, o MMap maximiza o processamento de dados, minimizando o uso de memória. Ao contrário das versões anteriores do Milvus, em que o QueryNode copiava conjuntos de dados inteiros, o MMap adopta um processo de streaming simplificado e sem cópias durante o desenvolvimento. Esta otimização reduz drasticamente a sobrecarga de memória.</p>
<p><strong>Os resultados dos nossos testes internos mostram que o Milvus pode lidar eficientemente com o dobro do volume de dados quando o MMap é ativado.</strong></p>
<h2 id="The-road-ahead-continuous-innovation-and-user-centric-enhancements" class="common-anchor-header">O caminho a seguir: inovação contínua e melhorias centradas no utilizador<button data-href="#The-road-ahead-continuous-innovation-and-user-centric-enhancements" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Embora a funcionalidade MMap esteja na sua fase beta, a equipa do Milvus está empenhada na melhoria contínua. As futuras actualizações irão aperfeiçoar a utilização da memória do sistema, permitindo que o Milvus suporte volumes de dados ainda mais extensos num único nó. Os utilizadores podem antecipar um controlo mais granular sobre a funcionalidade MMap, permitindo alterações dinâmicas às colecções e modos avançados de carregamento de campos. Estas melhorias proporcionam uma flexibilidade sem precedentes, permitindo aos utilizadores adaptarem as suas estratégias de processamento de dados a requisitos específicos.</p>
<h2 id="Conclusion-redefining-data-processing-excellence-with-Milvus-MMap" class="common-anchor-header">Conclusão: redefinindo a excelência do processamento de dados com o Milvus MMap<button data-href="#Conclusion-redefining-data-processing-excellence-with-Milvus-MMap" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>O recurso MMap do Milvus 2.3 marca um salto significativo na tecnologia de processamento de dados. Ao atingir um equilíbrio delicado entre desempenho, custo e limites do sistema, o Milvus permite que os utilizadores lidem com grandes quantidades de dados de forma eficiente e económica. À medida que o Milvus continua a evoluir, permanece na vanguarda das soluções inovadoras, redefinindo os limites do que é possível alcançar na gestão de dados.</p>
<p>Fique atento a mais desenvolvimentos inovadores à medida que o Milvus continua a sua viagem em direção a uma excelência de processamento de dados sem paralelo.</p>


A Milvus introduziu o MMap para uma gestão de dados redefinida e uma maior capacidade de armazenamento

Comparação de bases de dados vectoriais, bibliotecas de pesquisa vetorial e plug-ins de pesquisa vetorial

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Ingesting_Chaos_20231017_110103_54fe2009cb.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Os dados estão a ser gerados mais rapidamente do que nunca, sob todas as formas imagináveis. Estes dados são a gasolina que irá alimentar uma nova vaga de aplicações de inteligência artificial, mas estes motores de melhoria da produtividade precisam de ajuda para ingerir este combustível. A vasta gama de cenários e casos extremos em torno dos dados não estruturados torna difícil a sua utilização em sistemas de IA de produção.</p>
<p>Para começar, há um grande número de fontes de dados. Estas exportam dados em vários formatos de ficheiro, cada um com as suas excentricidades. Por exemplo, a forma como se processa um PDF varia muito consoante a sua origem. A ingestão de um PDF para um caso de litígio de valores mobiliários centrar-se-á provavelmente em dados textuais. Em contrapartida, uma especificação de conceção de um sistema para um engenheiro de foguetões estará repleta de diagramas que exigem um processamento visual. A falta de um esquema definido em dados não estruturados aumenta ainda mais a complexidade. Mesmo quando o desafio do processamento dos dados é ultrapassado, a questão da sua ingestão à escala mantém-se. Os ficheiros podem variar significativamente de tamanho, o que altera a forma como são processados. É possível processar rapidamente um upload de 1 MB em uma API por HTTP, mas a leitura de dezenas de GBs de um único arquivo exige streaming e um trabalhador dedicado.</p>
<p>Ultrapassar estes desafios tradicionais da engenharia de dados é uma aposta para ligar dados em bruto a <a href="https://zilliz.com/glossary/large-language-models-(llms)">LLMs</a> através de <a href="https://zilliz.com/learn/what-is-vector-database">bases de dados vectoriais</a> como o <a href="https://github.com/milvus-io/milvus">Milvus</a>. No entanto, os casos de utilização emergentes, como a realização de pesquisas de semelhança semântica com a ajuda de uma base de dados vetorial, requerem novas etapas de processamento, como a fragmentação dos dados de origem, a orquestração de metadados para pesquisas híbridas, a escolha do modelo de incorporação vetorial adequado e a afinação dos parâmetros de pesquisa para determinar quais os dados a alimentar a LLM. Estes fluxos de trabalho são tão novos que não existem melhores práticas estabelecidas para os programadores seguirem. Em vez disso, têm de experimentar para encontrar a configuração correta e o caso de utilização para os seus dados. Para acelerar este processo, a utilização de um pipeline de incorporação de vectores para tratar a ingestão de dados na base de dados de vectores é inestimável.</p>
<p>Um pipeline de incorporação de vetores como o <a href="https://github.com/dgarnitz/vectorflow">VectorFlow</a> conectará seus dados brutos ao banco de dados de vetores, incluindo fragmentação, orquestração de metadados, incorporação e upload. O VectorFlow permite que as equipas de engenharia se concentrem na lógica da aplicação principal, experimentando os diferentes parâmetros de recuperação gerados a partir do modelo de incorporação, a estratégia de fragmentação, os campos de metadados e os aspectos da pesquisa para ver o que tem melhor desempenho.</p>
<p>No nosso trabalho de ajudar as equipas de engenharia a passar os seus sistemas de <a href="https://zilliz.com/use-cases/llm-retrieval-augmented-generation">geração aumentada de recuperação (RAG)</a> do protótipo para a produção, observámos que a seguinte abordagem é bem sucedida no teste dos diferentes parâmetros de um pipeline de pesquisa RAG:</p>
<ol>
<li>Utilizar um pequeno conjunto de dados com os quais está familiarizado para acelerar a iteração, como alguns PDFs que tenham partes relevantes para as consultas de pesquisa.</li>
<li>Criar um conjunto padrão de perguntas e respostas sobre esse subconjunto de dados. Por exemplo, depois de ler os PDFs, escreva uma lista de perguntas e peça à sua equipa que chegue a acordo sobre as respostas.</li>
<li>Crie um sistema de avaliação automatizado que classifique o desempenho da recuperação em cada pergunta. Uma forma de o fazer é pegar na resposta do sistema RAG e voltar a passá-la pelo LLM com uma pergunta que indique se este resultado do RAG responde à pergunta dada a resposta correta. A resposta deve ser "sim" ou "não". Por exemplo, se tiver 25 perguntas nos seus documentos e o sistema acertar 20, pode utilizar este resultado para comparar com outras abordagens.</li>
<li>Certifique-se de que utiliza para a avaliação um LLM diferente do utilizado para codificar os vectores de incorporação armazenados na base de dados. O LLM de avaliação é tipicamente um descodificador de um modelo como o GPT-4. Um aspeto a ter em conta é o custo destas avaliações quando executadas repetidamente. Modelos de código aberto como o Llama2 70B ou o Deci AI LLM 6B, que podem ser executados numa única GPU mais pequena, têm aproximadamente o mesmo desempenho por uma fração do custo.</li>
<li>Execute cada teste várias vezes e calcule a média da pontuação para suavizar a estocasticidade do LLM.</li>
</ol>
<p>Mantendo todas as opções constantes, exceto uma, é possível determinar rapidamente quais parâmetros funcionam melhor para o seu caso de uso. Um pipeline de incorporação de vetor como o VectorFlow torna isso especialmente fácil no lado da ingestão, onde você pode experimentar rapidamente diferentes estratégias de fragmentação, comprimentos de fragmentação, sobreposições de fragmentação e modelos de incorporação de código aberto para ver o que leva aos melhores resultados. Isso é especialmente útil quando o conjunto de dados tem vários tipos de arquivos e fontes de dados que exigem lógica personalizada.</p>
<p>Quando a equipa sabe o que funciona para o seu caso de utilização, o pipeline de incorporação de vectores permite-lhe passar rapidamente para a produção sem ter de redesenhar o sistema para ter em conta aspectos como a fiabilidade e a monitorização. Com tecnologias como o VectorFlow e <a href="https://zilliz.com/what-is-milvus">o Milvus</a>, que são de código aberto e independentes da plataforma, a equipa pode testar eficazmente em diferentes ambientes, cumprindo simultaneamente os requisitos de privacidade e segurança.</p>


Ingerindo o caos: Os MLOps por detrás do tratamento de dados não estruturados de forma fiável à escala para RAG

Porquê e quando é que é necessária uma base de dados de vectores criada para o efeito?

Revelando o Milvus 2.3: uma versão histórica que oferece suporte para GPU, Arm64, CDC e muitos outros recursos altamente esperados

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/What_s_New_in_2_2_12_20230720_143424_7d19280738.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Temos o prazer de anunciar a última versão do Milvus 2.2.12. Esta atualização inclui várias novas funcionalidades, como o suporte para a API RESTful, a função <code translate="no">json_contains</code> e a recuperação de vectores durante as pesquisas ANN, em resposta ao feedback dos utilizadores. Também simplificámos a experiência do utilizador, melhorámos as velocidades de pesquisa de vectores e resolvemos muitos problemas. Vamos ver o que podemos esperar do Milvus 2.2.12.</p>
<h2 id="Support-for-RESTful-API" class="common-anchor-header">Suporte para API RESTful<button data-href="#Support-for-RESTful-API" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>O Milvus 2.2.12 suporta agora a API RESTful, que permite aos utilizadores aceder ao Milvus sem instalar um cliente, tornando as operações cliente-servidor mais fáceis. Além disso, a implementação do Milvus tornou-se mais conveniente porque o Milvus SDK e a API RESTful partilham o mesmo número de porta.</p>
<p><strong>Nota</strong>: Continuamos a recomendar a utilização do SDK para implementar o Milvus em operações avançadas ou se a sua empresa for sensível à latência.</p>
<h2 id="Vector-retrieval-during-ANN-searches" class="common-anchor-header">Recuperação de vectores durante as pesquisas ANN<button data-href="#Vector-retrieval-during-ANN-searches" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Nas versões anteriores, o Milvus não permitia a recuperação de vectores durante as pesquisas ANN (approximate nearest neighbor) para dar prioridade ao desempenho e à utilização de memória. Como resultado, a recuperação de vectores brutos tinha de ser dividida em duas etapas: executar a pesquisa ANN e, em seguida, consultar os vectores brutos com base nos seus IDs. Esta abordagem aumentou os custos de desenvolvimento e dificultou a implementação e adoção do Milvus pelos utilizadores.</p>
<p>Com o Milvus 2.2.12, os utilizadores podem obter vectores brutos durante as pesquisas ANN, definindo o campo do vetor como um campo de saída e consultando em colecções indexadas HNSW-, DiskANN-, ou IVF-FLAT. Além disso, os utilizadores podem esperar uma velocidade de recuperação de vectores muito mais rápida.</p>
<h2 id="Support-for-operations-on-JSON-arrays" class="common-anchor-header">Suporte para operações em matrizes JSON<button data-href="#Support-for-operations-on-JSON-arrays" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Recentemente, adicionámos suporte para JSON no Milvus 2.2.8. Desde então, os utilizadores enviaram inúmeros pedidos para suportar operações adicionais em arrays JSON, tais como inclusão, exclusão, intersecção, união, diferença, e muito mais. No Milvus 2.2.12, priorizamos o suporte à função <code translate="no">json_contains</code> para habilitar a operação de inclusão. Continuaremos a adicionar suporte para outros operadores em versões futuras.</p>
<h2 id="Enhancements-and-bug-fixes" class="common-anchor-header">Melhorias e correcções de erros<button data-href="#Enhancements-and-bug-fixes" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Para além de introduzir novas funcionalidades, o Milvus 2.2.12 melhorou o desempenho da pesquisa vetorial com uma sobrecarga reduzida, facilitando o tratamento de pesquisas topk extensas. Além disso, melhora o desempenho de escrita em situações de partição-chave e multi-partição e otimiza o uso da CPU para máquinas grandes. Esta atualização aborda vários problemas: uso excessivo do disco, compactação travada, exclusões de dados infrequentes e falhas de inserção em massa. Para mais informações, consulte as <a href="https://milvus.io/docs/release_notes.md#2212">Notas de lançamento do Milvus 2.2.12</a>.</p>
<h2 id="Lets-keep-in-touch" class="common-anchor-header">Vamos manter-nos em contacto!<button data-href="#Lets-keep-in-touch" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Se tiver perguntas ou comentários sobre o Milvus, não hesite em contactar-nos através do <a href="https://twitter.com/milvusio">Twitter</a> ou do <a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn</a>. Também é bem-vindo a juntar-se ao nosso <a href="https://milvus.io/slack/">canal Slack</a> para conversar diretamente com os nossos engenheiros e com a comunidade, ou consulte o nosso <a href="https://us02web.zoom.us/meeting/register/tZ0pcO6vrzsuEtVAuGTpNdb6lGnsPBzGfQ1T#/registration">horário de expediente às terças-feiras</a>!</p>


Milvus 2.2.12: Acesso mais fácil, velocidades de pesquisa de vectores mais rápidas e melhor experiência do utilizador

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/What_s_New_in_Milvus_2_2_10_and_2_2_11_5018946465.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Saudações, fãs do Milvus! Temos o prazer de anunciar que acabámos de lançar o Milvus 2.2.10 e 2.2.11, duas pequenas actualizações que se concentram principalmente na correção de erros e na melhoria geral do desempenho. Pode esperar um sistema mais estável e uma melhor experiência de utilização com estas duas actualizações. Vamos dar uma olhada rápida no que há de novo nessas duas versões.</p>
<h2 id="Milvus-2210" class="common-anchor-header">Milvus 2.2.10<button data-href="#Milvus-2210" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>O Milvus 2.2.10 corrigiu falhas ocasionais do sistema, acelerou o carregamento e a indexação, reduziu a utilização de memória nos nós de dados e efectuou muitas outras melhorias. Abaixo estão algumas mudanças notáveis:</p>
<ul>
<li>Substituído o antigo escritor de carga útil CGO por um novo escrito em Go puro, reduzindo o uso de memória nos nós de dados.</li>
<li>Adicionado <code translate="no">go-api/v2</code> ao ficheiro <code translate="no">milvus-proto</code> para evitar confusão com diferentes versões de <code translate="no">milvus-proto</code>.</li>
<li>Atualizado o Gin da versão 1.9.0 para a 1.9.1 para corrigir um erro na função <code translate="no">Context.FileAttachment</code>.</li>
<li>Adicionado controlo de acesso baseado em funções (RBAC) para as APIs FlushAll e Database.</li>
<li>Corrigida uma falha aleatória causada pelo AWS S3 SDK.</li>
<li>Melhoria das velocidades de carregamento e indexação.</li>
</ul>
<p>Para obter mais detalhes, consulte <a href="https://milvus.io/docs/release_notes.md#2210">as Notas de versão do Milvus 2.2.10</a>.</p>
<h2 id="Milvus-2211" class="common-anchor-header">Milvus 2.2.11<button data-href="#Milvus-2211" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>O Milvus 2.2.11 resolveu vários problemas para melhorar a estabilidade do sistema. Também melhorou o seu desempenho na monitorização, registo, limitação da taxa e interceção de pedidos entre clusters. Veja abaixo os destaques desta atualização.</p>
<ul>
<li>Adicionado um intercetor ao servidor Milvus GRPC para evitar quaisquer problemas com o encaminhamento entre clusters.</li>
<li>Adicionados códigos de erro ao gerenciador de pedaços do minio para facilitar o diagnóstico e a correção de erros.</li>
<li>Utilizado um pool de corrotinas singleton para evitar o desperdício de corrotinas e maximizar o uso de recursos.</li>
<li>Reduziu o uso de disco para o RocksMq para um décimo do seu nível original ao ativar a compressão zstd.</li>
<li>Corrigido o pânico ocasional do QueryNode durante o carregamento.</li>
<li>Corrigido o problema de limitação de pedidos de leitura causado pelo erro de cálculo do comprimento da fila duas vezes.</li>
<li>Corrigidos problemas com GetObject retornando valores nulos no MacOS.</li>
<li>Corrigida uma falha causada pelo uso incorreto do modificador noexcept.</li>
</ul>
<p>Para obter mais detalhes, consulte <a href="https://milvus.io/docs/release_notes.md#2211">as Notas de versão do Milvus 2.2.11</a>.</p>
<h2 id="Let’s-keep-in-touch" class="common-anchor-header">Vamos manter-nos em contacto!<button data-href="#Let’s-keep-in-touch" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Se tiver perguntas ou comentários sobre o Milvus, não hesite em contactar-nos através do <a href="https://twitter.com/milvusio">Twitter</a> ou do <a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn</a>. Também é bem-vindo a juntar-se ao nosso <a href="https://milvus.io/slack/">canal Slack</a> para conversar diretamente com os nossos engenheiros e com a comunidade, ou consulte o nosso <a href="https://us02web.zoom.us/meeting/register/tZ0pcO6vrzsuEtVAuGTpNdb6lGnsPBzGfQ1T#/registration">horário de expediente às terças-feiras</a>!</p>


Milvus 2.2.10 & 2.2.11 Enhanced System Stability and User Experience

Milvus 2.2.10 &amp; 2.2.11: Pequenas actualizações para melhorar a estabilidade do sistema e a experiência do utilizador

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Milvus_hit_20_000_stars_284ed694d2.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Vamos lançar os confettis e celebrar!</p>
<p><a href="https://github.com/milvus-io/milvus">Milvus</a> alcançou um marco estelar - ultrapassando 20.000 estrelas no GitHub! Não o teríamos conseguido sem o apoio e o feedback dos nossos leais fãs e membros da comunidade. Muito obrigado.</p>
<p>Para partilhar a alegria, reunimos uma lista de tópicos críticos da comunidade Milvus em geral, incluindo:</p>
<ul>
<li>Seis projectos proeminentes que utilizam Milvus</li>
<li>Cinco integrações com outros projectos open-source</li>
<li>Cinco casos de uso bem conhecidos de Milvus</li>
<li>Cinco excelentes funcionalidades futuras</li>
</ul>
<h2 id="Six-LLM-projects-that-utilize-Milvus" class="common-anchor-header">Seis projectos LLM que utilizam Milvus<button data-href="#Six-LLM-projects-that-utilize-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="PaperGPT" class="common-anchor-header">PaperGPT</h3><p><a href="http://papergpt.bio">O PaperGPT</a> é uma ferramenta de pesquisa de artigos biomédicos alimentada por um LLM e uma base de dados vetorial. Aproveita a base de dados PubMed e tecnologias como SentenceTransformers e Zilliz Cloud para uma pesquisa eficiente.</p>
<h3 id="NoticeAI" class="common-anchor-header">NoticeAI</h3><p>A NoticeAI ajuda as empresas a automatizar o seu processo de apoio ao cliente. Utiliza Milvus e LangChain para acompanhar as questões de apoio ao cliente, atualizar a base de conhecimentos e decidir se deve ou não envolver um humano.</p>
<h3 id="Searchanythingio" class="common-anchor-header">Search.anything.io</h3><p><a href="http://search.anything.io">O Search Anything</a> utiliza LLMs e Milvus para proporcionar uma melhor experiência de pesquisa. Obtém uma descrição de texto de um utilizador e encontra as imagens correspondentes na Web.</p>
<h3 id="IkuStudies" class="common-anchor-header">IkuStudies</h3><p><a href="https://ikustudies.xyz/">O IkuStudies</a> é um projeto que permite aos utilizadores pesquisar homófonos em 28 línguas. Utiliza o Milvus como armazenamento vetorial para encontrar semelhanças entre as palavras.</p>
<h3 id="AssistLink-AI" class="common-anchor-header">AssistLink AI</h3><p><a href="https://www.linkedin.com/company/assistlink/about/">AssistLink AI</a> é uma startup sediada em Seattle que usa Milvus e LLaMa 65bn para armazenar variáveis para um sistema de Assistência Governamental.</p>
<h3 id="OSS-Chat" class="common-anchor-header">Chat OSS</h3><p><a href="http://osschat.io">O OSS Chat</a> permite-lhe conversar com software de código aberto. Utiliza o Milvus para injetar conhecimentos de domínio sobre projectos de código aberto e utiliza <a href="https://zilliz.com/blog/Caching-LLM-Queries-for-performance-improvements">a GPTCache</a> para armazenar em cache as perguntas mais frequentes, a fim de reduzir os custos de LLM.</p>
<h2 id="Five-AI-projects-Milvus-integrates-with" class="common-anchor-header">Cinco projectos de IA com os quais o Milvus se integra<button data-href="#Five-AI-projects-Milvus-integrates-with" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="LlamaIndex" class="common-anchor-header">LlamaIndex</h3><p><a href="https://github.com/jerryjliu/llama_index">O LlamaIndex</a> é uma estrutura de dados para aplicações LLM que fornece conectores de dados para ligar fontes de dados externas a um LLM. O LlamaIndex permite-lhe injetar os seus dados privados ou conhecimentos específicos do domínio diretamente na sua aplicação LLM.</p>
<h3 id="LangChainLangChainJS" class="common-anchor-header">LangChain/LangChainJS</h3><p><a href="https://github.com/hwchase17/langchain">O LangChain</a> é uma biblioteca projetada para acelerar o desenvolvimento de aplicativos LLM, oferecendo recursos como gerenciamento de prompt, cadeias, geração de dados aumentados, memória e muito mais.</p>
<h3 id="ChatGPT-Retrieval-Plugin" class="common-anchor-header">Plug-in de recuperação ChatGPT</h3><p>O <a href="https://github.com/openai/chatgpt-retrieval-plugin">ChatGPT Retrieval Plugin</a> da OpenAI permite a pesquisa semântica e a recuperação de documentos pessoais ou organizacionais utilizando consultas em linguagem natural, permitindo aos programadores implementar o seu plugin e registá-lo no ChatGPT.</p>
<h3 id="Haystack" class="common-anchor-header">Haystack</h3><p><a href="https://github.com/deepset-ai/haystack">O Haystack</a> é uma estrutura de PNL de ponta a ponta para a criação de aplicações de PNL alimentadas por LLMs, modelos transformadores, pesquisa vetorial e outras tecnologias para tarefas como a resposta a perguntas, a pesquisa semântica de documentos e a criação de decisões complexas.</p>
<h3 id="GPTCache" class="common-anchor-header">GPTCache</h3><p>As chamadas à API LLM podem ser caras e lentas. <a href="https://github.com/zilliztech/gptcache">A GPTCache</a> pode resolver ambos os problemas fornecendo uma cache semântica para consultas LLM.</p>
<h2 id="Five-well-known-use-cases-of-Milvus" class="common-anchor-header">Cinco casos de utilização bem conhecidos de Milvus<button data-href="#Five-well-known-use-cases-of-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="LLM-augmentation" class="common-anchor-header">Aumento da LLM</h3><p>As LLMs ou aplicações LLM têm três problemas principais: falta de dados específicos do domínio, dados desactualizados e custos elevados. O Milvus pode resolver estes três problemas, permitindo-lhe injetar dados externos e servir de cache para consultas frequentes.</p>
<h3 id="Anomaly-detection" class="common-anchor-header">Deteção de anomalias</h3><p>Os dados anómalos são significativamente diferentes dos restantes num determinado conjunto. As bases de dados vectoriais como o Milvus são benéficas para a realização de pesquisas de semelhança, facilitando a identificação desses dados anómalos.</p>
<h3 id="Recommender-systems" class="common-anchor-header">Sistemas de recomendação</h3><p>Um sistema de recomendação recomenda às pessoas objectos semelhantes aos que elas já gostam. É um exemplo clássico de como o Milvus acelera este processo através da realização de pesquisas por semelhança.</p>
<h3 id="Semantic-search" class="common-anchor-header">Pesquisa semântica</h3><p>A pesquisa por palavras-chave não é suficiente quando se pretende pesquisar um texto para encontrar coisas com significados semelhantes. É aí que entra a pesquisa semântica e que Milvus pode ajudar. Milvus permite-lhe comparar as intenções por detrás do texto e não apenas as palavras em si.</p>
<h3 id="Automatic-data-labeling" class="common-anchor-header">Marcação automática de dados</h3><p>Tem dados etiquetados e precisa de marcar mais? Ao armazenar as representações vectoriais no Milvus, pode detetar automaticamente os pontos de dados mais semelhantes nos seus novos dados e aplicar as etiquetas adequadas.</p>
<h2 id="Five-awesome-upcoming-features" class="common-anchor-header">Cinco fantásticas funcionalidades futuras<button data-href="#Five-awesome-upcoming-features" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="NVIDIA-GPU-support" class="common-anchor-header">Suporte para GPU NVIDIA</h3><p>O suporte para GPU está a chegar no Milvus 2.3 e já está disponível na <a href="https://github.com/milvus-io/milvus/releases/tag/v2.3.0-beta">versão beta</a> mais <a href="https://github.com/milvus-io/milvus/releases/tag/v2.3.0-beta">recente</a>!</p>
<h3 id="Delete-by-Expression" class="common-anchor-header">Apagar por expressão</h3><p>Já é possível efetuar filtragem de escalas/metadados através de expressões booleanas no Milvus. A funcionalidade Eliminar por Expressão também está a chegar.</p>
<h3 id="Change-Data-Capture-CDC" class="common-anchor-header">Captura de dados de alteração (CDC)</h3><p>O CDC é uma técnica que permite capturar e seguir as alterações efectuadas na sua instância Milvus em tempo real.</p>
<h3 id="Range-Search" class="common-anchor-header">Pesquisa de intervalos</h3><p>A pesquisa por intervalo, também conhecida em alguns círculos como pesquisa epsilon, permite-lhe encontrar todos os vectores dentro de uma determinada distância do vetor de consulta.</p>
<h3 id="Fast-Scan" class="common-anchor-header">Pesquisa rápida</h3><p>A quantização de 4 bits e o FastScan foram adicionados ao FAISS recentemente e também chegarão ao Milvus.</p>
<h2 id="Looking-forward-to-Milvus-reaching-even-greater-heights" class="common-anchor-header">Esperamos que o Milvus atinja ainda maiores alturas!<button data-href="#Looking-forward-to-Milvus-reaching-even-greater-heights" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Gostaríamos de agradecer imensamente aos nossos utilizadores, membros da comunidade, parceiros do ecossistema e observadores de estrelas pelo seu apoio contínuo, feedback e contribuição. Esperamos que o Milvus atinja alturas ainda maiores!</p>


Um marco estelar: Milvus ultrapassa 20.000 estrelas no GitHub

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Conversational_Memory_in_Lang_Chain_7c1b4b7ba9.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>LangChain é uma estrutura robusta para construir aplicações LLM. No entanto, com esse poder vem um pouco de complexidade. A LangChain oferece muitas maneiras de solicitar um LLM e recursos essenciais como a memória de conversação. A memória de conversação oferece contexto para que o LLM se lembre do seu bate-papo.</p>
<p>Nesta publicação, veremos como usar a memória de conversação com a LangChain e o Milvus. Para acompanhar, precisa de <code translate="no">pip</code> instalar quatro bibliotecas e uma chave da API OpenAI. As quatro bibliotecas necessárias podem ser instaladas executando <code translate="no">pip install langchain milvus pymilvus python-dotenv</code>. Ou executando o primeiro bloco no <a href="https://colab.research.google.com/drive/11p-u8nKqrQYePlXR0HiSrUapmKLD0QN9?usp=sharing">Notebook</a> do <a href="https://colab.research.google.com/drive/11p-u8nKqrQYePlXR0HiSrUapmKLD0QN9?usp=sharing">CoLab</a> para este artigo.</p>
<p>Neste post, vamos aprender sobre:</p>
<ul>
<li>Memória de conversação com LangChain</li>
<li>Configurar o contexto da conversação</li>
<li>Como ativar a memória de conversação com a LangChain</li>
<li>Resumo da memória de conversação com LangChain</li>
</ul>
<h2 id="Conversational-Memory-with-LangChain" class="common-anchor-header">Memória de conversação com LangChain<button data-href="#Conversational-Memory-with-LangChain" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>No estado predefinido, interage com um LLM através de prompts únicos. Adicionar memória para contexto, ou "memória de conversação", significa que já não tem de enviar tudo através de um único comando. A LangChain oferece a capacidade de armazenar a conversa que já teve com um LLM para recuperar essa informação mais tarde.</p>
<p>Para configurar uma memória de conversação persistente com um armazenamento vetorial, precisamos de seis módulos da LangChain. Primeiro, temos de obter o <code translate="no">OpenAIEmbeddings</code> e o <code translate="no">OpenAI</code> LLM. Também precisamos de <code translate="no">VectorStoreRetrieverMemory</code> e da versão LangChain de <code translate="no">Milvus</code> para utilizar um backend de armazenamento vetorial. Depois, precisamos de <code translate="no">ConversationChain</code> e <code translate="no">PromptTemplate</code> para guardar a nossa conversa e consultá-la.</p>
<p>As bibliotecas <code translate="no">os</code>, <code translate="no">dotenv</code> e <code translate="no">openai</code> são principalmente para fins operacionais. Nós as usamos para carregar e usar a chave da API OpenAI. A etapa final de configuração é criar uma instância local <a href="https://milvus.io/docs/milvus_lite.md">do Milvus Lite</a>. Fazemos isso usando o <code translate="no">default_server</code> do pacote Milvus Python.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> langchain.<span class="hljs-property">embeddings</span>.<span class="hljs-property">openai</span> <span class="hljs-keyword">import</span> <span class="hljs-title class_">OpenAIEmbeddings</span>
<span class="hljs-keyword">from</span> langchain.<span class="hljs-property">llms</span> <span class="hljs-keyword">import</span> <span class="hljs-title class_">OpenAI</span>
<span class="hljs-keyword">from</span> langchain.<span class="hljs-property">memory</span> <span class="hljs-keyword">import</span> <span class="hljs-title class_">VectorStoreRetrieverMemory</span>
<span class="hljs-keyword">from</span> langchain.<span class="hljs-property">chains</span> <span class="hljs-keyword">import</span> <span class="hljs-title class_">ConversationChain</span>
<span class="hljs-keyword">from</span> langchain.<span class="hljs-property">prompts</span> <span class="hljs-keyword">import</span> <span class="hljs-title class_">PromptTemplate</span>
<span class="hljs-keyword">from</span> langchain.<span class="hljs-property">vectorstores</span> <span class="hljs-keyword">import</span> <span class="hljs-title class_">Milvus</span>
embeddings = <span class="hljs-title class_">OpenAIEmbeddings</span>()


<span class="hljs-keyword">import</span> os
<span class="hljs-keyword">from</span> dotenv <span class="hljs-keyword">import</span> load_dotenv
<span class="hljs-keyword">import</span> openai
<span class="hljs-title function_">load_dotenv</span>()
openai.<span class="hljs-property">api_key</span> = os.<span class="hljs-title function_">getenv</span>(<span class="hljs-string">&quot;OPENAI_API_KEY&quot;</span>)


<span class="hljs-keyword">from</span> milvus <span class="hljs-keyword">import</span> default_server
default_server.<span class="hljs-title function_">start</span>()
<button class="copy-code-btn"></button></code></pre>
<h2 id="Setting-Up-Conversation-Context" class="common-anchor-header">Configurando o contexto da conversa<button data-href="#Setting-Up-Conversation-Context" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Agora que temos todos os nossos pré-requisitos configurados, podemos prosseguir para criar nossa memória de conversação. Nosso primeiro passo é criar uma conexão com o servidor Milvus usando LangChain. Em seguida, usamos um dicionário vazio para criar a nossa coleção LangChain Milvus. Além disso, passamos os embeddings que criámos acima e os detalhes da ligação ao servidor Milvus Lite.</p>
<p>Para utilizar a base de dados vetorial para a memória de conversação, temos de a instanciar como um recuperador. Neste caso, só recuperamos o primeiro resultado, definindo <code translate="no">k=1</code>. O último passo da configuração da memória de conversação é utilizar o objeto <code translate="no">VectorStoreRetrieverMemory</code> como a nossa memória de conversação através da ligação do recuperador e da base de dados vetorial que acabámos de configurar.</p>
<p>Para usar nossa memória de conversação, ela precisa ter algum contexto. Por isso, vamos dar algum contexto à memória. Para este exemplo, damos cinco informações. Vamos guardar o meu snack preferido (chocolate), desporto (natação), cerveja (Guinness), sobremesa (cheesecake) e músico (Taylor Swift). Cada entrada é guardada na memória através da função <code translate="no">save_context</code>.</p>
<pre><code translate="no">vectordb = Milvus.from_documents(
   {},
   embeddings,
   connection_args={<span class="hljs-string">&quot;host&quot;</span>: <span class="hljs-string">&quot;127.0.0.1&quot;</span>, <span class="hljs-string">&quot;port&quot;</span>: default_server.listen_port})
retriever = Milvus.as_retriever(vectordb, search_kwargs=<span class="hljs-built_in">dict</span>(k=<span class="hljs-number">1</span>))
memory = VectorStoreRetrieverMemory(retriever=retriever)
about_me = [
   {<span class="hljs-string">&quot;input&quot;</span>: <span class="hljs-string">&quot;My favorite snack is chocolate&quot;</span>,
    <span class="hljs-string">&quot;output&quot;</span>: <span class="hljs-string">&quot;Nice&quot;</span>},
   {<span class="hljs-string">&quot;input&quot;</span>: <span class="hljs-string">&quot;My favorite sport is swimming&quot;</span>,
    <span class="hljs-string">&quot;output&quot;</span>: <span class="hljs-string">&quot;Cool&quot;</span>},
   {<span class="hljs-string">&quot;input&quot;</span>: <span class="hljs-string">&quot;My favorite beer is Guinness&quot;</span>,
    <span class="hljs-string">&quot;output&quot;</span>: <span class="hljs-string">&quot;Great&quot;</span>},
   {<span class="hljs-string">&quot;input&quot;</span>: <span class="hljs-string">&quot;My favorite dessert is cheesecake&quot;</span>,
    <span class="hljs-string">&quot;output&quot;</span>: <span class="hljs-string">&quot;Good to know&quot;</span>},
   {<span class="hljs-string">&quot;input&quot;</span>: <span class="hljs-string">&quot;My favorite musician is Taylor Swift&quot;</span>,
    <span class="hljs-string">&quot;output&quot;</span>: <span class="hljs-string">&quot;Same&quot;</span>}
]
<span class="hljs-keyword">for</span> example <span class="hljs-keyword">in</span> about_me:
   memory.save_context({<span class="hljs-string">&quot;input&quot;</span>: example[<span class="hljs-string">&quot;input&quot;</span>]}, {<span class="hljs-string">&quot;output&quot;</span>: example[<span class="hljs-string">&quot;output&quot;</span>]})
<button class="copy-code-btn"></button></code></pre>
<h2 id="Prompting-the-Conversational-Memory-with-LangChain" class="common-anchor-header">Solicitar a memória de conversação com LangChain<button data-href="#Prompting-the-Conversational-Memory-with-LangChain" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Está na altura de ver como podemos usar a nossa memória de conversação. Comecemos por nos ligarmos ao LLM do OpenAI através da LangChain. Usamos uma temperatura de 0 para indicar que não queremos que a nossa LLM seja criativa.</p>
<p>De seguida, criamos um modelo. Dizemos ao LLM que está envolvido numa conversa amigável com um humano e inserimos duas variáveis. A variável <code translate="no">history</code> fornece o contexto da memória de conversação. A variável <code translate="no">input</code> fornece o input atual. Utilizamos o objeto <code translate="no">PromptTemplate</code> para inserir estas variáveis.</p>
<p>Utilizamos o objeto <code translate="no">ConversationChain</code> para combinar o nosso prompt, LLM e memória. Agora estamos prontos para verificar a memória da nossa conversa, dando-lhe algumas instruções. Começamos por dizer ao LLM que o nosso nome é Gary, o principal rival da série Pokemon (tudo o resto na memória de conversação é um facto sobre mim).</p>
<pre><code translate="no">llm = OpenAI(temperature=<span class="hljs-number">0</span>) <span class="hljs-comment"># Can be any valid LLM</span>
_DEFAULT_TEMPLATE = <span class="hljs-string">&quot;&quot;&quot;The following is a friendly conversation between a human and an AI. The AI is talkative and provides lots of specific details from its context. If the AI does not know the answer to a question, it truthfully says it does not know.


Relevant pieces of previous conversation:
{history}


(You do not need to use these pieces of information if not relevant)


Current conversation:
Human: {input}
AI:&quot;&quot;&quot;</span>
PROMPT = PromptTemplate(
   input_variables=[<span class="hljs-string">&quot;history&quot;</span>, <span class="hljs-string">&quot;input&quot;</span>], template=_DEFAULT_TEMPLATE
)
conversation_with_summary = ConversationChain(
   llm=llm,
   prompt=PROMPT,
   memory=memory,
   verbose=<span class="hljs-literal">True</span>
)
conversation_with_summary.predict(<span class="hljs-built_in">input</span>=<span class="hljs-string">&quot;Hi, my name is Gary, what&#x27;s up?&quot;</span>)
<button class="copy-code-btn"></button></code></pre>
<p>A imagem abaixo mostra o que poderia ser uma resposta esperada do MLT. Neste exemplo, ele respondeu dizendo que o seu nome é "IA".</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Conversational_Memory_in_Lang_Chain_graphics_1_2bf386d22a.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Agora vamos testar a memória até agora. Utilizamos o objeto <code translate="no">ConversationChain</code> que criámos anteriormente e consultamos o meu músico favorito.</p>
<pre><code translate="no">conversation_with_summary.predict(<span class="hljs-built_in">input</span>=<span class="hljs-string">&quot;who is my favorite musician?&quot;</span>)
<button class="copy-code-btn"></button></code></pre>
<p>A imagem abaixo mostra uma resposta esperada da cadeia de conversação. Como usamos a opção verbose, ela também nos mostra a conversa relevante. Podemos ver que ela retorna que meu artista favorito é Taylor Swift, como esperado.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Conversational_Memory_in_Lang_Chain_graphics_2_8355206f3e.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Em seguida, vamos verificar a minha sobremesa favorita - cheesecake.</p>
<pre><code translate="no">conversation_with_summary.predict(<span class="hljs-built_in">input</span>=<span class="hljs-string">&quot;Whats my favorite dessert?&quot;</span>)
<button class="copy-code-btn"></button></code></pre>
<p>Quando consultamos a minha sobremesa favorita, podemos ver que a cadeia de conversação escolhe mais uma vez a informação correta do Milvus. Descobre que a minha sobremesa favorita é cheesecake, como lhe disse anteriormente.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Conversational_Memory_in_Lang_Chain_graphics_3_66a5c9690f.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Agora que confirmámos que podemos consultar a informação que demos anteriormente, vamos verificar mais uma coisa - a informação que fornecemos no início da nossa conversa. Começámos a nossa conversa dizendo à IA que o nosso nome era Gary.</p>
<pre><code translate="no">conversation_with_summary.predict(<span class="hljs-built_in">input</span>=<span class="hljs-string">&quot;What&#x27;s my name?&quot;</span>)
<button class="copy-code-btn"></button></code></pre>
<p>A nossa verificação final indica que a cadeia de conversação guardou a informação sobre o nosso nome na nossa memória de conversação do vetor de armazenamento. Devolve que dissemos que o nosso nome é Gary.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Conversational_Memory_in_Lang_Chain_graphics_4_f446f49672.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<h2 id="LangChain-Conversational-Memory-Summary" class="common-anchor-header">Resumo da memória de conversação LangChain<button data-href="#LangChain-Conversational-Memory-Summary" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Neste tutorial, aprendemos como usar a memória de conversação em LangChain. LangChain oferece acesso a backends de armazenamento vetorial como Milvus para memória conversacional persistente. Podemos usar a memória de conversação injetando histórico em nossos prompts e salvando o contexto histórico no objeto <code translate="no">ConversationChain</code>.</p>
<p>Para este exemplo de tutorial, demos à cadeia de conversação cinco factos sobre mim e fingimos ser o principal rival do Pokemon, o Gary. Depois, fizemos perguntas à cadeia de conversação sobre o conhecimento a priori que armazenámos - o meu músico favorito e a minha sobremesa. O sistema respondeu corretamente a ambas as perguntas e fez aparecer as entradas relevantes. Por fim, perguntámos-lhe qual era o nosso nome no início da conversa, e ela respondeu corretamente que tínhamos dito que o nosso nome era "Gary".</p>


Memória de conversação em LangChain

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/What_s_New_in_2_2_9_858e54a2d3.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>É com grande entusiasmo que anunciamos a chegada do Milvus 2.2.9, uma versão muito aguardada que representa um marco significativo para a equipa e para a comunidade. Esta versão oferece muitos recursos interessantes, incluindo o suporte há muito aguardado para tipos de dados JSON, esquema dinâmico e chaves de partição, garantindo uma experiência de utilizador optimizada e um fluxo de trabalho de desenvolvimento simplificado. Além disso, esta versão incorpora inúmeras melhorias e correcções de erros. Junte-se a nós para explorar o Milvus 2.2.9 e descobrir por que essa versão é tão empolgante.</p>
<h2 id="Optimized-user-experience-with-JSON-support" class="common-anchor-header">Experiência de utilizador optimizada com suporte JSON<button data-href="#Optimized-user-experience-with-JSON-support" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>O Milvus introduziu um suporte muito aguardado para o tipo de dados JSON, permitindo o armazenamento contínuo de dados JSON juntamente com os metadados de vectores nas colecções dos utilizadores. Com esta melhoria, os utilizadores podem inserir eficazmente dados JSON em massa e efetuar consultas e filtragens avançadas com base no conteúdo dos seus campos JSON. Além disso, os utilizadores podem utilizar expressões e executar operações adaptadas aos campos JSON do seu conjunto de dados, construir consultas e aplicar filtros com base no conteúdo e na estrutura dos seus campos JSON, permitindo-lhes extrair informações relevantes e manipular melhor os dados.</p>
<p>No futuro, a equipa do Milvus adicionará índices para campos dentro do tipo JSON, optimizando ainda mais o desempenho de consultas escalares e vectoriais mistas. Portanto, fique atento aos desenvolvimentos empolgantes que estão por vir!</p>
<h2 id="Added-flexibility-with-support-for-dynamic-schema" class="common-anchor-header">Maior flexibilidade com suporte para esquemas dinâmicos<button data-href="#Added-flexibility-with-support-for-dynamic-schema" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Com suporte para dados JSON, o Milvus 2.2.9 agora oferece funcionalidade de esquema dinâmico através de um kit de desenvolvimento de software (SDK) simplificado.</p>
<p>A partir do Milvus 2.2.9, o SDK do Milvus inclui uma API de alto nível que preenche automaticamente os campos dinâmicos no campo JSON oculto da coleção, permitindo que os utilizadores se concentrem apenas nos seus campos de negócio.</p>
<h2 id="Better-data-separation-and-enhanced-search-efficiency-with-Partition-Key" class="common-anchor-header">Melhor separação de dados e maior eficiência de pesquisa com a Chave de Partição<button data-href="#Better-data-separation-and-enhanced-search-efficiency-with-Partition-Key" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>O Milvus 2.2.9 melhora as suas capacidades de particionamento introduzindo a funcionalidade Partition Key. Permite colunas específicas do utilizador como chaves primárias para particionamento, eliminando a necessidade de APIs adicionais como <code translate="no">loadPartition</code> e <code translate="no">releasePartition</code>. Esse novo recurso também remove o limite do número de partições, levando a uma utilização mais eficiente dos recursos.</p>
<h2 id="Support-for-Alibaba-Cloud-OSS" class="common-anchor-header">Suporte para Alibaba Cloud OSS<button data-href="#Support-for-Alibaba-Cloud-OSS" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.2.9 agora suporta Alibaba Cloud Object Storage Service (OSS). Os utilizadores de Alibaba Cloud podem configurar facilmente o <code translate="no">cloudProvider</code> para Alibaba Cloud e tirar partido de uma integração perfeita para um armazenamento e recuperação eficientes de dados vectoriais na nuvem.</p>
<p>Para além das funcionalidades mencionadas anteriormente, o Milvus 2.2.9 oferece suporte de base de dados no Controlo de Acesso Baseado em Funções (RBAC), introduz a gestão de ligações e inclui várias melhorias e correcções de erros. Para mais informações, consulte <a href="https://milvus.io/docs/release_notes.md">as notas de lançamento do Milvus 2.2.9</a>.</p>
<h2 id="Let’s-keep-in-touch" class="common-anchor-header">Vamos manter-nos em contacto!<button data-href="#Let’s-keep-in-touch" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Se tiver dúvidas ou comentários sobre o Milvus, não hesite em contactar-nos através do <a href="https://twitter.com/milvusio">Twitter</a> ou do <a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn</a>. Também é bem-vindo a juntar-se ao nosso <a href="https://milvus.io/slack/">canal Slack</a> para conversar diretamente com os nossos engenheiros e com a comunidade, ou consulte o nosso <a href="https://us02web.zoom.us/meeting/register/tZ0pcO6vrzsuEtVAuGTpNdb6lGnsPBzGfQ1T#/registration">horário de expediente às terças-feiras</a>!</p>


Milvus 2.2.9: Um lançamento muito aguardado com uma óptima experiência de utilizador

<p><strong><em>Nota importante</em></strong></p>
<p><em>Atualizamos o Milvus Lite em junho de 2024, permitindo que os desenvolvedores de IA criem aplicativos mais rapidamente, garantindo uma experiência consistente em várias opções de implantação, incluindo Milvus em Kurbernetes, Docker e serviços gerenciados de nuvem. O Milvus Lite também se integra com várias estruturas e tecnologias de IA, simplificando o desenvolvimento de aplicações de IA com capacidades de pesquisa vetorial. Para mais informações, consulte as seguintes referências:</em></p>
<ul>
<li><p><em>Blogue de lançamento do Milvus Lite: h<a href="https://milvus.io/blog/introducing-milvus-lite.md">ttps://</a>milvus.io/blog/introducing-milvus-lite.md</em></p></li>
<li><p><em>Documentação do Milvus Lite: <a href="https://milvus.io/docs/quickstart.md">https://milvus.io/docs/quickstart.md</a></em></p></li>
<li><p><em>Repositório GitHub do Milvus Lite: <a href="https://github.com/milvus-io/milvus-lite">https://github.com/milvus-io/milvus-lite</a></em></p></li>
</ul>
<p><br></p>
<p><a href="https://github.com/milvus-io/milvus">O Milvus</a> é um banco de dados vetorial de código aberto criado especificamente para indexar, armazenar e consultar vetores de incorporação gerados por redes neurais profundas e outros modelos de aprendizado de máquina (ML) em bilhões de escalas. Tornou-se uma escolha popular para muitas empresas, investigadores e programadores que têm de efetuar pesquisas de semelhança em conjuntos de dados de grande escala.</p>
<p>No entanto, alguns utilizadores podem considerar a versão completa do Milvus demasiado pesada ou complexa. Para resolver este problema, <a href="https://github.com/matrixji">Bin Ji</a>, um dos colaboradores mais activos da comunidade Milvus, construiu <a href="https://github.com/milvus-io/milvus-lite">o Milvus Lite</a>, uma versão leve do Milvus.</p>
<h2 id="What-is-Milvus-Lite" class="common-anchor-header">O que é o Milvus Lite?<button data-href="#What-is-Milvus-Lite" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Como mencionado anteriormente, <a href="https://github.com/milvus-io/milvus-lite">o Milvus Lite</a> é uma alternativa simplificada ao Milvus que oferece muitas vantagens e benefícios.</p>
<ul>
<li>Pode integrá-lo na sua aplicação Python sem adicionar peso extra.</li>
<li>É autónomo e não requer quaisquer outras dependências, graças à capacidade do Milvus autónomo de trabalhar com Etcd incorporado e armazenamento local.</li>
<li>Pode importá-lo como uma biblioteca Python e utilizá-lo como um servidor autónomo baseado na interface de linha de comandos (CLI).</li>
<li>Funciona sem problemas com o Google Colab e o Jupyter Notebook.</li>
<li>Pode migrar com segurança o seu trabalho e escrever código para outras instâncias do Milvus (versões autónomas, em cluster e totalmente geridas) sem qualquer risco de perda de dados.</li>
</ul>
<h2 id="When-should-you-use-Milvus-Lite" class="common-anchor-header">Quando é que se deve usar o Milvus Lite?<button data-href="#When-should-you-use-Milvus-Lite" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Especificamente, o Milvus Lite é mais útil nas seguintes situações:</p>
<ul>
<li>Quando prefere utilizar o Milvus sem técnicas e ferramentas de contentores como <a href="https://milvus.io/docs/install_standalone-operator.md">o Milvus Operator</a>, <a href="https://milvus.io/docs/install_standalone-helm.md">Helm</a> ou <a href="https://milvus.io/docs/install_standalone-docker.md">Docker Compose</a>.</li>
<li>Quando não são necessárias máquinas virtuais ou contentores para utilizar o Milvus.</li>
<li>Quando pretende incorporar as funcionalidades do Milvus nas suas aplicações Python.</li>
<li>Quando pretende criar uma instância do Milvus no Colab ou no Notebook para uma experiência rápida.</li>
</ul>
<p><strong>Nota</strong>: Não recomendamos a utilização do Milvus Lite em qualquer ambiente de produção ou se necessitar de elevado desempenho, forte disponibilidade ou elevada escalabilidade. Em vez disso, considere a utilização de <a href="https://github.com/milvus-io/milvus">clusters Milvus</a> ou <a href="https://zilliz.com/cloud">Milvus totalmente gerido na Zilliz Cloud</a> para produção.</p>
<h2 id="How-to-get-started-with-Milvus-Lite" class="common-anchor-header">Como começar a utilizar o Milvus Lite?<button data-href="#How-to-get-started-with-Milvus-Lite" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Agora, vamos dar uma olhada em como instalar, configurar e usar o Milvus Lite.</p>
<h3 id="Prerequisites" class="common-anchor-header">Pré-requisitos</h3><p>Para utilizar o Milvus Lite, certifique-se de que preencheu os seguintes requisitos:</p>
<ul>
<li>Instalou o Python 3.7 ou uma versão posterior.</li>
<li>Utilizar um dos sistemas operativos verificados listados abaixo:<ul>
<li>Ubuntu &gt;= 18.04 (x86_64)</li>
<li>CentOS &gt;= 7.0 (x86_64)</li>
<li>MacOS &gt;= 11.0 (Apple Silicon)</li>
</ul></li>
</ul>
<p><strong>Notas</strong>:</p>
<ol>
<li>O Milvus Lite usa <code translate="no">manylinux2014</code> como imagem base, tornando-o compatível com a maioria das distribuições Linux para utilizadores Linux.</li>
<li>Também é possível executar o Milvus Lite no Windows, embora isso ainda não tenha sido totalmente verificado.</li>
</ol>
<h3 id="Install-Milvus-Lite" class="common-anchor-header">Instalar o Milvus Lite</h3><p>O Milvus Lite está disponível no PyPI, então você pode instalá-lo via <code translate="no">pip</code>.</p>
<pre><code translate="no">$ python3 -m pip install milvus
<button class="copy-code-btn"></button></code></pre>
<p>Você também pode instalá-lo com o PyMilvus da seguinte forma:</p>
<pre><code translate="no">$ python3 -m pip install milvus[client]
<button class="copy-code-btn"></button></code></pre>
<h3 id="Use-and-start-Milvus-Lite" class="common-anchor-header">Usar e iniciar o Milvus Lite</h3><p>Descarregue o <a href="https://github.com/milvus-io/milvus-lite/tree/main/examples">notebook de exemplo</a> da pasta de exemplos do nosso repositório de projectos. Tem duas opções para utilizar o Milvus Lite: importá-lo como uma biblioteca Python ou executá-lo como um servidor autónomo na sua máquina utilizando o CLI.</p>
<ul>
<li>Para iniciar o Milvus Lite como um módulo Python, execute os seguintes comandos:</li>
</ul>
<pre><code translate="no"><span class="hljs-keyword">from</span> milvus <span class="hljs-keyword">import</span> default_server
<span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> connections, utility

<span class="hljs-comment"># Start your milvus server</span>
default_server.start()

<span class="hljs-comment"># Now you can connect with localhost and the given port</span>
<span class="hljs-comment"># Port is defined by default_server.listen_port</span>
connections.connect(host=<span class="hljs-string">&#x27;127.0.0.1&#x27;</span>, port=default_server.listen_port)

<span class="hljs-comment"># Check if the server is ready.</span>
<span class="hljs-built_in">print</span>(utility.get_server_version())

<span class="hljs-comment"># Stop your milvus server</span>
default_server.stop()
<button class="copy-code-btn"></button></code></pre>
<ul>
<li>Para suspender ou parar o Milvus Lite, use a instrução <code translate="no">with</code>.</li>
</ul>
<pre><code translate="no"><span class="hljs-keyword">from</span> milvus <span class="hljs-keyword">import</span> default_server

<span class="hljs-keyword">with</span> default_server:
  <span class="hljs-comment"># Milvus Lite has already started, use default_server here.</span>
  connections.connect(host=<span class="hljs-string">&#x27;127.0.0.1&#x27;</span>, port=default_server.listen_port)
<button class="copy-code-btn"></button></code></pre>
<ul>
<li>Para iniciar o Milvus Lite como um servidor autónomo baseado em CLI, execute o seguinte comando:</li>
</ul>
<pre><code translate="no">milvus-server
<button class="copy-code-btn"></button></code></pre>
<p>Depois de iniciar o Milvus Lite, você pode usar o PyMilvus ou outras ferramentas de sua preferência para se conectar ao servidor autônomo.</p>
<h3 id="Start-Milvus-Lite-in-a-debug-mode" class="common-anchor-header">Iniciar o Milvus Lite em um modo de depuração</h3><ul>
<li>Para executar o Milvus Lite em modo de depuração como um módulo Python, execute os seguintes comandos:</li>
</ul>
<pre><code translate="no"><span class="hljs-keyword">from</span> milvus <span class="hljs-keyword">import</span> debug_server, MilvusServer

debug_server.run()

<span class="hljs-comment"># Or you can create a MilvusServer by yourself</span>
<span class="hljs-comment"># server = MilvusServer(debug=True)</span>
<button class="copy-code-btn"></button></code></pre>
<ul>
<li>Para executar o servidor autónomo em modo de depuração, execute o seguinte comando:</li>
</ul>
<pre><code translate="no">milvus-server --debug
<button class="copy-code-btn"></button></code></pre>
<h3 id="Persist-data-and-logs" class="common-anchor-header">Persistir dados e registos</h3><ul>
<li>Para criar um diretório local para o Milvus Lite que conterá todos os dados e registos relevantes, execute os seguintes comandos:</li>
</ul>
<pre><code translate="no"><span class="hljs-keyword">from</span> milvus <span class="hljs-keyword">import</span> default_server

<span class="hljs-keyword">with</span> <span class="hljs-attr">default_server</span>:
  default_server.<span class="hljs-title function_">set_base_dir</span>(<span class="hljs-string">&#x27;milvus_data&#x27;</span>)
<button class="copy-code-btn"></button></code></pre>
<ul>
<li>Para manter todos os dados e registos gerados pelo servidor autónomo na sua unidade local, execute o seguinte comando:</li>
</ul>
<pre><code translate="no">$ milvus-server --data milvus_data
<button class="copy-code-btn"></button></code></pre>
<h3 id="Configure-Milvus-Lite" class="common-anchor-header">Configurar o Milvus Lite</h3><p>A configuração do Milvus Lite é semelhante à configuração de instâncias do Milvus usando APIs Python ou CLI.</p>
<ul>
<li>Para configurar o Milvus Lite usando APIs Python, use a API <code translate="no">config.set</code> de uma instância <code translate="no">MilvusServer</code> para as configurações básicas e extras:</li>
</ul>
<pre><code translate="no"><span class="hljs-keyword">from</span> milvus <span class="hljs-keyword">import</span> default_server

<span class="hljs-keyword">with</span> default_server:
  default_server.config.<span class="hljs-built_in">set</span>(<span class="hljs-string">&#x27;system_Log_level&#x27;</span>, <span class="hljs-string">&#x27;info&#x27;</span>)
  default_server.config.<span class="hljs-built_in">set</span>(<span class="hljs-string">&#x27;proxy_port&#x27;</span>, <span class="hljs-number">19531</span>)
  default_server.config.<span class="hljs-built_in">set</span>(<span class="hljs-string">&#x27;dataCoord.segment.maxSize&#x27;</span>, <span class="hljs-number">1024</span>)
<button class="copy-code-btn"></button></code></pre>
<ul>
<li>Para configurar o Milvus Lite utilizando a CLI, execute o seguinte comando para as definições básicas:</li>
</ul>
<pre><code translate="no">$ milvus-server --system-log-level info
$ milvus-server --proxy-port 19531
<button class="copy-code-btn"></button></code></pre>
<ul>
<li>Ou, execute o seguinte para configurações extras.</li>
</ul>
<pre><code translate="no">$ milvus-server --extra-config dataCoord.segment.maxSize=1024
<button class="copy-code-btn"></button></code></pre>
<p>Todos os itens configuráveis estão no modelo <code translate="no">config.yaml</code> fornecido com o pacote Milvus.</p>
<p>Para obter mais detalhes técnicos sobre como instalar e configurar o Milvus Lite, consulte nossa <a href="https://milvus.io/docs/milvus_lite.md#Prerequisites">documentação</a>.</p>
<h2 id="Summary" class="common-anchor-header">Resumo<button data-href="#Summary" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>O Milvus Lite é uma excelente escolha para quem procura as capacidades do Milvus num formato compacto. Quer seja um investigador, programador ou cientista de dados, vale a pena explorar esta opção.</p>
<p>O Milvus Lite também é uma bela adição à comunidade de código aberto, mostrando o trabalho extraordinário de seus colaboradores. Graças aos esforços de Bin Ji, o Milvus está agora disponível para mais utilizadores. Mal podemos esperar para ver as ideias inovadoras que Bin Ji e outros membros da comunidade Milvus irão apresentar no futuro.</p>
<h2 id="Let’s-keep-in-touch" class="common-anchor-header">Vamos manter-nos em contacto!<button data-href="#Let’s-keep-in-touch" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Se tiver problemas na instalação ou utilização do Milvus Lite, pode <a href="https://github.com/milvus-io/milvus-lite/issues/new">registar um problema aqui</a> ou contactar-nos através do <a href="https://twitter.com/milvusio">Twitter</a> ou <a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn</a>. Também é bem-vindo a juntar-se ao nosso <a href="https://milvus.io/slack/">canal Slack</a> para conversar com os nossos engenheiros e toda a comunidade, ou visitar o <a href="https://us02web.zoom.us/meeting/register/tZ0pcO6vrzsuEtVAuGTpNdb6lGnsPBzGfQ1T#/registration">nosso horário de expediente às terças-feiras</a>!</p>


Apresentamos o Milvus Lite: a versão leve do Milvus

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/What_s_New_in_2_2_8_f4dd6de0f2.png" alt="Milvus 2.2.8" class="doc-image" id="milvus-2.2.8" />
   </span> <span class="img-wrapper"> <span>Milvus 2.2.8</span> </span></p>
<p>Temos o prazer de anunciar o nosso mais recente lançamento do Milvus 2.2.8. Esta versão inclui inúmeras melhorias e correcções de erros das versões anteriores, resultando num melhor desempenho de consulta, poupança de recursos e maior produtividade. Vamos dar uma olhada no que há de novo nesta versão juntos.</p>
<h2 id="Reduced-peak-memory-consumption-during-collection-loading" class="common-anchor-header">Redução do pico de consumo de memória durante o carregamento da coleção<button data-href="#Reduced-peak-memory-consumption-during-collection-loading" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Para realizar consultas, o Milvus precisa de carregar dados e índices para a memória. No entanto, durante o processo de carregamento, várias cópias de memória podem fazer com que o pico de utilização de memória aumente até três a quatro vezes mais do que durante o tempo de execução real. A última versão do Milvus 2.2.8 resolve eficazmente este problema e optimiza a utilização da memória.</p>
<h2 id="Expanded-querying-scenarios-with-QueryNode-supporting-plugins" class="common-anchor-header">Cenários de consulta alargados com plug-ins de suporte do QueryNode<button data-href="#Expanded-querying-scenarios-with-QueryNode-supporting-plugins" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>O QueryNode agora suporta plugins na última versão do Milvus 2.2.8. Pode facilmente especificar o caminho do ficheiro do plugin com a configuração <code translate="no">queryNode.soPath</code>. Depois, o Milvus pode carregar o plugin em tempo de execução e expandir os cenários de consulta disponíveis. Consulte a <a href="https://pkg.go.dev/plugin">documentação do plugin Go</a>, se precisar de orientação sobre o desenvolvimento de plugins.</p>
<h2 id="Optimized-querying-performance-with-enhanced-compaction-algorithm" class="common-anchor-header">Desempenho de consulta optimizado com algoritmo de compactação melhorado<button data-href="#Optimized-querying-performance-with-enhanced-compaction-algorithm" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>O algoritmo de compactação determina a velocidade com que os segmentos podem convergir, afetando diretamente o desempenho da consulta. Com as recentes melhorias no algoritmo de compactação, a eficiência da convergência melhorou drasticamente, resultando em consultas mais rápidas.</p>
<h2 id="Better-resource-saving-and-querying-performance-with-reduced-collection-shards" class="common-anchor-header">Melhor economia de recursos e desempenho de consulta com fragmentos de coleção reduzidos<button data-href="#Better-resource-saving-and-querying-performance-with-reduced-collection-shards" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>O Milvus é um sistema de processamento paralelo massivo (MPP), o que significa que o número de fragmentos de coleção tem impacto na eficiência do Milvus na escrita e na consulta. Nas versões anteriores, uma coleção tinha dois fragmentos por defeito, o que resultava num excelente desempenho de escrita mas comprometia o desempenho de consulta e o custo dos recursos. Com a nova atualização do Milvus 2.2.8, os fragmentos de coleção predefinidos foram reduzidos para um, permitindo aos utilizadores poupar mais recursos e efetuar melhores consultas. A maioria dos utilizadores da comunidade tem menos de 10 milhões de volumes de dados, e um fragmento é suficiente para obter um bom desempenho de escrita.</p>
<p><strong>Nota</strong>: Esta atualização não afecta as colecções criadas antes desta versão.</p>
<h2 id="20-throughput-increase-with-an-improved-query-grouping-algorithm" class="common-anchor-header">Aumento de 20% na taxa de transferência com um algoritmo de agrupamento de consultas melhorado<button data-href="#20-throughput-increase-with-an-improved-query-grouping-algorithm" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>O Milvus tem um algoritmo de agrupamento de consultas eficiente que combina vários pedidos de consulta na fila num só para uma execução mais rápida, melhorando significativamente a taxa de transferência. Na última versão, introduzimos melhorias adicionais neste algoritmo, aumentando o rendimento do Milvus em pelo menos 20%.</p>
<p>Para além das melhorias mencionadas, o Milvus 2.2.8 também corrige vários bugs. Para mais detalhes, consulte <a href="https://milvus.io/docs/release_notes.md">as Notas de Lançamento do Milvus</a>.</p>
<h2 id="Let’s-keep-in-touch" class="common-anchor-header">Vamos manter-nos em contacto!<button data-href="#Let’s-keep-in-touch" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Se tiver dúvidas ou comentários sobre o Milvus, não hesite em contactar-nos através do <a href="https://twitter.com/milvusio">Twitter</a> ou do <a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn</a>. Também pode juntar-se ao nosso <a href="https://milvus.io/slack/">canal Slack</a> para conversar diretamente com os nossos engenheiros e com toda a comunidade ou visitar o nosso <a href="https://us02web.zoom.us/meeting/register/tZ0pcO6vrzsuEtVAuGTpNdb6lGnsPBzGfQ1T#/registration">horário de expediente às terças-feiras</a>!</p>


Milvus 2.2.8: Melhor desempenho de consulta, taxa de transferência 20% maior

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/exploring_milvus_latest_versions_4fa890533e.png" alt="Milvus at Its Best" class="doc-image" id="milvus-at-its-best" />
   </span> <span class="img-wrapper"> <span>Milvus no seu melhor</span> </span></p>
<p>Bem-vindos de volta, seguidores do Milvus! Sabemos que já passou algum tempo desde a última vez que partilhámos as nossas actualizações sobre esta base de dados vetorial de código aberto de ponta. Mas não tenham medo, porque estamos aqui para os pôr a par de todos os desenvolvimentos interessantes que tiveram lugar desde agosto passado.</p>
<p>Nesta publicação do blogue, vamos levá-lo a conhecer os últimos lançamentos do Milvus, desde a versão 2.2 até à versão 2.2.6. Temos muito para cobrir, incluindo novas funcionalidades, melhorias, correcções de erros e optimizações. Por isso, apertem os cintos de segurança e vamos lá!</p>
<h2 id="Milvus-v22-a-major-release-with-enhanced-stability-faster-search-speed-and-flexible-scalability" class="common-anchor-header">Milvus v2.2: uma versão importante com maior estabilidade, maior velocidade de pesquisa e escalabilidade flexível<button data-href="#Milvus-v22-a-major-release-with-enhanced-stability-faster-search-speed-and-flexible-scalability" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>O Milvus v2.2 é uma versão significativa que introduz sete novas funcionalidades e numerosas melhorias relativamente às versões anteriores. Vamos dar uma olhada em alguns dos destaques:</p>
<ul>
<li><strong>Inserção em massa de entidades a partir de ficheiros</strong>: Com esta funcionalidade, pode carregar um lote de entidades de um ou vários ficheiros diretamente para o Milvus com apenas algumas linhas de código, poupando-lhe tempo e esforço.</li>
<li><strong>Paginação de resultados de pesquisas</strong>: Para evitar o retorno massivo de resultados de pesquisas e consultas numa única chamada de procedimento remoto (RPC), o Milvus v2.2 permite-lhe configurar a paginação e filtrar resultados com palavras-chave em pesquisas e consultas.</li>
<li><strong>Controlo de Acesso Baseado em Funções (RBAC)</strong>: O Milvus v2.2 suporta agora o RBAC, permitindo-lhe controlar o acesso à sua instância Milvus através da gestão de utilizadores, funções e permissões.</li>
<li><strong>Cotas e limites</strong>: Cotas e limites é um novo mecanismo no Milvus v2.2 que protege o sistema de banco de dados contra erros de falta de memória (OOM) e falhas durante picos repentinos de tráfego. Com esta funcionalidade, é possível controlar a ingestão, a pesquisa e a utilização da memória.</li>
<li><strong>Time to Live (TTL) a nível de coleção</strong>: Em versões anteriores, o Milvus só permitia a configuração do TTL para os clusters. No entanto, o Milvus v2.2 agora suporta a configuração do TTL no nível da coleção. Configurando o TTL para uma coleção específica, as entidades nessa coleção expirarão automaticamente após o término do TTL. Esta configuração fornece um controlo mais fino sobre a retenção de dados.</li>
<li><strong>Índices ANNS (Approximate Nearest Neighbor Search) baseados em disco (Beta)</strong>: O Milvus v2.2 introduz o suporte para DiskANN, um algoritmo ANNS baseado em gráficos Vamana e residente em SSD. Este suporte permite a pesquisa direta em conjuntos de dados de grande escala, o que pode reduzir significativamente a utilização de memória, até 10 vezes.</li>
<li><strong>Backup de dados (Beta)</strong>: Milvus v2.2 fornece <a href="https://github.com/zilliztech/milvus-backup">uma nova ferramenta</a> para fazer backup e restaurar seus dados Milvus corretamente, seja através de uma linha de comando ou um servidor API.</li>
</ul>
<p>Para além das novas funcionalidades mencionadas acima, o Milvus v2.2 inclui correcções para cinco bugs e várias melhorias para melhorar a estabilidade, observabilidade e desempenho do Milvus. Para obter mais detalhes, consulte <a href="https://milvus.io/docs/release_notes.md#v220">as Notas de lançamento do Milvus v2.2</a>.</p>
<h2 id="Milvus-v221--v222-minor-releases-with-issues-fixed" class="common-anchor-header">Milvus v2.2.1 &amp; v2.2.2: versões menores com problemas corrigidos<button data-href="#Milvus-v221--v222-minor-releases-with-issues-fixed" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus v2.2.1 e v2.2.2 são versões menores que se concentram na correção de problemas críticos das versões anteriores e na introdução de novas funcionalidades. Eis alguns destaques:</p>
<h3 id="Milvus-v221" class="common-anchor-header">Milvus v2.2.1</h3><ul>
<li>Suporta inquilino e autenticação Pulsa</li>
<li>Suporta segurança da camada de transporte (TLS) na fonte de configuração etcd</li>
<li>Melhora o desempenho da pesquisa em mais de 30%</li>
<li>Optimiza o agendador e aumenta a probabilidade de tarefas de fusão</li>
<li>Corrige vários erros, incluindo falhas de filtragem de termos em campos escalares indexados e IndexNode panic após falhas na criação de um índice</li>
</ul>
<h3 id="Milvus-v222" class="common-anchor-header">Milvus v2.2.2</h3><ul>
<li>Corrige o problema em que o proxy não actualiza a cache de líderes de fragmentos</li>
<li>Corrige o problema de que as informações carregadas não são limpas para coleções/partições liberadas</li>
<li>Corrige o problema em que a contagem de carga não é limpa a tempo</li>
</ul>
<p>Para obter mais detalhes, consulte <a href="https://milvus.io/docs/release_notes.md#v221">as Notas de lançamento do Milvus v2.2.1</a> e <a href="https://milvus.io/docs/release_notes.md#v222">as Notas de lançamento do Milvus v2.2.2</a>.</p>
<h2 id="Milvus-v223-more-secure-stable-and-available" class="common-anchor-header">Milvus v2.2.3: mais seguro, estável e disponível<button data-href="#Milvus-v223-more-secure-stable-and-available" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>O Milvus v2.2.3 é uma versão que se concentra em melhorar a segurança, a estabilidade e a disponibilidade do sistema. Para além disso, introduz duas funcionalidades importantes:</p>
<ul>
<li><p><strong>Atualização contínua</strong>: Esta funcionalidade permite ao Milvus responder aos pedidos recebidos durante o processo de atualização, o que era impossível nas versões anteriores. As actualizações contínuas garantem que o sistema permanece disponível e responde aos pedidos dos utilizadores mesmo durante as actualizações.</p></li>
<li><p><strong>Alta disponibilidade do coordenador (HA)</strong>: Esta funcionalidade permite que os coordenadores do Milvus trabalhem em modo de espera ativa, reduzindo o risco de falhas num único ponto. Mesmo em caso de catástrofes inesperadas, o tempo de recuperação é reduzido para um máximo de 30 segundos.</p></li>
</ul>
<p>Para além destas novas funcionalidades, o Milvus v2.2.3 inclui numerosas melhorias e correcções de erros, incluindo um melhor desempenho de inserção em massa, uma utilização de memória reduzida, métricas de monitorização optimizadas e um melhor desempenho de meta-armazenamento. Para obter mais detalhes, consulte <a href="https://milvus.io/docs/release_notes.md#v223">as Notas de versão do Milvus v2.2.3</a>.</p>
<h2 id="Milvus-v224-faster-more-reliable-and-resource-saving" class="common-anchor-header">Milvus v2.2.4: mais rápido, mais fiável e com economia de recursos<button data-href="#Milvus-v224-faster-more-reliable-and-resource-saving" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>O Milvus v2.2.4 é uma pequena atualização do Milvus v2.2. Introduz quatro novas funcionalidades e várias melhorias, resultando num desempenho mais rápido, maior fiabilidade e menor consumo de recursos. Os destaques desta versão incluem:</p>
<ul>
<li><strong>Agrupamento de recursos</strong>: O Milvus agora suporta o agrupamento de QueryNodes em outros grupos de recursos, permitindo o isolamento completo do acesso a recursos físicos em diferentes grupos.</li>
<li><strong>Renomeação de colecções</strong>: A API de renomeação de colecções permite aos utilizadores alterar o nome de uma coleção, proporcionando mais flexibilidade na gestão de colecções e melhorando a usabilidade.</li>
<li><strong>Suporte para o Google Cloud Storage</strong></li>
<li><strong>Nova opção nas APIs de pesquisa e consulta</strong>: Esta nova funcionalidade permite aos utilizadores ignorar a pesquisa em todos os segmentos em crescimento, oferecendo um melhor desempenho de pesquisa em cenários em que a pesquisa é realizada em simultâneo com a inserção de dados.</li>
</ul>
<p>Para mais informações, consulte <a href="https://milvus.io/docs/release_notes.md#v224">as notas de lançamento do Milvus v2.2.4</a>.</p>
<h2 id="Milvus-v225-NOT-RECOMMENDED" class="common-anchor-header">Milvus v2.2.5: NÃO RECOMENDADO<button data-href="#Milvus-v225-NOT-RECOMMENDED" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>O Milvus v2.2.5 apresenta vários problemas críticos, pelo que não recomendamos a utilização desta versão.  Pedimos sinceras desculpas por qualquer inconveniente causado por eles. No entanto, esses problemas foram resolvidos no Milvus v2.2.6.</p>
<h2 id="Milvus-v226-resolves-critical-issues-from-v225" class="common-anchor-header">Milvus v2.2.6: resolve problemas críticos da v2.2.5<button data-href="#Milvus-v226-resolves-critical-issues-from-v225" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>O Milvus v2.2.6 resolveu com sucesso os problemas críticos descobertos na v2.2.5, incluindo problemas com a reciclagem de dados sujos do binlog e a falha do DataCoord GC. Se utiliza atualmente a versão 2.2.5, actualize-a para garantir um desempenho e estabilidade ideais.</p>
<p>Os problemas críticos corrigidos incluem:</p>
<ul>
<li>Falha no DataCoord GC</li>
<li>Substituição de parâmetros de índice passados</li>
<li>Atraso do sistema causado por acumulação de mensagens do RootCoord</li>
<li>Imprecisão da métrica RootCoordInsertChannelTimeTick</li>
<li>Possível paragem do carimbo de data/hora</li>
<li>Auto-destruição ocasional da função de coordenador durante o processo de reinício</li>
<li>Os pontos de controlo ficam para trás devido à saída anormal da recolha de lixo</li>
</ul>
<p>Para obter mais detalhes, consulte <a href="https://milvus.io/docs/release_notes.md#v226">as Notas de versão do Milvus v2.2.6</a>.</p>
<h2 id="Summary" class="common-anchor-header">Resumo<button data-href="#Summary" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Concluindo, as últimas versões do Milvus, da v2.2 à v2.2.6, forneceram muitas atualizações e melhorias interessantes. Desde novas funcionalidades a correcções de erros e optimizações, a Milvus continua a cumprir o seu compromisso de fornecer soluções de ponta e potenciar aplicações em vários domínios. Fique atento a mais actualizações e inovações interessantes da comunidade Milvus.</p>


Milvus no seu melhor: Explorando a v2.2 para a v2.2.6

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Dynamically_Change_Log_Levels_in_the_Milvus_Vector_Database_58e31c66cc.png" alt="Cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>Imagem da capa</span> </span></p>
<blockquote>
<p>Este artigo foi escrito por <a href="https://github.com/jiaoew1991">Enwei Jiao</a> e traduzido por <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni</a>.</p>
</blockquote>
<p>Para evitar que uma saída excessiva de logs afecte o desempenho do disco e do sistema, o Milvus, por defeito, produz logs ao nível de <code translate="no">info</code> durante a execução. No entanto, por vezes os registos ao nível de <code translate="no">info</code> não são suficientes para nos ajudar a identificar eficientemente bugs e problemas. O que é pior, em alguns casos, alterar o nível de registo e reiniciar o serviço pode levar à incapacidade de reproduzir os problemas, tornando a resolução de problemas ainda mais difícil. Consequentemente, o suporte para alterar os níveis de registo dinamicamente na base de dados de vectores Milvus é urgentemente necessário.</p>
<p>Este artigo tem como objetivo apresentar o mecanismo que permite alterar os níveis de registo de forma dinâmica e fornecer instruções sobre como fazê-lo na base de dados de vectores Milvus.</p>
<p><strong>Saltar para:</strong></p>
<ul>
<li><a href="#Mechanism">Mecanismo</a></li>
<li><a href="#How-to-dynamically-change-log-levels">Como alterar dinamicamente os níveis de registo</a></li>
</ul>
<h2 id="Mechanism" class="common-anchor-header">Mecanismo<button data-href="#Mechanism" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>A base de dados vetorial Milvus adopta o <a href="https://github.com/uber-go/zap">zap</a> logger open sourced da Uber. Sendo um dos mais poderosos componentes de registo no ecossistema da linguagem Go, o zap incorpora um módulo <a href="https://github.com/uber-go/zap/blob/master/http_handler.go">http_handler.go</a> para que possa ver o nível de registo atual e alterar dinamicamente o nível de registo através de uma interface HTTP.</p>
<p>O Milvus escuta o serviço HTTP fornecido pela porta <code translate="no">9091</code>. Por conseguinte, pode aceder à porta <code translate="no">9091</code> para tirar partido de funcionalidades como a depuração do desempenho, as métricas e as verificações de saúde. Do mesmo modo, a porta <code translate="no">9091</code> é reutilizada para permitir a modificação dinâmica do nível de registo e um caminho <code translate="no">/log/level</code> é também adicionado à porta. Consulte o<a href="https://github.com/milvus-io/milvus/pull/18430"> PR da interface de registo</a> para obter mais informações.</p>
<h2 id="How-to-dynamically-change-log-levels" class="common-anchor-header">Como alterar dinamicamente os níveis de registo<button data-href="#How-to-dynamically-change-log-levels" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Esta secção fornece instruções sobre como alterar dinamicamente os níveis de registo sem ter de reiniciar o serviço Milvus em execução.</p>
<h3 id="Prerequisite" class="common-anchor-header">Pré-requisito</h3><p>Assegurar que é possível aceder à porta <code translate="no">9091</code> dos componentes Milvus.</p>
<h3 id="Change-the-log-level" class="common-anchor-header">Alterar o nível de registo</h3><p>Suponha que o endereço IP do proxy Milvus seja <code translate="no">192.168.48.12</code>.</p>
<p>Pode começar por executar <code translate="no">$ curl -X GET 192.168.48.12:9091/log/level</code> para verificar o nível de registo atual do proxy.</p>
<p>Em seguida, pode fazer ajustes especificando o nível de registo. As opções de nível de registo incluem:</p>
<ul>
<li><p><code translate="no">debug</code></p></li>
<li><p><code translate="no">info</code></p></li>
<li><p><code translate="no">warn</code></p></li>
<li><p><code translate="no">error</code></p></li>
<li><p><code translate="no">dpanic</code></p></li>
<li><p><code translate="no">panic</code></p></li>
<li><p><code translate="no">fatal</code></p></li>
</ul>
<p>O seguinte código de exemplo altera o nível de registo do nível de registo predefinido de <code translate="no">info</code> para <code translate="no">error</code>.</p>
<pre><code translate="no" class="language-Python">$ curl -X PUT 192.168.48.12:9091/log/level -d level=error
<button class="copy-code-btn"></button></code></pre>


Alterar dinamicamente os níveis de registo na base de dados Milvus Vetor

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1280_X1280_0e0d4bc107.png" alt="Cover_image" class="doc-image" id="cover_image" />
   </span> <span class="img-wrapper"> <span>Imagem da capa</span> </span></p>
<blockquote>
<p>Este artigo foi escrito por <a href="https://github.com/longjiquan">Jiquan Long</a> e transcrito por <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni</a>.</p>
</blockquote>
<p>No <a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md">blogue anterior</a> sobre consistência, explicámos o que é a conotação de consistência numa base de dados vetorial distribuída, abordámos os quatro níveis de consistência - forte, estanquicidade limitada, sessão e eventual - suportados na base de dados vetorial Milvus e explicámos o cenário de aplicação mais adequado para cada nível de consistência.</p>
<p>Nesta publicação, continuaremos a examinar o mecanismo que permite aos utilizadores da base de dados de vectores Milvus escolher de forma flexível o nível de consistência ideal para vários cenários de aplicação. Também forneceremos um tutorial básico sobre como ajustar o nível de consistência na base de dados vetorial Milvus.</p>
<p><strong>Saltar para:</strong></p>
<ul>
<li><a href="#The-underlying-time-tick-mechanism">O mecanismo de marcação de tempo subjacente</a></li>
<li><a href="#Guarantee-timestamp">Carimbo de data/hora de garantia</a></li>
<li><a href="#Consistency-levels">Níveis de consistência</a></li>
<li><a href="#How-to-tune-consistency-level-in-Milvus">Como ajustar o nível de consistência em Milvus?</a></li>
</ul>
<h2 id="The-underlying-time-tick-mechanism" class="common-anchor-header">O mecanismo de marcação do tempo subjacente<button data-href="#The-underlying-time-tick-mechanism" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus utiliza o mecanismo de time tick para garantir diferentes níveis de consistência quando uma pesquisa ou consulta vetorial é realizada. O Time Tick é a marca de água do Milvus que funciona como um relógio e indica em que momento se encontra o sistema Milvus. Sempre que é enviado um pedido em linguagem de manipulação de dados (DML) à base de dados vetorial do Milvus, este atribui um carimbo de data/hora ao pedido. Como mostra a figura abaixo, quando são inseridos novos dados na fila de mensagens, por exemplo, o Milvus não só marca um carimbo de data/hora nesses dados inseridos, como também insere marcações de tempo a intervalos regulares.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/timetick_b395df9804.png" alt="timetick" class="doc-image" id="timetick" />
   </span> <span class="img-wrapper"> <span>marca de tempo</span> </span></p>
<p>Tomemos como exemplo o endereço <code translate="no">syncTs1</code> na figura acima. Quando os consumidores a jusante, como os nós de consulta, vêem <code translate="no">syncTs1</code>, os componentes do consumidor compreendem que todos os dados inseridos antes de <code translate="no">syncTs1</code> foram consumidos. Por outras palavras, os pedidos de inserção de dados cujos valores de carimbo de data/hora são inferiores a <code translate="no">syncTs1</code> deixarão de aparecer na fila de mensagens.</p>
<h2 id="Guarantee-Timestamp" class="common-anchor-header">Garantia de carimbo de data/hora<button data-href="#Guarantee-Timestamp" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Tal como mencionado na secção anterior, os componentes consumidores a jusante, como os nós de consulta, obtêm continuamente mensagens de pedidos de inserção de dados e marcações temporais da fila de mensagens. Sempre que um tique de tempo é consumido, o nó de consulta marca esse tique de tempo consumido como o tempo útil - <code translate="no">ServiceTime</code> e todos os dados inseridos antes de <code translate="no">ServiceTime</code> são visíveis para o nó de consulta.</p>
<p>Para além do <code translate="no">ServiceTime</code>, o Milvus adopta também um tipo de marca temporal - a marca temporal de garantia (<code translate="no">GuaranteeTS</code>) para satisfazer a necessidade de vários níveis de consistência e disponibilidade por parte de diferentes utilizadores. Isto significa que os utilizadores da base de dados vetorial Milvus podem especificar <code translate="no">GuaranteeTs</code> para informar os nós de consulta de que todos os dados anteriores a <code translate="no">GuaranteeTs</code> devem estar visíveis e envolvidos quando é efectuada uma pesquisa ou consulta.</p>
<p>Existem normalmente dois cenários quando o nó de consulta executa um pedido de pesquisa na base de dados vetorial Milvus.</p>
<h3 id="Scenario-1-Execute-search-request-immediately" class="common-anchor-header">Cenário 1: Executar o pedido de pesquisa imediatamente</h3><p>Como mostra a figura abaixo, se <code translate="no">GuaranteeTs</code> for mais pequeno do que <code translate="no">ServiceTime</code>, os nós de consulta podem executar o pedido de pesquisa imediatamente.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/execute_immediately_dd1913775d.png" alt="execute_immediately" class="doc-image" id="execute_immediately" />
   </span> <span class="img-wrapper"> <span>execute_immediately</span> </span></p>
<h3 id="Scenario-2-Wait-till-ServiceTime--GuaranteeTs" class="common-anchor-header">Cenário 2: esperar até "ServiceTime &gt; GuaranteeTs"</h3><p>Se <code translate="no">GuaranteeTs</code> for maior do que <code translate="no">ServiceTime</code>, os nós de consulta devem continuar a consumir tempo da fila de mensagens. Os pedidos de pesquisa não podem ser executados até que <code translate="no">ServiceTime</code> seja superior a <code translate="no">GuaranteeTs</code>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/wait_search_f09a2f6cf9.png" alt="wait_search" class="doc-image" id="wait_search" />
   </span> <span class="img-wrapper"> <span>wait_search</span> </span></p>
<h2 id="Consistency-Levels" class="common-anchor-header">Níveis de consistência<button data-href="#Consistency-Levels" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Portanto, o <code translate="no">GuaranteeTs</code> é configurável no pedido de pesquisa para atingir o nível de consistência especificado pelo utilizador. Um <code translate="no">GuaranteeTs</code> com um valor grande garante <a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md#Strong">uma consistência forte</a> ao custo de uma alta latência de pesquisa. E um <code translate="no">GuaranteeTs</code> com um valor pequeno reduz a latência da pesquisa, mas a visibilidade dos dados fica comprometida.</p>
<p><code translate="no">GuaranteeTs</code> em Milvus é um formato de carimbo de data/hora híbrido. E o utilizador não faz ideia do <a href="https://github.com/milvus-io/milvus/blob/master/docs/design_docs/20211214-milvus_hybrid_ts.md">TSO</a> dentro do Milvus. Por conseguinte, especificar o valor de<code translate="no">GuaranteeTs</code> é uma tarefa demasiado complicada para os utilizadores. Para evitar problemas aos utilizadores e proporcionar-lhes uma experiência de utilização óptima, Milvus apenas exige que os utilizadores escolham o nível de consistência específico, e a base de dados vetorial Milvus tratará automaticamente do valor <code translate="no">GuaranteeTs</code> para os utilizadores. Ou seja, o utilizador do Milvus só precisa de escolher entre os quatro níveis de consistência: <code translate="no">Strong</code>, <code translate="no">Bounded</code>, <code translate="no">Session</code>, e <code translate="no">Eventually</code>. E cada um dos níveis de consistência corresponde a um determinado valor de <code translate="no">GuaranteeTs</code>.</p>
<p>A figura seguinte ilustra o <code translate="no">GuaranteeTs</code> para cada um dos quatro níveis de consistência da base de dados vetorial Milvus.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/guarantee_ts_f4b3e119d3.png" alt="guarantee_ts" class="doc-image" id="guarantee_ts" />
   </span> <span class="img-wrapper"> <span>garantia_ts</span> </span></p>
<p>A base de dados vetorial Milvus suporta quatro níveis de consistência:</p>
<ul>
<li><p><code translate="no">CONSISTENCY_STRONG</code> <code translate="no">GuaranteeTs</code> está definido para o mesmo valor que o carimbo de data/hora mais recente do sistema, e os nós de consulta aguardam até que o tempo de serviço avance para o carimbo de data/hora mais recente do sistema para processar o pedido de pesquisa ou consulta.</p></li>
<li><p><code translate="no">CONSISTENCY_EVENTUALLY</code> <code translate="no">GuaranteeTs</code> O nó de consulta espera até que o tempo de serviço passe para o último carimbo de data/hora do sistema para processar o pedido de pesquisa ou consulta. Os nós de consulta pesquisam imediatamente na vista de dados existente.</p></li>
<li><p><code translate="no">CONSISTENCY_BOUNDED</code> <code translate="no">GuaranteeTs</code> é definido para um valor relativamente menor do que o último carimbo de data/hora do sistema e os nós de consulta pesquisam numa vista de dados toleravelmente menos actualizada.</p></li>
<li><p><code translate="no">CONSISTENCY_SESSION</code>: O cliente utiliza o carimbo de data/hora da última operação de escrita como <code translate="no">GuaranteeTs</code> para que cada cliente possa, pelo menos, recuperar os dados inseridos por si próprio.</p></li>
</ul>
<h2 id="How-to-tune-consistency-level-in-Milvus" class="common-anchor-header">Como ajustar o nível de consistência no Milvus?<button data-href="#How-to-tune-consistency-level-in-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>O Milvus permite ajustar o nível de consistência ao <a href="https://milvus.io/docs/v2.1.x/create_collection.md">criar uma coleção</a> ou ao efetuar uma <a href="https://milvus.io/docs/v2.1.x/search.md">pesquisa</a> ou <a href="https://milvus.io/docs/v2.1.x/query.md">consulta</a>.</p>
<h3 id="Conduct-a-vector-similarity-search" class="common-anchor-header">Efetuar uma pesquisa de semelhança de vectores</h3><p>Para efetuar uma pesquisa de semelhança vetorial com o nível de consistência pretendido, basta definir o valor do parâmetro <code translate="no">consistency_level</code> como <code translate="no">Strong</code>, <code translate="no">Bounded</code>, <code translate="no">Session</code>, ou <code translate="no">Eventually</code>. Se não definir o valor do parâmetro <code translate="no">consistency_level</code>, o nível de consistência será <code translate="no">Bounded</code> por defeito. O exemplo efectua uma pesquisa de semelhança de vectores com a consistência <code translate="no">Strong</code>.</p>
<pre><code translate="no">results = collection.search(
        data=[[0.1, 0.2]], 
        anns_field=<span class="hljs-string">&quot;book_intro&quot;</span>, 
        param=search_params, 
        <span class="hljs-built_in">limit</span>=10, 
        <span class="hljs-built_in">expr</span>=None,
        consistency_level=<span class="hljs-string">&quot;Strong&quot;</span>
)
<button class="copy-code-btn"></button></code></pre>
<h3 id="Conduct-a-vector-query" class="common-anchor-header">Realizar uma consulta de vetor</h3><p>À semelhança da realização de uma pesquisa de semelhança de vectores, pode especificar o valor para o parâmetro <code translate="no">consistency_level</code> ao realizar uma consulta de vectores. O exemplo efectua uma consulta de vetor com a consistência <code translate="no">Strong</code>.</p>
<pre><code translate="no">res = collection.query(
  <span class="hljs-built_in">expr</span> = <span class="hljs-string">&quot;book_id in [2,4,6,8]&quot;</span>, 
  output_fields = [<span class="hljs-string">&quot;book_id&quot;</span>, <span class="hljs-string">&quot;book_intro&quot;</span>],
  consistency_level=<span class="hljs-string">&quot;Strong&quot;</span>
)
<button class="copy-code-btn"></button></code></pre>
<h2 id="Whats-next" class="common-anchor-header">O que se segue<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Com o lançamento oficial do Milvus 2.1, preparámos uma série de blogues que apresentam as novas funcionalidades. Leia mais nesta série de blogues:</p>
<ul>
<li><a href="https://milvus.io/blog/2022-08-08-How-to-use-string-data-to-empower-your-similarity-search-applications.md">Como utilizar dados de cadeias de caracteres para potenciar as suas aplicações de pesquisa por semelhança</a></li>
<li><a href="https://milvus.io/blog/embedded-milvus.md">Usando o Embedded Milvus para instalar e executar instantaneamente o Milvus com Python</a></li>
<li><a href="https://milvus.io/blog/in-memory-replicas.md">Aumente a taxa de transferência de leitura do seu banco de dados vetorial com réplicas na memória</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md">Entendendo o nível de consistência no banco de dados vetorial do Milvus</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database-2.md">Entendendo o nível de consistência no banco de dados vetorial do Milvus (Parte II)</a></li>
<li><a href="https://milvus.io/blog/data-security.md">Como o banco de dados vetorial Milvus garante a segurança dos dados?</a></li>
</ul>


Compreender o nível de consistência na base de dados de vectores Milvus - Parte II

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Security_192e35a790.png" alt="Cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>Imagem da capa</span> </span></p>
<p>Tendo em conta a segurança dos seus dados, a autenticação do utilizador e a ligação TLS (Transport Layer Security) estão agora oficialmente disponíveis no Milvus 2.1. Sem a autenticação do utilizador, qualquer pessoa pode aceder a todos os dados da sua base de dados vetorial com o SDK. No entanto, a partir do Milvus 2.1, apenas as pessoas com um nome de utilizador e uma palavra-passe válidos podem aceder à base de dados vetorial do Milvus. Além disso, no Milvus 2.1, a segurança dos dados é ainda mais protegida pelo TLS, que garante comunicações seguras numa rede informática.</p>
<p>Este artigo pretende analisar a forma como a base de dados vetorial Milvus garante a segurança dos dados com a autenticação do utilizador e a ligação TLS e explicar como pode utilizar estas duas funcionalidades enquanto utilizador que pretende garantir a segurança dos dados ao utilizar a base de dados vetorial.</p>
<p><strong>Saltar para:</strong></p>
<ul>
<li><a href="#What-is-database-security-and-why-is-it-important">O que é a segurança da base de dados e porque é que é importante?</a></li>
<li><a href="#How-does-the-Milvus-vector-database-ensure-data-security">Como é que a base de dados vetorial Milvus garante a segurança dos dados?</a><ul>
<li><a href="#User-authentication">Autenticação do utilizador</a></li>
<li><a href="#TLS-connection">Ligação TLS</a></li>
</ul></li>
</ul>
<h2 id="What-is-database-security-and-why-is-it-important" class="common-anchor-header">O que é a segurança da base de dados e porque é que é importante?<button data-href="#What-is-database-security-and-why-is-it-important" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>A segurança da base de dados refere-se às medidas adoptadas para garantir que todos os dados da base de dados estão seguros e são mantidos confidenciais. Os recentes casos de violação e fuga de dados no <a href="https://firewalltimes.com/recent-data-breaches/">Twitter, Marriott, Texas Department of Insurance, etc.</a> tornam-nos ainda mais atentos à questão da segurança dos dados. Todos estes casos recordam-nos constantemente que as empresas e os negócios podem sofrer graves perdas se os dados não estiverem bem protegidos e se as bases de dados que utilizam não forem seguras.</p>
<h2 id="How-does-the-Milvus-vector-database-ensure-data-security" class="common-anchor-header">Como é que a base de dados vetorial Milvus garante a segurança dos dados?<button data-href="#How-does-the-Milvus-vector-database-ensure-data-security" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Na atual versão 2.1, a base de dados vetorial Milvus tenta garantir a segurança da base de dados através da autenticação e da encriptação. Mais especificamente, ao nível do acesso, o Milvus suporta a autenticação básica do utilizador para controlar quem pode aceder à base de dados. Entretanto, ao nível da base de dados, o Milvus adopta o protocolo de encriptação TLS (Transport Layer Security) para proteger a comunicação de dados.</p>
<h3 id="User-authentication" class="common-anchor-header">Autenticação do utilizador</h3><p>A funcionalidade de autenticação básica do utilizador no Milvus permite aceder à base de dados de vectores utilizando um nome de utilizador e uma palavra-passe para garantir a segurança dos dados. Isto significa que os clientes só podem aceder à instância do Milvus se fornecerem um nome de utilizador e uma palavra-passe autenticados.</p>
<h4 id="The-authentication-workflow-in-the-Milvus-vector-database" class="common-anchor-header">O fluxo de trabalho de autenticação na base de dados vetorial Milvus</h4><p>Todos os pedidos gRPC são tratados pelo proxy Milvus, pelo que a autenticação é efectuada pelo proxy. O fluxo de trabalho para iniciar a sessão com as credenciais de ligação à instância Milvus é o seguinte</p>
<ol>
<li>Criar credenciais para cada instância do Milvus e as palavras-passe encriptadas são armazenadas no etcd. O Milvus utiliza <a href="https://golang.org/x/crypto/bcrypt">o bcrypt</a> para a encriptação, uma vez que implementa o <a href="http://www.usenix.org/event/usenix99/provos/provos.pdf">algoritmo de hashing adaptativo</a> de Provos e Mazières.</li>
<li>No lado do cliente, o SDK envia texto cifrado quando se liga ao serviço Milvus. O texto cifrado em base64 (<username>:<password>) é anexado aos metadados com a chave <code translate="no">authorization</code>.</li>
<li>O proxy Milvus intercepta o pedido e verifica as credenciais.</li>
<li>As credenciais são armazenadas em cache localmente no proxy.</li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1280_X1280_021e90e3c8.jpeg" alt="authetication_workflow" class="doc-image" id="authetication_workflow" />
   </span> <span class="img-wrapper"> <span>fluxo de trabalho de autenticação</span> </span></p>
<p>Quando as credenciais são actualizadas, o fluxo de trabalho do sistema Milvus é o seguinte</p>
<ol>
<li>O coordenador de raiz é responsável pelas credenciais quando são chamadas as API de inserção, consulta e eliminação.</li>
<li>Quando se actualizam as credenciais por esquecimento da palavra-passe, por exemplo, a nova palavra-passe é guardada no etcd. Em seguida, todas as credenciais antigas no cache local do proxy são invalidadas.</li>
<li>O intercetor de autenticação procura primeiro os registos da cache local. Se as credenciais na cache não estiverem corretas, será acionada a chamada RPC para ir buscar o registo mais atualizado à coordenada raiz. E as credenciais na cache local são actualizadas em conformidade.</li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/update_5af81a4173.jpeg" alt="credential_update_workflow" class="doc-image" id="credential_update_workflow" />
   </span> <span class="img-wrapper"> <span>credential_update_workflow</span> </span></p>
<h4 id="How-to-manage-user-authentication-in-the-Milvus-vector-database" class="common-anchor-header">Como gerir a autenticação do utilizador na base de dados vetorial Milvus</h4><p>Para ativar a autenticação, é necessário definir primeiro <code translate="no">common.security.authorizationEnabled</code> para <code translate="no">true</code> ao configurar o Milvus no ficheiro <code translate="no">milvus.yaml</code>.</p>
<p>Uma vez activada, será criado um utilizador raiz para a instância do Milvus. Este utilizador raiz pode utilizar a palavra-passe inicial de <code translate="no">Milvus</code> para se ligar à base de dados de vectores do Milvus.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> connections
connections.<span class="hljs-title function_">connect</span>(
    alias=<span class="hljs-string">&#x27;default&#x27;</span>,
    host=<span class="hljs-string">&#x27;localhost&#x27;</span>,
    port=<span class="hljs-string">&#x27;19530&#x27;</span>,
    user=<span class="hljs-string">&#x27;root_user&#x27;</span>,
    password=<span class="hljs-string">&#x27;Milvus&#x27;</span>,
)
<button class="copy-code-btn"></button></code></pre>
<p>Recomendamos vivamente que altere a palavra-passe do utilizador raiz quando iniciar o Milvus pela primeira vez.</p>
<p>Em seguida, o utilizador root pode criar mais utilizadores novos para acesso autenticado, executando o seguinte comando para criar novos utilizadores.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> utility
utility.<span class="hljs-title function_">create_credential</span>(<span class="hljs-string">&#x27;user&#x27;</span>, <span class="hljs-string">&#x27;password&#x27;</span>, <span class="hljs-keyword">using</span>=<span class="hljs-string">&#x27;default&#x27;</span>) 
<button class="copy-code-btn"></button></code></pre>
<p>Há duas coisas a ter em conta quando se criam novos utilizadores:</p>
<ol>
<li><p>Quanto ao novo nome de utilizador, não pode exceder 32 caracteres de comprimento e deve começar com uma letra. Só são permitidos sublinhados, letras ou números no nome de utilizador. Por exemplo, um nome de utilizador "2abc!" não é aceite.</p></li>
<li><p>Quanto à palavra-passe, o seu comprimento deve ser de 6-256 caracteres.</p></li>
</ol>
<p>Uma vez configurada a nova credencial, o novo utilizador pode ligar-se à instância Milvus com o nome de utilizador e a palavra-passe.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> connections
connections.<span class="hljs-title function_">connect</span>(
    alias=<span class="hljs-string">&#x27;default&#x27;</span>,
    host=<span class="hljs-string">&#x27;localhost&#x27;</span>,
    port=<span class="hljs-string">&#x27;19530&#x27;</span>,
    user=<span class="hljs-string">&#x27;user&#x27;</span>,
    password=<span class="hljs-string">&#x27;password&#x27;</span>,
)
<button class="copy-code-btn"></button></code></pre>
<p>Como em todos os processos de autenticação, não tem de se preocupar se se esquecer da palavra-passe. A palavra-passe de um utilizador existente pode ser redefinida com o seguinte comando.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> utility
utility.<span class="hljs-title function_">reset_password</span>(<span class="hljs-string">&#x27;user&#x27;</span>, <span class="hljs-string">&#x27;new_password&#x27;</span>, <span class="hljs-keyword">using</span>=<span class="hljs-string">&#x27;default&#x27;</span>)
<button class="copy-code-btn"></button></code></pre>
<p>Leia a <a href="https://milvus.io/docs/v2.1.x/authenticate.md">documentação do Milvus</a> para saber mais sobre a autenticação do utilizador.</p>
<h3 id="TLS-connection" class="common-anchor-header">Ligação TLS</h3><p>A segurança da camada de transporte (TLS) é um tipo de protocolo de autenticação para fornecer segurança de comunicações numa rede de computadores. O TLS usa certificados para fornecer serviços de autenticação entre duas ou mais partes em comunicação.</p>
<h4 id="How-to-enable-TLS-in-the-Milvus-vector-database" class="common-anchor-header">Como ativar o TLS na base de dados vetorial Milvus</h4><p>Para ativar o TLS no Milvus, é necessário executar primeiro o seguinte comando para preparar dois ficheiros para gerar o certificado: um ficheiro de configuração OpenSSL predefinido com o nome <code translate="no">openssl.cnf</code> e um ficheiro com o nome <code translate="no">gen.sh</code> utilizado para gerar certificados relevantes.</p>
<pre><code translate="no"><span class="hljs-built_in">mkdir</span> cert &amp;&amp; <span class="hljs-built_in">cd</span> cert
<span class="hljs-built_in">touch</span> openssl.cnf gen.sh
<button class="copy-code-btn"></button></code></pre>
<p>Em seguida, pode simplesmente copiar e colar a configuração que fornecemos <a href="https://milvus.io/docs/v2.1.x/tls.md#Create-files">aqui</a> para os dois ficheiros. Ou pode também fazer modificações com base na nossa configuração para melhor se adequar à sua aplicação.</p>
<p>Quando os dois ficheiros estiverem prontos, pode executar o ficheiro <code translate="no">gen.sh</code> para criar nove ficheiros de certificados. Da mesma forma, também pode modificar as configurações nos nove ficheiros de certificado para se adequarem às suas necessidades.</p>
<pre><code translate="no"><span class="hljs-built_in">chmod</span> +x gen.sh
./gen.sh
<button class="copy-code-btn"></button></code></pre>
<p>Há um passo final antes de se poder ligar ao serviço Milvus com TLS. Tem de definir <code translate="no">tlsEnabled</code> para <code translate="no">true</code> e configurar os caminhos de ficheiro de <code translate="no">server.pem</code>, <code translate="no">server.key</code> e <code translate="no">ca.pem</code> para o servidor em <code translate="no">config/milvus.yaml</code>. O código abaixo é um exemplo.</p>
<pre><code translate="no">tls:
  serverPemPath: configs/cert/server.pem
  serverKeyPath: configs/cert/server.key
  caPemPath: configs/cert/ca.pem

common:
  security:
    tlsEnabled: <span class="hljs-literal">true</span>
<button class="copy-code-btn"></button></code></pre>
<p>Em seguida, está tudo pronto e pode ligar-se ao serviço Milvus com TLS, desde que especifique os caminhos de ficheiro <code translate="no">client.pem</code>, <code translate="no">client.key</code> e <code translate="no">ca.pem</code> para o cliente quando utilizar o SDK de ligação Milvus. O código abaixo também é um exemplo.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> connections

_HOST = <span class="hljs-string">&#x27;127.0.0.1&#x27;</span>
_PORT = <span class="hljs-string">&#x27;19530&#x27;</span>

<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;\nCreate connection...&quot;</span>)
connections.connect(host=_HOST, port=_PORT, secure=<span class="hljs-literal">True</span>, client_pem_path=<span class="hljs-string">&quot;cert/client.pem&quot;</span>,
                        client_key_path=<span class="hljs-string">&quot;cert/client.key&quot;</span>,
                        ca_pem_path=<span class="hljs-string">&quot;cert/ca.pem&quot;</span>, server_name=<span class="hljs-string">&quot;localhost&quot;</span>)
<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;\nList connections:&quot;</span>)
<span class="hljs-built_in">print</span>(connections.list_connections())
<button class="copy-code-btn"></button></code></pre>
<h2 id="Whats-next" class="common-anchor-header">O que vem a seguir<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Com o lançamento oficial do Milvus 2.1, preparámos uma série de blogues que apresentam as novas funcionalidades. Leia mais nesta série de blogues:</p>
<ul>
<li><a href="https://milvus.io/blog/2022-08-08-How-to-use-string-data-to-empower-your-similarity-search-applications.md">Como utilizar dados de cadeias de caracteres para potenciar as suas aplicações de pesquisa por semelhança</a></li>
<li><a href="https://milvus.io/blog/embedded-milvus.md">Usando o Embedded Milvus para instalar e executar instantaneamente o Milvus com Python</a></li>
<li><a href="https://milvus.io/blog/in-memory-replicas.md">Aumente a taxa de transferência de leitura do seu banco de dados vetorial com réplicas na memória</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md">Entendendo o nível de consistência no banco de dados vetorial do Milvus</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database-2.md">Entendendo o nível de consistência no banco de dados vetorial do Milvus (Parte II)</a></li>
<li><a href="https://milvus.io/blog/data-security.md">Como o banco de dados vetorial Milvus garante a segurança dos dados?</a></li>
</ul>


Como é que a base de dados Milvus Vetor garante a segurança dos dados?

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1280_X1280_0e0d4bc107.png" alt="Cover_image" class="doc-image" id="cover_image" />
   </span> <span class="img-wrapper"> <span>Imagem da capa</span> </span></p>
<blockquote>
<p>Este artigo foi escrito por <a href="https://github.com/JackLCL">Chenglong Li</a> e transcrito por <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni</a>.</p>
</blockquote>
<p>Já alguma vez se interrogou porque é que, por vezes, os dados que eliminou da base de dados vetorial Mlivus continuam a aparecer nos resultados da pesquisa?</p>
<p>Uma razão muito provável é não ter definido o nível de consistência adequado para a sua aplicação. O nível de consistência numa base de dados vetorial distribuída é fundamental, pois determina em que ponto uma determinada escrita de dados pode ser lida pelo sistema.</p>
<p>Por conseguinte, este artigo visa desmistificar o conceito de consistência e aprofundar os níveis de consistência suportados pela base de dados vetorial Milvus.</p>
<p><strong>Saltar para:</strong></p>
<ul>
<li><a href="#What-is-consistency">O que é consistência</a></li>
<li><a href="#Four-levels-of-consistency-in-the-Milvus-vector-database">Quatro níveis de consistência na base de dados vetorial Milvus</a><ul>
<li><a href="#Strong">Forte</a></li>
<li><a href="#Bounded-staleness">Estanquidade limitada</a></li>
<li><a href="#Session">Sessão</a></li>
<li><a href="#Eventual">Eventual</a></li>
</ul></li>
</ul>
<h2 id="What-is-consistency" class="common-anchor-header">O que é a consistência<button data-href="#What-is-consistency" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Antes de começarmos, precisamos de clarificar a conotação de consistência neste artigo, uma vez que a palavra "consistência" é um termo sobrecarregado na indústria informática. A consistência numa base de dados distribuída refere-se especificamente à propriedade que garante que cada nó ou réplica tem a mesma visão dos dados quando escreve ou lê dados num determinado momento. Por conseguinte, estamos a falar de consistência como no <a href="https://en.wikipedia.org/wiki/CAP_theorem">teorema CAP</a>.</p>
<p>Para servir grandes empresas em linha no mundo moderno, é comum adotar várias réplicas. Por exemplo, o gigante do comércio eletrónico em linha Amazon replica as suas encomendas ou dados SKU em vários centros de dados, zonas ou mesmo países para garantir uma elevada disponibilidade do sistema em caso de falha ou avaria do mesmo. Isto coloca um desafio ao sistema - a consistência dos dados em várias réplicas. Sem consistência, é muito provável que o item eliminado do seu carrinho de compras da Amazon reapareça, causando uma experiência muito má para o utilizador.</p>
<p>Por isso, precisamos de diferentes níveis de consistência de dados para diferentes aplicações. Felizmente, Milvus, uma base de dados para IA, oferece flexibilidade no nível de consistência e pode definir o nível de consistência que melhor se adequa à sua aplicação.</p>
<h3 id="Consistency-in-the-Milvus-vector-database" class="common-anchor-header">Consistência na base de dados vetorial Milvus</h3><p>O conceito de nível de consistência foi introduzido pela primeira vez com o lançamento do Milvus 2.0. A versão 1.0 do Milvus não era uma base de dados vetorial distribuída, pelo que não envolvia níveis de consistência ajustáveis. O Milvus 1.0 descarrega os dados a cada segundo, o que significa que os novos dados são quase imediatamente visíveis após a sua inserção e que o Milvus lê a vista de dados mais actualizada no momento exato em que chega um pedido de pesquisa ou consulta de semelhanças vectoriais.</p>
<p>No entanto, o Milvus foi refacturado na sua versão 2.0 e <a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">o Milvus 2.0 é uma base de dados vetorial distribuída</a> baseada num mecanismo pub-sub. O teorema <a href="https://en.wikipedia.org/wiki/PACELC_theorem">PACELC</a> indica que um sistema distribuído tem de fazer um compromisso entre consistência, disponibilidade e latência. Além disso, diferentes níveis de consistência servem para diferentes cenários. Por isso, o conceito de consistência foi introduzido no <a href="https://milvus.io/blog/2022-1-25-annoucing-general-availability-of-milvus-2-0.md">Milvus 2.0</a> e suporta o ajuste de níveis de consistência.</p>
<h2 id="Four-levels-of-consistency-in-the-Milvus-vector-database" class="common-anchor-header">Quatro níveis de consistência na base de dados vetorial Milvus<button data-href="#Four-levels-of-consistency-in-the-Milvus-vector-database" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>O Milvus suporta quatro níveis de consistência: forte, estanqueidade limitada, sessão e eventual. E um utilizador do Milvus pode especificar o nível de consistência ao <a href="https://milvus.io/docs/v2.1.x/create_collection.md">criar uma coleção</a> ou ao efetuar uma <a href="https://milvus.io/docs/v2.1.x/search.md">pesquisa</a> ou <a href="https://milvus.io/docs/v2.1.x/query.md">consulta</a> <a href="https://milvus.io/docs/v2.1.x/search.md">de semelhança de vectores</a>. Esta secção continuará a explicar as diferenças entre estes quatro níveis de consistência e para que cenários são mais adequados.</p>
<h3 id="Strong" class="common-anchor-header">Forte</h3><p>Forte é o nível de consistência mais elevado e mais rigoroso. Garante que os utilizadores podem ler a versão mais recente dos dados.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Consistency_Strong_5d791eb8b2.png" alt="Strong" class="doc-image" id="strong" />
   </span> <span class="img-wrapper"> <span>Forte</span> </span></p>
<p>De acordo com o teorema PACELC, se o nível de consistência for definido como forte, a latência aumentará. Por conseguinte, recomendamos que escolha uma consistência forte durante os testes funcionais para garantir a exatidão dos resultados dos testes. Além disso, a consistência forte também é mais adequada para aplicações que exigem rigorosamente a consistência dos dados à custa da velocidade de pesquisa. Um exemplo pode ser um sistema financeiro em linha que lida com pagamentos de encomendas e faturação.</p>
<h3 id="Bounded-staleness" class="common-anchor-header">Estabilidade limitada</h3><p>A obsolescência limitada, como o próprio nome sugere, permite a inconsistência dos dados durante um determinado período de tempo. No entanto, geralmente, os dados são sempre globalmente consistentes fora desse período de tempo.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Consistency_Bounded_c034bc6e51.png" alt="Bounded_staleness" class="doc-image" id="bounded_staleness" />
   </span> <span class="img-wrapper"> <span>Staleness_limitado</span> </span></p>
<p>A estanquicidade limitada é adequada para cenários que necessitam de controlar a latência da pesquisa e podem aceitar a invisibilidade esporádica dos dados. Por exemplo, nos sistemas de recomendação, como os motores de recomendação de vídeo, a invisibilidade dos dados tem, de vez em quando, um impacto muito pequeno na taxa de recuperação global, mas pode aumentar significativamente o desempenho do sistema de recomendação. Um exemplo pode ser uma aplicação para acompanhar o estado das suas encomendas em linha.</p>
<h3 id="Session" class="common-anchor-header">Sessão</h3><p>A sessão garante que todas as escritas de dados podem ser imediatamente percepcionadas em leituras durante a mesma sessão. Por outras palavras, quando escreve dados através de um cliente, os dados recentemente inseridos tornam-se instantaneamente pesquisáveis.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Consistency_Session_6dc4782212.png" alt="Session" class="doc-image" id="session" />
   </span> <span class="img-wrapper"> <span>Sessão</span> </span></p>
<p>Recomendamos a escolha da sessão como nível de consistência para os cenários em que a exigência de consistência dos dados na mesma sessão é elevada. Um exemplo pode ser a eliminação dos dados de uma entrada de livro do sistema da biblioteca e, após confirmação da eliminação e atualização da página (uma sessão diferente), o livro já não deve estar visível nos resultados da pesquisa.</p>
<h3 id="Eventual" class="common-anchor-header">Eventual</h3><p>Não existe uma ordem garantida de leituras e escritas, e as réplicas acabam por convergir para o mesmo estado, uma vez que não são efectuadas mais operações de escrita. Sob consistência eventual, as réplicas começam a trabalhar nos pedidos de leitura com os valores actualizados mais recentes. A consistência eventual é o nível mais fraco entre os quatro.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Consistency_Eventual_7c66dd5b6f.png" alt="Eventual" class="doc-image" id="eventual" />
   </span> <span class="img-wrapper"> <span>Eventual</span> </span></p>
<p>No entanto, de acordo com o teorema PACELC, a latência da pesquisa pode ser tremendamente reduzida com o sacrifício da consistência. Portanto, a consistência eventual é mais adequada para cenários que não exigem muito da consistência dos dados, mas requerem um desempenho de pesquisa extremamente rápido. Um exemplo pode ser a recuperação de críticas e classificações de produtos da Amazon com consistência eventual.</p>
<h2 id="Endnote" class="common-anchor-header">Nota final<button data-href="#Endnote" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Assim, voltando à questão levantada no início deste artigo, os dados eliminados ainda são devolvidos como resultados de pesquisa porque o utilizador não escolheu o nível de consistência adequado. O valor predefinido para o nível de consistência é bounded staleness (<code translate="no">Bounded</code>) na base de dados vetorial Milvus. Por conseguinte, a leitura dos dados pode atrasar-se e o Milvus pode ler a vista de dados antes de o utilizador efetuar operações de eliminação durante uma pesquisa ou consulta por semelhança. No entanto, este problema é simples de resolver. Basta <a href="https://milvus.io/docs/v2.1.x/tune_consistency.md">ajustar o nível de consistência</a> ao criar uma coleção ou ao efetuar uma pesquisa ou consulta de semelhanças vectoriais. Simples!</p>
<p>Na próxima publicação, vamos revelar o mecanismo subjacente e explicar como a base de dados vetorial Milvus atinge diferentes níveis de consistência. Fique atento!</p>
<h2 id="Whats-next" class="common-anchor-header">O que vem a seguir<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Com o lançamento oficial do Milvus 2.1, preparámos uma série de blogues que apresentam as novas funcionalidades. Leia mais nesta série de blogues:</p>
<ul>
<li><a href="https://milvus.io/blog/2022-08-08-How-to-use-string-data-to-empower-your-similarity-search-applications.md">Como utilizar dados de cadeias de caracteres para potenciar as suas aplicações de pesquisa por semelhança</a></li>
<li><a href="https://milvus.io/blog/embedded-milvus.md">Usando o Embedded Milvus para instalar e executar instantaneamente o Milvus com Python</a></li>
<li><a href="https://milvus.io/blog/in-memory-replicas.md">Aumente a taxa de transferência de leitura do seu banco de dados vetorial com réplicas na memória</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md">Entendendo o nível de consistência no banco de dados vetorial do Milvus</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database-2.md">Entendendo o nível de consistência no banco de dados vetorial do Milvus (Parte II)</a></li>
<li><a href="https://milvus.io/blog/data-security.md">Como o banco de dados vetorial Milvus garante a segurança dos dados?</a></li>
</ul>


Compreender o nível de coerência na base de dados de vectores Milvus

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/in_memory_replica_af1fa21d61.png" alt="Cover_image" class="doc-image" id="cover_image" />
   </span> <span class="img-wrapper"> <span>Imagem da capa</span> </span></p>
<blockquote>
<p>Este artigo tem a coautoria de <a href="https://github.com/congqixia">Congqi Xia</a> e <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni</a>.</p>
</blockquote>
<p>Com o seu lançamento oficial, o Milvus 2.1 vem com muitas novas funcionalidades para proporcionar conveniência e uma melhor experiência de utilizador. Embora o conceito de réplica na memória não seja novidade no mundo das bases de dados distribuídas, é uma caraterística crítica que pode ajudá-lo a aumentar o desempenho do sistema e melhorar a disponibilidade do sistema de uma forma fácil. Portanto, esta postagem se propõe a explicar o que é a réplica na memória e por que ela é importante e, em seguida, apresenta como habilitar esse novo recurso no Milvus, um banco de dados vetorial para IA.</p>
<p><strong>Ir para:</strong></p>
<ul>
<li><p><a href="#Concepts-related-to-in-memory-replica">Conceitos relacionados com a réplica na memória</a></p></li>
<li><p><a href="#What-is-in-memory-replica">O que é a réplica na memória?</a></p></li>
<li><p><a href="#Why-are-in-memory-replicas-important">Porque é que as réplicas na memória são importantes?</a></p></li>
<li><p><a href="#Enable-in-memory-replicas-in-the-Milvus-vector-database">Ativar réplicas na memória na base de dados vetorial Milvus</a></p></li>
</ul>
<h2 id="Concepts-related-to-in-memory-replica" class="common-anchor-header">Conceitos relacionados com a réplica na memória<button data-href="#Concepts-related-to-in-memory-replica" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Antes de saber o que é a réplica na memória e por que ela é importante, precisamos primeiro entender alguns conceitos relevantes, incluindo grupo de réplicas, réplica de fragmento, réplica de fluxo contínuo, réplica histórica e líder de fragmento. A imagem abaixo é uma ilustração desses conceitos.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/diagram_1_525afc706a.jpg" alt="Replica_concepts" class="doc-image" id="replica_concepts" />
   </span> <span class="img-wrapper"> <span>Conceitos de réplica</span> </span></p>
<h3 id="Replica-group" class="common-anchor-header">Grupo de réplicas</h3><p>Um grupo de réplicas consiste em vários <a href="https://milvus.io/docs/v2.1.x/four_layers.md#Query-node">nós de consulta</a> que são responsáveis pelo tratamento de dados históricos e réplicas.</p>
<h3 id="Shard-replica" class="common-anchor-header">Réplica de fragmento</h3><p>Uma réplica de fragmento é constituída por uma réplica de fluxo contínuo e uma réplica histórica, ambas pertencentes ao mesmo <a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md#Shard">fragmento</a> (ou seja, canal DML). Várias réplicas de fragmentos constituem um grupo de réplicas. E o número exato de réplicas de fragmentos num grupo de réplicas é determinado pelo número de fragmentos numa coleção especificada.</p>
<h3 id="Streaming-replica" class="common-anchor-header">Réplica de fluxo contínuo</h3><p>Uma réplica de fluxo contínuo contém todos os <a href="https://milvus.io/docs/v2.1.x/glossary.md#Segment">segmentos crescentes</a> do mesmo canal DML. Tecnicamente falando, uma réplica de streaming deve ser servida por apenas um nó de consulta numa réplica.</p>
<h3 id="Historical-replica" class="common-anchor-header">Réplica histórica</h3><p>Uma réplica histórica contém todos os segmentos encerrados do mesmo canal DML. Os segmentos fechados de uma réplica histórica podem ser distribuídos em vários nós de consulta dentro do mesmo grupo de réplicas.</p>
<h3 id="Shard-leader" class="common-anchor-header">Líder de fragmento</h3><p>Um líder de fragmento é o nó de consulta que serve a réplica de fluxo numa réplica de fragmento.</p>
<h2 id="What-is-in-memory-replica" class="common-anchor-header">O que é a réplica na memória?<button data-href="#What-is-in-memory-replica" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>A ativação de réplicas na memória permite-lhe carregar dados numa coleção em vários nós de consulta para que possa tirar partido de recursos extra de CPU e memória. Esta funcionalidade é muito útil se tiver um conjunto de dados relativamente pequeno mas pretender aumentar o débito de leitura e melhorar a utilização dos recursos de hardware.</p>
<p>Por enquanto, o banco de dados vetorial Milvus mantém uma réplica para cada segmento na memória. No entanto, com réplicas na memória, é possível ter várias réplicas de um segmento em diferentes nós de consulta. Isto significa que se um nó de consulta estiver a efetuar uma pesquisa num segmento, um novo pedido de pesquisa que chegue pode ser atribuído a outro nó de consulta inativo, uma vez que este nó de consulta tem uma réplica exatamente do mesmo segmento.</p>
<p>Além disso, se tivermos várias réplicas na memória, podemos lidar melhor com a situação em que um nó de consulta falha. Antes, era preciso esperar que o segmento fosse recarregado para continuar a pesquisa em outro nó de consulta. No entanto, com a replicação em memória, o pedido de pesquisa pode ser reenviado para um novo nó de consulta imediatamente, sem ter de recarregar os dados novamente.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/replication_3_1_2c25513cb9.jpg" alt="Replication" class="doc-image" id="replication" />
   </span> <span class="img-wrapper"> <span>Replicação</span> </span></p>
<h2 id="Why-are-in-memory-replicas-important" class="common-anchor-header">Porque é que as réplicas na memória são importantes?<button data-href="#Why-are-in-memory-replicas-important" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Uma das vantagens mais significativas da ativação de réplicas na memória é o aumento do QPS (consulta por segundo) e da taxa de transferência globais. Além disso, podem ser mantidas várias réplicas de segmentos e o sistema é mais resiliente face a uma falha.</p>
<h2 id="Enable-in-memory-replicas-in-the-Milvus-vector-database" class="common-anchor-header">Ativar as réplicas na memória na base de dados vetorial Milvus<button data-href="#Enable-in-memory-replicas-in-the-Milvus-vector-database" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>A ativação da nova funcionalidade de réplicas na memória é simples na base de dados vetorial Milvus. Basta especificar o número de réplicas que pretende ao carregar uma coleção (ou seja, ao chamar <code translate="no">collection.load()</code>).</p>
<p>No exemplo de tutorial que se segue, supomos que já <a href="https://milvus.io/docs/v2.1.x/create_collection.md">criou uma coleção</a> com o nome "book" e <a href="https://milvus.io/docs/v2.1.x/insert_data.md">inseriu dados</a> na mesma. Em seguida, pode executar o seguinte comando para criar duas réplicas ao <a href="https://milvus.io/docs/v2.1.x/load_collection.md">carregar</a> uma coleção de livros.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> Collection
collection = Collection(<span class="hljs-string">&quot;book&quot;</span>)      <span class="hljs-comment"># Get an existing collection.</span>
collection.load(replica_number=<span class="hljs-number">2</span>) <span class="hljs-comment"># load collection as 2 replicas</span>
<button class="copy-code-btn"></button></code></pre>
<p>Pode modificar de forma flexível o número de réplicas no código de exemplo acima para melhor se adequar ao cenário da sua aplicação. Em seguida, pode efetuar diretamente uma <a href="https://milvus.io/docs/v2.1.x/search.md">pesquisa</a> ou <a href="https://milvus.io/docs/v2.1.x/query.md">consulta</a> de semelhança de vectores em várias réplicas sem executar quaisquer comandos adicionais. No entanto, deve ser observado que o número máximo de réplicas permitido é limitado pela quantidade total de memória utilizável para executar os nós de consulta. Se o número de réplicas que especificar exceder os limites da memória utilizável, será devolvido um erro durante o carregamento de dados.</p>
<p>Também pode verificar as informações das réplicas na memória que criou, executando <code translate="no">collection.get_replicas()</code>. Serão devolvidas as informações dos grupos de réplicas e os nós de consulta e fragmentos correspondentes. A seguir, um exemplo da saída.</p>
<pre><code translate="no">Replica <span class="hljs-built_in">groups</span>:
- Group: &lt;group_id:435309823872729305&gt;, &lt;group_nodes:(21, 20)&gt;, &lt;shards:[Shard: &lt;channel_name:milvus-zong-rootcoord-dml_27_435367661874184193v0&gt;, &lt;shard_leader:21&gt;, &lt;shard_nodes:[21]&gt;, Shard: &lt;channel_name:milvus-zong-rootcoord-dml_28_435367661874184193v1&gt;, &lt;shard_leader:20&gt;, &lt;shard_nodes:[20, 21]&gt;]&gt;
- Group: &lt;group_id:435309823872729304&gt;, &lt;group_nodes:(25,)&gt;, &lt;shards:[Shard: &lt;channel_name:milvus-zong-rootcoord-dml_28_435367661874184193v1&gt;, &lt;shard_leader:25&gt;, &lt;shard_nodes:[25]&gt;, Shard: &lt;channel_name:milvus-zong-rootcoord-dml_27_435367661874184193v0&gt;, &lt;shard_leader:25&gt;, &lt;shard_nodes:[25]&gt;]&gt;
<button class="copy-code-btn"></button></code></pre>
<h2 id="Whats-next" class="common-anchor-header">O que vem a seguir<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Com o lançamento oficial do Milvus 2.1, preparámos uma série de blogues que apresentam as novas funcionalidades. Leia mais nesta série de blogues:</p>
<ul>
<li><a href="https://milvus.io/blog/2022-08-08-How-to-use-string-data-to-empower-your-similarity-search-applications.md">Como utilizar dados de cadeias de caracteres para potenciar as suas aplicações de pesquisa por semelhança</a></li>
<li><a href="https://milvus.io/blog/embedded-milvus.md">Usando o Embedded Milvus para instalar e executar instantaneamente o Milvus com Python</a></li>
<li><a href="https://milvus.io/blog/in-memory-replicas.md">Aumente a taxa de transferência de leitura do seu banco de dados vetorial com réplicas na memória</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md">Entendendo o nível de consistência no banco de dados vetorial do Milvus</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database-2.md">Entendendo o nível de consistência no banco de dados vetorial do Milvus (Parte II)</a></li>
<li><a href="https://milvus.io/blog/data-security.md">Como o banco de dados vetorial do Milvus garante a segurança dos dados?</a></li>
</ul>


Aumente a taxa de transferência de leitura do banco de dados vetorial com réplicas na memória

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Benchmark_Quick_Setup_58cc8eed5b.png" alt="Cover" class="doc-image" id="cover" />
   </span> <span class="img-wrapper"> <span>Cobertura</span> </span></p>
<p>Recentemente, actualizámos o <a href="https://milvus.io/docs/v2.1.x/benchmark.md">relatório de benchmark do Milvus 2.1</a>. Testes com um conjunto de dados de 1 milhão de vectores provaram que o QPS pode ser dramaticamente aumentado através da fusão de consultas <a href="https://milvus.io/docs/v2.1.x/benchmark.md#Terminology">small-nq</a>.</p>
<p>Aqui estão alguns scripts simples para que possa reproduzir facilmente os testes.</p>
<h2 id="Procedures" class="common-anchor-header">Procedimentos<button data-href="#Procedures" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ol>
<li><p>Implementar um Milvus autónomo ou em cluster. Neste caso, o endereço IP do servidor Milvus é 10.100.31.105.</p></li>
<li><p>Implantar um cliente. Neste caso, usamos o Ubuntu 18.04 e o Python 3.8.13 para a implantação. Execute o seguinte código para instalar o PyMilvus 2.1.1.</p></li>
</ol>
<pre><code translate="no">pip install pymilvus==2.1.1
<button class="copy-code-btn"></button></code></pre>
<ol start="3">
<li><p>Descarregue e copie os seguintes ficheiros para o mesmo diretório de trabalho que o cliente. Neste caso, o diretório de trabalho é <code translate="no">/go_ben</code>.</p>
<ul>
<li><p><a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/collection_prepare.py"><code translate="no">collection_prepare.py</code></a></p></li>
<li><p><a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/go_benchmark.py"><code translate="no">go_benchmark.py</code></a></p></li>
<li><p><a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/benchmark"><code translate="no">benchmark</code></a> (para Ubuntu) ou <a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/benchmark-mac"><code translate="no">benchmark-mac</code></a> (para macOS)</p></li>
</ul>
<p><strong>Nota:</strong></p>
<ul>
<li><p><code translate="no">benchmark</code> e <code translate="no">benchmark-mac</code> são arquivos executáveis desenvolvidos e compilados usando o Go SDK 2.1.1. Eles são usados apenas para realizar uma pesquisa simultânea.</p></li>
<li><p>Para utilizadores do Ubuntu, transfira <code translate="no">benchmark</code>; para utilizadores do macOS, transfira <code translate="no">benchmark-mac</code>.</p></li>
<li><p>São necessárias permissões de executável para aceder a <code translate="no">benchmark</code> ou <code translate="no">benchmark-mac</code>.</p></li>
<li><p>Os utilizadores de Mac precisam de confiar no ficheiro <code translate="no">benchmark-mac</code> configurando Segurança e Privacidade nas Preferências do Sistema.</p></li>
<li><p>As configurações da pesquisa simultânea podem ser encontradas e modificadas no código-fonte <code translate="no">go_benchmark.py</code>.</p></li>
</ul></li>
</ol>
<ol start="4">
<li>Crie uma coleção e insira dados vectoriais.</li>
</ol>
<pre><code translate="no">root@milvus-pytest:/go_ben<span class="hljs-comment"># python collection_prepare.py 10.100.31.105 </span>
<button class="copy-code-btn"></button></code></pre>
<ol start="5">
<li>Abra <code translate="no">/tmp/collection_prepare.log</code> para verificar o resultado da execução.</li>
</ol>
<pre><code translate="no">...
08/11/2022 17:33:34 PM - INFO - Build index costs 263.626
08/11/2022 17:33:54 PM - INFO - Collection prepared completed
<button class="copy-code-btn"></button></code></pre>
<ol start="6">
<li>Chame <code translate="no">benchmark</code> (ou <code translate="no">benchmark-mac</code> no macOS) para realizar uma pesquisa simultânea.</li>
</ol>
<pre><code translate="no">root@milvus-pytest:/go_ben<span class="hljs-meta"># python go_benchmark.py 10.100.31.105 ./benchmark</span>
[<span class="hljs-meta">write_json_file</span>] <span class="hljs-function">Remove <span class="hljs-title">file</span>(<span class="hljs-params">search_vector_file.json</span>).
[write_json_file] Write json <span class="hljs-keyword">file</span>:search_vector_file.json done.
Params of go_benchmark: [&#x27;./benchmark&#x27;, &#x27;locust&#x27;, &#x27;-u&#x27;, &#x27;10.100.31.105:19530&#x27;, &#x27;-q&#x27;, &#x27;search_vector_file.json&#x27;, &#x27;-s&#x27;, &#x27;</span>{\n  <span class="hljs-string">&quot;collection_name&quot;</span>: <span class="hljs-string">&quot;random_1m&quot;</span>,\n  <span class="hljs-string">&quot;partition_names&quot;</span>: [],\n  <span class="hljs-string">&quot;fieldName&quot;</span>: <span class="hljs-string">&quot;embedding&quot;</span>,\n  <span class="hljs-string">&quot;index_type&quot;</span>: <span class="hljs-string">&quot;HNSW&quot;</span>,\n  <span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&quot;L2&quot;</span>,\n  <span class="hljs-string">&quot;params&quot;</span>: {\n    <span class="hljs-string">&quot;sp_value&quot;</span>: <span class="hljs-number">64</span>,\n    <span class="hljs-string">&quot;dim&quot;</span>: <span class="hljs-number">128</span>\n  },\n  <span class="hljs-string">&quot;limit&quot;</span>: <span class="hljs-number">1</span>,\n  <span class="hljs-string">&quot;expr&quot;</span>: <span class="hljs-literal">null</span>,\n  <span class="hljs-string">&quot;output_fields&quot;</span>: [],\n  <span class="hljs-string">&quot;timeout&quot;</span>: <span class="hljs-number">600</span>\n}<span class="hljs-string">&#x27;, &#x27;</span>-p<span class="hljs-string">&#x27;, &#x27;</span><span class="hljs-number">10&#x27;</span>, <span class="hljs-string">&#x27;-f&#x27;</span>, <span class="hljs-string">&#x27;json&#x27;</span>, <span class="hljs-string">&#x27;-t&#x27;</span>, <span class="hljs-string">&#x27;60&#x27;</span>, <span class="hljs-string">&#x27;-i&#x27;</span>, <span class="hljs-string">&#x27;20&#x27;</span>, <span class="hljs-string">&#x27;-l&#x27;</span>, <span class="hljs-string">&#x27;go_log_file.log&#x27;</span>]
[<span class="hljs-meta">2022-08-11 11:37:39.811</span>][    INFO] - Name      <span class="hljs-meta">#   reqs      # fails  |       Avg       Min       Max    Median  |     req/s  failures/s (benchmark_run.go:212:sample)</span>
[<span class="hljs-meta">2022-08-11 11:37:39.811</span>][    INFO] - go search     <span class="hljs-number">9665</span>     <span class="hljs-number">0</span>(<span class="hljs-number">0.00</span>%)  |    <span class="hljs-number">20.679</span>     <span class="hljs-number">6.499</span>    <span class="hljs-number">81.761</span>    <span class="hljs-number">12.810</span>  |    <span class="hljs-number">483.25</span>        <span class="hljs-number">0.00</span> (benchmark_run.go:<span class="hljs-number">213</span>:sample)
[<span class="hljs-meta">2022-08-11 11:37:59.811</span>][    INFO] - Name      <span class="hljs-meta">#   reqs      # fails  |       Avg       Min       Max    Median  |     req/s  failures/s (benchmark_run.go:212:sample)</span>
[<span class="hljs-meta">2022-08-11 11:37:59.811</span>][    INFO] - go search    <span class="hljs-number">19448</span>     <span class="hljs-number">0</span>(<span class="hljs-number">0.00</span>%)  |    <span class="hljs-number">20.443</span>     <span class="hljs-number">6.549</span>    <span class="hljs-number">78.121</span>    <span class="hljs-number">13.401</span>  |    <span class="hljs-number">489.22</span>        <span class="hljs-number">0.00</span> (benchmark_run.go:<span class="hljs-number">213</span>:sample)
[<span class="hljs-meta">2022-08-11 11:38:19.811</span>][    INFO] - Name      <span class="hljs-meta">#   reqs      # fails  |       Avg       Min       Max    Median  |     req/s  failures/s (benchmark_run.go:212:sample)</span>
[<span class="hljs-meta">2022-08-11 11:38:19.811</span>][    INFO] - go search    <span class="hljs-number">29170</span>     <span class="hljs-number">0</span>(<span class="hljs-number">0.00</span>%)  |    <span class="hljs-number">20.568</span>     <span class="hljs-number">6.398</span>    <span class="hljs-number">76.887</span>    <span class="hljs-number">12.828</span>  |    <span class="hljs-number">486.15</span>        <span class="hljs-number">0.00</span> (benchmark_run.go:<span class="hljs-number">213</span>:sample)
[<span class="hljs-meta">2022-08-11 11:38:19.811</span>][   DEBUG] - go search run finished, parallel: <span class="hljs-number">10</span>(benchmark_run.go:<span class="hljs-number">95</span>:benchmark)
[<span class="hljs-meta">2022-08-11 11:38:19.811</span>][    INFO] - Name      <span class="hljs-meta">#   reqs      # fails  |       Avg       Min       Max    Median  |     req/s  failures/s (benchmark_run.go:159:samplingLoop)</span>
[<span class="hljs-meta">2022-08-11 11:38:19.811</span>][    INFO] - go search    <span class="hljs-number">29180</span>     <span class="hljs-number">0</span>(<span class="hljs-number">0.00</span>%)  |    <span class="hljs-number">20.560</span>     <span class="hljs-number">6.398</span>    <span class="hljs-number">81.761</span>    <span class="hljs-number">13.014</span>  |    <span class="hljs-number">486.25</span>        <span class="hljs-number">0.00</span> (benchmark_run.go:<span class="hljs-number">160</span>:samplingLoop)
Result of go_benchmark: {<span class="hljs-string">&#x27;response&#x27;</span>: True, <span class="hljs-string">&#x27;err_code&#x27;</span>: <span class="hljs-number">0</span>, <span class="hljs-string">&#x27;err_message&#x27;</span>: <span class="hljs-string">&#x27;&#x27;</span>} 
<button class="copy-code-btn"></button></code></pre>
<ol start="7">
<li>Abra o ficheiro <code translate="no">go_log_file.log</code> no diretório atual para verificar o registo de pesquisa detalhado. Segue-se a informação de pesquisa que pode encontrar no registo de pesquisa.<ul>
<li><p>reqs: número de pedidos de pesquisa desde o momento em que a simultaneidade ocorre até ao momento atual (o intervalo de tempo atual)</p></li>
<li><p>fails: número de pedidos falhados como uma percentagem de reqs no intervalo de tempo atual</p></li>
<li><p>Avg: tempo médio de resposta do pedido no intervalo de tempo atual (unidade: milissegundos)</p></li>
<li><p>Min: tempo mínimo de resposta do pedido no intervalo de tempo atual (unidade: milissegundos)</p></li>
<li><p>Max: tempo máximo de resposta do pedido no intervalo de tempo atual (unidade: milissegundos)</p></li>
<li><p>Median: tempo mediano de resposta do pedido no intervalo de tempo atual (unidade: milissegundos)</p></li>
<li><p>req/s: número de pedidos por segundo, ou seja, QPS</p></li>
<li><p>failures/s: número médio de pedidos falhados por segundo no intervalo de tempo atual</p></li>
</ul></li>
</ol>
<h2 id="Downloading-Scripts-and-Executable-Files" class="common-anchor-header">Descarregar scripts e ficheiros executáveis<button data-href="#Downloading-Scripts-and-Executable-Files" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p><a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/collection_prepare.py">collection_prepare.py</a></p></li>
<li><p><a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/go_benchmark.py">go_benchmark.py</a></p></li>
<li><p><a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/benchmark">benchmark</a> para Ubuntu</p></li>
<li><p><a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/benchmark-mac">benchmark-mac</a> para macOS</p></li>
</ul>
<h2 id="Whats-next" class="common-anchor-header">O que vem a seguir<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Com o lançamento oficial do Milvus 2.1, preparámos uma série de blogues que apresentam as novas funcionalidades. Leia mais nesta série de blogues:</p>
<ul>
<li><a href="https://milvus.io/blog/2022-08-08-How-to-use-string-data-to-empower-your-similarity-search-applications.md">Como utilizar dados de cadeias de caracteres para potenciar as suas aplicações de pesquisa de semelhanças</a></li>
<li><a href="https://milvus.io/blog/embedded-milvus.md">Usando o Embedded Milvus para instalar e executar instantaneamente o Milvus com Python</a></li>
<li><a href="https://milvus.io/blog/in-memory-replicas.md">Aumente a taxa de transferência de leitura do seu banco de dados vetorial com réplicas na memória</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md">Entendendo o nível de consistência no banco de dados vetorial do Milvus</a></li>
<li><a href="https://milvus.io/blog/data-security.md">Como o banco de dados vetorial do Milvus garante a segurança dos dados?</a></li>
</ul>


Um guia rápido para a avaliação comparativa do Milvus 2.1

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/embeddded_milvus_1_8132468cac.png" alt="Cover" class="doc-image" id="cover" />
   </span> <span class="img-wrapper"> <span>Capa</span> </span></p>
<blockquote>
<p>Este artigo tem a coautoria de <a href="https://github.com/soothing-rain/">Alex Gao</a> e <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni</a>.</p>
</blockquote>
<p>O Milvus é uma base de dados vetorial de código aberto para aplicações de IA. Ele fornece uma variedade de métodos de instalação, incluindo a construção a partir do código-fonte e a instalação do Milvus com o Docker Compose/Helm/APT/YUM/Ansible. Os utilizadores podem escolher um dos métodos de instalação, dependendo dos seus sistemas operativos e preferências. No entanto, existem muitos cientistas de dados e engenheiros de IA na comunidade Milvus que trabalham com Python e anseiam por um método de instalação muito mais simples do que os atualmente disponíveis.</p>
<p>Por isso, lançámos o Milvus incorporado, uma versão Python de fácil utilização, juntamente com o Milvus 2.1 para capacitar mais programadores Python na nossa comunidade. Este artigo apresenta o que é o Milvus incorporado e fornece instruções sobre como o instalar e utilizar.</p>
<p><strong>Saltar para:</strong></p>
<ul>
<li><a href="#An-overview-of-embedded-Milvus">Uma visão geral do Milvus incorporado</a><ul>
<li><a href="#When-to-use-embedded-Milvus">Quando usar o Milvus embutido?</a></li>
<li><a href="#A-comparison-of-different-modes-of-Milvus">Uma comparação dos diferentes modos do Milvus</a></li>
</ul></li>
<li><a href="#How-to-install-embedded-Milvus">Como instalar o Milvus embutido</a></li>
<li><a href="#Start-and-stop-embedded-Milvus">Iniciar e parar o Milvus incorporado</a></li>
</ul>
<h2 id="An-overview-of-embedded-Milvus" class="common-anchor-header">Uma visão geral do Milvus incorporado<button data-href="#An-overview-of-embedded-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><a href="https://github.com/milvus-io/embd-milvus">O Mil</a> vus embutido permite-lhe instalar e usar rapidamente o Milvus com Python. Pode abrir rapidamente uma instância do Milvus e permite-lhe iniciar e parar o serviço Milvus sempre que desejar. Todos os dados e registos são mantidos mesmo que se pare o Milvus incorporado.</p>
<p>O Milvus incorporado não tem dependências internas e não requer a pré-instalação e execução de dependências de terceiros como etcd, MinIO, Pulsar, etc.</p>
<p>Tudo o que faz com o Milvus embebido, e cada pedaço de código que escreve para ele pode ser migrado com segurança para outros modos do Milvus - standalone, cluster, versão cloud, etc. Isto reflecte uma das caraterísticas mais distintivas do Milvus incorporado - <strong>"Escreva uma vez, execute em qualquer lugar".</strong></p>
<h3 id="When-to-use-embedded-Milvus" class="common-anchor-header">Quando usar o Milvus incorporado?</h3><p>O Milvus incorporado e <a href="https://milvus.io/docs/v2.1.x/install-pymilvus.md">o PyMilvus</a> são construídos para diferentes objectivos. Você pode considerar escolher o Milvus embutido nos seguintes cenários:</p>
<ul>
<li><p>Você quer usar o Milvus sem instalar o Milvus de nenhuma das formas fornecidas <a href="https://milvus.io/docs/v2.1.x/install_standalone-docker.md">aqui</a>.</p></li>
<li><p>Você quer usar o Milvus sem manter um processo Milvus de longa duração na sua máquina.</p></li>
<li><p>Quer usar o Milvus rapidamente sem iniciar um processo Milvus separado e outros componentes necessários como etcd, MinIO, Pulsar, etc.</p></li>
</ul>
<p>Sugere-se que <strong>NÃO</strong> use o Milvus incorporado:</p>
<ul>
<li><p>Num ambiente de produção.<em>(Para usar o Milvus em produção, considere o cluster Milvus ou <a href="https://zilliz.com/cloud">a nuvem Zilliz</a>, um serviço Milvus totalmente gerido</em>)<em>.</em></p></li>
<li><p>Se tiver uma elevada exigência de desempenho.<em>(Em termos comparativos, o Milvus incorporado pode não fornecer o melhor desempenho</em>)<em>.</em></p></li>
</ul>
<h3 id="A-comparison-of-different-modes-of-Milvus" class="common-anchor-header">Uma comparação entre os diferentes modos do Milvus</h3><p>A tabela abaixo compara vários modos de Milvus: autónomo, cluster, Milvus incorporado e o Zilliz Cloud, um serviço Milvus totalmente gerido.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/comparison_ebcd7c5b07.jpeg" alt="comparison" class="doc-image" id="comparison" />
   </span> <span class="img-wrapper"> <span>comparação</span> </span></p>
<h2 id="How-to-install-embedded-Milvus" class="common-anchor-header">Como instalar o Milvus embebido?<button data-href="#How-to-install-embedded-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Antes de instalar o Milvus incorporado, é necessário garantir que tem instalado o Python 3.6 ou posterior. O Milvus incorporado suporta os seguintes sistemas operativos:</p>
<ul>
<li><p>Ubuntu 18.04</p></li>
<li><p>Mac x86_64 &gt;= 10.4</p></li>
<li><p>Mac M1 &gt;= 11.0</p></li>
</ul>
<p>Se os requisitos forem cumpridos, pode executar <code translate="no">$ python3 -m pip install milvus</code> para instalar o Milvus incorporado. Também é possível adicionar a versão no comando para instalar uma versão específica do Milvus incorporado. Por exemplo, se quiser instalar a versão 2.1.0, execute <code translate="no">$ python3 -m pip install milvus==2.1.0</code>. E mais tarde, quando for lançada uma nova versão do Milvus incorporado, pode também executar <code translate="no">$ python3 -m pip install --upgrade milvus</code> para atualizar o Milvus incorporado para a versão mais recente.</p>
<p>Se você é um usuário antigo do Milvus que já instalou o PyMilvus antes e quer instalar o Milvus embutido, você pode executar <code translate="no">$ python3 -m pip install --no-deps milvus</code>.</p>
<p>Depois de executar o comando de instalação, é necessário criar uma pasta de dados para o Milvus incorporado em <code translate="no">/var/bin/e-milvus</code> executando o seguinte comando:</p>
<pre><code translate="no"><span class="hljs-built_in">sudo</span> <span class="hljs-built_in">mkdir</span> -p /var/bin/e-milvus
<span class="hljs-built_in">sudo</span> <span class="hljs-built_in">chmod</span> -R 777 /var/bin/e-milvus
<button class="copy-code-btn"></button></code></pre>
<h2 id="Start-and-stop-embedded-Milvus" class="common-anchor-header">Iniciar e parar o Milvus incorporado<button data-href="#Start-and-stop-embedded-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Quando a instalação for bem-sucedida, você poderá iniciar o serviço.</p>
<p>Se estiver a executar o Milvus incorporado pela primeira vez, tem de importar o Milvus e configurar o Milvus incorporado primeiro.</p>
<pre><code translate="no">$ python3
Python 3.9.10 (main, Jan 15 2022, 11:40:53)
[Clang 13.0.0 (clang-1300.0.29.3)] on darwin
Type <span class="hljs-string">&quot;help&quot;</span>, <span class="hljs-string">&quot;copyright&quot;</span>, <span class="hljs-string">&quot;credits&quot;</span> or <span class="hljs-string">&quot;license&quot;</span> <span class="hljs-keyword">for</span> more information.
&gt;&gt;&gt; import milvus
&gt;&gt;&gt; milvus.before()
please <span class="hljs-keyword">do</span> the following <span class="hljs-keyword">if</span> you have not already <span class="hljs-keyword">done</span> so:
1. install required dependencies: bash /var/bin/e-milvus/lib/install_deps.sh
2. <span class="hljs-built_in">export</span> LD_PRELOAD=/SOME_PATH/embd-milvus.so
3. <span class="hljs-built_in">export</span> LD_LIBRARY_PATH=<span class="hljs-variable">$LD_LIBRARY_PATH</span>:/usr/lib:/usr/local/lib:/var/bin/e-milvus/lib/
&gt;&gt;&gt;
<button class="copy-code-btn"></button></code></pre>
<p>Se já tiver iniciado o Milvus incorporado com êxito e voltar a reiniciá-lo, pode executar diretamente <code translate="no">milvus.start()</code> depois de importar o Milvus.</p>
<pre><code translate="no">$ python3
Python <span class="hljs-number">3.9</span><span class="hljs-number">.10</span> (main, Jan <span class="hljs-number">15</span> <span class="hljs-number">2022</span>, <span class="hljs-number">11</span>:<span class="hljs-number">40</span>:<span class="hljs-number">53</span>)
[Clang <span class="hljs-number">13.0</span><span class="hljs-number">.0</span> (clang-<span class="hljs-number">1300.0</span><span class="hljs-number">.29</span><span class="hljs-number">.3</span>)] on darwinType <span class="hljs-string">&quot;help&quot;</span>, <span class="hljs-string">&quot;copyright&quot;</span>, <span class="hljs-string">&quot;credits&quot;</span> <span class="hljs-keyword">or</span> <span class="hljs-string">&quot;license&quot;</span> <span class="hljs-keyword">for</span> more information.
<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">import</span> milvus
<span class="hljs-meta">&gt;&gt;&gt; </span>milvus.start()
&gt;&gt;&gt;
<button class="copy-code-btn"></button></code></pre>
<p>Verá o seguinte resultado se tiver iniciado com êxito o serviço Milvus incorporado.</p>
<pre><code translate="no">---<span class="hljs-title class_">Milvus</span> <span class="hljs-title class_">Proxy</span> successfully initialized and ready to serve!---
<button class="copy-code-btn"></button></code></pre>
<p>Após o início do serviço, pode iniciar outra janela de terminal e executar o código de exemplo de &quot;<a href="https://github.com/milvus-io/embd-milvus/blob/main/milvus/examples/hello_milvus.py">Hello Milvus</a>&quot; para brincar com o Milvus incorporado!</p>
<pre><code translate="no"><span class="hljs-comment"># Download hello_milvus script</span>
$ wget https://raw.githubusercontent.com/milvus-io/pymilvus/v2.1.0/examples/hello_milvus.py
<span class="hljs-comment"># Run Hello Milvus </span>
$ python3 hello_milvus.py
<button class="copy-code-btn"></button></code></pre>
<p>Quando terminar de usar o Milvus incorporado, recomendamos pará-lo graciosamente e limpar as variáveis de ambiente executando o seguinte comando ou pressionando Ctrl-D.</p>
<pre><code translate="no">&gt;&gt;&gt; milvus.stop()
<span class="hljs-keyword">if</span> you need to clean up the environment variables, run:
<span class="hljs-built_in">export</span> LD_PRELOAD=
<span class="hljs-built_in">export</span> LD_LIBRARY_PATH=
&gt;&gt;&gt;
&gt;&gt;&gt; <span class="hljs-built_in">exit</span>()
<button class="copy-code-btn"></button></code></pre>
<h2 id="Whats-next" class="common-anchor-header">O que vem a seguir<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Com o lançamento oficial do Milvus 2.1, preparámos uma série de blogues que apresentam as novas funcionalidades. Leia mais nesta série de blogues:</p>
<ul>
<li><a href="https://milvus.io/blog/2022-08-08-How-to-use-string-data-to-empower-your-similarity-search-applications.md">Como utilizar dados de cadeias de caracteres para potenciar as suas aplicações de pesquisa por semelhança</a></li>
<li><a href="https://milvus.io/blog/embedded-milvus.md">Usando o Embedded Milvus para instalar e executar instantaneamente o Milvus com Python</a></li>
<li><a href="https://milvus.io/blog/in-memory-replicas.md">Aumente a taxa de transferência de leitura do seu banco de dados vetorial com réplicas na memória</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md">Entendendo o nível de consistência no banco de dados vetorial do Milvus</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database-2.md">Entendendo o nível de consistência no banco de dados vetorial do Milvus (Parte II)</a></li>
<li><a href="https://milvus.io/blog/data-security.md">Como o banco de dados vetorial do Milvus garante a segurança dos dados?</a></li>
</ul>


Usando o Embedded Milvus para instalar e executar instantaneamente o Milvus com Python

Como utilizar dados de cadeias de caracteres para potenciar as suas aplicações de pesquisa por semelhança

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/What_s_New_in_2_1_2_a0660df2a5.png" alt="What's new in Milvus 2.1 - Towards simplicity and speed" class="doc-image" id="what's-new-in-milvus-2.1---towards-simplicity-and-speed" />
   </span> <span class="img-wrapper"> <span>O que há de novo no Milvus 2.1 - Em direção à simplicidade e à velocidade</span> </span></p>
<p>Temos o prazer de anunciar que o<a href="https://milvus.io/docs/v2.1.x/release_notes.md">lançamento</a> do Milvus 2.1 já está disponível, após seis meses de trabalho árduo de todos os colaboradores da nossa comunidade Milvus. Esta grande iteração da popular base de dados vetorial enfatiza <strong>o desempenho</strong> e <strong>a usabilidade</strong>, duas das palavras-chave mais importantes do nosso foco. Adicionámos suporte para strings, fila de mensagens Kafka e Milvus incorporado, bem como uma série de melhorias no desempenho, escalabilidade, segurança e observabilidade. O Milvus 2.1 é uma atualização empolgante que fará a ponte entre a "última milha" do portátil do engenheiro de algoritmos e os serviços de pesquisa de semelhanças vectoriais ao nível da produção.</p>
<custom-h1>Desempenho - Mais do que um aumento de 3,2x</custom-h1><h2 id="5ms-level-latency" class="common-anchor-header">Latência de 5ms<button data-href="#5ms-level-latency" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>O Milvus já suporta a pesquisa do vizinho mais próximo aproximado (ANN), um salto substancial em relação ao método KNN tradicional. No entanto, os problemas de rendimento e latência continuam a desafiar os utilizadores que precisam de lidar com cenários de recuperação de dados vectoriais à escala de milhares de milhões.</p>
<p>No Milvus 2.1, há um novo protocolo de roteamento que não depende mais de filas de mensagens no link de recuperação, reduzindo significativamente a latência de recuperação para pequenos conjuntos de dados. Os resultados dos nossos testes mostram que o Milvus reduz agora o seu nível de latência para 5 ms, o que satisfaz os requisitos de ligações em linha críticas, como a pesquisa de semelhanças e a recomendação.</p>
<h2 id="Concurrency-control" class="common-anchor-header">Controlo de simultaneidade<button data-href="#Concurrency-control" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>O Milvus 2.1 aperfeiçoa o seu modelo de concorrência introduzindo um novo modelo de avaliação de custos e um programador de concorrência. Agora fornece controlo de concorrência, o que garante que não haverá um grande número de pedidos simultâneos a competir pelos recursos da CPU e da cache, nem a CPU será subutilizada por não haver pedidos suficientes. A nova camada de agendamento inteligente do Milvus 2.1 também mescla consultas small-nq que têm parâmetros de solicitação consistentes, proporcionando um incrível aumento de desempenho de 3,2x em cenários com small-nq e alta simultaneidade de consultas.</p>
<h2 id="In-memory-replicas" class="common-anchor-header">Réplicas na memória<button data-href="#In-memory-replicas" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>O Milvus 2.1 traz réplicas na memória que melhoram a escalabilidade e a disponibilidade para pequenos conjuntos de dados. À semelhança das réplicas só de leitura nas bases de dados tradicionais, as réplicas na memória podem ser escaladas horizontalmente adicionando máquinas quando o QPS de leitura é elevado. Na recuperação de vectores para pequenos conjuntos de dados, um sistema de recomendação necessita frequentemente de fornecer um QPS que excede o limite de desempenho de uma única máquina. Nestes cenários, o rendimento do sistema pode ser significativamente melhorado carregando várias réplicas na memória. No futuro, introduziremos também um mecanismo de leitura com cobertura baseado em réplicas na memória, que solicitará rapidamente outras cópias funcionais no caso de o sistema precisar de recuperar de falhas e utiliza plenamente a redundância da memória para melhorar a disponibilidade geral do sistema.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/What_s_New_in_Milvus_2_1_Figure_1_excalidraw_1f7fe3c998.png" alt="In-memory replicas allow query services to be based on separate
copies of the same data." class="doc-image" id="in-memory-replicas-allow-query-services-to-be-based-on-separate-copies-of-the-same-data." />
   </span> <span class="img-wrapper"> <span>As réplicas na memória permitem que os serviços de consulta se baseiem em cópias separadas dos mesmos dados</span>. </span></p>
<h2 id="Faster-data-loading" class="common-anchor-header">Carregamento de dados mais rápido<button data-href="#Faster-data-loading" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>O último aumento de desempenho vem do carregamento de dados. O Milvus 2.1 agora comprime <a href="https://milvus.io/docs/v2.1.x/glossary.md#Log-snapshot">logs binários</a> com o Zstandard (zstd), o que reduz significativamente o tamanho dos dados nos armazenamentos de objetos e mensagens, bem como a sobrecarga da rede durante o carregamento de dados. Além disso, agora são introduzidos pools de goroutine para que o Milvus possa carregar segmentos simultaneamente com pegadas de memória controladas e minimizar o tempo necessário para se recuperar de falhas e para carregar dados.</p>
<p>Os resultados completos do benchmark Milvus 2.1 serão divulgados em breve no nosso sítio Web. Fique atento.</p>
<h2 id="String-and-scalar-index-support" class="common-anchor-header">Suporte a índices de strings e escalares<button data-href="#String-and-scalar-index-support" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Com a versão 2.1, o Milvus agora suporta string de comprimento variável (VARCHAR) como um tipo de dados escalar. VARCHAR pode ser usado como a chave primária que pode ser retornada como saída, e também pode agir como filtros de atributos. <a href="https://milvus.io/docs/v2.1.x/hybridsearch.md">A filtragem de atributos</a> é uma das funções mais populares de que os utilizadores do Milvus necessitam. Se muitas vezes quer &quot;encontrar produtos mais semelhantes a um utilizador numa gama de preços <span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mn>de</mn><mo>200-200</mo></mrow><annotation encoding="application/x-tex">-</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.7278em;vertical-align:-0.0833em;"></span><span class="mord">200-300</span></span></span></span>&quot;, ou &quot;encontrar artigos que têm a palavra-chave 'base de dados vetorial' e estão relacionados com tópicos nativos da nuvem&quot;, vai adorar o Milvus 2.1.</p>
<p>O Milvus 2.1 também suporta índice invertido escalar para melhorar a velocidade de filtragem com base em<a href="https://github.com/s-yata/marisa-trie">MARISA-Tries</a><a href="https://www.cs.le.ac.uk/people/ond1/XMLcomp/confersWEA06_LOUDS.pdf">sucintas</a>como estrutura de dados. Agora, todos os dados podem ser carregados na memória com uma pegada muito baixa, o que permite uma comparação muito mais rápida, filtragem e correspondência de prefixos em strings. Os resultados dos nossos testes mostram que o requisito de memória do MARISA-trie é apenas 10% do dos dicionários Python para carregar todos os dados na memória e fornecer capacidades de consulta.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/What_s_new_in_Milvus_Figure_2_excalidraw_a1149aca96.png" alt="Milvus 2.1 combines MARISA-Trie with inverted index to significantly improve filtering speed." class="doc-image" id="milvus-2.1-combines-marisa-trie-with-inverted-index-to-significantly-improve-filtering-speed." />
   </span> <span class="img-wrapper"> <span>O Milvus 2.1 combina o MARISA-Trie com o índice invertido para melhorar significativamente a velocidade de filtragem.</span> </span></p>
<p>No futuro, o Milvus continuará a concentrar-se em desenvolvimentos relacionados com a consulta escalar, suportará mais tipos de índices escalares e operadores de consulta, e fornecerá capacidades de consulta escalar baseadas em disco, tudo como parte de um esforço contínuo para reduzir o custo de armazenamento e utilização de dados escalares.</p>
<custom-h1>Melhorias de usabilidade</custom-h1><h2 id="Kafka-support" class="common-anchor-header">Suporte ao Kafka<button data-href="#Kafka-support" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>O Milvus 2.1 oferece-lhe agora a opção de utilizar<a href="https://pulsar.apache.org">o Pulsar</a> ou o Kafka como armazenamento de <a href="https://milvus.io/docs/v2.1.x/deploy_pulsar.md">mensagens</a> com base nas configurações do utilizador, graças ao design de abstração e encapsulamento do Milvus e ao SDK Go <a href="https://kafka.apache.org">Kafka</a> contribuído pela Confluent.</p>
<h2 id="Production-ready-Java-SDK" class="common-anchor-header">SDK Java pronto para produção<button data-href="#Production-ready-Java-SDK" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Com o Milvus 2.1, o nosso <a href="https://github.com/milvus-io/milvus-sdk-java">Java SDK</a> é agora oficialmente lançado. O Java SDK tem exatamente as mesmas capacidades que o Python SDK, com um desempenho de concorrência ainda melhor. No próximo passo, os colaboradores da nossa comunidade irão gradualmente melhorar a documentação e os casos de uso para o Java SDK, e ajudar a empurrar os SDKs Go e RESTful para a fase de produção também.</p>
<h2 id="Observability-and-maintainability" class="common-anchor-header">Observabilidade e facilidade de manutenção<button data-href="#Observability-and-maintainability" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>O Milvus 2.1 adiciona<a href="https://milvus.io/docs/v2.1.x/metrics_dashboard.md">métricas</a> de monitorização importantes, como contagens de inserção de vectores, latência/rendimento da pesquisa, sobrecarga de memória do nó e sobrecarga da CPU. Além disso, a nova versão também optimiza significativamente a manutenção de registos, ajustando os níveis de registo e reduzindo a impressão de registos inúteis.</p>
<h2 id="Embedded-Milvus" class="common-anchor-header">Milvus incorporado<button data-href="#Embedded-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>O Milvus simplificou bastante a implementação de serviços de recuperação de dados vectoriais maciços em grande escala, mas para os cientistas que pretendem validar algoritmos numa escala mais pequena, o Docker ou o K8s continuam a ser demasiado complicados e desnecessários. Com a introdução do Milvus <a href="https://github.com/milvus-io/embd-milvus">embutido</a>, agora é possível instalar o Milvus usando pip, assim como com Pyrocksb e Pysqlite. O Milvus embutido suporta todas as funcionalidades das versões cluster e standalone, permitindo-lhe mudar facilmente do seu laptop para um ambiente de produção distribuído sem alterar uma única linha de código. Os engenheiros de algoritmos terão uma experiência muito melhor ao construir um protótipo com o Milvus.</p>
<custom-h1>Experimente agora a pesquisa vetorial pronta a utilizar</custom-h1><p>Além disso, o Milvus 2.1 também apresenta algumas grandes melhorias em termos de estabilidade e escalabilidade, e aguardamos com expetativa a sua utilização e os seus comentários.</p>
<h2 id="Whats-next" class="common-anchor-header">O que vem a seguir<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li>Veja as <a href="https://milvus.io/docs/v2.1.x/release_notes.md">Notas de Lançamento</a> detalhadas para todas as mudanças no Milvus 2.1</li>
<li><a href="https://milvus.io/docs/v2.1.x/install_standalone-docker.md">Instale</a>o Milvus 2.1 e experimente as novas funcionalidades</li>
<li>Junte-se à nossa <a href="https://slack.milvus.io/">comunidade Slack</a> e discuta as novas funcionalidades com milhares de utilizadores do Milvus em todo o mundo</li>
<li>Siga-nos no <a href="https://twitter.com/milvusio">Twitter</a> e no<a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn</a> para receber actualizações assim que os nossos blogues sobre novas funcionalidades específicas forem publicados</li>
</ul>
<blockquote>
<p>Editado por <a href="https://github.com/songxianj">Songxian Jiang</a></p>
</blockquote>


O que há de novo no Milvus 2.1 - Em direção à simplicidade e à rapidez

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Frame_1282_edc1fb7d99.png" alt="cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>imagem da capa</span> </span></p>
<p>Se está à procura de um roupeiro que se adapte perfeitamente ao seu quarto ou provador, aposto que a maioria das pessoas pensa nos roupeiros feitos à medida. No entanto, nem todos os orçamentos podem ir tão longe. Então, o que fazer com os já prontos? O problema com este tipo de guarda-roupa é que é muito provável que fiquem aquém das suas expectativas, uma vez que não são suficientemente flexíveis para satisfazer as suas necessidades únicas de arrumação. Além disso, quando se faz uma pesquisa online, é bastante difícil resumir o tipo específico de roupeiro que se procura através de palavras-chave. Muito provavelmente, a palavra-chave que escreve na caixa de pesquisa (por exemplo, Um armário com um tabuleiro para jóias) pode ser muito diferente da forma como é definida no motor de busca (por exemplo, Um armário com <a href="https://www.ikea.com/us/en/p/komplement-pull-out-tray-with-insert-black-brown-s79249366/">tabuleiro extraível com encaixe</a>).</p>
<p>Mas graças às tecnologias emergentes, há uma solução! A IKEA, o conglomerado de retalho de mobiliário, disponibiliza uma ferramenta de design popular, <a href="https://www.ikea.com/us/en/rooms/bedroom/how-to/how-to-design-your-perfect-pax-wardrobe-pub8b76dda0">o PAX wardrobe</a>, que permite aos utilizadores escolher entre uma série de roupeiros prontos a usar e personalizar a cor, o tamanho e o design interior dos roupeiros. Quer necessite de espaço para pendurar, de várias prateleiras ou de gavetas interiores, este sistema inteligente de personalização de roupeiros pode sempre satisfazer as suas necessidades.</p>
<p>Para encontrar ou construir o seu roupeiro ideal utilizando este sistema inteligente de design de roupeiros, é necessário:</p>
<ol>
<li>Especificar os requisitos básicos - a forma (normal, em L ou em U), o comprimento e a profundidade do roupeiro.</li>
<li>Especificar as suas necessidades de arrumação e a organização interior do roupeiro (por exemplo, é necessário espaço para pendurar, um suporte para calças extraível, etc.).</li>
<li>Adicione ou retire partes do roupeiro, como gavetas ou prateleiras.</li>
</ol>
<p>Depois, o seu design está concluído. Simples e fácil!</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Pax_system_ff4c3fa182.png" alt="pax system" class="doc-image" id="pax-system" />
   </span> <span class="img-wrapper"> <span>sistema pax</span> </span></p>
<p>Um componente muito importante que torna possível este sistema de conceção de roupeiros é a <a href="https://zilliz.com/learn/what-is-vector-database">base de dados vetorial</a>. Por isso, este artigo tem como objetivo apresentar o fluxo de trabalho e as soluções de pesquisa de semelhanças utilizadas para criar um sistema inteligente de personalização de roupeiros com base na pesquisa de semelhanças vectoriais.</p>
<p>Saltar para:</p>
<ul>
<li><a href="#System-overview">Visão geral do sistema</a></li>
<li><a href="#Data-flow">Fluxo de dados</a></li>
<li><a href="#System-demo">Demonstração do sistema</a></li>
</ul>
<h2 id="System-Overview" class="common-anchor-header">Descrição geral do sistema<button data-href="#System-Overview" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Para fornecer uma ferramenta de personalização de guarda-roupas tão inteligente, precisamos primeiro de definir a lógica comercial e compreender os atributos dos itens e o percurso do utilizador. Os roupeiros, juntamente com os seus componentes, como gavetas, tabuleiros e prateleiras, são todos dados não estruturados. Por conseguinte, o segundo passo consiste em utilizar algoritmos e regras de IA, conhecimento prévio, descrição de artigos, etc., para converter esses dados não estruturados num tipo de dados que pode ser compreendido pelos computadores - vectores!</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Customization_tool_overview_86d62e1730.png" alt="Customization tool overview" class="doc-image" id="customization-tool-overview" />
   </span> <span class="img-wrapper"> <span>Visão geral da ferramenta de personalização</span> </span></p>
<p>Com os vectores gerados, precisamos de poderosas bases de dados de vectores e motores de pesquisa para os processar.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/tool_architecutre_33fb646954.png" alt="tool architecture" class="doc-image" id="tool-architecture" />
   </span> <span class="img-wrapper"> <span>arquitetura da ferramenta</span> </span></p>
<p>A ferramenta de personalização utiliza alguns dos motores de pesquisa e bases de dados mais populares: Elasticsearch, <a href="https://milvus.io/">Milvus</a> e PostgreSQL.</p>
<h3 id="Why-Milvus" class="common-anchor-header">Porquê o Milvus?</h3><p>Um componente do guarda-roupa contém informações altamente complexas, como a cor, a forma, a organização interior, etc. No entanto, a forma tradicional de manter os dados do guarda-roupa numa base de dados relacional está longe de ser suficiente. Uma forma popular é utilizar técnicas de incorporação para converter os guarda-roupas em vectores. Por conseguinte, temos de procurar um novo tipo de base de dados especificamente concebido para o armazenamento de vectores e a pesquisa de semelhanças. Depois de analisar várias soluções populares, a base de dados de vectores <a href="https://github.com/milvus-io/milvus">Milvus</a> foi selecionada pelo seu excelente desempenho, estabilidade, compatibilidade e facilidade de utilização. O gráfico abaixo é uma comparação de várias soluções populares de pesquisa vetorial.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Solution_comparison_d96b8f1dd5.png" alt="solution comparison" class="doc-image" id="solution-comparison" />
   </span> <span class="img-wrapper"> <span>comparação de soluções</span> </span></p>
<h3 id="System-workflow" class="common-anchor-header">Fluxo de trabalho do sistema</h3><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/System_workflow_250c275ec1.png" alt="System workflow" class="doc-image" id="system-workflow" />
   </span> <span class="img-wrapper"> <span>Fluxo de trabalho do sistema</span> </span></p>
<p>O Elasticsearch é utilizado para uma filtragem grosseira por tamanho do guarda-roupa, cor, etc. Em seguida, os resultados filtrados passam pela base de dados vetorial Milvus para uma pesquisa de semelhanças e os resultados são classificados com base na sua distância/semelhança com o vetor de consulta. Por fim, os resultados são consolidados e aperfeiçoados com base em informações comerciais.</p>
<h2 id="Data-flow" class="common-anchor-header">Fluxo de dados<button data-href="#Data-flow" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>O sistema de personalização de armários é muito semelhante aos motores de pesquisa tradicionais e aos sistemas de recomendação. É composto por três partes:</p>
<ul>
<li>Preparação de dados offline, incluindo definição e geração de dados.</li>
<li>Serviços em linha, incluindo a recuperação e a classificação.</li>
<li>Pós-processamento de dados com base na lógica empresarial.</li>
</ul>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/data_flow_d0d9fa0fca.png" alt="Data flow" class="doc-image" id="data-flow" />
   </span> <span class="img-wrapper"> <span>Fluxo de dados</span> </span></p>
<h3 id="Offline-data-flow" class="common-anchor-header">Fluxo de dados offline</h3><ol>
<li>Definir os dados utilizando o conhecimento comercial.</li>
<li>Utilizar conhecimentos prévios para definir como combinar diferentes componentes e formá-los num guarda-roupa.</li>
<li>Reconhecer etiquetas de caraterísticas dos roupeiros e codificar as caraterísticas em dados do Elasticsearch no ficheiro <code translate="no">.json</code>.</li>
<li>Preparar dados de recuperação codificando dados não estruturados em vectores.</li>
<li>Utilizar a base de dados de vectores Milvus para classificar os resultados recuperados obtidos na etapa anterior.</li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/offline_data_flow_f91ac9cf4c.png" alt="offline data flow" class="doc-image" id="offline-data-flow" />
   </span> <span class="img-wrapper"> <span>fluxo de dados offline</span> </span></p>
<h3 id="Online-data-flow" class="common-anchor-header">Fluxo de dados em linha</h3><ol>
<li>Receber os pedidos de consulta dos utilizadores e recolher os perfis dos utilizadores.</li>
<li>Compreender a consulta do utilizador, identificando os seus requisitos para o guarda-roupa.</li>
<li>Pesquisa grosseira utilizando o Elasticsearch.</li>
<li>Pontuar e classificar os resultados obtidos da pesquisa grosseira com base no cálculo da semelhança dos vectores em Milvus.</li>
<li>Pós-processar e organizar os resultados na plataforma back-end para gerar os resultados finais.</li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/online_data_flow_1f2af25cc3.png" alt="online data flow" class="doc-image" id="online-data-flow" />
   </span> <span class="img-wrapper"> <span>fluxo de dados em linha</span> </span></p>
<h3 id="Data-post-processing" class="common-anchor-header">Pós-processamento de dados</h3><p>A lógica comercial varia consoante a empresa. Pode dar um toque final aos resultados aplicando a lógica comercial da sua empresa.</p>
<h2 id="System-demo" class="common-anchor-header">Demonstração do sistema<button data-href="#System-demo" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Vejamos agora como funciona o sistema que criámos.</p>
<p>A interface do utilizador (IU) apresenta a possibilidade de diferentes combinações de componentes do armário.</p>
<p>Cada componente é etiquetado pela sua caraterística (tamanho, cor, etc.) e armazenado no Elasticsearch (ES). Ao armazenar as etiquetas no ES, existem quatro campos de dados principais a preencher: ID, etiquetas, caminho de armazenamento e outros campos de suporte. O ES e os dados rotulados são utilizados para a recolha granular e a filtragem de atributos.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/es_d5b0639610.png" alt="es" class="doc-image" id="es" />
   </span> <span class="img-wrapper"> <span>es</span> </span></p>
<p>Em seguida, são utilizados diferentes algoritmos de IA para codificar um guarda-roupa num conjunto de vectores. Os conjuntos de vectores são armazenados no Milvus para pesquisa de semelhanças e classificação. Este passo permite obter resultados mais refinados e exactos.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Milvus_38dd93a439.jpeg" alt="Milvus" class="doc-image" id="milvus" />
   </span> <span class="img-wrapper"> <span>Milvus</span> </span></p>
<p>O Elasticsearch, o Milvus e outros componentes do sistema formam a plataforma de design de personalização como um todo. Durante a recordação, a linguagem específica do domínio (DSL) no Elasticsearch e no Milvus é a seguinte.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/dsl_df60097d23.png" alt="dsl" class="doc-image" id="dsl" />
   </span> <span class="img-wrapper"> <span>dsl</span> </span></p>
<h2 id="Looking-for-more-resources" class="common-anchor-header">Procura mais recursos?<button data-href="#Looking-for-more-resources" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Saiba como o banco de dados de vetores do Milvus pode potencializar mais aplicativos de IA:</p>
<ul>
<li><a href="https://milvus.io/blog/2022-06-23-How-Short-video-Platform-Likee-Removes-Duplicate-Videos-with-Milvus.md">Como a plataforma de vídeos curtos Likee remove vídeos duplicados com o Milvus</a></li>
<li><a href="https://milvus.io/blog/2022-06-20-Zhentu-the-Photo-Fraud-Detector-Based-on-Milvus.md">Zhentu - O detetor de fraudes fotográficas baseado em Milvus</a></li>
</ul>


Criação de um sistema inteligente de personalização de guarda-roupa com base de dados vectoriais Milvus

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/How_Short_video_Platform_Likee_Removes_Duplicate_Videos_with_Milvus_07bd75ec82.png" alt="Cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>Imagem da capa</span> </span></p>
<blockquote>
<p>Este artigo foi escrito por Xinyang Guo e Baoyu Han, engenheiros da BIGO, e traduzido por <a href="https://www.linkedin.cn/incareer/in/rosie-zhang-694528149">Rosie Zhang</a>.</p>
</blockquote>
<p><a href="https://www.bigo.sg/">A BIGO Technology</a> (BIGO) é uma das empresas tecnológicas de Singapura com crescimento mais rápido. Alimentados por tecnologia de inteligência artificial, os produtos e serviços baseados em vídeo da BIGO ganharam imensa popularidade em todo o mundo, com mais de 400 milhões de utilizadores em mais de 150 países. Estes incluem o <a href="https://www.bigo.tv/bigo_intro/en.html?hk=true">Bigo Live</a> (transmissão em direto) e <a href="https://likee.video/">o Likee</a> (vídeo de curta duração).</p>
<p>O Likee é uma plataforma global de criação de vídeos curtos onde os utilizadores podem partilhar os seus momentos, expressar-se e ligar-se ao mundo. Para melhorar a experiência do utilizador e recomendar-lhe conteúdos de maior qualidade, o Likee tem de eliminar os vídeos duplicados de uma enorme quantidade de vídeos gerados pelos utilizadores todos os dias, o que não é uma tarefa fácil.</p>
<p>Este blogue apresenta a forma como o BIGO utiliza <a href="https://milvus.io">o Milvus</a>, uma base de dados vetorial de código aberto, para remover eficazmente vídeos duplicados.</p>
<p><strong>Saltar para:</strong></p>
<ul>
<li><a href="#Overview">Visão geral</a></li>
<li><a href="#Video-deduplication-workflow">Fluxo de trabalho de deduplicação de vídeo</a></li>
<li><a href="#System-architecture">Arquitetura do sistema</a></li>
<li><a href="#Using-Milvus-vector-database-to-power-similarity-search">Utilização do Milvus para potenciar a pesquisa de semelhanças</a></li>
</ul>
<custom-h1>Descrição geral</custom-h1><p>O Milvus é um banco de dados vetorial de código aberto que oferece pesquisa vetorial ultra-rápida. Com o Milvus, o Likee é capaz de concluir uma pesquisa em 200 ms, garantindo uma alta taxa de recuperação. Entretanto, ao <a href="https://milvus.io/docs/v2.0.x/scaleout.md#Scale-a-Milvus-Cluster">escalar o Milvus horizontalmente</a>, o Likee aumenta com sucesso o rendimento das consultas vectoriais, melhorando ainda mais a sua eficiência.</p>
<custom-h1>Fluxo de trabalho de desduplicação de vídeo</custom-h1><p>Como é que o Likee identifica vídeos duplicados? Sempre que um vídeo de consulta é introduzido no sistema do Likee, é cortado em 15-20 fotogramas e cada fotograma é convertido num vetor de caraterísticas. Em seguida, o Likee pesquisa numa base de dados de 700 milhões de vectores para encontrar os K vectores mais semelhantes. Cada um dos K vectores de topo corresponde a um vídeo da base de dados. O Likee efectua ainda pesquisas refinadas para obter os resultados finais e determinar os vídeos a remover.</p>
<custom-h1>Arquitetura do sistema</custom-h1><p>Vejamos em pormenor como funciona o sistema de desduplicação de vídeos do Likee utilizando o Milvus. Como se mostra no diagrama abaixo, os novos vídeos carregados no Likee serão escritos no Kafka, um sistema de armazenamento de dados, em tempo real e consumidos pelos consumidores do Kafka. Os vectores de caraterísticas destes vídeos são extraídos através de modelos de aprendizagem profunda, em que os dados não estruturados (vídeo) são convertidos em vectores de caraterísticas. Estes vectores de caraterísticas serão empacotados pelo sistema e enviados para o auditor de semelhanças.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Likee_1_6f7ebcd8fc.png" alt="Architechure of Likee's video de-duplication system" class="doc-image" id="architechure-of-likee's-video-de-duplication-system" />
   </span> <span class="img-wrapper"> <span>Arquitetura do sistema de desduplicação de vídeo do Likee</span> </span></p>
<p>Os vectores de caraterísticas extraídos serão indexados pelo Milvus e armazenados no Ceph, antes de serem <a href="https://milvus.io/blog/deep-dive-5-real-time-query.md">carregados pelo nó de consulta do Milvus</a> para posterior pesquisa. Os IDs de vídeo correspondentes a estes vectores de caraterísticas também serão armazenados simultaneamente no TiDB ou no Pika, de acordo com as necessidades reais.</p>
<h3 id="Using-Milvus-vector-database-to-power-similarity-search" class="common-anchor-header">Utilizar a base de dados de vectores Milvus para potenciar a pesquisa por semelhança</h3><p>Ao procurar vectores semelhantes, os milhares de milhões de dados existentes, juntamente com grandes quantidades de novos dados gerados todos os dias, colocam grandes desafios à funcionalidade do motor de pesquisa de vectores. Após uma análise exaustiva, o Likee acabou por escolher o Milvus, um motor de pesquisa vetorial distribuído de elevado desempenho e elevada taxa de recuperação, para efetuar a pesquisa de semelhanças vectoriais.</p>
<p>Como se pode ver no diagrama abaixo, o procedimento de uma pesquisa por semelhança é o seguinte:</p>
<ol>
<li><p>Primeiro, o Milvus efectua uma pesquisa em lote para recuperar os 100 principais vectores semelhantes para cada um dos múltiplos vectores de caraterísticas extraídos de um novo vídeo. Cada vetor semelhante é associado ao seu ID de vídeo correspondente.</p></li>
<li><p>Em segundo lugar, ao comparar os IDs dos vídeos, o Milvus remove os vídeos duplicados e recupera os vectores de caraterísticas dos restantes vídeos a partir do TiDB ou do Pika.</p></li>
<li><p>Por fim, o Milvus calcula e pontua a semelhança entre cada conjunto de vectores de caraterísticas recuperados e os vectores de caraterísticas do vídeo consultado. O ID do vídeo com a pontuação mais elevada é devolvido como resultado. Assim, a pesquisa por semelhança de vídeo é concluída.</p></li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/02_a24d251c8f.png" alt="Procedure of a similarity search" class="doc-image" id="procedure-of-a-similarity-search" />
   </span> <span class="img-wrapper"> <span>Procedimento de uma pesquisa por semelhança</span> </span></p>
<p>Enquanto motor de pesquisa vetorial de elevado desempenho, o Milvus fez um trabalho extraordinário no sistema de desduplicação de vídeo do Likee, impulsionando grandemente o crescimento do negócio de vídeos curtos do BIGO. Em termos de negócios de vídeo, há muitos outros cenários em que o Milvus pode ser aplicado, como o bloqueio de conteúdo ilegal ou a recomendação personalizada de vídeos. Tanto a BIGO como a Milvus estão ansiosas por uma futura cooperação em mais áreas.</p>


Como a plataforma de vídeos curtos Likee remove vídeos duplicados com Milvus

Pesquisa de semelhanças escalável e extremamente rápida com a base de dados de vectores Milvus

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/zhentu_0ae11c98ee.png" alt="cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>imagem da capa</span> </span></p>
<blockquote>
<p>Este artigo foi escrito por Yan Shi e Minwei Tang, engenheiros de algoritmos sénior da BestPay, e traduzido por <a href="https://www.linkedin.cn/incareer/in/rosie-zhang-694528149">Rosie Zhang</a>.</p>
</blockquote>
<p>Nos últimos anos, à medida que o comércio eletrónico e as transacções em linha se tornaram comuns em todo o mundo, a fraude no comércio eletrónico também floresceu. Ao utilizarem fotografias geradas por computador em vez de fotografias reais para passarem na verificação da identidade nas plataformas comerciais em linha, os autores de fraudes criam contas falsas em grande escala e aproveitam as ofertas especiais das empresas (por exemplo, ofertas de adesão, cupões, fichas), o que traz prejuízos irreparáveis tanto para os consumidores como para as empresas.</p>
<p>Os métodos tradicionais de controlo do risco já não são eficazes face a uma quantidade substancial de dados. Para resolver o problema, <a href="https://www.bestpay.com.cn">a BestPay</a> criou um detetor de fraudes fotográficas, o Zhentu (que significa detetar imagens em chinês), baseado em tecnologias de aprendizagem profunda (DL) e de processamento digital de imagens (DIP). O Zhentu é aplicável a vários cenários que envolvem o reconhecimento de imagens, sendo uma importante ramificação a identificação de licenças comerciais falsas. Se a fotografia da licença comercial submetida por um utilizador for muito semelhante a outra fotografia já existente na biblioteca de fotografias de uma plataforma, é provável que o utilizador tenha roubado a fotografia algures ou tenha forjado uma licença para fins fraudulentos.</p>
<p>Os algoritmos tradicionais para medir a semelhança de imagens, como o <a href="https://en.wikipedia.org/wiki/Peak_signal-to-noise_ratio">PSNR</a> e o ORB, são lentos e imprecisos, sendo apenas aplicáveis a tarefas offline. A aprendizagem profunda, por outro lado, é capaz de processar dados de imagem em grande escala em tempo real e é o melhor método para fazer corresponder imagens semelhantes. Com os esforços conjuntos da equipa de I&amp;D da BestPay e da <a href="https://milvus.io/">comunidade Milvus</a>, foi desenvolvido um sistema de deteção de fraudes fotográficas como parte do Zhentu. Este sistema funciona convertendo grandes quantidades de dados de imagem em vectores de caraterísticas através de modelos de aprendizagem profunda e inserindo-os no <a href="https://milvus.io/">Milvus</a>, um motor de pesquisa de vectores. Com o Milvus, o sistema de deteção é capaz de indexar triliões de vectores e recuperar eficazmente fotografias semelhantes entre dezenas de milhões de imagens.</p>
<p><strong>Saltar para:</strong></p>
<ul>
<li><a href="#an-overview-of-zhentu">Uma visão geral do Zhentu</a></li>
<li><a href="#system-structure">Estrutura do sistema</a></li>
<li><a href="#deployment"><strong>Implementação</strong></a></li>
<li><a href="#real-world-performance"><strong>Desempenho no mundo real</strong></a></li>
<li><a href="#reference"><strong>Referência</strong></a></li>
<li><a href="#about-bestpay"><strong>Sobre a BestPay</strong></a></li>
</ul>
<h2 id="An-overview-of-Zhentu" class="common-anchor-header">Uma visão geral do Zhentu<button data-href="#An-overview-of-Zhentu" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>O Zhentu é o produto de controlo de risco visual multimédia concebido pela BestPay, profundamente integrado com tecnologias de aprendizagem automática (ML) e de reconhecimento de imagem de rede neural. O seu algoritmo integrado pode identificar com precisão os autores de fraudes durante a autenticação do utilizador e responder ao nível dos milissegundos. Com a sua tecnologia líder na indústria e solução inovadora, a Zhentu ganhou cinco patentes e dois direitos de autor de software. Atualmente, está a ser utilizado em vários bancos e instituições financeiras para ajudar a identificar antecipadamente potenciais riscos.</p>
<h2 id="System-structure" class="common-anchor-header">Estrutura do sistema<button data-href="#System-structure" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Atualmente, a BestPay tem mais de 10 milhões de fotografias de licenças comerciais e o volume real continua a aumentar exponencialmente à medida que a empresa cresce. Para recuperar rapidamente fotografias semelhantes de uma base de dados tão grande, a Zhentu escolheu o Milvus como motor de cálculo de semelhança de vectores de caraterísticas. A estrutura geral do sistema de deteção de fraudes fotográficas é apresentada no diagrama abaixo.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Structure_of_the_photo_fraud_detection_system_cf5d20d431.png" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<p>O procedimento pode ser dividido em quatro etapas:</p>
<ol>
<li><p>Pré-processamento da imagem. O pré-processamento, que inclui a redução do ruído, a remoção do ruído e o melhoramento do contraste, assegura a integridade da informação original e a remoção de informação inútil do sinal de imagem.</p></li>
<li><p>Extração do vetor de caraterísticas. Um modelo de aprendizagem profunda especialmente treinado é utilizado para extrair os vectores de caraterísticas da imagem. A conversão de imagens em vectores para posterior pesquisa de semelhanças é uma operação de rotina.</p></li>
<li><p>Normalização. A normalização dos vectores de caraterísticas extraídos ajuda a melhorar a eficiência do processamento subsequente.</p></li>
<li><p>Pesquisa de vectores com Milvus. Inserção dos vectores normalizados na base de dados Milvus para pesquisa de semelhanças vectoriais.</p></li>
</ol>
<h2 id="Deployment" class="common-anchor-header"><strong>Implementação</strong><button data-href="#Deployment" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Segue-se uma breve descrição de como o sistema de deteção de fraudes fotográficas da Zhentu é implementado.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/milvus_architecture_ea45a5ab53.png" alt="Milvus system architecture" class="doc-image" id="milvus-system-architecture" />
   </span> <span class="img-wrapper"> <span>Arquitetura do sistema Milvus</span> </span></p>
<p>Implementámos o nosso <a href="https://milvus.io/docs/v2.0.x/install_cluster-helm.md">cluster Milvus em Kubernetes</a> para garantir uma elevada disponibilidade e sincronização em tempo real dos serviços na nuvem. Os passos gerais são os seguintes:</p>
<ol>
<li><p>Ver os recursos disponíveis. Execute o comando <code translate="no">kubectl describe nodes</code> para ver os recursos que o cluster do Kubernetes pode alocar para os casos criados.</p></li>
<li><p>Alocar recursos. Execute o comando <code translate="no">kubect`` -- apply xxx.yaml</code> para alocar recursos de memória e CPU para os componentes do cluster Milvus usando o Helm.</p></li>
<li><p>Aplicar a nova configuração. Execute o comando <code translate="no">helm upgrade my-release milvus/milvus --reuse-values -fresources.yaml</code>.</p></li>
<li><p>Aplique a nova configuração ao cluster do Milvus. O cluster implementado desta forma não só nos permite ajustar a capacidade do sistema de acordo com as diferentes necessidades comerciais, como também satisfaz melhor os requisitos de elevado desempenho para a recuperação massiva de dados vectoriais.</p></li>
</ol>
<p>É possível <a href="https://milvus.io/docs/v2.0.x/configure-docker.md">configurar o Milvus</a> para otimizar o desempenho da pesquisa para diferentes tipos de dados de diferentes cenários empresariais, como se mostra nos dois exemplos seguintes.</p>
<p>Na <a href="https://milvus.io/docs/v2.0.x/build_index.md">construção do índice vetorial</a>, parametrizamos o índice de acordo com o cenário real do sistema, como se segue:</p>
<pre><code translate="no" class="language-Python">index = {<span class="hljs-string">&quot;index_type&quot;</span>: <span class="hljs-string">&quot;IVF_PQ&quot;</span>, <span class="hljs-string">&quot;params&quot;</span>: {<span class="hljs-string">&quot;nlist&quot;</span>: <span class="hljs-number">2048</span>}, <span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&quot;IP&quot;</span>}
<button class="copy-code-btn"></button></code></pre>
<p><a href="https://milvus.io/docs/v2.0.x/index.md#IVF_PQ">O IVF_PQ</a> efectua o agrupamento do índice IVF antes de quantificar o produto de vectores. Apresenta uma consulta de disco de alta velocidade e um consumo de memória muito baixo, o que satisfaz as necessidades da aplicação real do Zhentu.</p>
<p>Além disso, definimos os parâmetros de pesquisa óptimos da seguinte forma:</p>
<pre><code translate="no" class="language-Python">search_params = {<span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&quot;IP&quot;</span>, <span class="hljs-string">&quot;params&quot;</span>: {<span class="hljs-string">&quot;nprobe&quot;</span>: <span class="hljs-number">32</span>}}
<button class="copy-code-btn"></button></code></pre>
<p>Como os vectores já estão normalizados antes de serem introduzidos no Milvus, o produto interno (PI) é escolhido para calcular a distância entre dois vectores. As experiências provaram que a taxa de recuperação é aumentada em cerca de 15% utilizando o PI do que utilizando a distância euclidiana (L2).</p>
<p>Os exemplos acima mostram que podemos testar e definir os parâmetros do Milvus de acordo com diferentes cenários empresariais e requisitos de desempenho.</p>
<p>Para além disso, Milvus não só integra diferentes bibliotecas de índices, como também suporta diferentes tipos de índices e métodos de cálculo de similaridade. O Milvus também fornece SDKs oficiais em vários idiomas e APIs ricas para inserção, consulta, etc., permitindo que os nossos grupos comerciais de front-end utilizem os SDKs para chamar o centro de controlo de riscos.</p>
<h2 id="Real-world-performance" class="common-anchor-header"><strong>Desempenho no mundo real</strong><button data-href="#Real-world-performance" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Até agora, o sistema de deteção de fraudes com fotografias tem funcionado de forma constante, ajudando as empresas a identificar potenciais autores de fraudes. Em 2021, detetou mais de 20 000 licenças falsas ao longo do ano. Em termos de velocidade de consulta, uma única consulta de vetor entre dezenas de milhões de vetores leva menos de 1 segundo, e o tempo médio de consulta em lote é inferior a 0,08 segundos. A pesquisa de alto desempenho do Milvus satisfaz as necessidades das empresas em termos de precisão e simultaneidade.</p>
<h2 id="Reference" class="common-anchor-header"><strong>Referências</strong><button data-href="#Reference" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Aglave P, Kolkure V S. Implementação de um método de extração de caraterísticas de elevado desempenho utilizando o algoritmo de resumo orientado rápido e rodado [J]. Int. J. Res. Eng. Technol, 2015, 4: 394-397.</p>
<h2 id="About-BestPay" class="common-anchor-header"><strong>Sobre a BestPay</strong><button data-href="#About-BestPay" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>A China Telecom BestPay Co., Ltd é uma subsidiária integral da China Telecom. Opera os negócios de pagamento e finanças. A BestPay está empenhada em utilizar tecnologias de ponta, como big data, inteligência artificial e computação em nuvem, para potenciar a inovação empresarial, fornecendo produtos inteligentes, soluções de controlo de risco e outros serviços. Até janeiro de 2016, a aplicação denominada BestPay atraiu mais de 200 milhões de utilizadores e tornou-se o terceiro maior operador de plataformas de pagamento na China, seguindo de perto a Alipay e a WeChat Payment.</p>


Zhentu - o detetor de fraudes fotográficas baseado em Milvus

Jangada ou não? A melhor solução para a consistência de dados em bancos de dados nativos da nuvem

O que permite a pesquisa por semelhança na base de dados vetorial Milvus?

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Deep_Dive_7_baae830823.png" alt="Cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>Imagem da capa</span> </span></p>
<blockquote>
<p>Este artigo foi transcriado por <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni</a>.</p>
</blockquote>
<p>Uma <a href="https://milvus.io/docs/v2.0.x/query.md">consulta vetorial</a> em Milvus é o processo de obtenção de vectores através de uma filtragem escalar baseada numa expressão booleana. Com a filtragem escalar, os utilizadores podem limitar os resultados das suas consultas com determinadas condições aplicadas aos atributos dos dados. Por exemplo, se um utilizador procurar filmes lançados entre 1990 e 2010 e com pontuações superiores a 8,5, apenas os filmes cujos atributos (ano de lançamento e pontuação) satisfazem a condição.</p>
<p>Esta publicação tem como objetivo examinar a forma como uma consulta é concluída no Milvus, desde a introdução de uma expressão de consulta até à geração do plano de consulta e à execução da consulta.</p>
<p><strong>Saltar para:</strong></p>
<ul>
<li><a href="#Query-expression">Expressão de consulta</a></li>
<li><a href="#Plan-AST-generation">Geração do plano AST</a></li>
<li><a href="#Query-execution">Execução da consulta</a></li>
</ul>
<h2 id="Query-expression" class="common-anchor-header">Expressão da consulta<button data-href="#Query-expression" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>A expressão da consulta com filtragem de atributos em Milvus adopta a sintaxe EBNF (Extended Backus-Naur form). A imagem seguinte apresenta as regras de expressão em Milvus.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Expression_Syntax_966493a5be.png" alt="Expression Syntax" class="doc-image" id="expression-syntax" />
   </span> <span class="img-wrapper"> <span>Sintaxe da expressão</span> </span></p>
<p>As expressões lógicas podem ser criadas utilizando a combinação de operadores lógicos binários, operadores lógicos unários, expressões lógicas e expressões simples. Uma vez que a sintaxe EBNF é recursiva, uma expressão lógica pode ser o resultado da combinação ou parte de uma expressão lógica maior. Uma expressão lógica pode conter muitas sub-expressões lógicas. A mesma regra aplica-se em Milvus. Se um utilizador precisar de filtrar os atributos dos resultados com muitas condições, pode criar o seu próprio conjunto de condições de filtragem combinando diferentes operadores e expressões lógicas.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Boolean_expression_1_dce12f8483.png" alt="Boolean expression" class="doc-image" id="boolean-expression" />
   </span> <span class="img-wrapper"> <span>Expressão booleana</span> </span></p>
<p>A imagem acima mostra parte das <a href="https://milvus.io/docs/v2.0.x/boolean.md">regras de expressão booleana</a> no Milvus. Os operadores lógicos unários podem ser adicionados a uma expressão. Atualmente, o Milvus apenas suporta o operador lógico unário &quot;not&quot;, que indica que o sistema tem de retirar os vectores cujos valores do campo escalar não satisfazem os resultados do cálculo. Os operadores lógicos binários incluem &quot;e&quot; e &quot;ou&quot;. As expressões simples incluem expressões de termo e expressões de comparação.</p>
<p>O cálculo aritmético básico como a adição, a subtração, a multiplicação e a divisão também é suportado durante uma consulta no Milvus. A imagem seguinte demonstra a precedência das operações. Os operadores são listados de cima para baixo em precedência decrescente.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Precedence_b8cfbdf17b.png" alt="Precedence" class="doc-image" id="precedence" />
   </span> <span class="img-wrapper"> <span>Precedência</span> </span></p>
<h3 id="How-a-query-expression-on-certain-films-is-processed-in-Milvus" class="common-anchor-header">Como é que uma expressão de consulta sobre determinados filmes é processada no Milvus?</h3><p>Suponhamos que há uma grande quantidade de dados de filmes armazenados no Milvus e que o utilizador pretende consultar determinados filmes. Por exemplo, os dados de cada filme armazenados no Milvus têm os seguintes cinco campos: ID do filme, ano de lançamento, tipo de filme, pontuação e cartaz. Neste exemplo, o tipo de dados do ID do filme e do ano de lançamento é int64, enquanto as pontuações dos filmes são dados de ponto flutuante. Além disso, os cartazes dos filmes são armazenados no formato de vectores de ponto flutuante e o tipo de filme no formato de dados de cadeia. Nomeadamente, o suporte para o tipo de dados string é uma nova caraterística do Milvus 2.1.</p>
<p>Por exemplo, se um utilizador quiser consultar os filmes com pontuações superiores a 8,5. Os filmes também devem ter sido lançados entre uma década antes de 2000 e uma década depois de 2000 ou os seus tipos devem ser filmes de comédia ou de ação, o utilizador tem de introduzir a seguinte expressão de predicado: <code translate="no">score &gt; 8.5 &amp;&amp; (2000 - 10 &lt; release_year &lt; 2000 + 10 || type in [comedy,action])</code>.</p>
<p>Ao receber a expressão de consulta, o sistema executá-la-á na seguinte precedência:</p>
<ol>
<li>Consulta de filmes com pontuação superior a 8,5. Os resultados da consulta são designados por &quot;resultado1&quot;.</li>
<li>Calcular 2000 - 10 para obter o "resultado2" (1990).</li>
<li>Calcular 2000 + 10 para obter o "resultado3" (2010).</li>
<li>Procurar filmes com o valor de <code translate="no">release_year</code> superior a &quot;resultado2&quot; e inferior a &quot;resultado3&quot;. Ou seja, o sistema precisa de consultar os filmes lançados entre 1990 e 2010. Os resultados da consulta são designados por &quot;resultado4&quot;.</li>
<li>Consultar filmes que sejam comédias ou filmes de ação. Os resultados da consulta são designados por &quot;resultado5&quot;.</li>
<li>Combine "resultado4" e "resultado5" para obter filmes que tenham sido lançados entre 1990 e 2010 ou que pertençam à categoria de comédia ou filme de ação. Os resultados são designados por &quot;resultado6&quot;.</li>
<li>Pegue na parte comum de "resultado1" e "resultado6" para obter os resultados finais que satisfazem todas as condições.</li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Frame_1_16_00972a6e5d.png" alt="Film example" class="doc-image" id="film-example" />
   </span> <span class="img-wrapper"> <span>Exemplo de filme</span> </span></p>
<h2 id="Plan-AST-generation" class="common-anchor-header">Geração do plano AST<button data-href="#Plan-AST-generation" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>O Milvus utiliza a ferramenta de código aberto <a href="https://www.antlr.org/">ANTLR</a> (ANother Tool for Language Recognition) para a geração do plano AST (abstract syntax tree). O ANTLR é um poderoso gerador de parser para ler, processar, executar ou traduzir ficheiros estruturados de texto ou binários. Mais especificamente, o ANTLR pode gerar um analisador para construir e percorrer árvores de análise com base em sintaxe ou regras predefinidas. A imagem seguinte é um exemplo em que a expressão de entrada é &quot;SP=100;&quot;. LEXER, a funcionalidade de reconhecimento de linguagem incorporada no ANTLR, gera quatro tokens para a expressão de entrada - &quot;SP&quot;, &quot;=&quot;, &quot;100&quot; e &quot;;&quot;. Em seguida, a ferramenta analisará os quatro tokens para gerar a árvore de análise correspondente.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/parse_tree_b2c3fb0b36.png" alt="parse tree" class="doc-image" id="parse-tree" />
   </span> <span class="img-wrapper"> <span>árvore de análise</span> </span></p>
<p>O mecanismo de análise é uma parte crucial da ferramenta ANTLR. Foi concebido para percorrer todas as árvores de análise para examinar se cada nó obedece às regras de sintaxe ou para detetar determinadas palavras sensíveis. Algumas das APIs relevantes estão listadas na imagem abaixo. Como o ANTLR começa no nó raiz e vai descendo por cada sub-nó até o final, não há necessidade de diferenciar a ordem de como percorrer a árvore de análise.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/parse_tree_walker_9a27942502.png" alt="parse tree walker" class="doc-image" id="parse-tree-walker" />
   </span> <span class="img-wrapper"> <span>caminhador da árvore de análise</span> </span></p>
<p>O Milvus gera o PlanAST para consulta de forma semelhante ao ANTLR. No entanto, o uso do ANTLR requer a redefinição de regras de sintaxe bastante complicadas. Portanto, o Milvus adopta uma das regras mais prevalecentes - regras de expressão booleana, e depende do pacote <a href="https://github.com/antonmedv/expr">Expr</a> open sourced no GitHub para consultar e analisar a sintaxe das expressões de consulta.</p>
<p>Durante uma consulta com filtragem de atributos, o Milvus irá gerar uma árvore de planos primitiva não resolvida usando o ant-parser, o método de análise fornecido pelo Expr, ao receber a expressão de consulta. A árvore de planos primitiva que obteremos é uma árvore binária simples. Em seguida, a árvore de planos é ajustada pelo Expr e pelo optimizador incorporado no Milvus. O optimizador em Milvus é bastante semelhante ao mecanismo de caminhada acima mencionado. Uma vez que a funcionalidade de otimização da árvore de planos fornecida pelo Expr é bastante sofisticada, a carga do optimizador incorporado no Milvus é aliviada em grande medida. Em última análise, o analisador analisa a árvore de planos optimizada de forma recursiva para gerar um plano AST na estrutura de <a href="https://developers.google.com/protocol-buffers">buffers de protocolo</a> (protobuf).</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/plan_AST_workflow_3e50b7a0d4.png" alt="plan AST workflow" class="doc-image" id="plan-ast-workflow" />
   </span> <span class="img-wrapper"> <span>Fluxo de trabalho do plano AST</span> </span></p>
<h2 id="Query-execution" class="common-anchor-header">Execução da consulta<button data-href="#Query-execution" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>A execução da consulta é, na sua origem, a execução do plano AST gerado nas etapas anteriores.</p>
<p>No Milvus, um plano AST é definido numa estrutura proto. A imagem abaixo é uma mensagem com a estrutura protobuf. Existem seis tipos de expressões, entre as quais a expressão binária e a expressão unária, que podem ainda ter expressão lógica binária e expressão lógica unária.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Protobuf1_232132dcf2.png" alt="protobuf1" class="doc-image" id="protobuf1" />
   </span> <span class="img-wrapper"> <span>protobuf1</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/protobuf2_193f92f033.png" alt="protobuf2" class="doc-image" id="protobuf2" />
   </span> <span class="img-wrapper"> <span>protobuf2</span> </span></p>
<p>A imagem abaixo é uma imagem UML da expressão de consulta. Demonstra a classe básica e a classe derivada de cada expressão. Cada classe tem um método para aceitar parâmetros de visitante. Este é um padrão típico de conceção de visitantes. O Milvus utiliza este padrão para executar o plano AST, uma vez que a sua maior vantagem é o facto de os utilizadores não terem de fazer nada às expressões primitivas, podendo aceder diretamente a um dos métodos dos padrões para modificar determinada classe de expressão de consulta e elementos relevantes.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/UML_1238bc30e1.png" alt="UML" class="doc-image" id="uml" />
   </span> <span class="img-wrapper"> <span>UML</span> </span></p>
<p>Ao executar um plano AST, o Milvus recebe primeiro um nó de plano do tipo proto. Em seguida, obtém um nó de plano do tipo segcore através do analisador interno C++ proto. Após a obtenção dos dois tipos de nós de plano, o Milvus aceita uma série de acessos de classe e, em seguida, modifica e executa a estrutura interna dos nós de plano. Por fim, o Milvus procura em todos os nós do plano de execução para obter os resultados filtrados. Os resultados finais são apresentados no formato de uma máscara de bits. Uma máscara de bits é um conjunto de números de bits ("0" e "1"). Os dados que satisfazem as condições de filtragem são marcados com "1" na máscara de bits, enquanto os que não satisfazem os requisitos são marcados com "0" na máscara de bits.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/execute_workflow_d89f1ee925.png" alt="execute workflow" class="doc-image" id="execute-workflow" />
   </span> <span class="img-wrapper"> <span>executar fluxo de trabalho</span> </span></p>
<h2 id="About-the-Deep-Dive-Series" class="common-anchor-header">Sobre a série Deep Dive<button data-href="#About-the-Deep-Dive-Series" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Com o <a href="https://milvus.io/blog/2022-1-25-annoucing-general-availability-of-milvus-2-0.md">anúncio oficial da disponibilidade geral</a> do Milvus 2.0, orquestrámos esta série de blogues Milvus Deep Dive para fornecer uma interpretação aprofundada da arquitetura e do código fonte do Milvus. Os tópicos abordados nesta série de blogues incluem:</p>
<ul>
<li><a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">Visão geral da arquitetura do Milvus</a></li>
<li><a href="https://milvus.io/blog/deep-dive-2-milvus-sdk-and-api.md">APIs e SDKs Python</a></li>
<li><a href="https://milvus.io/blog/deep-dive-3-data-processing.md">Processamento de dados</a></li>
<li><a href="https://milvus.io/blog/deep-dive-4-data-insertion-and-data-persistence.md">Gestão de dados</a></li>
<li><a href="https://milvus.io/blog/deep-dive-5-real-time-query.md">Consulta em tempo real</a></li>
<li><a href="https://milvus.io/blog/deep-dive-7-query-expression.md">Motor de execução escalar</a></li>
<li><a href="https://milvus.io/blog/deep-dive-6-oss-qa.md">Sistema QA</a></li>
<li><a href="https://milvus.io/blog/deep-dive-8-knowhere.md">Motor de execução vetorial</a></li>
</ul>


Como é que a base de dados compreende e executa a sua consulta?

Garantia de qualidade do software de código aberto (OSS) - Um estudo de caso da Milvus

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220516_163732_d40acac221.png" alt="Cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>Imagem da capa</span> </span></p>
<p>Atingimos recentemente um marco incrível na jornada da base de dados vetorial - mais de 10 mil estrelas no <a href="https://github.com/milvus-io/milvus">repositório GitHub do Milvus</a>. Obrigado a todos e a cada um de vós que nos apoiaram dando-nos uma estrela ⭐️.</p>
<p>Passaram 2,5 anos maravilhosos desde que o Milvus se tornou um projeto de código aberto. Quando começámos, muito poucas pessoas compreendiam exatamente o que é uma base de dados vetorial, e muito menos falavam sobre a forma como esta permitiria e aceleraria a adoção da IA no nosso quotidiano. A base de dados vetorial Milvus é a nossa visão de definir e construir a base de dados de próxima geração para a IA. Combinamos algoritmos SOTA com tecnologias de nuvem no projeto Milvus para que os programadores possam criar aplicações de IA facilmente com a base de dados vetorial Milvus.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Milvus_0_10000_d50a914332.gif" alt="Gif2" class="doc-image" id="gif2" />
   </span> <span class="img-wrapper"> <span>Gif2</span> </span></p>
<div align="center">Clique <a href="https://www.youtube.com/watch?v=zIAX_oPI2Jk&ab_channel=Milvus-VectorDatabase">aqui</a> para ver o vídeo completo da visualização do desenvolvimento do repositório Milvus.</div>
<p><br/></p>
<p>Existem muitos <a href="https://github.com/milvus-io/milvus">projectos brilhantes</a> que lançaram as bases para o Milvus, e estamos gratos por estarmos nos ombros dos gigantes. Sem eles o Milvus não teria existido.</p>
<p>Também estamos incrivelmente gratos à nossa incrível comunidade, que ajudou a abrir um capítulo emocionante para este novo tipo de base de dados. Antes de olharmos para o futuro, queremos parar um momento para refletir sobre esta viagem, olhar para os nossos marcos e reconhecer e agradecer aos nossos programadores:</p>
<ul>
<li>Juntámo-nos à LF AI &amp; Data Foundation no nível de <a href="https://lfaidata.foundation/blog/2020/04/02/milvus-joins-lf-ai-as-new-incubation-project/">incubação</a>, encontrando a nossa casa ao lado de muitos outros grandes projectos de IA e dados de código aberto. Agora, o Milvus já é um <a href="https://lfaidata.foundation/blog/2021/06/23/lf-ai-data-foundation-announces-graduation-of-milvus-project/">projeto de graduação</a>.</li>
<li>Entregámos dois grandes lançamentos: <a href="https://milvus.io/docs/v1.0.0/announcement.md">Milvus 1.0</a> e <a href="https://milvus.io/docs/v2.0.x/comparison.md">Milvus 2.0</a>.</li>
<li>Um artigo SIGMOD foi publicado: <a href="https://dl.acm.org/doi/abs/10.1145/3448016.3457550">Milvus: A Purpose-Built Vetor Data Management System</a>.</li>
<li>Atualmente, temos mais de 10.000 membros na comunidade e mais de 220 colaboradores em todo o mundo.</li>
<li>Há mais de <a href="https://milvus.io/">1000 utilizadores empresariais</a> que adoptaram o Milvus. Entre eles, encontram-se muitos líderes da indústria.</li>
</ul>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Milvus_10000_star_timeline_3sec_de1a7c906a.gif" alt="Timeline gif" class="doc-image" id="timeline-gif" />
   </span> <span class="img-wrapper"> <span>Género da linha do tempo</span> </span></p>
<p>Tudo isto só é possível graças a cada pessoa que contribui. Obrigado pelos seus pull requests, relatórios de problemas, e-mails, reuniões e pela partilha do seu conhecimento sobre o Milvus. Todos vocês estão a desempenhar um papel valioso no progresso do Milvus.</p>
<h2 id="Special-event" class="common-anchor-header">Evento especial<button data-href="#Special-event" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Para este marco especial, preparámos um pequeno presente de agradecimento - <a href="https://assets.zilliz.com/10_K_stars_2b2e0e0b36.png">um papel de parede descarregável para o ambiente de trabalho</a>. Esperamos que gostes!</p>
<p>Seria bom se ajudasses a <a href="https://twitter.com/milvusio">espalhar a palavra</a>! ❤️</p>


Um pequeno passo para Milvus - 10.000 estrelas

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/deep_dive_5_5e9175c7f7.png" alt="Cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>Imagem da capa</span> </span></p>
<blockquote>
<p>Este artigo foi escrito por <a href="https://github.com/xige-16">Xi Ge</a> e transcrito por <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni</a>.</p>
</blockquote>
<p>No post anterior, falámos sobre a <a href="https://milvus.io/blog/deep-dive-4-data-insertion-and-data-persistence.md">inserção e persistência</a> de <a href="https://milvus.io/blog/deep-dive-4-data-insertion-and-data-persistence.md">dados</a> no Milvus. Neste artigo, vamos continuar a explicar como <a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">os diferentes componentes</a> do Milvus interagem entre si para completar a consulta de dados em tempo real.</p>
<p><em>Alguns recursos úteis antes de começar estão listados abaixo. Recomendamos que os leia primeiro para compreender melhor o tópico deste artigo.</em></p>
<ul>
<li><a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">Mergulho profundo na arquitetura do Milvus</a></li>
<li><a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md#Data-Model">Modelo de dados do Milvus</a></li>
<li><a href="https://milvus.io/docs/v2.0.x/four_layers.md">O papel e a função de cada componente do Milvus</a></li>
<li><a href="https://milvus.io/blog/deep-dive-3-data-processing.md">Processamento de dados em Milvus</a></li>
<li><a href="https://milvus.io/blog/deep-dive-4-data-insertion-and-data-persistence.md">Inserção e persistência de dados em Milvus</a></li>
</ul>
<h2 id="Load-data-to-query-node" class="common-anchor-header">Carregar dados para o nó de consulta<button data-href="#Load-data-to-query-node" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Antes de uma consulta ser executada, os dados têm de ser carregados para os nós de consulta.</p>
<p>Existem dois tipos de dados que são carregados para o nó de consulta: dados de streaming do <a href="https://milvus.io/docs/v2.0.x/four_layers.md#Log-broker">broker de registos</a> e dados históricos do <a href="https://milvus.io/docs/v2.0.x/four_layers.md#Object-storage">armazenamento de objectos</a> (também designado por armazenamento persistente abaixo).</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/flowchart_b1c51dfdaa.png" alt="Flowchart" class="doc-image" id="flowchart" />
   </span> <span class="img-wrapper"> <span>Fluxograma</span> </span></p>
<p>A coordenação de dados é responsável pelo tratamento dos dados em fluxo contínuo que são continuamente introduzidos no Milvus. Quando um utilizador do Milvus chama <code translate="no">collection.load()</code> para carregar uma coleção, o coordenador de consulta consulta o coordenador de dados para saber quais os segmentos que foram persistidos no armazenamento e os seus pontos de controlo correspondentes. Um ponto de controlo é uma marca que indica que os segmentos persistidos antes do ponto de controlo são consumidos e que os segmentos após o ponto de controlo não o são.</p>
<p>Em seguida, a coordenada de consulta produz a estratégia de atribuição com base na informação da coordenada de dados: por segmento ou por canal. O alocador de segmentos é responsável pela alocação de segmentos no armazenamento persistente (dados em lote) para diferentes nós de consulta. Por exemplo, na imagem acima, o alocador de segmentos atribui os segmentos 1 e 3 (S1, S3) ao nó de consulta 1, e os segmentos 2 e 4 (S2, S4) ao nó de consulta 2. O alocador de canais atribui diferentes nós de consulta para assistir a múltiplos <a href="https://milvus.io/docs/v2.0.x/data_processing.md#Data-insertion">canais</a> de manipulação de dados (DMChannels) no corretor de registo. Por exemplo, na imagem acima, o alocador de canais atribui o nó de consulta 1 para observar o canal 1 (Ch1) e o nó de consulta 2 para observar o canal 2 (Ch2).</p>
<p>Com a estratégia de atribuição, cada nó de consulta carrega os dados do segmento e observa os canais em conformidade. No nó de consulta 1 da imagem, os dados históricos (dados de lote) são carregados através dos S1 e S3 atribuídos a partir do armazenamento persistente. Entretanto, o nó de consulta 1 carrega dados incrementais (dados em fluxo contínuo), subscrevendo o canal 1 no corretor de registos.</p>
<h2 id="Data-management-in-query-node" class="common-anchor-header">Gestão de dados no nó de consulta<button data-href="#Data-management-in-query-node" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Um nó de consulta precisa de gerir os dados históricos e incrementais. Os dados históricos são armazenados em <a href="https://milvus.io/blog/deep-dive-4-data-insertion-and-data-persistence.md#Sealed-segment">segmentos selados</a>, enquanto os dados incrementais são armazenados em <a href="https://milvus.io/blog/deep-dive-4-data-insertion-and-data-persistence.md#Growing-segment">segmentos crescentes</a>.</p>
<h3 id="Historical-data-management" class="common-anchor-header">Gestão de dados históricos</h3><p>Há principalmente duas considerações para a gestão de dados históricos: equilíbrio de carga e failover do nó de consulta.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/load_balance_c77e22bb5c.png" alt="Load balance" class="doc-image" id="load-balance" />
   </span> <span class="img-wrapper"> <span>Equilíbrio de carga</span> </span></p>
<p>Por exemplo, como mostra a ilustração, ao nó de consulta 4 foram atribuídos mais segmentos selados do que aos restantes nós de consulta. Muito provavelmente, este facto fará com que o nó de consulta 4 seja o ponto de estrangulamento que torna mais lento todo o processo de consulta. Para resolver este problema, o sistema precisa de atribuir vários segmentos no nó de consulta 4 a outros nós de consulta. A isto chama-se equilíbrio de carga.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Query_node_failover_3278c0e307.png" alt="Query node failover" class="doc-image" id="query-node-failover" />
   </span> <span class="img-wrapper"> <span>Failover do nó de consulta</span> </span></p>
<p>Outra situação possível é ilustrada na imagem acima. Um dos nós, o nó de consulta 4, é subitamente desativado. Neste caso, a carga (segmentos atribuídos ao nó de consulta 4) tem de ser transferida para outros nós de consulta em funcionamento para garantir a exatidão dos resultados da consulta.</p>
<h3 id="Incremental-data-management" class="common-anchor-header">Gestão incremental dos dados</h3><p>O nó de consulta observa os DMChannels para receber dados incrementais. O fluxograma é introduzido neste processo. Em primeiro lugar, filtra todas as mensagens de inserção de dados. Isto é para garantir que apenas os dados de uma partição específica são carregados. Cada coleção no Milvus tem um canal correspondente, que é partilhado por todas as partições dessa coleção. Por conseguinte, é necessário um fluxograma para filtrar os dados inseridos se um utilizador do Milvus só precisar de carregar dados de uma determinada partição. Caso contrário, os dados de todas as partições da coleção serão carregados no nó de consulta.</p>
<p>Depois de serem filtrados, os dados incrementais são inseridos em segmentos crescentes e passados para os nós de tempo do servidor.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/flow_graph_dc58651367.png" alt="Flowgraph" class="doc-image" id="flowgraph" />
   </span> <span class="img-wrapper"> <span>Fluxograma</span> </span></p>
<p>Durante a inserção de dados, é atribuído um carimbo de data/hora a cada mensagem de inserção. No DMChannel mostrado na imagem acima, os dados são inseridos por ordem, da esquerda para a direita. O carimbo de data/hora da primeira mensagem de inserção é 1; o da segunda, 2; e o da terceira, 6. A quarta mensagem marcada a vermelho não é uma mensagem de inserção, mas sim uma mensagem de marcação de tempo. Isto significa que os dados inseridos cujos carimbos de data/hora são inferiores a este carimbo de data/hora já se encontram no corretor de registo. Por outras palavras, os dados inseridos após esta mensagem de timetick devem todos ter carimbos de data/hora cujos valores são superiores a este timetick. Por exemplo, na imagem acima, quando o nó de consulta percebe que a marca de tempo atual é 5, isso significa que todas as mensagens de inserção cujo valor da marca de tempo é inferior a 5 são carregadas para o nó de consulta.</p>
<p>O nó de tempo do servidor fornece um valor <code translate="no">tsafe</code> atualizado sempre que recebe uma marca temporal do nó de inserção. <code translate="no">tsafe</code> significa tempo de segurança e todos os dados inseridos antes deste momento podem ser consultados. Por exemplo, se <code translate="no">tsafe</code> = 9, todos os dados inseridos com carimbos de data/hora inferiores a 9 podem ser consultados.</p>
<h2 id="Real-time-query-in-Milvus" class="common-anchor-header">Consulta em tempo real em Milvus<button data-href="#Real-time-query-in-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>A consulta em tempo real no Milvus é activada por mensagens de consulta. As mensagens de consulta são inseridas no corretor de registos por proxy. Em seguida, os nós de consulta obtêm as mensagens de consulta observando o canal de consulta no broker de registo.</p>
<h3 id="Query-message" class="common-anchor-header">Mensagem de consulta</h3><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/query_message_4d57814f47.png" alt="Query message" class="doc-image" id="query-message" />
   </span> <span class="img-wrapper"> <span>Mensagem de consulta</span> </span></p>
<p>Uma mensagem de consulta inclui as seguintes informações cruciais sobre uma consulta:</p>
<ul>
<li><code translate="no">msgID</code>: ID da mensagem, o ID da mensagem de consulta atribuído pelo sistema.</li>
<li><code translate="no">collectionID</code>: O ID da coleção a consultar (se especificado pelo utilizador).</li>
<li><code translate="no">execPlan</code>: O plano de execução é utilizado principalmente para a filtragem de atributos numa consulta.</li>
<li><code translate="no">service_ts</code>: O carimbo de data/hora do serviço será atualizado juntamente com <code translate="no">tsafe</code> mencionado acima. O carimbo de data/hora do serviço indica em que ponto está o serviço. Todos os dados inseridos antes de <code translate="no">service_ts</code> estão disponíveis para consulta.</li>
<li><code translate="no">travel_ts</code>: O carimbo de data/hora da viagem especifica um intervalo de tempo no passado. E a consulta será efectuada sobre os dados existentes no período de tempo especificado por <code translate="no">travel_ts</code>.</li>
<li><code translate="no">guarantee_ts</code>: O carimbo de data/hora de garantia especifica um período de tempo após o qual a consulta tem de ser efectuada. A consulta só será efectuada quando <code translate="no">service_ts</code> &gt; <code translate="no">guarantee_ts</code>.</li>
</ul>
<h3 id="Real-time-query" class="common-anchor-header">Consulta em tempo real</h3><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/query_process_7f676972d8.png" alt="Query process" class="doc-image" id="query-process" />
   </span> <span class="img-wrapper"> <span>Processo de consulta</span> </span></p>
<p>Quando é recebida uma mensagem de consulta, o Milvus começa por verificar se o tempo de serviço atual, <code translate="no">service_ts</code>, é superior ao carimbo de garantia, <code translate="no">guarantee_ts</code>, indicado na mensagem de consulta. Em caso afirmativo, a consulta é executada. A consulta é efectuada em paralelo com os dados históricos e os dados incrementais. Uma vez que pode haver uma sobreposição de dados entre dados de fluxo contínuo e dados em lote, é necessária uma ação denominada "redução local" para filtrar os resultados redundantes da consulta.</p>
<p>No entanto, se o tempo de serviço atual for inferior ao carimbo de data/hora de garantia numa mensagem de consulta recentemente inserida, a mensagem de consulta tornar-se-á uma mensagem não resolvida e aguardará para ser processada até que o tempo de serviço se torne superior ao carimbo de data/hora de garantia.</p>
<p>Os resultados da consulta são finalmente enviados para o canal de resultados. O proxy obtém os resultados da consulta a partir desse canal. Da mesma forma, o proxy também efectua uma "redução global" porque recebe resultados de vários nós de consulta e os resultados da consulta podem ser repetitivos.</p>
<p>Para garantir que o proxy recebeu todos os resultados da consulta antes de os devolver ao SDK, a mensagem de resultado mantém também um registo de informações, incluindo os segmentos selados pesquisados, os DMChannels pesquisados e os segmentos selados globais (todos os segmentos em todos os nós de consulta). O sistema só pode concluir que o proxy recebeu todos os resultados da consulta se ambas as condições seguintes forem satisfeitas:</p>
<ul>
<li>A união de todos os segmentos selados pesquisados registados em todas as mensagens de resultados é maior do que os segmentos selados globais,</li>
<li>Todos os DMChannels da coleção são consultados.</li>
</ul>
<p>Por fim, o proxy retorna os resultados finais após a "redução global" para o Milvus SDK.</p>
<h2 id="About-the-Deep-Dive-Series" class="common-anchor-header">Sobre a série Deep Dive<button data-href="#About-the-Deep-Dive-Series" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Com o <a href="https://milvus.io/blog/2022-1-25-annoucing-general-availability-of-milvus-2-0.md">anúncio oficial da disponibilidade geral</a> do Milvus 2.0, orquestrámos esta série de blogues Milvus Deep Dive para fornecer uma interpretação aprofundada da arquitetura e do código-fonte do Milvus. Os tópicos abordados nesta série de blogues incluem:</p>
<ul>
<li><a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">Visão geral da arquitetura do Milvus</a></li>
<li><a href="https://milvus.io/blog/deep-dive-2-milvus-sdk-and-api.md">APIs e SDKs Python</a></li>
<li><a href="https://milvus.io/blog/deep-dive-3-data-processing.md">Processamento de dados</a></li>
<li><a href="https://milvus.io/blog/deep-dive-4-data-insertion-and-data-persistence.md">Gestão de dados</a></li>
<li><a href="https://milvus.io/blog/deep-dive-5-real-time-query.md">Consulta em tempo real</a></li>
<li><a href="https://milvus.io/blog/deep-dive-7-query-expression.md">Motor de execução escalar</a></li>
<li><a href="https://milvus.io/blog/deep-dive-6-oss-qa.md">Sistema QA</a></li>
<li><a href="https://milvus.io/blog/deep-dive-8-knowhere.md">Motor de execução vetorial</a></li>
</ul>


Utilização da base de dados de vectores Milvus para consultas em tempo real

Inserção de dados e persistência de dados numa base de dados vetorial

Como são processados os dados numa base de dados vetorial?

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220322_175856_e8e7bea7dc.png" alt="Cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>Imagem da capa</span> </span></p>
<p>Por <a href="https://github.com/XuanYang-cn">Xuan Yang</a></p>
<h2 id="Background" class="common-anchor-header">Antecedentes<button data-href="#Background" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>A ilustração seguinte mostra a interação entre os SDKs e o Milvus através do gRPC. Imagine que o Milvus é uma caixa preta. Os buffers de protocolo são utilizados para definir as interfaces do servidor e a estrutura da informação que transportam. Por conseguinte, todas as operações na caixa negra Milvus são definidas pela API de protocolo.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/SDK_10c9673111.png" alt="Interaction" class="doc-image" id="interaction" />
   </span> <span class="img-wrapper"> <span>Interação</span> </span></p>
<h2 id="Milvus-Protocol-API" class="common-anchor-header">API do protocolo Milvus<button data-href="#Milvus-Protocol-API" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>A API do protocolo Milvus é constituída pelos ficheiros <code translate="no">milvus.proto</code>, <code translate="no">common.proto</code> e <code translate="no">schema.proto</code>, que são ficheiros Protocol Buffers com o sufixo <code translate="no">.proto</code>. Para garantir um funcionamento correto, os SDK devem interagir com o Milvus através destes ficheiros Protocol Buffers.</p>
<h3 id="milvusproto" class="common-anchor-header">milvus.proto</h3><p><code translate="no">milvus.proto</code> é o componente vital da API do protocolo Milvus porque define o <code translate="no">MilvusService</code>, que define ainda todas as interfaces RPC do Milvus.</p>
<p>O exemplo de código seguinte mostra a interface <code translate="no">CreatePartitionRequest</code>. Tem dois parâmetros principais do tipo string <code translate="no">collection_name</code> e <code translate="no">partition_name</code>, com base nos quais se pode iniciar um pedido de criação de partição.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/code_d5f034d58d.png" alt="CreatePartitionRequest" class="doc-image" id="createpartitionrequest" />
   </span> <span class="img-wrapper"> <span>CreatePartitionRequest</span> </span></p>
<p>Veja um exemplo de protocolo no <a href="https://github.com/milvus-io/milvus-proto/blob/44f59db22b27cc55e4168c8e53b6e781c010a713/proto/milvus.proto">Repositório PyMilvus GitHub</a> na linha 19.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/create_partition_938691f07f.png" alt="Example" class="doc-image" id="example" />
   </span> <span class="img-wrapper"> <span>Exemplo</span> </span></p>
<p>Você pode encontrar a definição de <code translate="no">CreatePartitionRequest</code> aqui.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220321_112254_4ec4f35bd3.png" alt="Definition" class="doc-image" id="definition" />
   </span> <span class="img-wrapper"> <span>Definição</span> </span></p>
<p>Os colaboradores que pretendam desenvolver uma funcionalidade do Milvus ou um SDK numa linguagem de programação diferente são bem-vindos para encontrar todas as interfaces que o Milvus oferece através de RPC.</p>
<h3 id="commonproto" class="common-anchor-header">common.proto</h3><p><code translate="no">common.proto</code> define os tipos de informação comuns, incluindo <code translate="no">ErrorCode</code>, e <code translate="no">Status</code>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220321_112303_eaafc432a8.png" alt="common.proto" class="doc-image" id="common.proto" />
   </span> <span class="img-wrapper"> <span>common.proto</span> </span></p>
<h3 id="schemaproto" class="common-anchor-header">schema.proto</h3><p><code translate="no">schema.proto</code> define o esquema nos parâmetros. A seguinte amostra de código é um exemplo de <code translate="no">CollectionSchema</code>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220321_112313_df4ebe36e7.png" alt="schema.proto" class="doc-image" id="schema.proto" />
   </span> <span class="img-wrapper"> <span>schema.proto</span> </span></p>
<p><code translate="no">milvus.proto</code>As interfaces common.proto, <code translate="no">common.proto</code> e <code translate="no">schema.proto</code> constituem a API do Milvus, representando todas as operações que podem ser chamadas através de RPC.</p>
<p>Se analisar o código fonte e observar com atenção, verificará que quando interfaces como <code translate="no">create_index</code> são chamadas, na realidade chamam várias interfaces RPC, como <code translate="no">describe_collection</code> e <code translate="no">describe_index</code>. Muitas das interfaces externas do Milvus são uma combinação de múltiplas interfaces RPC.</p>
<p>Tendo compreendido os comportamentos dos RPC, pode então desenvolver novas funcionalidades para o Milvus através de combinações. É mais do que bem-vindo a usar a sua imaginação e criatividade e contribuir para a comunidade Milvus.</p>
<h2 id="PyMilvus-20" class="common-anchor-header">PyMilvus 2.0<button data-href="#PyMilvus-20" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="Object-relational-mapping-ORM" class="common-anchor-header">Mapeamento objeto-relacional (ORM)</h3><p>Em poucas palavras, o mapeamento objeto-relacional (ORM) refere-se ao fato de que quando você opera em um objeto local, tais operações afetarão o objeto correspondente no servidor. A API estilo ORM do PyMilvus apresenta as seguintes caraterísticas:</p>
<ol>
<li>Opera diretamente sobre objetos.</li>
<li>Isola a lógica do serviço e os detalhes de acesso aos dados.</li>
<li>Esconde a complexidade da implementação, e é possível executar os mesmos scripts em diferentes instâncias do Milvus, independentemente das suas abordagens de implantação ou implementação.</li>
</ol>
<h3 id="ORM-style-API" class="common-anchor-header">API estilo ORM</h3><p>Uma das essências da API estilo ORM reside no controlo da ligação Milvus. Por exemplo, pode especificar aliases para múltiplos servidores Milvus, e ligar-se ou desligar-se deles apenas com os seus aliases. Pode até eliminar o endereço do servidor local e controlar certos objectos através de uma ligação específica.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220321_112320_d5ff08a582.png" alt="Control Connection" class="doc-image" id="control-connection" />
   </span> <span class="img-wrapper"> <span>Controlo de ligação</span> </span></p>
<p>Outra caraterística da API estilo ORM é que, após a abstração, todas as operações podem ser executadas diretamente nos objectos, incluindo coleção, partição, e índice.</p>
<p>É possível abstrair um objeto de coleção obtendo um já existente ou criando um novo. Também pode atribuir uma ligação Milvus a objectos específicos utilizando o alias de ligação, para que possa operar nesses objectos localmente.</p>
<p>Para criar um objeto de partição, pode criá-lo com o seu objeto de coleção pai, ou pode fazê-lo tal como quando cria um objeto de coleção. Estes métodos também podem ser utilizados num objeto de índice.</p>
<p>No caso de estes objectos de partição ou de índice existirem, pode obtê-los através do seu objeto de coleção principal.</p>
<h2 id="About-the-Deep-Dive-Series" class="common-anchor-header">Sobre a série Deep Dive<button data-href="#About-the-Deep-Dive-Series" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Com o <a href="https://milvus.io/blog/2022-1-25-annoucing-general-availability-of-milvus-2-0.md">anúncio oficial da disponibilidade geral</a> do Milvus 2.0, orquestrámos esta série de blogues Milvus Deep Dive para fornecer uma interpretação aprofundada da arquitetura e do código-fonte do Milvus. Os tópicos abordados nesta série de blogues incluem:</p>
<ul>
<li><a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">Visão geral da arquitetura do Milvus</a></li>
<li><a href="https://milvus.io/blog/deep-dive-2-milvus-sdk-and-api.md">APIs e SDKs Python</a></li>
<li><a href="https://milvus.io/blog/deep-dive-3-data-processing.md">Processamento de dados</a></li>
<li><a href="https://milvus.io/blog/deep-dive-4-data-insertion-and-data-persistence.md">Gestão de dados</a></li>
<li><a href="https://milvus.io/blog/deep-dive-5-real-time-query.md">Consulta em tempo real</a></li>
<li><a href="https://milvus.io/blog/deep-dive-7-query-expression.md">Motor de execução escalar</a></li>
<li><a href="https://milvus.io/blog/deep-dive-6-oss-qa.md">Sistema QA</a></li>
<li><a href="https://milvus.io/blog/deep-dive-8-knowhere.md">Motor de execução vetorial</a></li>
</ul>


Uma introdução ao Milvus Python SDK e à API

Criação de uma base de dados de vectores para pesquisa de semelhanças escalável

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Attu_3ff9a76156.png" alt="Binlog Cover Image" class="doc-image" id="binlog-cover-image" />
   </span> <span class="img-wrapper"> <span>Imagem da capa do Binlog</span> </span></p>
<p>Redação de <a href="https://github.com/czhen-zilliz">Zhen Chen</a> e transcrição de <a href="https://github.com/LocoRichard">Lichen Wang</a>.</p>
<p style="font-size: 12px;color: #4c5a67">Clique <a href="https://zilliz.com/blog/manage-your-milvus-vector-database-with-one-click-simplicity">aqui</a> para ver o post original.</p> 
<p>Face ao rápido crescimento da procura de processamento de dados não estruturados, o Milvus 2.0 destaca-se. Trata-se de um sistema de base de dados vetorial orientado para a IA, concebido para cenários de produção em massa. Para além de todos estes SDKs do Milvus e do Milvus CLI, uma interface de linha de comandos para o Milvus, existe alguma ferramenta que permita aos utilizadores utilizar o Milvus de forma mais intuitiva? A resposta é SIM. A Zilliz anunciou uma interface gráfica de utilizador - Attu - especificamente para o Milvus. Neste artigo, gostaríamos de lhe mostrar passo a passo como efetuar uma pesquisa de semelhança vetorial com o Attu.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/map_aa1cda30d4.png" alt="Attu island" class="doc-image" id="attu-island" />
   </span> <span class="img-wrapper"> <span>A ilha Attu</span> </span></p>
<p>Em comparação com o Milvus CLI, que oferece a máxima simplicidade de utilização, o Attu tem mais caraterísticas:</p>
<ul>
<li>Instaladores para Windows OS, macOS e Linux OS;</li>
<li>GUI intuitivo para facilitar a utilização do Milvus;</li>
<li>Cobertura das principais funcionalidades do Milvus;</li>
<li>Plugins para expansão de funcionalidades personalizadas;</li>
<li>Informações completas sobre a topologia do sistema para facilitar a compreensão e a administração da instância do Milvus.</li>
</ul>
<h2 id="Installation" class="common-anchor-header">Instalação<button data-href="#Installation" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Pode encontrar a versão mais recente do Attu no <a href="https://github.com/zilliztech/attu/releases">GitHub</a>. O Attu oferece instaladores executáveis para diferentes sistemas operativos. É um projeto de código aberto e aceita contribuições de todos.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/installation_bbe62873af.png" alt="Installation" class="doc-image" id="installation" />
   </span> <span class="img-wrapper"> <span>Instalação</span> </span></p>
<p>Você também pode instalar o Attu via Docker.</p>
<pre><code translate="no" class="language-shell">docker run -p <span class="hljs-number">8000</span>:<span class="hljs-number">3000</span> -e <span class="hljs-variable constant_">HOST_URL</span>=<span class="hljs-attr">http</span>:<span class="hljs-comment">//{ attu IP }:8000 -e MILVUS_URL={milvus server IP}:19530 zilliz/attu:latest</span>
<button class="copy-code-btn"></button></code></pre>
<p><code translate="no">attu IP</code> é o endereço IP do ambiente onde o Attu é executado, e <code translate="no">milvus server IP</code> é o endereço IP do ambiente onde o Milvus é executado.</p>
<p>Depois de instalar o Attu com sucesso, pode introduzir o IP e a porta do Milvus na interface para iniciar o Attu.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/connect_1fde46d9d5.png" alt="Connect Milvus with Attu" class="doc-image" id="connect-milvus-with-attu" />
   </span> <span class="img-wrapper"> <span>Ligar o Milvus à Attu</span> </span></p>
<h2 id="Feature-overview" class="common-anchor-header">Visão geral das funcionalidades<button data-href="#Feature-overview" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/overview_591e230514.png" alt="Overview page" class="doc-image" id="overview-page" />
   </span> <span class="img-wrapper"> <span>Página de visão geral</span> </span></p>
<p>A interface do Attu é composta pela página <strong>Overview</strong>, página <strong>Collection</strong>, página <strong>Vetor Search</strong> e página <strong>System View</strong>, correspondendo aos quatro ícones no painel de navegação do lado esquerdo, respetivamente.</p>
<p>A página <strong>Visão geral</strong> mostra as colecções carregadas. Enquanto a página <strong>Coleção</strong> lista todas as colecções e indica se estão carregadas ou libertadas.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/collection_42656fe308.png" alt="Collection page" class="doc-image" id="collection-page" />
   </span> <span class="img-wrapper"> <span>Página Coleção</span> </span></p>
<p>As páginas <strong>Vetor Search</strong> e <strong>System View</strong> são plugins do Attu. Os conceitos e a utilização dos plug-ins serão apresentados na parte final do blogue.</p>
<p>Pode efetuar uma pesquisa de semelhança de vectores na página <strong>Pesquisa de vectores</strong>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/vector_search_be7365687c.png" alt="Vector Search page" class="doc-image" id="vector-search-page" />
   </span> <span class="img-wrapper"> <span>Página Pesquisa vetorial</span> </span></p>
<p>Na página <strong>System View</strong>, pode verificar a estrutura topológica do Milvus.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/system_view_e1df15023d.png" alt="System View page" class="doc-image" id="system-view-page" />
   </span> <span class="img-wrapper"> <span>Página Vista do sistema</span> </span></p>
<p>Também pode consultar as informações detalhadas de cada nó clicando no nó.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/node_view_5bbc25f9b2.png" alt="Node view" class="doc-image" id="node-view" />
   </span> <span class="img-wrapper"> <span>Vista de nós</span> </span></p>
<h2 id="Demonstration" class="common-anchor-header">Demonstração<button data-href="#Demonstration" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Vamos explorar o Attu com um conjunto de dados de teste.</p>
<p>Verifique nosso <a href="https://github.com/zilliztech/attu/tree/main/examples">repositório GitHub</a> para obter o conjunto de dados usado no teste a seguir.</p>
<p>Primeiro, crie uma coleção chamada teste com os quatro campos a seguir:</p>
<ul>
<li>Nome do campo: id, campo de chave primária</li>
<li>Nome do campo: vetor, campo vetorial, vetor float, Dimensão: 128</li>
<li>Nome do campo: brand, campo escalar, Int64</li>
<li>Nome do campo: cor, campo escalar, Int64</li>
</ul>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/create_collection_95dfa15354.png" alt="Create a collection" class="doc-image" id="create-a-collection" />
   </span> <span class="img-wrapper"> <span>Criar uma coleção</span> </span></p>
<p>Carrega a coleção para pesquisa depois de ter sido criada com sucesso.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/load_collection_fec39171df.png" alt="Load the collection" class="doc-image" id="load-the-collection" />
   </span> <span class="img-wrapper"> <span>Carregar a coleção</span> </span></p>
<p>Pode agora verificar a coleção recém-criada na página <strong>Síntese</strong>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/check_collection_163b05477e.png" alt="Check the collection" class="doc-image" id="check-the-collection" />
   </span> <span class="img-wrapper"> <span>Verificar a coleção</span> </span></p>
<p>Importar o conjunto de dados de teste para o Milvus.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/import_data_1_f73d71be85.png" alt="Import data" class="doc-image" id="import-data" />
   </span> <span class="img-wrapper"> <span>Importar dados</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/import_data_2_4b3c3c3c25.png" alt="Import data" class="doc-image" id="import-data" />
   </span> <span class="img-wrapper"> <span>Importar dados</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/import_data_3_0def4e8550.png" alt="Import data" class="doc-image" id="import-data" />
   </span> <span class="img-wrapper"> <span>Importar dados</span> </span></p>
<p>Clique no nome da coleção na página Visão geral ou Coleção para aceder à interface de consulta e verificar os dados importados.</p>
<p>Adicione o filtro, especifique a expressão <code translate="no">id != 0</code>, clique em <strong>Apply Filter (Aplicar filtro</strong>) e clique em <strong>Query</strong>(Consultar).</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/query_data_24d9f71ccc.png" alt="Query data" class="doc-image" id="query-data" />
   </span> <span class="img-wrapper"> <span>Consultar dados</span> </span></p>
<p>Verificará que todas as cinquenta entradas de entidades foram importadas com êxito.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/query_result_bcbbd17084.png" alt="Query result" class="doc-image" id="query-result" />
   </span> <span class="img-wrapper"> <span>Resultado da consulta</span> </span></p>
<p>Vamos experimentar a pesquisa de semelhança de vectores.</p>
<p>Copie um vetor de <code translate="no">search_vectors.csv</code> e cole-o no campo <strong>Valor do vetor</strong>. Selecione a coleção e o campo. Clique em <strong>Procurar</strong>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/search_data_5af3a1db53.png" alt="Search data" class="doc-image" id="search-data" />
   </span> <span class="img-wrapper"> <span>Pesquisar dados</span> </span></p>
<p>Pode então verificar o resultado da pesquisa. Sem compilar quaisquer scripts, pode pesquisar facilmente com o Milvus.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/search_result_961886efab.png" alt="Search result" class="doc-image" id="search-result" />
   </span> <span class="img-wrapper"> <span>Resultado da pesquisa</span> </span></p>
<p>Finalmente, vamos verificar a página <strong>System View</strong>.</p>
<p>Com a Metrics API encapsulada no Milvus Node.js SDK, pode verificar o estado do sistema, as relações dos nós e o estado dos nós.</p>
<p>Como uma caraterística exclusiva do Attu, a página Visão Geral do Sistema inclui um gráfico topológico completo do sistema. Ao clicar em cada nó, pode verificar o seu estado (atualização a cada 10 segundos).</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/topological_graph_d0c5c17586.png" alt="Milvus node topological graph" class="doc-image" id="milvus-node-topological-graph" />
   </span> <span class="img-wrapper"> <span>Gráfico topológico do nó Milvus</span> </span></p>
<p>Clique em cada nó para aceder à <strong>vista de lista de nós</strong>. Pode verificar todos os nós filhos de um nó de coordenação. Ao ordenar, pode identificar rapidamente os nós com elevada utilização de CPU ou memória e localizar o problema no sistema.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/node_list_64fc610a8d.png" alt="Milvus node list" class="doc-image" id="milvus-node-list" />
   </span> <span class="img-wrapper"> <span>Lista de nós do Milvus</span> </span></p>
<h2 id="Whats-more" class="common-anchor-header">O que é mais<button data-href="#Whats-more" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Como mencionado anteriormente, as páginas <strong>Vetor Search</strong> e <strong>System View</strong> são plugins do Attu. Encorajamos os utilizadores a desenvolverem os seus próprios plugins no Attu para se adequarem aos cenários das suas aplicações. No código fonte, existe uma pasta criada especificamente para códigos de plugins.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/plugins_a2d98e4e5b.png" alt="Plugins" class="doc-image" id="plugins" />
   </span> <span class="img-wrapper"> <span>Plugins</span> </span></p>
<p>Pode consultar qualquer um dos plugins para aprender a construir um plugin. Ao definir o seguinte ficheiro de configuração, pode adicionar o plugin ao Attu.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/add_plugins_e3ef53cc0d.png" alt="Add plugins to Attu" class="doc-image" id="add-plugins-to-attu" />
   </span> <span class="img-wrapper"> <span>Adicionar plugins ao Attu</span> </span></p>
<p>Pode consultar o <a href="https://github.com/zilliztech/attu/tree/main/doc">Attu GitHub Repo</a> e <a href="https://milvus.io/docs/v2.0.x/attu.md">o Milvus Technical Document</a> para obter instruções detalhadas.</p>
<p>O Attu é um projeto de código aberto. Todas as contribuições são bem-vindas. Também pode <a href="https://github.com/zilliztech/attu/issues">registar um</a> problema se tiver algum problema com o Attu.</p>
<p>Esperamos sinceramente que o Attu possa trazer-lhe uma melhor experiência de utilização com o Milvus. E se gostar do Attu, ou tiver algum feedback sobre a sua utilização, pode preencher este <a href="https://wenjuan.feishu.cn/m/cfm?t=suw4QnODU1ui-ok7r">Inquérito ao Utilizador do At</a> tu para nos ajudar a otimizar o Attu para uma melhor experiência do utilizador.</p>


Gerir a sua base de dados Milvus Vetor com a simplicidade de um clique

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Load_balance_b2f35a5577.png" alt="Binlog Cover Image" class="doc-image" id="binlog-cover-image" />
   </span> <span class="img-wrapper"> <span>Imagem de capa do Binlog</span> </span></p>
<p>Por <a href="https://github.com/xige-16">Xi Ge</a>.</p>
<p>Em artigos anteriores do blogue, introduzimos sucessivamente as funções Deletion, Bitset e Compaction no Milvus 2.0. Para culminar esta série, gostaríamos de partilhar o design por detrás do Load Balance, uma função vital no cluster distribuído do Milvus.</p>
<h2 id="Implementation" class="common-anchor-header">Implementação<button data-href="#Implementation" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Enquanto o número e o tamanho dos segmentos armazenados em buffer nos nós de consulta diferem, o desempenho da pesquisa nos nós de consulta também pode variar. O pior caso pode acontecer quando alguns nós de pesquisa estão esgotados a pesquisar uma grande quantidade de dados, mas os nós de pesquisa recém-criados permanecem inactivos porque nenhum segmento lhes é distribuído, causando um enorme desperdício de recursos da CPU e uma enorme queda no desempenho da pesquisa.</p>
<p>Para evitar tais circunstâncias, o coordenador da consulta (query coord) é programado para distribuir segmentos uniformemente para cada nó de consulta de acordo com o uso de RAM dos nós. Assim, os recursos da CPU são consumidos igualmente entre os nós, melhorando significativamente o desempenho da pesquisa.</p>
<h3 id="Trigger-automatic-load-balance" class="common-anchor-header">Acionar o balanceamento de carga automático</h3><p>De acordo com o valor predefinido da configuração <code translate="no">queryCoord.balanceIntervalSeconds</code>, a coordenação da consulta verifica a utilização da RAM (em percentagem) de todos os nós de consulta a cada 60 segundos. Se uma das seguintes condições for satisfeita, o coordenador de consultas começa a equilibrar a carga de consultas no nó de consulta:</p>
<ol>
<li>A utilização de RAM de qualquer nó de consulta no cluster é superior a <code translate="no">queryCoord.overloadedMemoryThresholdPercentage</code> (predefinição: 90);</li>
<li>Ou o valor absoluto da diferença de uso de RAM de quaisquer dois nós de consulta é maior que <code translate="no">queryCoord.memoryUsageMaxDifferencePercentage</code> (padrão: 30).</li>
</ol>
<p>Depois de os segmentos serem transferidos do nó de consulta de origem para o nó de consulta de destino, devem também satisfazer as duas condições seguintes:</p>
<ol>
<li>A utilização de RAM do nó de consulta de destino não é superior a <code translate="no">queryCoord.overloadedMemoryThresholdPercentage</code> (predefinição: 90);</li>
<li>O valor absoluto da diferença de uso de RAM dos nós de consulta de origem e destino após o balanceamento de carga é menor do que antes do balanceamento de carga.</li>
</ol>
<p>Com as condições acima satisfeitas, a coordenação da consulta procede ao equilíbrio da carga da consulta entre os nós.</p>
<h2 id="Load-balance" class="common-anchor-header">Equilíbrio da carga<button data-href="#Load-balance" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Quando o equilíbrio da carga é acionado, o coordenador da consulta carrega primeiro o(s) segmento(s) de destino para o nó de consulta de destino. Ambos os nós de consulta devolvem os resultados de pesquisa do(s) segmento(s) de destino em qualquer pedido de pesquisa neste ponto para garantir a integralidade do resultado.</p>
<p>Depois de o nó de consulta de destino carregar com êxito o segmento de destino, o coordenador da consulta publica um <code translate="no">sealedSegmentChangeInfo</code> no canal de consulta. Como se mostra abaixo, <code translate="no">onlineNodeID</code> e <code translate="no">onlineSegmentIDs</code> indicam o nó de consulta que carrega o segmento e o segmento carregado, respetivamente, e <code translate="no">offlineNodeID</code> e <code translate="no">offlineSegmentIDs</code> indicam o nó de consulta que precisa de libertar o segmento e o segmento a libertar, respetivamente.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220228_145413_f253cec15b.png" alt="sealedSegmentChangeInfo" class="doc-image" id="sealedsegmentchangeinfo" />
   </span> <span class="img-wrapper"> <span>sealedSegmentChangeInfo</span> </span></p>
<p>Tendo recebido o <code translate="no">sealedSegmentChangeInfo</code>, o nó de consulta de origem liberta então o segmento de destino.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220228_145436_2604bc57a5.png" alt="Load Balance Workflow" class="doc-image" id="load-balance-workflow" />
   </span> <span class="img-wrapper"> <span>Fluxo de trabalho de balanceamento de carga</span> </span></p>
<p>Todo o processo é bem sucedido quando o nó de consulta de origem liberta o segmento de destino. Ao completar isso, a carga da consulta é definida como balanceada entre os nós de consulta, o que significa que o uso de RAM de todos os nós de consulta não é maior que <code translate="no">queryCoord.overloadedMemoryThresholdPercentage</code>, e o valor absoluto da diferença de uso de RAM dos nós de consulta de origem e destino após o balanceamento de carga é menor que antes do balanceamento de carga.</p>
<h2 id="Whats-next" class="common-anchor-header">O que vem a seguir?<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>No blogue da série de novas funcionalidades 2.0, pretendemos explicar a conceção das novas funcionalidades. Leia mais nesta série de blogues!</p>
<ul>
<li><a href="https://milvus.io/blog/2022-02-07-how-milvus-deletes-streaming-data-in-distributed-cluster.md">Como o Milvus elimina dados em fluxo contínuo num cluster distribuído</a></li>
<li><a href="https://milvus.io/blog/2022-2-21-compact.md">Como compactar dados no Milvus?</a></li>
<li><a href="https://milvus.io/blog/2022-02-28-how-milvus-balances-query-load-across-nodes.md">Como o Milvus equilibra a carga de consultas entre os nós?</a></li>
<li><a href="https://milvus.io/blog/2022-2-14-bitset.md">Como o Bitset permite a versatilidade da pesquisa de similaridade de vetores</a></li>
</ul>
<p>Este é o final da série de blogues de novas funcionalidades do Milvus 2.0. Após esta série, estamos a planear uma nova série de Milvus <a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">Deep Dive</a>, que introduz a arquitetura básica do Milvus 2.0. Por favor, fique atento.</p>


Como é que o Milvus equilibra a carga das consultas nos nós?

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Compact_173a08ec1c.png" alt="Binlog Cover Image" class="doc-image" id="binlog-cover-image" />
   </span> <span class="img-wrapper"> <span>Imagem de capa do Binlog</span> </span></p>
<p>Por <a href="https://github.com/sunby">Bingyi Sun</a> e <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni</a>.</p>
<p>Com o <a href="https://milvus.io/blog/2022-1-25-annoucing-general-availability-of-milvus-2-0.md">lançamento oficial</a> do Milvus 2.0 GA, uma lista de novos recursos é suportada. Entre elas, a compactação é uma das novas funcionalidades que pode ajudar a poupar espaço de armazenamento.</p>
<p>A compactação refere-se ao processo de juntar pequenos segmentos em grandes segmentos e limpar dados logicamente eliminados. Por outras palavras, a compactação reduz a utilização de espaço em disco, eliminando as entidades eliminadas ou expiradas nos registos. É uma tarefa em segundo plano que é acionada pela <a href="https://milvus.io/docs/v2.0.x/four_layers.md#Data-coordinator-data-coord">coordenação de dados</a> e executada pelo <a href="https://milvus.io/docs/v2.0.x/four_layers.md#Data-node">nó de dados</a> em Milvus.</p>
<p>Este artigo disseca o conceito e a implementação da compactação no Milvus.</p>
<h2 id="What-is-compaction" class="common-anchor-header">O que é a compactação?<button data-href="#What-is-compaction" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Antes de nos aprofundarmos nos detalhes de como implementar a compactação no Milvus 2.0, é fundamental perceber o que é a compactação no Milvus.</p>
<p>Na maior parte das vezes, como utilizador do Milvus, pode ter sido incomodado pelo aumento da utilização de espaço no disco rígido. Outro problema é que um segmento com menos de 1.024 linhas não é indexado e apenas suporta a pesquisa de força bruta para processar consultas. Segmentos pequenos causados por auto-flush ou flush invocado pelo utilizador podem prejudicar a eficiência da consulta.</p>
<p>Assim, para resolver os dois problemas acima mencionados e ajudar a reduzir a utilização do disco e melhorar a eficiência das consultas, o Milvus suporta a compactação.</p>
<p>Bases de dados como o <a href="https://github.com/google/leveldb">LevelDB</a> e <a href="http://rocksdb.org/">o RocksDB</a> anexam dados a tabelas de cadeias ordenadas (SSTables). A média de leituras em disco por consulta aumenta com o número de SSTables, levando a consultas ineficientes. Para reduzir a amplificação da leitura e libertar espaço no disco rígido, estas bases de dados compactam as SSTables numa só. Os processos de compactação são executados automaticamente em segundo plano.</p>
<p>Da mesma forma, o Milvus anexa dados inseridos e eliminados aos <a href="https://github.com/milvus-io/milvus/blob/master/docs/developer_guides/chap08_binlog.md">binlogs</a>. À medida que o número de binlogs aumenta, é utilizado mais espaço no disco rígido. Para libertar espaço no disco rígido, o Milvus compacta os binlogs de dados inseridos e eliminados. Se uma entidade for inserida mas posteriormente eliminada, deixa de existir nos binlogs que registam a inserção ou eliminação de dados depois de compactados. Além disso, o Milvus também compacta <a href="https://milvus.io/docs/v2.0.x/glossary.md#Segment">segmentos</a> - ficheiros de dados criados automaticamente pelo Milvus para guardar dados inseridos.</p>
<h2 id="How-to-configure-compaction" class="common-anchor-header">Como configurar a compactação?<button data-href="#How-to-configure-compaction" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>A configuração da compactação no Milvus envolve principalmente dois parâmetros: <code translate="no">dataCoord.enableCompaction</code> e <code translate="no">common.retentionDuration</code>.</p>
<p><code translate="no">dataCoord.enableCompaction</code> especifica se a compactação deve ser activada. O seu valor predefinido é <code translate="no">true</code>.</p>
<p><code translate="no">common.retentionDuration</code> especifica um período em que a compactação não é executada. A sua unidade é o segundo. Quando compacta dados, todas as entidades eliminadas ficam indisponíveis para pesquisa com a Viagem no tempo. Portanto, se planeia pesquisar com a Viagem no tempo, tem de especificar um período de tempo durante o qual a compactação não é executada e não afecta os dados eliminados. Para garantir resultados precisos das pesquisas com Viagem no Tempo, o Milvus retém os dados operados num período especificado por <code translate="no">common.retentionDuration</code>. Ou seja, os dados operados neste período não serão compactados. Para mais detalhes, consulte <a href="https://milvus.io/docs/v2.0.x/timetravel.md">Pesquisa com viagem no tempo</a>.</p>
<p>A compactação é activada no Milvus por defeito. Se desactivou a compactação mas mais tarde pretende activá-la manualmente, pode seguir os passos abaixo:</p>
<ol>
<li>Chamar o método <code translate="no">collection.compact()</code> para ativar manualmente um processo de compactação global. No entanto, tenha em atenção que esta operação pode demorar muito tempo.</li>
<li>Depois de chamar o método, é devolvido um ID de compactação. Veja o estado da compactação chamando o método <code translate="no">collection.get_compaction_state()</code>.</li>
</ol>
<p>Depois de activada, a compactação é executada automaticamente em segundo plano. Uma vez que o processo de compactação pode demorar muito tempo, os pedidos de compactação são processados de forma assíncrona para poupar tempo.</p>
<h2 id="How-to-implement-compaction" class="common-anchor-header">Como implementar a compactação?<button data-href="#How-to-implement-compaction" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>No Milvus, é possível implementar a compactação manual ou automaticamente.</p>
<p>A compactação manual de binlogs ou segmentos não requer o cumprimento de quaisquer condições de ativação. Portanto, se invocar manualmente a compactação, os binlogs ou segmentos serão compactados independentemente de qualquer coisa.</p>
<p>Entretanto, se o usuário desejar ativar a compactação automática, certas condições de acionamento da compactação precisam ser atendidas para que o sistema compacte os segmentos ou binlogs.</p>
<p>Geralmente, existem dois tipos de objetos que podem ser compactados no Milvus: binglogs e segmentos.</p>
<h2 id="Binlog-compaction" class="common-anchor-header">Compactação de binlogs<button data-href="#Binlog-compaction" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Um binlog é um registo binário, ou uma unidade mais pequena em segmento, que regista e trata as actualizações e alterações feitas aos dados na base de dados vetorial Milvus. Os dados de um segmento são mantidos em vários binlogs. A compactação de binlogs envolve dois tipos de binlogs no Milvus: binlogs de inserção e binlogs delta.</p>
<p>Os binlogs delta são gerados quando os dados são eliminados, enquanto os binlogs de inserção são gerados nas três circunstâncias seguintes.</p>
<ul>
<li>Enquanto os dados inseridos estão a ser anexados, o segmento atinge o limite superior de tamanho e é automaticamente descarregado para o disco.</li>
<li>O DataCoord descarrega automaticamente os segmentos que permanecem sem selar durante muito tempo.</li>
<li>Algumas APIs como <code translate="no">collection.num_entities</code>, <code translate="no">collection.load()</code>, e outras invocam automaticamente o flush para escrever segmentos no disco.</li>
</ul>
<p>Portanto, a compactação de binlogs, como o próprio nome sugere, refere-se à compactação de binlogs dentro de um segmento. Mais especificamente, durante a compactação do binlog, todos os binlogs delta e binlogs de inserção que não são retidos são compactados.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/binlog_compaction_d7f8f910c8.png" alt="Binlog compaction" class="doc-image" id="binlog-compaction" />
   </span> <span class="img-wrapper"> <span>Compactação de binlogs</span> </span></p>
<p>Quando um segmento é descarregado no disco, ou quando o Milvus solicita a compactação global porque a compactação não foi executada por um longo período, pelo menos uma das duas condições a seguir precisa ser atendida para acionar a compactação automática:</p>
<ol>
<li>As linhas nos delta binlogs são mais de 20% do total de linhas.</li>
<li>O tamanho dos delta binlogs excede 10 MB.</li>
</ol>
<h2 id="Segment-compaction" class="common-anchor-header">Compactação de segmento<button data-href="#Segment-compaction" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Um <a href="https://milvus.io/docs/v2.0.x/glossary.md#Segment">segmento</a> é um ficheiro de dados criado automaticamente pelo Milvus para guardar dados inseridos. Existem dois tipos de segmentos no Milvus: segmento crescente e segmento selado.</p>
<p>Um segmento em crescimento continua a receber os novos dados inseridos até ser selado. Um segmento selado deixa de receber novos dados e será descarregado para o armazenamento de objectos, deixando novos dados para serem inseridos num segmento crescente recém-criado.</p>
<p>Portanto, a compactação de segmento refere-se à compactação de múltiplos segmentos selados. Mais especificamente, durante a compactação de segmentos, pequenos segmentos são compactados em segmentos maiores.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/segment_compaction_92eecc0e55.jpeg" alt="Segment compaction" class="doc-image" id="segment-compaction" />
   </span> <span class="img-wrapper"> <span>Compactação de segmento</span> </span></p>
<p>Cada segmento gerado após a compactação não pode exceder o limite superior de um tamanho de segmento, que é 512 MB por padrão. Leia <a href="https://milvus.io/docs/v2.0.x/system_configuration.md">as configurações do sistema</a> para saber como modificar o limite superior do tamanho de um segmento.</p>
<p>Quando um segmento é descarregado no disco, ou quando o Milvus solicita compactação global porque a compactação não foi executada por um longo período, a seguinte condição precisa ser atendida para acionar a compactação automática:</p>
<ul>
<li>Segmentos menores que 0.5 * <code translate="no">MaxSegmentSize</code> é maior que 10.</li>
</ul>
<h2 id="Whats-next" class="common-anchor-header">O que se segue?<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>O que se segue depois de aprender as noções básicas de compactação no Milvus? Atualmente, nem todos os parâmetros para configurar a compactação estão no ficheiro <code translate="no">milvus.yaml</code>, e as estratégias de geração de planos são relativamente básicas. Se estiver interessado, contribua para o Milvus, <a href="https://github.com/milvus-io">o projeto de código aberto</a>!</p>
<p>Além disso, no blogue da série de novas funcionalidades 2.0, o nosso objetivo é explicar a conceção das novas funcionalidades. Leia mais nesta série de blogues!</p>
<ul>
<li><a href="https://milvus.io/blog/2022-02-07-how-milvus-deletes-streaming-data-in-distributed-cluster.md">Como o Milvus elimina dados em fluxo contínuo num cluster distribuído</a></li>
<li><a href="https://milvus.io/blog/2022-2-21-compact.md">Como compactar dados no Milvus?</a></li>
<li><a href="https://milvus.io/blog/2022-02-28-how-milvus-balances-query-load-across-nodes.md">Como o Milvus equilibra a carga de consultas entre os nós?</a></li>
<li><a href="https://milvus.io/blog/2022-2-14-bitset.md">Como o Bitset permite a versatilidade da pesquisa de similaridade de vetores</a></li>
</ul>
<h2 id="About-the-author" class="common-anchor-header">Sobre o autor<button data-href="#About-the-author" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Bingyi Sun, Engenheiro de Software Sénior do projeto Milvus, obteve o seu Mestrado em Engenharia de Software na Universidade de Shanghai Jiao Tong. Ele é o principal responsável pelo desenvolvimento de componentes relacionados ao armazenamento no Milvus 2.0. A sua área de interesse são as bases de dados e os sistemas distribuídos. É um grande fã de projectos de código aberto e um gourmet que gosta de jogar videojogos e ler no seu tempo livre.</p>


Como compactar dados no Milvus?

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Bitset_cd54487e7b.png" alt="Bitset Cover Image" class="doc-image" id="bitset-cover-image" />
   </span> <span class="img-wrapper"> <span>Imagem de capa do Bitset</span> </span></p>
<p>Por <a href="https://github.com/cydrain">Yudong Cai</a> e <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni</a>.</p>
<p>Várias <a href="https://milvus.io/blog/2022-1-27-milvus-2-0-a-glimpse-at-new-features.md">novas caraterísticas essenciais</a> de uma base de dados vetorial são fornecidas juntamente com o <a href="https://milvus.io/blog/2022-1-25-annoucing-general-availability-of-milvus-2-0.md">lançamento</a> do Milvus 2.0. Entre as novas funcionalidades, a <a href="https://milvus.io/docs/v2.0.x/timetravel_ref.md">viagem no tempo</a>, a filtragem de atributos e <a href="https://milvus.io/blog/2022-02-07-how-milvus-deletes-streaming-data-in-distributed-cluster.md">as operações de eliminação</a> estão correlacionadas, uma vez que estas três funcionalidades são obtidas através de um mecanismo comum - o conjunto de bits.</p>
<p>Assim, este artigo tem como objetivo clarificar o conceito de bitset no Milvus e explicar como funciona para suportar operações de eliminação, Time Travel e filtragem de atributos com três exemplos.</p>
<h2 id="What-is-bitset" class="common-anchor-header">O que é um conjunto de bits?<button data-href="#What-is-bitset" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Um conjunto de bits é uma matriz de números de bits ("0" e "1") que pode ser utilizada para representar determinadas informações de dados. Com os conjuntos de bits, é possível armazenar determinados tipos de dados de forma compacta e eficiente, em vez de os armazenar em Ints, floats ou chars. Os conjuntos de bits funcionam com base na <a href="https://milvus.io/docs/v2.0.x/boolean.md">lógica booleana</a>, de acordo com a qual o valor de uma saída é válido ou inválido, normalmente indicado por "1" e "0", respetivamente. "1" significa válido e "0" significa inválido. Como os conjuntos de bits são altamente eficientes e podem economizar armazenamento, eles também podem ser usados para obter muitos recursos, como filtragem de atributos, operações de exclusão, viagem no tempo e muito mais.</p>
<p>A partir da versão 0.7.0, o conceito de bitset foi introduzido no Milvus para permitir a <a href="https://milvus.io/blog/deleting-data-in-milvus.md">função de eliminação</a>. Mais especificamente, o bitset é utilizado para marcar se cada linha do segmento é eliminada. As entidades eliminadas são marcadas com "1" no conjunto de bits correspondente e, como resultado, as entidades eliminadas não serão computadas durante uma pesquisa ou consulta.</p>
<p>Na versão 2.0 do Milvus, a aplicação do conjunto de bits é alargada para permitir mais funcionalidades, como a filtragem de atributos e a viagem no tempo. O princípio geral de um conjunto de bits permanece o mesmo. Ou seja, se uma entidade estiver marcada com "1" no conjunto de bits correspondente, a entidade será ignorada durante uma pesquisa ou consulta. Os conjuntos de bits são utilizados para ativar 3 funcionalidades no Milvus:</p>
<ul>
<li>Filtragem de atributos</li>
<li>Eliminação de dados</li>
<li>Consulta com viagem no tempo</li>
</ul>
<h2 id="How-does-bitset-work-in-Milvus" class="common-anchor-header">Como é que o bitset funciona em Milvus?<button data-href="#How-does-bitset-work-in-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Os exemplos abaixo são usados para ilustrar como o bitset funciona no Milvus.</p>
<h3 id="Prerequisites" class="common-anchor-header">Pré-requisitos</h3><p>Suponha que há um segmento com oito entidades e uma série de eventos de linguagem de manipulação de dados (DML) acontece na ordem mostrada na figura abaixo.</p>
<ul>
<li>Quatro das entidades, cujos <code translate="no">primary_keys</code> são [1, 2, 3, 4] respetivamente, são inseridas quando o timestamp <code translate="no">ts</code> é igual a 100.</li>
<li>As restantes quatro entidades, cujos <code translate="no">primary_keys</code> são [5, 6, 7, 8], são inseridas quando o carimbo de data/hora <code translate="no">ts</code> é igual a 200.</li>
<li>As entidades cujo <code translate="no">primary_keys</code> é [7, 8] são eliminadas quando o carimbo de data/hora <code translate="no">ts</code> é igual a 300.</li>
<li>Apenas as entidades, cujos <code translate="no">primary_keys</code> são [1, 3, 5, 7], satisfazem as condições de filtragem de atributos.</li>
</ul>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/UML_1_0a3605808c.jpg" alt="DML events" class="doc-image" id="dml-events" />
   </span> <span class="img-wrapper"> <span>Eventos DML</span> </span></p>
<h3 id="Case-one" class="common-anchor-header">Caso um</h3><p>Suponha-se que o valor que um utilizador define para <code translate="no">time_travel</code> é 150. Por outras palavras, o utilizador faz uma consulta dos dados armazenados no Milvus quando <code translate="no">ts</code> = 150. O processo de geração do conjunto de bits é ilustrado na Figura 1.</p>
<p>Durante a fase inicial de filtragem, o resultado do <code translate="no">filter_bitset</code> deveria ser [1, 0, 1, 0, 1, 0, 1, 1, 0], uma vez que as entidades [1, 3, 5, 7] são resultados válidos da filtragem e estão marcadas como "1" no conjunto de bits. No entanto, as entidades [4, 5, 6, 7] nem sequer foram inseridas na base de dados vetorial quando <code translate="no">ts</code> é igual a 150. Por conseguinte, estas quatro entidades devem ser marcadas como "0", independentemente da condição de filtragem. Agora, o resultado do conjunto de bits deve ser [1, 0, 1, 0, 0, 0, 0, 0, 0]. Como em Milvus o princípio geral da computação em bitset é que as entidades marcadas com "1" no bitset são ignoradas durante uma pesquisa ou consulta, o resultado do bitset após a Viagem no Tempo e a filtragem de atributos tem de ser invertido para ser combinado com o mapa de bits de eliminação. O resultado invertido de <code translate="no">filter_bitset</code> deve ser [0, 1, 0, 1, 1, 1, 1, 1, 1, 1].</p>
<p>Quanto ao conjunto de bits de eliminação <code translate="no">del_bitset</code>, o valor inicial deve ser [0, 0, 0, 0, 0, 0, 0, 1, 1]. No entanto, as entidades 7 e 8 não são eliminadas até que <code translate="no">ts</code> seja 300. Portanto, quando <code translate="no">ts</code> é 150, as entidades 7 e 8 ainda são válidas. Como resultado, o valor de <code translate="no">del_bitset</code> após a Viagem no Tempo deve ser [0, 0, 0, 0, 0, 0, 0, 0, 0, 0].</p>
<p>Agora temos dois conjuntos de bits após a Viagem no Tempo e a filtragem de atributos: <code translate="no">filter_bitset</code> [0, 1, 0, 1, 1, 1, 1, 1, 1] e <code translate="no">del_bitset</code> [0, 0, 0, 0, 0, 0, 0, 0, 0, 0].  Combine estes dois conjuntos de bits com o operador lógico binário "OR". O valor final de <code translate="no">result_bitset</code> é [0, 1, 0, 1, 1, 1, 1, 1, 1]. Ou seja, apenas as entidades 1 e 3 serão computadas na fase de pesquisa ou consulta seguinte.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/bitset_figure1_1b5852f7a7.jpeg" alt="Figure 1" class="doc-image" id="figure-1" />
   </span> <span class="img-wrapper"> <span>Figura 1</span> </span></p>
<h3 id="Case-two" class="common-anchor-header">Caso dois</h3><p>Suponha que o valor que o utilizador define para <code translate="no">time_travel</code> é 250. Por outras palavras, o utilizador efectua uma consulta dos dados armazenados no Milvus quando <code translate="no">ts</code> = 250. O processo de geração do conjunto de bits é ilustrado na Figura 2.</p>
<p>Tal como no caso um, o resultado <code translate="no">filter_bitset</code> da fase inicial de filtragem de atributos deve ser [1, 0, 1, 0, 1, 0, 1, 1, 0].</p>
<p>Todas as entidades [1, 2, 3, 4, 5, 6, 7, 8] são inseridas na base de dados vetorial quando <code translate="no">ts</code>= 250. Portanto, o resultado anterior de <code translate="no">filter_bitset</code> permanece o mesmo. Mais uma vez, temos de inverter o resultado de <code translate="no">filter_bitset</code>, e obteremos [0, 1, 0, 1, 0, 1, 0, 1, 0, 1].</p>
<p>Quanto ao conjunto de bits de eliminação <code translate="no">del_bitset</code>, o valor inicial deveria ser [0, 0, 0, 0, 0, 0, 0, 1, 1]. No entanto, as entidades 7 e 8 não foram eliminadas até <code translate="no">ts</code> ser 300. Portanto, quando <code translate="no">ts</code> é 250, as entidades 7 e 8 ainda são válidas. Como resultado, o valor de <code translate="no">del_bitset</code> após a Viagem no Tempo deve ser [0, 0, 0, 0, 0, 0, 0, 0, 0, 0].</p>
<p>Agora temos dois conjuntos de bits após a Viagem no Tempo e a filtragem de atributos: <code translate="no">filter_bitset</code> [0, 1, 0, 1, 0, 1, 0, 0, 1] e <code translate="no">del_bitset</code> [0, 0, 0, 0, 0, 0, 0, 0, 0, 0].  Combine estes dois conjuntos de bits com o operador lógico binário "OR". O valor final de <code translate="no">result_bitset</code> é [0, 1, 0, 1, 0, 1, 0, 1, 0, 1]. Ou seja, apenas as entidades [1, 3, 5, 7] serão computadas na fase de pesquisa ou consulta seguinte.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/bitset_figure2_7cbaa7c719.jpeg" alt="Figure 2" class="doc-image" id="figure-2" />
   </span> <span class="img-wrapper"> <span>Figura 2</span> </span></p>
<h3 id="Case-three" class="common-anchor-header">Caso três</h3><p>Suponha que o valor que o utilizador define para <code translate="no">time_travel</code> é 350. Por outras palavras, o utilizador efectua uma consulta dos dados armazenados no Milvus quando <code translate="no">ts</code> = 350. O processo de geração do conjunto de bits é ilustrado na Figura 3.</p>
<p>Tal como nos casos um e dois, o resultado <code translate="no">filter_bitset</code> da fase inicial de filtragem de atributos é [0, 1, 0, 1, 0, 1, 0, 0, 1].</p>
<p>Todas as entidades [1, 2, 3, 4, 5, 6, 7, 8] são inseridas na base de dados vetorial quando <code translate="no">ts</code>= 350. Por conseguinte, o resultado final invertido do <code translate="no">filter_bitset</code> é [0, 1, 0, 1, 0, 1, 0, 1, 0, 1], o mesmo que no caso dois.</p>
<p>Quanto ao conjunto de bits de eliminação <code translate="no">del_bitset</code>, como as entidades 7 e 8 já foram eliminadas quando <code translate="no">ts</code>=350, o resultado de <code translate="no">del_bitset</code> deve ser [0, 0, 0, 0, 0, 0, 0, 1, 1].</p>
<p>Agora temos dois conjuntos de bits após a Viagem no Tempo e a filtragem de atributos: <code translate="no">filter_bitset</code> [0, 1, 0, 1, 0, 1, 0, 1] e <code translate="no">del_bitset</code> [0, 0, 0, 0, 0, 0, 0, 1, 1].  Combine estes dois conjuntos de bits com o operador lógico binário "OR". O valor final de <code translate="no">result_bitset</code> é [0, 1, 0, 1, 0, 1, 1, 1, 1]. Ou seja, apenas as entidades [1, 3, 5] serão computadas na fase de pesquisa ou consulta seguinte.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/bitset_figure3_dd46a6aecf.jpeg" alt="Figure 3" class="doc-image" id="figure-3" />
   </span> <span class="img-wrapper"> <span>Figura 3</span> </span></p>
<h2 id="Whats-next" class="common-anchor-header">O que é que se segue?<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>No blogue da série de novas funcionalidades 2.0, pretendemos explicar a conceção das novas funcionalidades. Leia mais nesta série de blogues!</p>
<ul>
<li><a href="https://milvus.io/blog/2022-02-07-how-milvus-deletes-streaming-data-in-distributed-cluster.md">Como o Milvus elimina dados em fluxo contínuo num cluster distribuído</a></li>
<li><a href="https://milvus.io/blog/2022-2-21-compact.md">Como compactar dados no Milvus?</a></li>
<li><a href="https://milvus.io/blog/2022-02-28-how-milvus-balances-query-load-across-nodes.md">Como o Milvus equilibra a carga de consultas entre os nós?</a></li>
<li><a href="https://milvus.io/blog/2022-2-14-bitset.md">Como o Bitset permite a versatilidade da pesquisa de similaridade de vetores</a></li>
</ul>


Como o Bitset permite a versatilidade da pesquisa de similaridade de vectores

<custom-h1>Como o Milvus exclui dados de streaming em um cluster distribuído</custom-h1><p>Com um processamento unificado de batch e stream e uma arquitetura nativa da nuvem, o Milvus 2.0 representa um desafio maior do que o seu antecessor durante o desenvolvimento da função DELETE. Graças ao seu design avançado de desagregação de armazenamento-computação e ao mecanismo flexível de publicação/assinatura, temos o orgulho de anunciar que conseguimos. No Milvus 2.0, é possível apagar uma entidade de uma determinada coleção com a sua chave primária, de modo a que a entidade apagada deixe de ser listada no resultado de uma pesquisa ou consulta.</p>
<p>Note-se que a operação DELETE no Milvus refere-se à eliminação lógica, enquanto que a limpeza física dos dados ocorre durante a Compactação de Dados. A eliminação lógica não só aumenta consideravelmente o desempenho da pesquisa limitada pela velocidade de I/O, mas também facilita a recuperação de dados. Os dados eliminados logicamente podem ainda ser recuperados com a ajuda da função Time Travel.</p>
<h2 id="Usage" class="common-anchor-header">Utilização<button data-href="#Usage" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Vamos experimentar primeiro a função DELETE no Milvus 2.0. (O exemplo a seguir usa PyMilvus 2.0.0 em Milvus 2.0.0).</p>
<pre><code translate="no" class="language-python"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> connections, utility, Collection, DataType, FieldSchema, CollectionSchema
<span class="hljs-comment"># Connect to Milvus</span>
connections.connect(
    alias=<span class="hljs-string">&quot;default&quot;</span>, 
    host=<span class="hljs-string">&#x27;x.x.x.x&#x27;</span>, 
    port=<span class="hljs-string">&#x27;19530&#x27;</span>
)
<span class="hljs-comment"># Create a collection with Strong Consistency level</span>
pk_field = FieldSchema(
    name=<span class="hljs-string">&quot;id&quot;</span>, 
    dtype=DataType.INT64, 
    is_primary=<span class="hljs-literal">True</span>, 
)
vector_field = FieldSchema(
    name=<span class="hljs-string">&quot;vector&quot;</span>, 
    dtype=DataType.FLOAT_VECTOR, 
    dim=<span class="hljs-number">2</span>
)
schema = CollectionSchema(
    fields=[pk_field, vector_field], 
    description=<span class="hljs-string">&quot;Test delete&quot;</span>
)
collection_name = <span class="hljs-string">&quot;test_delete&quot;</span>
collection = Collection(
    name=collection_name, 
    schema=schema, 
    using=<span class="hljs-string">&#x27;default&#x27;</span>, 
    shards_num=<span class="hljs-number">2</span>,
    consistency_level=<span class="hljs-string">&quot;Strong&quot;</span>
)
<span class="hljs-comment"># Insert randomly generated vectors</span>
<span class="hljs-keyword">import</span> random
data = [
    [i <span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-number">100</span>)],
    [[random.random() <span class="hljs-keyword">for</span> _ <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-number">2</span>)] <span class="hljs-keyword">for</span> _ <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-number">100</span>)],
]
collection.insert(data)
<span class="hljs-comment"># Query to make sure the entities to delete exist</span>
collection.load()
expr = <span class="hljs-string">&quot;id in [2,4,6,8,10]&quot;</span>
pre_del_res = collection.query(
    expr,
    output_fields = [<span class="hljs-string">&quot;id&quot;</span>, <span class="hljs-string">&quot;vector&quot;</span>]
)
<span class="hljs-built_in">print</span>(pre_del_res)
<span class="hljs-comment"># Delete the entities with the previous expression</span>
collection.delete(expr)
<span class="hljs-comment"># Query again to check if the deleted entities exist</span>
post_del_res = collection.query(
    expr,
    output_fields = [<span class="hljs-string">&quot;id&quot;</span>, <span class="hljs-string">&quot;vector&quot;</span>]
)
<span class="hljs-built_in">print</span>(post_del_res)
<button class="copy-code-btn"></button></code></pre>
<h2 id="Implementation" class="common-anchor-header">Implementação<button data-href="#Implementation" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Em uma instância do Milvus, um nó de dados é responsável principalmente pelo empacotamento de dados de streaming (logs no corretor de logs) como dados históricos (instantâneos de logs) e pela descarga automática deles para o armazenamento de objetos. Um nó de consulta executa pedidos de pesquisa em dados completos, ou seja, tanto dados de fluxo contínuo como dados históricos.</p>
<p>Para tirar o máximo partido da capacidade de escrita de dados dos nós paralelos de um cluster, o Milvus adopta uma estratégia de sharding baseada no hashing de chaves primárias para distribuir uniformemente as operações de escrita pelos diferentes nós de trabalho. Ou seja, o proxy encaminha as mensagens (ou seja, os pedidos) da Linguagem de Manipulação de Dados (DML) de uma entidade para o mesmo nó de dados e nó de consulta. Estas mensagens são publicadas através do canal DML e consumidas pelo nó de dados e pelo nó de consulta separadamente para fornecer serviços de pesquisa e consulta em conjunto.</p>
<h3 id="Data-node" class="common-anchor-header">Nó de dados</h3><p>Depois de receber as mensagens INSERT de dados, o nó de dados insere os dados num segmento crescente, que é um novo segmento criado para receber dados em fluxo contínuo na memória. Se a contagem de linhas de dados ou a duração do segmento crescente atingir o limiar, o nó de dados sela-o para impedir a entrada de quaisquer dados. O nó de dados então libera o segmento selado, que contém os dados históricos, para o armazenamento de objeto. Entretanto, o nó de dados gera um filtro bloom baseado nas chaves primárias dos novos dados e descarrega-o para o armazenamento de objectos juntamente com o segmento selado, guardando o filtro bloom como uma parte do registo binário de estatísticas (binlog), que contém a informação estatística do segmento.</p>
<blockquote>
<p>Um filtro bloom é uma estrutura de dados probabilística que consiste em um vetor binário longo e uma série de funções de mapeamento aleatório. Pode ser utilizado para testar se um elemento é um membro de um conjunto, mas pode devolver falsos positivos.           -- Wikipedia</p>
</blockquote>
<p>Quando as mensagens DELETE de dados chegam, o nó de dados armazena em buffer todos os filtros bloom no fragmento correspondente, e combina-os com as chaves primárias fornecidas nas mensagens para recuperar todos os segmentos (tanto dos crescentes como dos selados) que possivelmente incluem as entidades a eliminar. Tendo identificado os segmentos correspondentes, o nó de dados armazena-os em memória para gerar os binlogs Delta para registar as operações de eliminação e, em seguida, descarrega esses binlogs juntamente com os segmentos de volta para o armazenamento de objectos.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/data_node_2397ad70c3.png" alt="Data Node" class="doc-image" id="data-node" />
   </span> <span class="img-wrapper"> <span>Nó de dados</span> </span></p>
<p>Como um fragmento é atribuído apenas a um canal DML, nós de consulta extras adicionados ao cluster não poderão assinar o canal DML. Para garantir que todos os nós de consulta podem receber as mensagens DELETE, os nós de dados filtram as mensagens DELETE do canal DML e encaminham-nas para o canal Delta para notificar todos os nós de consulta das operações de eliminação.</p>
<h3 id="Query-node" class="common-anchor-header">Nó de consulta</h3><p>Ao carregar uma coleção a partir do armazenamento de objectos, o nó de consulta obtém primeiro o ponto de controlo de cada fragmento, que marca as operações DML desde a última operação de descarga. Com base no ponto de controlo, o nó de consulta carrega todos os segmentos selados juntamente com os seus filtros Delta binlog e bloom. Com todos os dados carregados, o nó de consulta então se inscreve no DML-Channel, Delta-Channel e Query-Channel.</p>
<p>Se mais mensagens INSERT de dados chegarem depois que a coleção for carregada na memória, o nó de consulta primeiro identifica os segmentos crescentes de acordo com as mensagens e atualiza os filtros bloom correspondentes na memória apenas para fins de consulta. Esses filtros bloom dedicados à consulta não serão descarregados para o armazenamento de objectos depois de a consulta estar concluída.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/query_node_a78b1d664f.png" alt="Query Node" class="doc-image" id="query-node" />
   </span> <span class="img-wrapper"> <span>Nó de consulta</span> </span></p>
<p>Tal como referido anteriormente, apenas um determinado número de nós de consulta pode receber mensagens DELETE do canal DML, o que significa que apenas estes podem executar os pedidos DELETE em segmentos crescentes. Para os nós de consulta que subscreveram o canal DML, filtram primeiro as mensagens DELETE nos segmentos crescentes, localizam as entidades fazendo corresponder as chaves primárias fornecidas com os filtros bloom dedicados à consulta dos segmentos crescentes e, em seguida, registam as operações de eliminação nos segmentos correspondentes.</p>
<p>Os nós de consulta que não podem subscrever o canal DML só estão autorizados a processar pedidos de pesquisa ou consulta em segmentos selados porque só podem subscrever o canal Delta e receber as mensagens DELETE encaminhadas pelos nós de dados. Tendo recolhido todas as mensagens DELETE nos segmentos selados do Delta-Channel, os nós de consulta localizam as entidades fazendo corresponder as chaves primárias fornecidas com os filtros bloom dos segmentos selados e, em seguida, registam as operações de eliminação nos segmentos correspondentes.</p>
<p>Eventualmente, numa pesquisa ou consulta, os nós de consulta geram um conjunto de bits com base nos registos de eliminação para omitir as entidades eliminadas e pesquisar entre as entidades restantes de todos os segmentos, independentemente do estado do segmento. Por último, mas não menos importante, o nível de consistência afecta a visibilidade dos dados eliminados. Sob Strong Consistency Level (como mostrado no exemplo de código anterior), as entidades excluídas são imediatamente invisíveis após a exclusão. Enquanto o Nível de consistência limitado é adotado, haverá vários segundos de latência antes de as entidades eliminadas se tornarem invisíveis.</p>
<h2 id="Whats-next" class="common-anchor-header">O que vem a seguir?<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>No blogue da série de novas funcionalidades 2.0, pretendemos explicar a conceção das novas funcionalidades. Leia mais nesta série de blogues!</p>
<ul>
<li><a href="https://milvus.io/blog/2022-02-07-how-milvus-deletes-streaming-data-in-distributed-cluster.md">Como o Milvus elimina dados de streaming num cluster distribuído</a></li>
<li><a href="https://milvus.io/blog/2022-2-21-compact.md">Como compactar dados no Milvus?</a></li>
<li><a href="https://milvus.io/blog/2022-02-28-how-milvus-balances-query-load-across-nodes.md">Como o Milvus equilibra a carga de consultas entre os nós?</a></li>
<li><a href="https://milvus.io/blog/2022-2-14-bitset.md">Como o Bitset permite a versatilidade da pesquisa de similaridade de vetores</a></li>
</ul>


Utilização

Milvus 2.0 - Uma visão geral das novas funcionalidades

<p>Caros membros e amigos da comunidade Milvus:</p>
<p>Hoje, seis meses após a primeira Release Candidate (RC) ter sido tornada pública, temos o prazer de anunciar que o Milvus 2.0 está <a href="https://milvus.io/docs/v2.0.x/release_notes.md#v200">General Available (GA)</a> e pronto para produção! Tem sido uma longa jornada e agradecemos a todos - colaboradores da comunidade, utilizadores e a LF AI &amp; Data Foundation - que nos ajudaram a tornar isto possível.</p>
<p>A capacidade de lidar com biliões de dados de alta dimensão é um grande negócio para os sistemas de IA hoje em dia, e por boas razões:</p>
<ol>
<li>Os dados não estruturados ocupam volumes dominantes em comparação com os dados estruturados tradicionais.</li>
<li>A atualidade dos dados nunca foi tão importante. Os cientistas de dados estão ansiosos por soluções de dados atempadas em vez do tradicional compromisso T+1.</li>
<li>O custo e o desempenho tornaram-se ainda mais críticos e, no entanto, ainda existe uma grande lacuna entre as soluções actuais e os casos de utilização no mundo real. Daí o Milvus 2.0. O Milvus é um banco de dados que ajuda a lidar com dados de alta dimensão em escala. Ele foi projetado para a nuvem com a capacidade de ser executado em qualquer lugar. Se tem seguido os nossos lançamentos RC, sabe que temos feito um grande esforço para tornar o Milvus mais estável e mais fácil de implementar e manter.</li>
</ol>
<h2 id="Milvus-20-GA-now-offers" class="common-anchor-header">Milvus 2.0 GA agora oferece<button data-href="#Milvus-20-GA-now-offers" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><strong>Eliminação de entidades</strong></p>
<p>Como base de dados, o Milvus suporta agora a <a href="https://milvus.io/docs/v2.0.x/delete_data.md">eliminação de entidades por chave primária</a> e irá suportar a eliminação de entidades por expressão mais tarde.</p>
<p><strong>Equilíbrio de carga automático</strong></p>
<p>Milvus agora suporta a política de equilíbrio de carga de plugins para equilibrar a carga de cada nó de consulta e nó de dados. Graças à desagregação da computação e do armazenamento, o equilíbrio será efectuado em apenas alguns minutos.</p>
<p><strong>Transferência</strong></p>
<p>Uma vez que os segmentos em crescimento são selados através de flush, as tarefas de handoff substituem os segmentos em crescimento por segmentos históricos indexados para melhorar o desempenho da pesquisa.</p>
<p><strong>Compactação de dados</strong></p>
<p>A compactação de dados é uma tarefa em segundo plano para mesclar segmentos pequenos em segmentos grandes e limpar dados lógicos excluídos.</p>
<p><strong>Suporte a etcd incorporado e armazenamento de dados local</strong></p>
<p>No modo autónomo do Milvus, podemos remover a dependência do etcd/MinIO com apenas algumas configurações. O armazenamento local de dados também pode ser usado como cache local para evitar carregar todos os dados na memória principal.</p>
<p><strong>SDKs multi-linguagem</strong></p>
<p>Para além do <a href="https://github.com/milvus-io/pymilvus">PyMilvus</a>, os SDKs <a href="https://github.com/milvus-io/milvus-sdk-node">Node.js</a>, <a href="https://github.com/milvus-io/milvus-sdk-java">Java</a> e <a href="https://github.com/milvus-io/milvus-sdk-go">Go</a> estão agora prontos a usar.</p>
<p><strong>Milvus K8s Operator</strong></p>
<p><a href="https://milvus.io/docs/v2.0.x/install_cluster-milvusoperator.md">O Milvus Operator</a> fornece uma solução fácil para implantar e gerenciar uma pilha completa de serviços Milvus, incluindo os componentes Milvus e suas dependências relevantes (por exemplo, etcd, Pulsar e MinIO), para os clusters <a href="https://kubernetes.io/">Kubernetes</a> de destino de maneira escalável e altamente disponível.</p>
<p><strong>Ferramentas que ajudam a gerir o Milvus</strong></p>
<p>Temos de agradecer ao <a href="https://zilliz.com/">Zilliz</a> pela fantástica contribuição das ferramentas de gestão. Agora temos <a href="https://milvus.io/docs/v2.0.x/attu.md">o Attu</a>, que nos permite interagir com o Milvus através de uma GUI intuitiva, e <a href="https://milvus.io/docs/v2.0.x/cli_overview.md">o Milvus_CLI</a>, uma ferramenta de linha de comando para gerir o Milvus.</p>
<p>Graças a todos os 212 contribuidores, a comunidade terminou 6718 commits durante os últimos 6 meses, e toneladas de problemas de estabilidade e desempenho foram fechados. Abriremos o nosso relatório de estabilidade e desempenho logo após o lançamento da versão 2.0 GA.</p>
<h2 id="Whats-next" class="common-anchor-header">O que vem a seguir?<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><strong>Funcionalidade</strong></p>
<p>O suporte a tipos de strings será a próxima funcionalidade do Milvus 2.1. Iremos também introduzir o mecanismo de tempo de vida (TTL) e a gestão básica de ACL para melhor satisfazer as necessidades dos utilizadores.</p>
<p><strong>Disponibilidade</strong></p>
<p>Estamos a trabalhar na refatoração do mecanismo de agendamento de coordenadas de consulta para suportar réplicas de memória múltipla para cada segmento. Com múltiplas réplicas activas, Milvus pode suportar failover mais rápido e execução especulativa para encurtar o tempo de inatividade para um par de segundos.</p>
<p><strong>Desempenho</strong></p>
<p>Os resultados de benchmark de desempenho serão disponibilizados em breve nos nossos sítios Web. Prevê-se que as versões seguintes registem uma melhoria impressionante do desempenho. O nosso objetivo é reduzir para metade a latência da pesquisa em conjuntos de dados mais pequenos e duplicar o rendimento do sistema.</p>
<p><strong>Facilidade de utilização</strong></p>
<p>O Milvus foi concebido para funcionar em qualquer lugar. Iremos suportar o Milvus em MacOS (M1 e X86) e em servidores ARM nas próximas pequenas versões. Também ofereceremos PyMilvus embutido para que possa simplesmente <code translate="no">pip install</code> Milvus sem uma configuração complexa do ambiente.</p>
<p><strong>Governação da comunidade</strong></p>
<p>Iremos aperfeiçoar as regras de adesão e clarificar os requisitos e responsabilidades das funções de contribuidor. Um programa de mentoria também está em desenvolvimento; para qualquer pessoa que esteja interessada em banco de dados nativo da nuvem, pesquisa vetorial e / ou governança da comunidade, sinta-se à vontade para nos contactar.</p>
<p>Estamos muito entusiasmados com a última versão do Milvus GA! Como sempre, gostamos de ouvir os vossos comentários. Se encontrar algum problema, não hesite em contactar-nos no <a href="https://github.com/milvus-io/milvus">GitHub</a> ou via <a href="http://milvusio.slack.com/">Slack</a>.</p>
<p><br/></p>
<p>Com os melhores cumprimentos,</p>
<p>Xiaofan Luan</p>
<p>Mantenedor do Projeto Milvus</p>
<p><br/></p>
<blockquote>
<p><em>Editado por <a href="https://github.com/claireyuw">Claire Yu</a>.</em></p>
</blockquote>


Anúncio da disponibilidade geral do Milvus 2.0

<p>Este artigo foi traduzido por <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni</a>.</p>
<p>A informação está em todo o lado nas nossas vidas. O Meta (anteriormente conhecido como Facebook), o Instagram, o Twitter e outras plataformas de redes sociais tornam os fluxos de informação ainda mais omnipresentes. Por conseguinte, os motores que lidam com esses fluxos de informação tornaram-se uma necessidade na maior parte da arquitetura dos sistemas. No entanto, como utilizador de plataformas de redes sociais e aplicações relevantes, aposto que deve ter sido incomodado por artigos, notícias, memes e outros conteúdos duplicados. A exposição a conteúdos duplicados dificulta o processo de recuperação de informação e conduz a uma má experiência do utilizador.</p>
<p>Para um produto que lida com fluxos de informação, é altamente prioritário que os criadores encontrem um processador de dados flexível que possa ser integrado sem problemas na arquitetura do sistema para deduplicar notícias ou anúncios idênticos.</p>
<p><a href="https://www.smartnews.com/en/">A SmartNews</a>, avaliada em <a href="https://techcrunch.com/2021/09/15/news-aggregator-smartnews-raises-230-million-valuing-its-business-at-2-billion/">2 mil milhões de dólares americanos</a>, é a empresa de aplicações noticiosas mais valorizada dos EUA. A SmartNews era um utilizador da Milvus, uma base de dados vetorial de código aberto, mas mais tarde tornou-se um colaborador ativo do projeto Milvus.</p>
<p>Este artigo partilha a história da SmartNews e explica por que razão decidiu contribuir para o projeto Milvus.</p>
<h2 id="An-overview-of-SmartNews" class="common-anchor-header">Uma visão geral da SmartNews<button data-href="#An-overview-of-SmartNews" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>A SmartNews, fundada em 2012, tem sede em Tóquio, no Japão. A aplicação de notícias desenvolvida pela SmartNews foi sempre <a href="https://www.businessinsider.com/guides/smartnews-free-news-app-2018-9">muito bem classificada</a> no mercado japonês. A SmartNews é a aplicação de notícias <a href="https://about.smartnews.com/en/2019/06/12/smartnews-builds-global-momentum-with-over-500-us-growth-new-executives-and-three-new-offices/">com o crescimento mais rápido</a> e também possui <a href="https://about.smartnews.com/en/2018/07/21/smartnews-reaches-more-than-10-million-monthly-active-users-in-the-united-states-and-japan/">uma elevada viscosidade de utilizadores</a> no mercado dos EUA. De acordo com as estatísticas da <a href="https://www.appannie.com/en/">APP Annie</a>, a duração média mensal da sessão da SmartNews ficou em primeiro lugar entre todas as aplicações de notícias até ao final de julho de 2021, superior à duração acumulada da sessão da AppleNews e da Google News.</p>
<p>Com o rápido crescimento da base de utilizadores e da viscosidade, a SmartNews tem de enfrentar mais desafios em termos de mecanismo de recomendação e algoritmo de IA. Esses desafios incluem a utilização de caraterísticas discretas maciças na aprendizagem automática (ML) em grande escala, a aceleração da consulta de dados não estruturados com pesquisa de semelhança de vectores e muito mais.</p>
<p>No início de 2021, a equipa de algoritmos de anúncios dinâmicos da SmartNews enviou um pedido à equipa de infraestruturas de IA para otimizar as funções de recuperação e consulta de anúncios. Após dois meses de pesquisa, o engenheiro de infraestrutura de IA Shu decidiu usar o Milvus, um banco de dados vetorial de código aberto que suporta vários índices e métricas de similaridade e atualizações de dados online. O Milvus tem a confiança de mais de mil organizações em todo o mundo.</p>
<h2 id="Advertisement-recommendation-powered-by-vector-similarity-search" class="common-anchor-header">Recomendação de anúncios com base na pesquisa de semelhanças vectoriais<button data-href="#Advertisement-recommendation-powered-by-vector-similarity-search" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>A base de dados de vectores de código aberto Milvus é adoptada no sistema de anúncios SmartNews para fazer corresponder e recomendar aos seus utilizadores anúncios dinâmicos a partir de um conjunto de dados à escala de 10 milhões. Ao fazê-lo, a SmartNews pode criar uma relação de mapeamento entre dois conjuntos de dados anteriormente incomparáveis - dados do utilizador e dados de anúncios. No segundo trimestre de 2021, Shu conseguiu implantar o Milvus 1.0 no Kubernetes. Saiba mais sobre como <a href="https://milvus.io/docs">implantar o Milvus</a>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/image1_2a88ed162f.png" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<p>Após a implementação bem-sucedida do Milvus 1.0, o primeiro projeto a utilizar o Milvus foi o projeto de recolha de anúncios iniciado pela equipa de anúncios da SmartNews. Durante a fase inicial, o conjunto de dados de anúncios estava numa escala de um milhão. Entretanto, a latência do P99 era rigorosamente controlada em menos de 10 milissegundos.</p>
<p>Em junho de 2021, Shu e os seus colegas da equipa de algoritmos aplicaram o Milvus a mais cenários empresariais e tentaram a agregação de dados e a atualização de dados/índice online em tempo real.</p>
<p>Até agora, a Milvus, a base de dados vetorial de código aberto, tem sido utilizada em vários cenários empresariais na SmartNews, incluindo a recomendação de anúncios.</p>
<h2 id="From-a-user-to-an-active-contributor" class="common-anchor-header"><strong>De utilizador a colaborador ativo</strong><button data-href="#From-a-user-to-an-active-contributor" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Durante a integração do Milvus na arquitetura do produto Smartnews, Shu e outros programadores apresentaram pedidos de funções como hot reload, item TTL (time-to-live), atualização/substituição de itens, entre outras. Estas são também funções desejadas por muitos utilizadores da comunidade Milvus. Por conseguinte, Dennis Zhao, chefe da equipa de infra-estruturas de IA da SmartNews, decidiu desenvolver e contribuir com a função de carregamento a quente para a comunidade. Dennis acredita que "a equipa da SmartNews tem beneficiado da comunidade Milvus, pelo que estamos mais do que dispostos a contribuir se tivermos algo para partilhar com a comunidade".</p>
<p>O recarregamento de dados permite a edição de código durante a execução do código. Com a ajuda do recarregamento de dados, os programadores já não precisam de parar num ponto de interrupção ou reiniciar a aplicação. Em vez disso, podem editar o código diretamente e ver o resultado em tempo real.</p>
<p>No final de julho, Yusup, engenheiro da SmartNews, propôs a ideia de utilizar <a href="https://milvus.io/docs/v2.0.x/collection_alias.md#Collection-Alias">um alias de coleção</a> para conseguir um hot reload.</p>
<p>Criar um alias de coleção refere-se à especificação de nomes de alias para uma coleção. Uma coleção pode ter vários aliases. No entanto, um alias corresponde a um máximo de uma coleção. Basta fazer uma analogia entre uma coleção e um cacifo. Um cacifo, tal como uma coleção, tem o seu próprio número e posição, que permanecerão sempre inalterados. No entanto, pode sempre colocar e retirar coisas diferentes do cacifo. Da mesma forma, o nome da coleção é fixo, mas os dados da coleção são dinâmicos. É sempre possível inserir ou eliminar vectores numa coleção, uma vez que a eliminação de dados é suportada na <a href="https://milvus.io/docs/v2.0.x/release_notes.md#v200-PreGA">versão</a> Milvus <a href="https://milvus.io/docs/v2.0.x/release_notes.md#v200-PreGA">pré-GA</a>.</p>
<p>No caso da atividade publicitária SmartNews, são inseridos ou actualizados cerca de 100 milhões de vectores à medida que são gerados novos vectores de anúncios dinâmicos. Existem várias soluções para este problema:</p>
<ul>
<li>Solução 1: eliminar primeiro os dados antigos e inserir os novos.</li>
<li>Solução 2: criar uma nova coleção para os novos dados.</li>
<li>Solução 3: utilizar um alias de coleção.</li>
</ul>
<p>Para a solução 1, uma das deficiências mais evidentes é o facto de ser extremamente morosa, especialmente quando o conjunto de dados a atualizar é enorme. Geralmente, são necessárias horas para atualizar um conjunto de dados à escala de 100 milhões.</p>
<p>Quanto à solução 2, o problema é que a nova coleção não está imediatamente disponível para pesquisa. Ou seja, uma coleção não pode ser pesquisada durante o carregamento. Além disso, o Milvus não permite que duas colecções usem o mesmo nome de coleção. A mudança para uma nova coleção exigiria sempre que os utilizadores modificassem manualmente o código do lado do cliente. Ou seja, os utilizadores teriam de rever o valor do parâmetro <code translate="no">collection_name</code> sempre que precisassem de mudar de coleção.</p>
<p>A solução 3 seria a solução milagrosa. Basta inserir os novos dados numa nova coleção e utilizar o alias de coleção. Ao fazê-lo, basta trocar o alias de coleção sempre que for necessário mudar de coleção para efetuar a pesquisa. Não precisa de se esforçar mais para rever o código. Esta solução poupa-lhe os problemas mencionados nas duas soluções anteriores.</p>
<p>Yusup partiu deste pedido e ajudou toda a equipa SmartNews a compreender a arquitetura do Milvus. Após um mês e meio, o projeto Milvus recebeu um PR sobre hot reload da Yusup. E mais tarde, esta função está oficialmente disponível juntamente com o lançamento do Milvus 2.0.0-RC7.</p>
<p>Atualmente, a equipa de infra-estruturas de IA está a tomar a iniciativa de implementar o Milvus 2.0 e de migrar gradualmente todos os dados do Milvus 1.0 para o 2.0.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/image2_96c064a627.png" alt="img_collection alias" class="doc-image" id="img_collection-alias" />
   </span> <span class="img-wrapper"> <span>Alias de coleção img_collection</span> </span></p>
<p>O suporte para o nome alternativo de coleção pode melhorar significativamente a experiência do utilizador, especialmente para as grandes empresas da Internet com grandes volumes de pedidos de utilizadores. Chenglong Li, engenheiro de dados da comunidade Milvus, que ajudou a construir a ponte entre o Milvus e o Smartnews, disse: "A função de alias de coleção surge de um pedido real da SmartNews, um utilizador do Milvus. E a SmartNews contribuiu com o código para a comunidade Milvus. Este ato de reciprocidade é um excelente exemplo do espírito de código aberto: da comunidade e para a comunidade. Esperamos ver mais colaboradores como a SmartNews e construir em conjunto uma comunidade Milvus mais próspera."</p>
<p>"Atualmente, parte do negócio da publicidade está a adotar o Milvus como base de dados vetorial offline. O lançamento oficial do Mivus 2.0 está a aproximar-se e esperamos poder utilizar o Milvus para criar sistemas mais fiáveis e fornecer serviços em tempo real para mais cenários empresariais", afirmou Dennis.</p>
<blockquote>
<p>Atualização: O Milvus 2.0 já está disponível para todos! <a href="/blog/pt/2022-1-25-annoucing-general-availability-of-milvus-2-0.md">Saiba mais</a></p>
</blockquote>


A história da SmartNews - de um utilizador Milvus a um colaborador ativo

<p>2021 foi um ano fantástico para o Milvus enquanto projeto de código aberto. Gostaria de agradecer a todos os colaboradores e utilizadores do Milvus, bem como aos parceiros, por terem contribuído para um ano tão extraordinário.</p>
<p><strong>Para mim, um dos momentos mais impressionantes deste ano foi o lançamento do Milvus 2.0. Antes de iniciarmos este projeto, apenas alguns membros da comunidade acreditavam que poderíamos fornecer a base de dados vetorial mais avançada do mundo, mas agora tenho o orgulho de dizer que o Milvus 2.0 GA está pronto para produção.</strong></p>
<p>Já estamos a trabalhar num novo e excitante conjunto de desafios para 2022, mas achei que seria divertido celebrar alguns dos grandes passos que demos no ano passado. Aqui estão alguns:</p>
<h2 id="Community-Growth" class="common-anchor-header">Crescimento da comunidade<button data-href="#Community-Growth" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Primeiro, aqui está um resumo das estatísticas da comunidade do GitHub e do Slack. Até o final de dezembro de 2021:</p>
<ul>
<li><p><strong>Os colaboradores</strong> aumentaram de 121 em dezembro de 2020 para 209 em dezembro de 2021 (aumento de 172%)</p></li>
<li><p><strong>As estrelas</strong> aumentaram de 4828 em dezembro de 2020 para 9090 em dezembro de 2021 (aumento de 188%)</p></li>
<li><p><strong>Os garfos</strong> aumentaram de 756 em dezembro de 2020 para 1383 em dezembro de 2021 (aumento de 182%)</p></li>
<li><p><strong>Os membros do Slack</strong> aumentaram de 541 em dezembro de 2020 para 1233 em dezembro de 2021 (aumento de 227%)</p></li>
</ul>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_1_e94deb087f.png" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<h2 id="Community-Governance-and-Advocacy" class="common-anchor-header">Governação e defesa da comunidade<button data-href="#Community-Governance-and-Advocacy" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Quando Milvus se tornou open source pela primeira vez em outubro de 2019, tínhamos uma equipa relativamente pequena e uma pequena comunidade, pelo que naturalmente o projeto era governado principalmente por alguns membros da equipa principal. Mas desde então a comunidade cresceu significativamente, percebemos que precisávamos de um sistema melhor para gerir o projeto para que pudéssemos acolher novos colaboradores de forma mais eficiente.</p>
<p>Como resultado, nomeámos 5 novos mantenedores em 2021 para acompanhar o trabalho em curso e os problemas reportados para garantir que são revistos e integrados atempadamente. Os IDs do GitHub dos cinco mantenedores são @xiaofan-luan; @congqixia; @scsven; @czs007; @yanliang567. Por favor, sinta-se à vontade para contactar estes mantenedores se precisar de ajuda com os seus PRs.</p>
<p>Também lançámos o <a href="https://milvus.io/community/milvus_advocate.md">Milvus Advocate Program</a> e damos as boas-vindas a mais pessoas que se juntem a nós para partilharem as suas experiências, oferecerem ajuda aos membros da comunidade e obterem reconhecimento em troca.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_2_835f379fb0.png" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<p>(Imagem: Colaboradores do GitHub do Milvus, feita com o <a href="https://github.com/dynamicwebpaige/nanowrimo-2021/blob/main/15_VS_Code_contributors.ipynb">projeto</a> dynamicwebpaige)</p>
<h2 id="Milvus-Project-Announcements-and-Milestones" class="common-anchor-header">Anúncios e marcos do projeto Milvus<button data-href="#Milvus-Project-Announcements-and-Milestones" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ol>
<li><strong>Número de versões lançadas：14</strong></li>
</ol>
<ul>
<li><a href="https://milvus.io/blog/Whats-Inside-Milvus-1.0.md">Lançamento do Milvus 1.0</a></li>
<li><a href="https://milvus.io/blog/milvus2.0-redefining-vector-database.md">Milvus 2.0 versão RC</a></li>
<li><a href="https://milvus.io/docs/v2.0.x/release_notes.md#v200-PreGA">Milvus 2.0 versão PreGA</a></li>
</ul>
<ol>
<li><strong>SDKs suportados pelo Milvus v2.0.0 GA</strong></li>
</ol>
<ul>
<li><p>PyMilvus (Disponível)</p></li>
<li><p>Go SDK (Disponível)</p></li>
<li><p>Java SDK (Disponível)</p></li>
<li><p>Node.js SDK (Disponível)</p></li>
<li><p>SDK C++ (em desenvolvimento)</p></li>
</ul>
<ol start="3">
<li><strong>Lançamento de novas ferramentas Milvus:</strong></li>
</ol>
<ul>
<li><a href="https://github.com/zilliztech/milvus_cli#community">Milvus_CLI</a> (linha de comando do Milvus)</li>
<li><a href="https://github.com/zilliztech/attu">Attu</a> (GUI de gestão do Milvus)</li>
<li><a href="https://github.com/milvus-io/milvus-operator">Milvus K8s Operator</a></li>
</ul>
<ol start="4">
<li><p><strong><a href="https://lfaidata.foundation/blog/2021/06/23/lf-ai-data-foundation-announces-graduation-of-milvus-project/">Milvus tornou-se um projeto de graduação da LF AI &amp; Data Foundation.</a></strong></p></li>
<li><p><strong><a href="https://www.cs.purdue.edu/homes/csjgwang/pubs/SIGMOD21_Milvus.pdf">Milvus: Um sistema de gestão de dados vectoriais construído para fins específicos publicado no SIGMOD'2021</a>)<a href="https://www.cs.purdue.edu/homes/csjgwang/pubs/SIGMOD21_Milvus.pdf">.</a></strong></p></li>
<li><p><strong><a href="https://discuss.milvus.io/">Lançamento do Fórum da Comunidade Milvus.</a></strong></p></li>
</ol>
<h2 id="Community-Events" class="common-anchor-header">Eventos da comunidade<button data-href="#Community-Events" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Organizámos e participámos em muitos eventos este ano para que os membros da nossa comunidade global se possam encontrar (principalmente virtualmente), apesar da atual situação da Covid-19. No total, participámos em 21 conferências e fomos anfitriões:</p>
<ul>
<li>6 reuniões técnicas</li>
<li>7 Horas de expediente Milvus</li>
<li>34 Webinars</li>
<li>3 Meetups offline</li>
</ul>
<p>Estamos a planear mais eventos para 2022. Se quiser participar nos eventos perto de si, consulte a categoria <a href="https://discuss.milvus.io/c/events-and-meetups/13">Eventos e Meetup</a> no nosso fórum da comunidade para ver os próximos eventos e as suas localizações. Se quiser ser nosso orador ou anfitrião em eventos futuros, contacte-nos através de <a href="mailto:community@milvus.io">community@milvus.io.</a></p>
<h2 id="Looking-Ahead-to-2022--Roadmap--Announcement" class="common-anchor-header">Rumo a 2022 - Roteiro e anúncio<button data-href="#Looking-Ahead-to-2022--Roadmap--Announcement" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><strong>Comunidade:</strong></p>
<ol>
<li>Melhorar a adesão ao Projeto Milvus para atrair/eleger mais mantenedores e committers para construir a comunidade em conjunto.</li>
<li>Lançar o Programa de Mentoria para oferecer mais ajuda aos recém-chegados que queiram juntar-se à comunidade e contribuir.</li>
<li>Melhorar a governação dos documentos da comunidade, incluindo <strong>documentos técnicos, guias do utilizador e documentos da comunidade</strong>. Em 2022, esperamos que os membros da nossa comunidade possam completar um Manual Milvus em conjunto para que as pessoas possam aprender a usar melhor o Milvus.</li>
<li>Reforçar a cooperação e a interação com outras comunidades de código aberto, incluindo comunidades de IA a montante e comunidades como Kubernetes, MinIO, etcd e Pulsar, nas quais o Milvus se baseia.</li>
<li>Tornarmo-nos mais orientados para a comunidade, realizando reuniões SIG mais regulares. Para além do sig-pymilvus que está a decorrer atualmente, o nosso plano é ter mais SIGs em 2022.</li>
</ol>
<p><strong>Projeto Milvus:</strong></p>
<ol>
<li>Afinação do desempenho</li>
</ol>
<p>O excelente desempenho sempre foi uma razão importante para os utilizadores escolherem o Milvus. Em 2022, planeamos iniciar um projeto de otimização do desempenho para aumentar o rendimento e o atraso em pelo menos duas vezes. Também planeamos introduzir réplicas de memória para melhorar o rendimento e a estabilidade do sistema em pequenos conjuntos de dados, e apoiar a GPU para acelerar a criação de índices e o serviço online.</p>
<ol start="2">
<li>Funcionalidade</li>
</ol>
<p>O Milvus 2.0 já suportou funcionalidades como a pesquisa híbrida vetorial/escalar, a eliminação de entidades e as viagens no tempo. Planeamos suportar as seguintes funcionalidades nas próximas duas grandes versões:</p>
<ul>
<li>Suporte para tipos de dados mais ricos: String, Blob, Geospatial, etc.</li>
<li>Controlo de acesso baseado em funções</li>
<li>Desduplicação de chaves primárias</li>
<li>Suporte para pesquisa de intervalo em vetores (pesquisa onde a distância &lt; 0,8)</li>
<li>Suporte a APIs restritas e SDKs de outras linguagens</li>
</ul>
<ol start="3">
<li>Facilidade de utilização</li>
</ol>
<p>No próximo ano, planeamos desenvolver várias ferramentas para ajudar a implementar e gerir melhor o Milvus.</p>
<ul>
<li><p>Milvus up:  Um componente de implementação que ajuda os utilizadores a instalar o Milvus num ambiente offline sem o cluster K8s. Ele também ajuda a implantar monitoramento, rastreamento e outros desenvolvimentos do Milvus.</p></li>
<li><p>Attu - Vamos continuar a melhorar o Attu como o nosso sistema de gestão de clusters. Estamos a planear adicionar funcionalidades como o diagnóstico de saúde e a otimização de índices.</p></li>
<li><p>Milvus DM: Ferramenta de migração de dados para migrar vectores de outras bases de dados ou ficheiros para o Milvus. Iremos primeiro suportar FAISS, HNSW, Milvus 1.0/2.0, e depois outras bases de dados como MySQL e Elasticsearch.</p></li>
</ul>
<h2 id="About-the-author" class="common-anchor-header">Sobre o autor<button data-href="#About-the-author" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Xiaofan Luan, sócio e Diretor de Engenharia da Zilliz, e membro do Comité Técnico Consultivo da LF AI &amp; Data Foundation. Trabalhou sucessivamente na sede da Oracle nos EUA e na Hedvig, uma startup de armazenamento definido por software. Juntou-se à equipa da Alibaba Cloud Database e foi responsável pelo desenvolvimento da base de dados NoSQL HBase e Lindorm. Luan obteve o seu mestrado em Engenharia Informática Eletrónica na Universidade de Cornell.</p>


Milvus em 2021 - Ano em análise

<p>Na era da explosão da informação, estamos a produzir voz, imagens, vídeos e outros dados não estruturados a toda a hora. Como é que analisamos eficazmente esta enorme quantidade de dados? O aparecimento das redes neuronais permite que os dados não estruturados sejam incorporados como vectores e a base de dados Milvus é um software básico de serviço de dados, que ajuda a completar o armazenamento, a pesquisa e a análise de dados vectoriais.</p>
<p>Mas como podemos utilizar rapidamente a base de dados vetorial Milvus?</p>
<p>Alguns utilizadores queixaram-se de que as APIs são difíceis de memorizar e esperam que possam existir linhas de comando simples para operar a base de dados Milvus.</p>
<p>É com grande entusiasmo que apresentamos o Milvus_CLI, uma ferramenta de linha de comandos dedicada à base de dados vetorial Milvus.</p>
<p>O Milvus_CLI é um conveniente CLI de base de dados para o Milvus, que suporta a ligação à base de dados, a importação e exportação de dados e o cálculo de vectores utilizando comandos interactivos em shells. A última versão do Milvus_CLI tem as seguintes caraterísticas.</p>
<ul>
<li><p>Todas as plataformas suportadas, incluindo Windows, Mac e Linux</p></li>
<li><p>Instalação online e offline com pip suportada</p></li>
<li><p>Portátil, pode ser usado em qualquer lugar</p></li>
<li><p>Construído sobre o Milvus SDK para Python</p></li>
<li><p>Documentos de ajuda incluídos</p></li>
<li><p>Suporte ao preenchimento automático</p></li>
</ul>
<h2 id="Installation" class="common-anchor-header">Instalação<button data-href="#Installation" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Você pode instalar o Milvus_CLI online ou offline.</p>
<h3 id="Install-MilvusCLI-online" class="common-anchor-header">Instalar Milvus_CLI online</h3><p>Execute o seguinte comando para instalar o Milvus_CLI online com o pip. É necessário o Python 3.8 ou posterior.</p>
<pre><code translate="no">pip install milvus-cli
<button class="copy-code-btn"></button></code></pre>
<h3 id="Install-MilvusCLI-offline" class="common-anchor-header">Instalar o Milvus_CLI offline</h3><p>Para instalar o Milvus_CLI offline, <a href="https://github.com/milvus-io/milvus_cli/releases">baixe</a> primeiro o tarball mais recente da página de lançamento.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_af0e832119.png" alt="1.png" class="doc-image" id="1.png" />
   </span> <span class="img-wrapper"> <span>1.png</span> </span></p>
<p>Depois que o tarball for baixado, execute o seguinte comando para instalar o Milvus_CLI.</p>
<pre><code translate="no">pip install milvus_cli-&lt;version&gt;.tar.gz
<button class="copy-code-btn"></button></code></pre>
<p>Depois que o Milvus_CLI estiver instalado, execute <code translate="no">milvus_cli</code>. O prompt <code translate="no">milvus_cli &gt;</code> que aparece indica que a linha de comando está pronta.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/2_b50f5d2a5a.png" alt="2.png" class="doc-image" id="2.png" />
   </span> <span class="img-wrapper"> <span>2.png</span> </span></p>
<p>Se estiver a utilizar um Mac com o chip M1 ou um PC sem um ambiente Python, pode optar por utilizar uma aplicação portátil. Para o conseguir, <a href="https://github.com/milvus-io/milvus_cli/releases">transfira</a> um ficheiro na página de lançamento correspondente ao seu SO, execute <code translate="no">chmod +x</code> no ficheiro para o tornar executável, e execute <code translate="no">./</code> no ficheiro para o executar.</p>
<h4 id="Example" class="common-anchor-header"><strong>Exemplo</strong></h4><p>O exemplo seguinte torna <code translate="no">milvus_cli-v0.1.8-fix2-macOS</code> executável e executa-o.</p>
<pre><code translate="no"><span class="hljs-built_in">sudo</span> <span class="hljs-built_in">chmod</span> +x milvus_cli-v0.1.8-fix2-macOS
./milvus_cli-v0.1.8-fix2-macOS
<button class="copy-code-btn"></button></code></pre>
<h2 id="Usage" class="common-anchor-header">Utilização<button data-href="#Usage" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="Connect-to-Milvus" class="common-anchor-header">Ligar ao Milvus</h3><p>Antes de se ligar ao Milvus, certifique-se de que o Milvus está instalado no seu servidor. Consulte <a href="https://milvus.io/docs/v2.0.x/install_standalone-docker.md">Instalar o Milvus Standalone</a> ou <a href="https://milvus.io/docs/v2.0.x/install_cluster-docker.md">Instalar o Milvus Cluster</a> para obter mais informações.</p>
<p>Se o Milvus estiver instalado no seu localhost com a porta predefinida, execute <code translate="no">connect</code>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/3_f950d3739a.png" alt="3.png" class="doc-image" id="3.png" />
   </span> <span class="img-wrapper"> <span>3.png</span> </span></p>
<p>Caso contrário, execute o seguinte comando com o endereço IP do seu servidor Milvus. O exemplo a seguir usa <code translate="no">172.16.20.3</code> como o endereço IP e <code translate="no">19530</code> como o número da porta.</p>
<pre><code translate="no">connect -h 172.16.20.3
<button class="copy-code-btn"></button></code></pre>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/4_9ff2db9855.png" alt="4.png" class="doc-image" id="4.png" />
   </span> <span class="img-wrapper"> <span>4.png</span> </span></p>
<h3 id="Create-a-collection" class="common-anchor-header">Criar uma coleção</h3><p>Esta secção apresenta a forma de criar uma coleção.</p>
<p>Uma coleção é constituída por entidades e é semelhante a uma tabela em RDBMS. Consulte <a href="https://milvus.io/docs/v2.0.x/glossary.md">o Glossário</a> para obter mais informações.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/5_95a88c1cbf.png" alt="5.png" class="doc-image" id="5.png" />
   </span> <span class="img-wrapper"> <span>5.png</span> </span></p>
<h4 id="Example" class="common-anchor-header">Exemplo</h4><p>O exemplo seguinte cria uma coleção com o nome <code translate="no">car</code>. A coleção <code translate="no">car</code> tem quatro campos que são <code translate="no">id</code>, <code translate="no">vector</code>, <code translate="no">color</code> e <code translate="no">brand</code>. O campo de chave primária é <code translate="no">id</code>. Consulte <a href="https://milvus.io/docs/v2.0.x/cli_commands.md#create-collection">criar coleção</a> para obter mais informações.</p>
<pre><code translate="no">create collection -c car -f <span class="hljs-built_in">id</span>:INT64:primary_field -f vector:FLOAT_VECTOR:<span class="hljs-number">128</span> -f color:INT64:color -f brand:INT64:brand -p <span class="hljs-built_in">id</span> -a -d <span class="hljs-string">&#x27;car_collection&#x27;</span>
<button class="copy-code-btn"></button></code></pre>
<h3 id="List-collections" class="common-anchor-header">Listar colecções</h3><p>Execute o seguinte comando para listar todas as colecções nesta instância do Milvus.</p>
<pre><code translate="no">list collections
<button class="copy-code-btn"></button></code></pre>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/6_1331f4c8bc.png" alt="6.png" class="doc-image" id="6.png" />
   </span> <span class="img-wrapper"> <span>6.png</span> </span></p>
<p>Execute o seguinte comando para verificar os detalhes da coleção <code translate="no">car</code>.</p>
<pre><code translate="no">describe collection -c car 
<button class="copy-code-btn"></button></code></pre>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/7_1d70beee54.png" alt="7.png" class="doc-image" id="7.png" />
   </span> <span class="img-wrapper"> <span>7.png</span> </span></p>
<h3 id="Calculate-the-distance-between-two-vectors" class="common-anchor-header">Calcular a distância entre dois vectores</h3><p>Execute o seguinte comando para importar dados para a coleção <code translate="no">car</code>.</p>
<pre><code translate="no"><span class="hljs-keyword">import</span> -c car <span class="hljs-string">&#x27;https://raw.githubusercontent.com/zilliztech/milvus_cli/main/examples/import_csv/vectors.csv&#x27;</span>
<button class="copy-code-btn"></button></code></pre>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/8_7609a4359a.png" alt="8.png" class="doc-image" id="8.png" />
   </span> <span class="img-wrapper"> <span>8.png</span> </span></p>
<p>Execute <code translate="no">query</code> e introduza <code translate="no">car</code> como o nome da coleção e <code translate="no">id&gt;0</code> como a expressão de consulta quando solicitado. Os IDs das entidades que atendem aos critérios são retornados conforme mostrado na figura a seguir.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/9_f0755589f6.png" alt="9.png" class="doc-image" id="9.png" />
   </span> <span class="img-wrapper"> <span>9.png</span> </span></p>
<p>Execute <code translate="no">calc</code> e introduza os valores apropriados quando solicitado para calcular as distâncias entre as matrizes de vectores.</p>
<h3 id="Delete-a-collection" class="common-anchor-header">Eliminar uma coleção</h3><p>Execute o seguinte comando para excluir a coleção <code translate="no">car</code>.</p>
<pre><code translate="no"><span class="hljs-keyword">delete</span> collection -c car
<button class="copy-code-btn"></button></code></pre>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/10_16b2b01935.png" alt="10.png" class="doc-image" id="10.png" />
   </span> <span class="img-wrapper"> <span>10.png</span> </span></p>
<h2 id="More" class="common-anchor-header">Mais informações<button data-href="#More" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>O Milvus_CLI não se limita às funções anteriores. Execute <code translate="no">help</code> para ver todos os comandos que o Milvus_CLI inclui e as respectivas descrições. Execute <code translate="no">&lt;command&gt; --help</code> para ver os detalhes de um comando específico.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/11_5f31ccb1e8.png" alt="11.png" class="doc-image" id="11.png" />
   </span> <span class="img-wrapper"> <span>11.png</span> </span></p>
<p><strong>Veja também:</strong></p>
<p><a href="https://milvus.io/docs/v2.0.x/cli_commands.md">Referência de comandos do Milvus_CLI</a> em Milvus Docs</p>
<p>Esperamos que o Milvus_CLI o possa ajudar a utilizar facilmente a base de dados vetorial Milvus. Continuaremos a otimizar a Milvus_CLI e as suas contribuições são bem-vindas.</p>
<p>Se tiver alguma dúvida, sinta-se à vontade para <a href="https://github.com/zilliztech/milvus_cli/issues">registar um problema</a> no GitHub.</p>


Começar a utilizar o Milvus_CLI

Evolução da base de dados vetorial Milvus escalável na nuvem

<p>Nos últimos anos, a questão da proteção da propriedade intelectual tem estado sob as luzes da ribalta, uma vez que as pessoas estão cada vez mais conscientes da violação da propriedade intelectual. Em especial, a gigante multinacional da tecnologia Apple Inc. tem intentado ativamente <a href="https://en.wikipedia.org/wiki/Apple_Inc._litigation">acções judiciais contra várias empresas por violação de propriedade intelectual</a>, incluindo violação de marcas registadas, patentes e desenhos. Para além dos casos mais notórios, a Apple Inc. também <a href="https://www.smh.com.au/business/apple-bites-over-woolworths-logo-20091005-ghzr.html">contestou um pedido de registo de marca da Woolworths Limited</a>, uma cadeia de supermercados australiana, por violação de marca registada em 2009.  A Apple. Inc. argumentou que o logótipo da marca australiana, um &quot;w&quot; estilizado, se assemelhava ao seu próprio logótipo de uma maçã. Por conseguinte, a Apple Inc. opôs-se à gama de produtos, incluindo dispositivos electrónicos, que a Woolworths pretendia vender com o logótipo. A história termina com a Woolworths a alterar o seu logótipo e a Apple a retirar a sua oposição.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Logo_of_Woolworths_b04ece5b20.png" alt="Logo of Woolworths.png" class="doc-image" id="logo-of-woolworths.png" />
   </span> <span class="img-wrapper"> <span>Logótipo da Woolworths.png</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Logo_of_Apple_Inc_181e5bd5f8.png" alt="Logo of Apple Inc.png" class="doc-image" id="logo-of-apple-inc.png" />
   </span> <span class="img-wrapper"> <span>Logótipo da Apple Inc.png</span> </span></p>
<p>Com a crescente consciencialização da cultura de marca, as empresas estão mais atentas a quaisquer ameaças que possam prejudicar os seus direitos de propriedade intelectual (PI). A infração de PI inclui:</p>
<ul>
<li>Violação de direitos de autor</li>
<li>Infração de patentes</li>
<li>Infração de marca registada</li>
<li>Infração de design</li>
<li>Cybersquatting</li>
</ul>
<p>O litígio acima referido entre a Apple e a Woolworths prende-se sobretudo com a violação de marcas registadas, precisamente a semelhança entre as imagens das marcas registadas das duas entidades. Para não se tornar noutra Woolworths, uma pesquisa exaustiva de semelhança de marcas é um passo crucial para os requerentes, tanto antes do depósito como durante a análise dos pedidos de registo de marcas. O recurso mais comum é através de uma pesquisa na <a href="https://tmsearch.uspto.gov/search/search-information">base de dados do Instituto de Patentes e Marcas dos Estados Unidos (USPTO)</a>, que contém todos os registos e pedidos de marca activos e inactivos. Apesar da interface de utilizador não tão encantadora, este processo de pesquisa também é profundamente imperfeito devido à sua natureza baseada em texto, uma vez que se baseia em palavras e códigos de design de marca registada (que são etiquetas anotadas à mão de caraterísticas de design) para procurar imagens.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/image_8_b2fff6ca11.png" alt="8.png" class="doc-image" id="8.png" />
   </span> <span class="img-wrapper"> <span>8.png</span> </span></p>
<p>Assim, este artigo pretende mostrar como construir um sistema eficiente de pesquisa de semelhança de marcas registadas com base em imagens utilizando <a href="https://milvus.io">o Milvus</a>, uma base de dados vetorial de código aberto.</p>
<h2 id="A-vector-similarity-search-system-for-trademarks" class="common-anchor-header">Um sistema de pesquisa de semelhanças vectoriais para marcas registadas<button data-href="#A-vector-similarity-search-system-for-trademarks" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Para criar um sistema de pesquisa de semelhanças vectoriais para marcas registadas, é necessário seguir os seguintes passos:</p>
<ol>
<li>Preparar um conjunto de dados massivo de logótipos. Provavelmente, o sistema pode utilizar um conjunto de dados como <a href="https://developer.uspto.gov/product/trademark-24-hour-box-and-supplemental">este</a>,).</li>
<li>Treinar um modelo de extração de caraterísticas de imagem utilizando o conjunto de dados e modelos baseados em dados ou algoritmos de IA.</li>
<li>Converter os logótipos em vectores utilizando o modelo ou algoritmo treinado na etapa 2.</li>
<li>Armazenar os vectores e realizar pesquisas de semelhança de vectores em Milvus, a base de dados de vectores de código aberto.</li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/trademark_system_e9700df555.png" alt="Nike.png" class="doc-image" id="nike.png" />
   </span> <span class="img-wrapper"> <span>Nike.png</span> </span></p>
<p>Nas secções seguintes, vamos analisar mais detalhadamente os dois principais passos na construção de um sistema de pesquisa de semelhanças vectoriais para marcas comerciais: utilizar modelos de IA para extração de caraterísticas de imagem e utilizar o Milvus para pesquisa de semelhanças vectoriais. No nosso caso, utilizámos o VGG16, uma rede neural convolucional (CNN), para extrair caraterísticas de imagem e convertê-las em vectores de incorporação.</p>
<h3 id="Using-VGG16-for-image-feature-extraction" class="common-anchor-header">Utilização do VGG16 para extração de caraterísticas de imagem</h3><p><a href="https://medium.com/@mygreatlearning/what-is-vgg16-introduction-to-vgg16-f2d63849f615">O VGG16</a> é uma CNN concebida para o reconhecimento de imagens em grande escala. O modelo é rápido e preciso no reconhecimento de imagens e pode ser aplicado a imagens de todos os tamanhos. Seguem-se duas ilustrações da arquitetura do VGG16.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/vgg16_layers_9e621f62cc.png" alt="9.png" class="doc-image" id="9.png" />
   </span> <span class="img-wrapper"> <span>9.png</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/vgg16_architecture_992614e882.png" alt="10.png" class="doc-image" id="10.png" />
   </span> <span class="img-wrapper"> <span>10.png</span> </span></p>
<p>O modelo VGG16, como o próprio nome sugere, é uma CNN com 16 camadas. Todos os modelos VGG, incluindo o VGG16 e o VGG19, contêm 5 blocos VGG, com uma ou mais camadas convolucionais em cada bloco VGG. E no final de cada bloco, uma camada de pooling máximo é conectada para reduzir o tamanho da imagem de entrada. O número de kernels é equivalente em cada camada convolucional, mas duplica em cada bloco VGG. Por conseguinte, o número de kernels no modelo aumenta de 64 no primeiro bloco para 512 no quarto e quinto blocos. Todos os núcleos convolucionais têm<em>tamanho 33, enquanto os núcleos de agrupamento têm todos tamanho 22</em>. Isto permite preservar mais informações sobre a imagem de entrada.</p>
<p>Por conseguinte, neste caso, o VGG16 é um modelo adequado para o reconhecimento de imagens de conjuntos de dados maciços. Pode utilizar Python, Tensorflow e Keras para treinar um modelo de extração de caraterísticas de imagem com base no VGG16.</p>
<h3 id="Using-Milvus-for-vector-similarity-search" class="common-anchor-header">Utilização do Milvus para pesquisa de semelhanças vectoriais</h3><p>Depois de utilizar o modelo VGG16 para extrair caraterísticas de imagem e converter imagens de logótipos em vectores de incorporação, é necessário procurar vectores semelhantes a partir de um conjunto de dados maciço.</p>
<p>O Milvus é uma base de dados nativa da nuvem com elevada escalabilidade e elasticidade. Além disso, como base de dados, pode garantir a consistência dos dados. Para um sistema de pesquisa de semelhanças de marcas comerciais como este, novos dados, como os registos mais recentes de marcas comerciais, são carregados no sistema em tempo real. E estes dados recentemente carregados têm de estar imediatamente disponíveis para pesquisa. Por conseguinte, este artigo adopta a Milvus, a base de dados vetorial de código aberto, para efetuar a pesquisa de semelhanças vectoriais.</p>
<p>Ao inserir os vectores de logótipos, pode criar colecções no Milvus para diferentes tipos de vectores de logótipos de acordo com a <a href="https://en.wikipedia.org/wiki/International_(Nice)_Classification_of_Goods_and_Services">Classificação Internacional de Produtos e Serviços (Nice)</a>, um sistema de classificação de produtos e serviços para registo de marcas. Por exemplo, pode inserir um grupo de vectores de logótipos de marcas de vestuário numa coleção denominada &quot;vestuário&quot; no Milvus e inserir outro grupo de vectores de logótipos de marcas tecnológicas numa coleção diferente denominada &quot;tecnologia&quot;. Deste modo, pode aumentar consideravelmente a eficiência e a velocidade da sua pesquisa de semelhança de vectores.</p>
<p>O Milvus não só suporta múltiplos índices para a pesquisa por semelhança de vectores, como também fornece APIs e ferramentas avançadas para facilitar o DevOps. O diagrama seguinte ilustra a <a href="https://milvus.io/docs/v2.0.x/architecture_overview.md">arquitetura do Milvus</a>. Pode saber mais sobre o Milvus lendo <a href="https://milvus.io/docs/v2.0.x/overview.md">a</a> sua <a href="https://milvus.io/docs/v2.0.x/overview.md">introdução</a>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/milvus_architecture_ea45a5ab53.png" alt="11.png" class="doc-image" id="11.png" />
   </span> <span class="img-wrapper"> <span>11.png</span> </span></p>
<h2 id="Looking-for-more-resources" class="common-anchor-header">Procurando por mais recursos?<button data-href="#Looking-for-more-resources" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p>Crie mais sistemas de pesquisa de semelhanças vectoriais para outros cenários de aplicação com o Milvus:</p>
<ul>
<li><a href="https://milvus.io/blog/dna-sequence-classification-based-on-milvus.md">Classificação de sequências de DNA baseada em Milvus</a></li>
<li><a href="https://milvus.io/blog/audio-retrieval-based-on-milvus.md">Recuperação de áudio com base em Milvus</a></li>
<li><a href="https://milvus.io/blog/building-video-search-system-with-milvus.md">4 passos para criar um sistema de pesquisa de vídeo</a></li>
<li><a href="https://milvus.io/blog/building-intelligent-chatbot-with-nlp-and-milvus.md">Construindo um sistema de QA inteligente com NLP e Milvus</a></li>
<li><a href="https://milvus.io/blog/molecular-structure-similarity-with-milvus.md">Acelerar a descoberta de novos medicamentos</a></li>
</ul></li>
<li><p>Envolva-se com a nossa comunidade de código aberto:</p>
<ul>
<li>Encontre ou contribua para o Milvus no <a href="https://bit.ly/307b7jC">GitHub</a>.</li>
<li>Interaja com a comunidade através do <a href="https://bit.ly/3qiyTEk">Fórum</a>.</li>
<li>Ligue-se a nós no <a href="https://bit.ly/3ob7kd8">Twitter</a>.</li>
</ul></li>
</ul>


Milvus in IP Protection：Construção de um sistema de pesquisa de semelhança de marcas registadas com Milvus

<p>Para o ajudar a iniciar-se rapidamente no Milvus, a base de dados vetorial de código aberto, lançámos outro projeto de código aberto afiliado, o <a href="https://github.com/milvus-io/bootcamp">Milvus Bootcamp</a> no GitHub. O Milvus Bootcamp não só fornece scripts e dados para testes de benchmark, mas também inclui projectos que utilizam o Milvus para construir alguns MVPs (produtos mínimos viáveis), como um sistema de pesquisa de imagens invertido, um sistema de análise de vídeo, um chatbot de QA ou um sistema de recomendação. Pode aprender a aplicar a pesquisa de semelhanças vectoriais num mundo repleto de dados não estruturados e obter alguma experiência prática no Milvus Bootcamp.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/2_5b60157b4d.png" alt="2.png" class="doc-image" id="2.png" />
   </span> <span class="img-wrapper"> <span>2.png</span> </span></p>
<p>Fornecemos serviços de front-end e back-end para os projectos do Milvus Bootcamp. No entanto, tomámos recentemente a decisão de mudar a estrutura Web adoptada de Flask para FastAPI.</p>
<p>Este artigo tem como objetivo explicar a nossa motivação para esta mudança na estrutura Web adoptada para o Milvus Bootcamp, esclarecendo por que razão escolhemos o FastAPI em vez do Flask.</p>
<h2 id="Web-frameworks-for-Python" class="common-anchor-header">Frameworks web para Python<button data-href="#Web-frameworks-for-Python" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Uma framework web refere-se a uma coleção de pacotes ou módulos. É um conjunto de arquitetura de software para desenvolvimento web que permite escrever aplicações ou serviços web e poupa o trabalho de lidar com detalhes de baixo nível, como protocolos, sockets ou gestão de processos/thread. A utilização de uma estrutura Web pode reduzir significativamente a carga de trabalho do desenvolvimento de aplicações Web, uma vez que pode simplesmente "ligar" o seu código à estrutura, sem necessidade de atenção adicional ao lidar com o armazenamento em cache de dados, o acesso à base de dados e a verificação da segurança dos dados. Para mais informações sobre o que é um framework web para Python, veja <a href="https://wiki.python.org/moin/WebFrameworks">Frameworks Web</a>.</p>
<p>Existem vários tipos de frameworks web Python. Os mais comuns incluem Django, Flask, Tornado e FastAPI.</p>
<h3 id="Flask" class="common-anchor-header">Flask</h3><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/3_1abd170939.png" alt="3.png" class="doc-image" id="3.png" />
   </span> <span class="img-wrapper"> <span>3.png</span> </span></p>
<p><a href="https://flask.palletsprojects.com/en/2.0.x/">Flask</a> é um microframework leve projetado para Python, com um núcleo simples e fácil de usar que permite que você desenvolva suas próprias aplicações web. Além disso, o núcleo do Flask também é extensível. Portanto, o Flask suporta a extensão sob demanda de diferentes funções para atender às suas necessidades personalizadas durante o desenvolvimento de aplicações web. Ou seja, com uma biblioteca de vários plug-ins no Flask, é possível desenvolver sites poderosos.</p>
<p>O Flask tem as seguintes caraterísticas:</p>
<ol>
<li>O Flask é um microframework que não depende de outras ferramentas específicas ou componentes de bibliotecas de terceiros para fornecer funcionalidades partilhadas. O Flask não tem uma camada de abstração de base de dados e não requer validação de formulários. No entanto, o Flask é altamente extensível e suporta a adição de funcionalidades de aplicação de uma forma semelhante às implementações dentro do próprio Flask. As extensões relevantes incluem mapeadores objeto-relacionais, validação de formulários, processamento de upload, tecnologias de autenticação aberta e algumas ferramentas comuns projetadas para estruturas web.</li>
<li>Flask é uma estrutura de aplicação web baseada em <a href="https://wsgi.readthedocs.io/">WSGI</a> (Web Server Gateway Interface). A WSGI é uma interface simples que liga um servidor web a uma aplicação ou estrutura web definida para a linguagem Python.</li>
<li>O Flask inclui duas bibliotecas de funções principais, <a href="https://www.palletsprojects.com/p/werkzeug">Werkzeug</a> e <a href="https://www.palletsprojects.com/p/jinja">Jinja2</a>. Werkzeug é um kit de ferramentas WSGI que implementa objetos de solicitação, resposta e funções práticas, o que permite construir estruturas web sobre ele. O Jinja2 é um popular motor de criação de modelos com todas as funcionalidades para Python. Tem suporte total para Unicode, com um ambiente de execução de sandbox integrado opcional, mas amplamente adotado.</li>
</ol>
<h3 id="FastAPI" class="common-anchor-header">FastAPI</h3><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/4_05cb0dac4e.png" alt="4.png" class="doc-image" id="4.png" />
   </span> <span class="img-wrapper"> <span>4.png</span> </span></p>
<p><a href="https://fastapi.tiangolo.com/">FastAPI</a> é uma estrutura de aplicação web Python moderna que tem o mesmo nível de alto desempenho que Go e NodeJS. O núcleo do FastAPI é baseado em <a href="https://www.starlette.io/">Starlette</a> e <a href="https://pydantic-docs.helpmanual.io/">Pydantic</a>. Starlette é um kit de ferramentas de estrutura <a href="https://asgi.readthedocs.io/">ASGI</a>(Asynchronous Server Gateway Interface) leve para construir serviços <a href="https://docs.python.org/3/library/asyncio.html">Asyncio</a> de alto desempenho. Pydantic é uma biblioteca que define a validação, serialização e documentação de dados com base em dicas de tipo Python.</p>
<p>FastAPI tem as seguintes caraterísticas:</p>
<ol>
<li>FastAPI é uma estrutura de aplicação web baseada em ASGI, uma interface de protocolo de gateway assíncrona que conecta serviços de protocolo de rede e aplicações Python. FastAPI pode lidar com uma variedade de tipos de protocolos comuns, incluindo HTTP, HTTP2 e WebSocket.</li>
<li>FastAPI é baseado em Pydantic, que fornece a função de verificar o tipo de dados da interface. Não é necessário verificar adicionalmente o parâmetro da interface ou escrever código adicional para verificar se os parâmetros estão vazios ou se o tipo de dados está correto. A utilização da FastAPI pode efetivamente evitar erros humanos no código e melhorar a eficiência do desenvolvimento.</li>
<li>O FastAPI suporta documentos em dois formatos - <a href="https://swagger.io/specification/">OpenAPI</a> (anteriormente Swagger) e <a href="https://www.redoc.com/">Redoc</a>. Por conseguinte, enquanto utilizador, não precisa de perder tempo a escrever documentos de interface adicionais. O documento OpenAPI fornecido pelo FastAPI é mostrado na captura de ecrã abaixo.</li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/5_d91d34cb0f.png" alt="5.png" class="doc-image" id="5.png" />
   </span> <span class="img-wrapper"> <span>5.png</span> </span></p>
<h3 id="Flask-Vs-FastAPI" class="common-anchor-header">Flask vs. FastAPI</h3><p>A tabela abaixo demonstra as diferenças entre o Flask e o FastAPI em vários aspectos.</p>
<table>
<thead>
<tr><th></th><th><strong>FastAPI</strong></th><th><strong>Flask</strong></th></tr>
</thead>
<tbody>
<tr><td><strong>Interface gateway</strong></td><td>ASGI</td><td>WSGI</td></tr>
<tr><td><strong>Estrutura assíncrona</strong></td><td>✅</td><td>❌</td></tr>
<tr><td><strong>Desempenho</strong></td><td>Mais rápido</td><td>Mais lento</td></tr>
<tr><td><strong>Documento interativo</strong></td><td>OpenAPI, Redoc</td><td>Nenhum</td></tr>
<tr><td><strong>Verificação de dados</strong></td><td>✅</td><td>❌</td></tr>
<tr><td><strong>Custos de desenvolvimento</strong></td><td>Inferior</td><td>Mais elevados</td></tr>
<tr><td><strong>Facilidade de utilização</strong></td><td>Inferior</td><td>Maior</td></tr>
<tr><td><strong>Flexibilidade</strong></td><td>Menos flexível</td><td>Mais flexível</td></tr>
<tr><td><strong>Comunidade</strong></td><td>Mais pequena</td><td>Mais ativa</td></tr>
</tbody>
</table>
<h2 id="Why-FastAPI" class="common-anchor-header">Porquê FastAPI?<button data-href="#Why-FastAPI" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Antes de decidir qual a framework de aplicação web Python a escolher para os projectos do Milvus Bootcamp, pesquisámos várias frameworks mainstream, incluindo Django, Flask, FastAPI, Tornado, entre outras. Uma vez que os projectos do Milvus Bootcamp servem de referência para si, a nossa prioridade é adotar uma estrutura externa com a máxima leveza e destreza. De acordo com esta regra, reduzimos as nossas escolhas a Flask e FastAPI.</p>
<p>Pode ver a comparação entre as duas frameworks web na secção anterior. Segue-se uma explicação detalhada da nossa motivação para escolher FastAPI em vez de Flask para os projectos do Milvus Bootcamp. Existem várias razões:</p>
<h3 id="1-Performance" class="common-anchor-header">1. Desempenho</h3><p>A maior parte dos projectos do Bootcamp Milvus são construídos em torno de sistemas de pesquisa inversa de imagens, chatbots de QA, motores de pesquisa de texto, todos eles com elevadas exigências de processamento de dados em tempo real. Por conseguinte, precisamos de uma estrutura com um desempenho excecional, o que é exatamente o ponto alto do FastAPI. Por conseguinte, do ponto de vista do desempenho do sistema, decidimos escolher a FastAPI.</p>
<h3 id="2-Efficiency" class="common-anchor-header">2. Eficiência</h3><p>Ao utilizar o Flask, é necessário escrever código para a verificação do tipo de dados em cada uma das interfaces, para que o sistema possa determinar se os dados de entrada estão vazios ou não. No entanto, ao suportar a verificação automática do tipo de dados, a FastAPI ajuda a evitar erros humanos na codificação durante o desenvolvimento do sistema e pode aumentar muito a eficiência do desenvolvimento. O Bootcamp está posicionado como um tipo de recurso de formação. Isto significa que o código e os componentes que utilizamos devem ser intuitivos e altamente eficientes. Neste sentido, escolhemos a FastAPI para melhorar a eficiência do sistema e a experiência do utilizador.</p>
<h3 id="3-Asynchronous-framework" class="common-anchor-header">3. Estrutura assíncrona</h3><p>A FastAPI é inerentemente uma estrutura assíncrona. Inicialmente, lançámos quatro <a href="https://zilliz.com/milvus-demos?isZilliz=true">demonstrações</a>, pesquisa inversa de imagens, análise de vídeo, chatbot de garantia de qualidade e pesquisa de semelhanças moleculares. Nestas demos, pode carregar conjuntos de dados e ser-lhe-á imediatamente solicitado &quot;pedido recebido&quot;. E quando os dados forem carregados para o sistema de demonstração, receberá outra mensagem &quot;carregamento de dados bem sucedido&quot;. Este é um processo assíncrono que requer uma estrutura que suporte esta funcionalidade. A FastAPI é, ela própria, uma estrutura assíncrona. Para alinhar todos os recursos do Milvus, decidimos adotar um único conjunto de ferramentas e software de desenvolvimento para o Milvus Bootcamp e para as demonstrações do Milvus. Como resultado, mudámos a estrutura de Flask para FastAPI.</p>
<h3 id="4-Automatic-interactive-documents" class="common-anchor-header">4. Documentos interactivos automáticos</h3><p>De uma forma tradicional, quando se termina de escrever o código para o lado do servidor, é necessário escrever um documento extra para criar uma interface e depois utilizar ferramentas como o <a href="https://www.postman.com/">Postman</a> para testar e depurar a API. Então, e se apenas quiser começar rapidamente com a parte de desenvolvimento do lado do servidor web dos projectos no Milvus Bootcamp sem escrever código adicional para criar uma interface? FastAPI é a solução. Ao fornecer um documento OpenAPI, a FastAPI pode poupar-lhe o trabalho de testar ou depurar APIs e colaborar com equipas de front-end para desenvolver uma interface de utilizador. Com a FastAPI, pode ainda experimentar rapidamente a aplicação construída com uma interface automática mas intuitiva, sem esforços adicionais de codificação.</p>
<h3 id="5-User-friendliness" class="common-anchor-header">5. Facilidade de utilização</h3><p>A FastAPI é mais fácil de utilizar e desenvolver, permitindo-lhe assim prestar mais atenção à implementação específica do próprio projeto. Sem gastar muito tempo no desenvolvimento de frameworks web, pode concentrar-se mais na compreensão dos projectos no Milvus Bootcamp.</p>
<h2 id="Recap" class="common-anchor-header">Recapitulação<button data-href="#Recap" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Flask e FlastAPI têm seus próprios prós e contras. Como um framework de aplicação web emergente, FlastAPI, em seu núcleo, é construído em kits de ferramentas maduros e biblioteca, Starlette e Pydantic. FastAPI é uma estrutura assíncrona de alto desempenho. A sua destreza, extensibilidade e suporte para verificação automática do tipo de dados, juntamente com muitas outras caraterísticas poderosas, levaram-nos a adotar a FastAPI como a estrutura para os projectos Milvus Bootcamp.</p>
<p>Tenha em atenção que deve escolher a estrutura adequada de acordo com o cenário da sua aplicação se pretender criar um sistema de pesquisa de semelhanças vectoriais em produção.</p>
<h2 id="About-the-author" class="common-anchor-header">Sobre o autor<button data-href="#About-the-author" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Yunmei Li, engenheira de dados da Zilliz, licenciou-se em ciências informáticas na Universidade de Ciência e Tecnologia de Huazhong. Desde que se juntou à Zilliz, tem trabalhado na exploração de soluções para o projeto de código aberto Milvus e tem ajudado os utilizadores a aplicar o Milvus em cenários do mundo real. O seu foco principal é a PNL e os sistemas de recomendação, e gostaria de aprofundar ainda mais o seu foco nestas duas áreas. Gosta de passar tempo sozinha e de ler.</p>
<h2 id="Looking-for-more-resources" class="common-anchor-header">Está à procura de mais recursos?<button data-href="#Looking-for-more-resources" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p>Comece a construir um sistema de IA com Milvus e obtenha mais experiência prática lendo os nossos tutoriais!</p>
<ul>
<li><a href="https://milvus.io/blog/2021-10-10-milvus-helps-analys-vedios.md">O que é isto? Quem é ela? Milvus ajuda a analisar vídeos de forma inteligente</a></li>
<li><a href="https://milvus.io/blog/2021-09-26-onnx.md">Combinar modelos de IA para pesquisa de imagens utilizando ONNX e Milvus</a></li>
<li><a href="https://milvus.io/blog/dna-sequence-classification-based-on-milvus.md">Classificação de sequências de ADN com base em Milvus</a></li>
<li><a href="https://milvus.io/blog/audio-retrieval-based-on-milvus.md">Recuperação de áudio com base em Milvus</a></li>
<li><a href="https://milvus.io/blog/building-video-search-system-with-milvus.md">4 passos para criar um sistema de pesquisa de vídeos</a></li>
<li><a href="https://milvus.io/blog/building-intelligent-chatbot-with-nlp-and-milvus.md">Criação de um sistema de controlo de qualidade inteligente com PNL e Milvus</a></li>
<li><a href="https://milvus.io/blog/molecular-structure-similarity-with-milvus.md">Acelerar a descoberta de novos medicamentos</a></li>
</ul></li>
<li><p>Envolva-se com a nossa comunidade de código aberto:</p>
<ul>
<li>Encontre ou contribua para o Milvus no <a href="https://bit.ly/307b7jC">GitHub</a>.</li>
<li>Interaja com a comunidade através do <a href="https://bit.ly/3qiyTEk">Fórum</a>.</li>
<li>Ligue-se a nós no <a href="https://bit.ly/3ob7kd8">Twitter</a>.</li>
</ul></li>
</ul>


Por que escolher FastAPI em vez de Flask?

Aceleração da geração de candidatos em sistemas de recomendação usando Milvus emparelhado com PaddlePaddle

<p>Este tutorial apresenta como executar o Milvus 2.0 no Windows. Se quiser começar a usar o Milvus 2.0 usando o Windows, ou simplesmente tiver que executar o Milvus no Windows devido a limites de ambiente, este tutorial pode ser uma boa referência. Este artigo foi originalmente escrito por <a href="https://github.com/matrixji">@matrixji</a>.</p>
<p>Há duas maneiras de executar o Milvus 2.0 no Windows:</p>
<ul>
<li><a href="#Compile-from-source-code">Compilar a partir do código fonte</a></li>
<li><a href="#Install-from-the-binary-package">Instalar a partir do pacote binário</a></li>
</ul>
<h2 id="Compile-from-source-code" class="common-anchor-header">Compilar a partir do código-fonte<button data-href="#Compile-from-source-code" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="Prerequisites" class="common-anchor-header">Pré-requisitos</h3><p>É necessário instalar a cadeia de ferramentas MinGW64/MSYS antes de compilar o Milvus 2.0 no Windows. Consulte <a href="https://www.msys2.org/">MSYS2</a> para obter o guia de instalação. A compilação neste tutorial é concluída no shell do MSYS2 MinGW 64-bit. Pode executar <code translate="no">$ pacman -Su</code> para atualizar a cadeia de ferramentas.</p>
<p>Também recomendamos que execute <code translate="no">$ pacman -S git</code> para instalar o git.</p>
<h3 id="Step-1-Clone-code" class="common-anchor-header">Passo 1. Clonar o código</h3><p>Execute o seguinte comando para clonar o código do ramo <strong>windows-dev</strong> no repositório <strong>matrixji/milvus</strong>. Atualmente, todos os commits podem ser rastreados no <strong>windows-dev</strong>, que faz o rebase dos commits do ramo principal do upstream <a href="https://github.com/milvus-io/milvus"><strong>milvus-io/milvus</strong></a> numa base semanal.</p>
<pre><code translate="no" class="language-python">$ git <span class="hljs-built_in">clone</span> git@github.com:matrixji/milvus.git -b windows-dev
<button class="copy-code-btn"></button></code></pre>
<h3 id="Step-2-Compile-Milvus" class="common-anchor-header">Passo 2. Compilar o Milvus</h3><h4 id="1-Install-dependencies-and-toolchain" class="common-anchor-header">1. Instalar as dependências e a cadeia de ferramentas</h4><p>Execute o seguinte comando para instalar as dependências e a cadeia de ferramentas necessárias. Após a instalação, é necessário reiniciar a shell MinGW/MYSY para garantir que as configurações de algumas ferramentas são corretamente aplicadas.</p>
<pre><code translate="no" class="language-python">$ <span class="hljs-built_in">cd</span> milvus
$ scripts/install_deps_msys.sh
<button class="copy-code-btn"></button></code></pre>
<h4 id="2-Compile-Milvus" class="common-anchor-header">2. Compilar o Milvus</h4><p>Execute o seguinte comando para compilar e empacotar o Milvus.</p>
<pre><code translate="no" class="language-python">$ make
$ sh scripts/package_windows.sh
<button class="copy-code-btn"></button></code></pre>
<p>Se for bem sucedido, encontrará um ficheiro zip no subdiretório de <code translate="no">windows_package</code>. O ficheiro zip contém todos os ficheiros para executar <code translate="no">milvus.exe</code>, incluindo <code translate="no">minio.exe</code> e <code translate="no">etcd.exe</code>.</p>
<div class="alert note">
O Milvus 2.0 é desenvolvido em Go. Poderá ser necessário configurar <a href='https://goproxy.cn/'>o Goproxy</a> para instalar módulos de terceiros.</div>
<h2 id="Install-from-the-binary-package" class="common-anchor-header">Instalar a partir do pacote binário<button data-href="#Install-from-the-binary-package" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Também pode descarregar o pacote binário que já foi compilado a partir de <a href="https://github.com/matrixji/milvus/releases">Releases - matrixji/milvus</a>. Cada versão tem o <strong>windows-test-</strong> como prefixo, por exemplo, <strong>windows-test-v8</strong>. Encontre a versão que deseja e descarregue o pacote zip correspondente.</p>
<h3 id="Step-1-Start-Milvus" class="common-anchor-header">Passo 1. Iniciar o Milvus</h3><h4 id="1-Unzip-the-package" class="common-anchor-header">1. Descompactar o pacote</h4><p>Descompacte o pacote e encontrará um diretório <code translate="no">milvus</code>, que contém todos os ficheiros necessários.</p>
<h4 id="2-Start-a-MinIO-service" class="common-anchor-header">2. Iniciar um serviço MinIO</h4><p>Faça duplo clique no ficheiro <code translate="no">run_minio.bat</code> para iniciar um serviço MinIO com as configurações predefinidas. Os dados serão armazenados no subdiretório <code translate="no">s3data</code>.</p>
<h4 id="3-Start-an-etcd-service" class="common-anchor-header">3. Iniciar um serviço etcd</h4><p>Faça duplo clique no ficheiro <code translate="no">run_etcd.bat</code> para iniciar um serviço etcd com as configurações predefinidas.</p>
<h4 id="4-Start-Milvus-service" class="common-anchor-header">4. Iniciar o serviço Milvus</h4><p>Faça duplo clique no ficheiro <code translate="no">run_milvus.bat</code> para iniciar o serviço Milvus.</p>
<h3 id="Step-2-Run-hellomilvuspy" class="common-anchor-header">Passo 2. Executar <code translate="no">hello_milvus.py</code></h3><p>Depois de iniciar o serviço Milvus, pode testar executando <code translate="no">hello_milvus.py</code>. Consulte <a href="https://milvus.io/docs/v2.0.x/example_code.md">Hello Milvus</a> para obter mais informações.</p>
<h2 id="Engage-with-our-open-source-community" class="common-anchor-header">Participe na nossa comunidade de código aberto:<button data-href="#Engage-with-our-open-source-community" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li>Encontre ou contribua para o Milvus no <a href="https://bit.ly/3khejQB">GitHub</a>.</li>
<li>Interaja com a comunidade através do <a href="https://bit.ly/307HVsY">Fórum</a>.</li>
<li>Ligue-se a nós no <a href="https://bit.ly/3wn5aek">Twitter</a>.</li>
</ul>


Executar o Milvus 2.0 no Windows

<custom-h1>Está feito - Milvus Hacktoberfest 2021</custom-h1><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Blog_cover_a6ce8748d7.jpeg" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<p>O Hacktoberfest chegou ao fim, mas não há fim para a contribuição para projectos open-source!</p>
<p>Ao longo de outubro, tivemos um total de <strong>44 pull requests</strong> (PRs) nos nossos repositórios de <strong>36 contribuidores</strong> (excluindo a nossa equipa principal). Apesar de ser o primeiro ano em que a comunidade Milvus se juntou ao Hacktoberfest, o número de participantes que vimos foi além das nossas expectativas, uma indicação da crescente consciencialização do espírito open-source.</p>
<p>Esperamos que todos os que participaram neste evento tenham ganho alguma experiência prática ou conhecimento do código aberto, da comunidade e de competências técnicas úteis durante o processo.️️️</p>
<p>Neste post, gostaríamos de convidá-lo a celebrar nossas conquistas juntos e como continuar a contribuir para Milvus após o Hacktoberfest.</p>
<h2 id="📣-Shout-out-to-our-contributors" class="common-anchor-header"><strong>📣 Grito para os nossos colaboradores:</strong><button data-href="#📣-Shout-out-to-our-contributors" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Durante o Hacktoberfest deste ano, os repositórios do projeto Milvus viram <strong>44 pull requests serem fundidos</strong>! Este é um grande feito de todos os lados. Bom trabalho, pessoal! 🎉</p>
<p><a href="https://github.com/parthiv11">parthiv11</a>, <a href="https://github.com/joremysh">joremysh</a>, <a href="https://github.com/noviicee">noviicee</a>, <a href="https://github.com/Biki-das">Biki-das</a>, <a href="https://github.com/Nadyamilona">Nadyamilona</a>, <a href="https://github.com/ashish4arora">ashish4arora</a>, <a href="https://github.com/Dhruvacube">Dhruvacube</a>, <a href="https://github.com/iamartyaa">iamartyaa</a>, <a href="https://github.com/RafaelDSS">RafaelDSS</a>, <a href="https://github.com/kartikcho">kartikcho</a>, <a href="https://github.com/GuyKh">GuyKh</a>, <a href="https://github.com/Deep1Shikha">Deep1Shikha</a>, <a href="https://github.com/shreemaan-abhishek">shreemaan-abhishek</a>, <a href="https://github.com/daniel-shuy">daniel-shuy</a>, <a href="https://github.com/Hard-Coder05">Hard-Coder05</a>, <a href="https://github.com/sapora1">sapora1</a>, <a href="https://github.com/Rutam21">Rutam21</a>, <a href="https://github.com/idivyanshbansal">idivyanshbansal</a>, <a href="https://github.com/Mihir501">Mihir501</a>, <a href="https://github.com/Ayushchaudhary-Github">YushChaudhary</a>, <a href="https://github.com/sreyan-ghosh">sreyan-ghosh</a>, <a href="https://github.com/chiaramistro">chiaramistro</a>, <a href="https://github.com/appledora">appledora</a>, <a href="https://github.com/luisAzcuaga">luisAzcuaga</a>, <a href="https://github.com/matteomessmer">matteomessmer</a>, <a href="https://github.com/Nadyamilona">Nadyamilona</a>, <a href="https://github.com/Tititesouris">Tititesouris</a>, <a href="https://github.com/amusfq">amusfq</a>, <a href="https://github.com/matrixji">matrixji</a> &amp; <a href="https://github.com/zamanmub">generalZman</a></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/_80b0d87746.png" alt="image-20211110180357460" class="doc-image" id="image-20211110180357460" />
   </span> <span class="img-wrapper"> <span>image-20211110180357460</span> </span></p>
<h3 id="Here-are-some-extraordinary-Milvus-Hacktoberfest-2021-contributions" class="common-anchor-header">Aqui estão algumas contribuições extraordinárias do Milvus Hacktoberfest 2021:</h3><p><strong>⚙️ Novas funcionalidades</strong></p>
<p><a href="https://github.com/milvus-io/milvus/issues/7706">Compilar e executar o Milvus em várias plataformas</a> por <a href="https://github.com/matrixji">matrixji</a></p>
<p><strong>(🏆 Contribuidor de topo 🏆 )</strong></p>
<p><strong>📝 Documentação</strong></p>
<ul>
<li><a href="https://github.com/milvus-io/bootcamp/issues/720">Traduzir Hello Milvus (example_code.md) para qualquer língua</a> por <a href="https://github.com/chiaramistro">chiaramistro</a>, <a href="https://github.com/appledora">appledora</a>, <a href="https://github.com/luisAzcuaga">luisAzcuaga</a>, <a href="https://github.com/matteomessmer">matteomessmer</a>, <a href="https://github.com/Nadyamilona">Nadyamilona</a>, <a href="https://github.com/Tititesouris">Tititesouris</a> &amp; <a href="https://github.com/amusfq">amusfq</a></li>
<li><a href="https://github.com/milvus-io/bootcamp/issues/720">Adicionar exemplo NodeJS a example_code.md</a> por <a href="https://github.com/GuyKh">GuyKh</a></li>
<li><a href="https://github.com/milvus-io/milvus-docs/pull/921/files">upgrade.md traduzido</a> &amp; <a href="https://github.com/milvus-io/milvus-docs/pull/892">adicionar e traduzir parâmetros no Guia do Utilizador para CN</a> por <a href="https://github.com/joremysh">joremysh</a></li>
<li><a href="https://github.com/milvus-io/milvus-docs/pull/753">Traduzir tutorials/dna_sequence_classification.md para CN</a> &amp; <a href="https://github.com/milvus-io/milvus-docs/pull/752">Traduzir reference/schema/collection_schema.md para CN</a> por <a href="https://github.com/daniel-shuy">daniel-shuy</a></li>
</ul>
<p><strong>🚀 Bootcamp</strong></p>
<ul>
<li><a href="https://github.com/milvus-io/bootcamp/pull/858">Melhoria do tutorial do Jupyter Notebook para pesquisa de hash de imagem </a>por <a href="https://github.com/zamanmub">generalZman</a></li>
<li><a href="https://github.com/milvus-io/bootcamp/pull/792">corrigir o bug TOPK de reverse_image_search</a> por <a href="https://github.com/RafaelDSS">RafaelDSS</a></li>
</ul>
<p><strong>PyMilvus</strong></p>
<ul>
<li><a href="https://github.com/milvus-io/pymilvus/issues/741">Atualizar formulários de problemas do GitHub </a>(múltiplos repositórios) por <a href="https://github.com/Hard-Coder05">Hard-Coder05</a></li>
</ul>
<h3 id="Share-your-feedback-with-us" class="common-anchor-header">Partilhe o seu feedback connosco!</h3><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/h3_412b0f649b.png" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<p>És mais do que bem-vindo a partilhar a tua experiência do Milvus Hacktoberfest 2021 connosco! Quer seja um post no blogue, um tweet (@milvusio) ou apenas um post no nosso <a href="https://discuss.milvus.io/c/hacktoberfest/9">fórum</a>, tudo será muito apreciado!</p>
<h2 id="Whats-Next" class="common-anchor-header">O que se segue？<button data-href="#Whats-Next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="👩‍💻-Code--Documentation" class="common-anchor-header"><strong>👩‍💻</strong> <strong>Código e documentação</strong></h3><p>Se tens conhecimentos limitados de Milvus, podes familiarizar-te com a forma como a comunidade funciona primeiro contribuindo para os repositórios <a href="https://github.com/milvus-io/pymilvus">pymilvus</a> ou <a href="https://github.com/milvus-io/milvus-docs">docs</a>. Também pode procurar etiquetas como <strong>#goodfirstissue</strong> ou <strong>#helpwanted</strong>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/h4_f18c9b6c2c.png" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/h5_a4f90c24a8.png" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<p>Se tiveres alguma dúvida sobre como contribuir, podes sempre perguntar à comunidade na categoria <strong>Contribuidor</strong> do Fórum: https://discuss.milvus.io/t/things-you-need-to-know-before-you-get-started/64.</p>
<h3 id="🏆-Be-a-Milvus-Advocate" class="common-anchor-header">🏆 Seja um defensor de Milvus</h3><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/advocate_1052d8249a.jpg" alt="image-20211110180730866" class="doc-image" id="image-20211110180730866" />
   </span> <span class="img-wrapper"> <span>image-20211110180730866</span> </span></p>
<p>Partilhe a sua experiência e as coisas que aprendeu com a comunidade: proponha ideias sobre como podemos melhorar; responda a perguntas e ajude outras pessoas no Fórum Milvus, etc. Há muitas formas de participar na comunidade, listamos alguns exemplos abaixo, mas agradecemos todas as formas de contribuição:</p>
<ul>
<li><p><strong>Demonstrações e soluções:</strong> Mostre aos utilizadores do Milvus como tirar partido da plataforma em cenários específicos (por exemplo, sistema de recomendação de música). Os exemplos estão disponíveis no <a href="https://github.com/milvus-io/bootcamp">Milvus Bootcamp</a>.</p></li>
<li><p><strong>Artigos de blogues, histórias de utilizadores ou documentos técnicos:</strong> Escreva conteúdos de alta qualidade que expliquem de forma clara e exacta os detalhes técnicos sobre Milvus.</p></li>
<li><p><strong>Palestras técnicas/transmissões ao vivo:</strong> Dar palestras ou organizar transmissões ao vivo que ajudem a aumentar a consciencialização sobre Milvus.</p></li>
<li><p><strong>Outros:</strong> Qualquer conteúdo que desempenhe um papel positivo no desenvolvimento do Milvus e da sua comunidade de código aberto será considerado elegível.</p></li>
</ul>
<p>Para mais pormenores, leia: https://milvus.io/community/milvus_advocate.md</p>
<p>Por fim, mais uma vez, obrigado por participarem no Hacktoberfest deste ano connosco e por nos deixarem ser os vossos mentores e alunos. Obrigado à <a href="https://hacktoberfest.digitalocean.com/">Digital Ocean</a> por acolher mais um ano este fantástico evento. Até à próxima!</p>
<p>Boa programação!</p>
<p>Equipa da Comunidade Milvus</p>


Está feito! Milvus Hacktoberfest 2021

<p><em>Yufen Zong, engenheira de desenvolvimento de testes da Zilliz, licenciou-se na Universidade de Ciência e Tecnologia de Huazhong com um mestrado em tecnologia informática. Atualmente, está envolvida na garantia de qualidade da base de dados vetorial Milvus, incluindo, mas não se limitando a, testes de integração de interfaces, testes SDK, testes de referência, etc. Yufen é uma entusiasta da resolução de problemas nos testes e no desenvolvimento do Milvus e uma grande fã da teoria da engenharia do caos e da prática da simulação de falhas.</em></p>
<h2 id="Background" class="common-anchor-header">Antecedentes<button data-href="#Background" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Ao utilizar a base de dados vetorial Milvus, será necessário modificar a configuração por defeito para satisfazer os requisitos de diferentes cenários. Anteriormente, um usuário Milvus compartilhou em <a href="/blog/pt/2021-10-22-apply-configuration-changes-on-milvus-2.md">Como modificar a configuração do Milvus implantado usando o Docker Compose</a>. E neste artigo, gostaria de compartilhar com você sobre como modificar a configuração do Milvus implantado no Kubernetes.</p>
<h2 id="Modify-configuration-of-Milvus-on-Kubernetes" class="common-anchor-header">Modificar a configuração do Milvus no Kubernetes<button data-href="#Modify-configuration-of-Milvus-on-Kubernetes" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Pode escolher diferentes planos de modificação de acordo com os parâmetros de configuração que deseja modificar. Todos os ficheiros de configuração do Milvus são armazenados em <strong>milvus/configs</strong>. Ao instalar o Milvus no Kubernetes, um repositório Milvus Helm Chart será adicionado localmente. Ao executar <code translate="no">helm show values milvus/milvus</code>, pode verificar os parâmetros que podem ser modificados diretamente com o Gráfico. Para os parâmetros modificáveis com o Chart, você pode passar o parâmetro usando <code translate="no">--values</code> ou <code translate="no">--set</code>. Para mais informações, consulte <a href="https://artifacthub.io/packages/helm/milvus/milvus">Milvus Helm Chart</a> e <a href="https://helm.sh/docs/">Helm</a>.</p>
<p>Se os parâmetros que pretende modificar não estiverem na lista, pode seguir as instruções abaixo.</p>
<p>Nas etapas a seguir, o parâmetro <code translate="no">rootcoord.dmlChannelNum</code> em <strong>/milvus/configs/advanced/root_coord.yaml</strong> deve ser modificado para fins de demonstração. O gerenciamento de arquivos de configuração do Milvus no Kubernetes é implementado através do objeto de recurso ConfigMap. Para alterar o parâmetro, você deve primeiro atualizar o objeto ConfigMap da versão Chart correspondente e, em seguida, modificar os arquivos de recursos de implantação dos pods correspondentes.</p>
<p>Tenha em atenção que este método apenas se aplica à modificação de parâmetros na aplicação Milvus implementada. Para modificar os parâmetros em <strong>/milvus/configs/advanced/*.yaml</strong> antes da implementação, terá de voltar a desenvolver o Milvus Helm Chart.</p>
<h3 id="Modify-ConfigMap-YAML" class="common-anchor-header">Modificar o ConfigMap YAML</h3><p>Como mostrado abaixo, sua versão do Milvus em execução no Kubernetes corresponde a um objeto ConfigMap com o mesmo nome da versão. A secção <code translate="no">data</code> do objeto ConfigMap inclui apenas configurações em <strong>milvus.yaml</strong>. Para alterar o <code translate="no">rootcoord.dmlChannelNum</code> em <strong>root_coord.yaml</strong>, tem de adicionar os parâmetros em <strong>root_coord.yaml</strong> à secção <code translate="no">data</code> no YAML do ConfigMap e alterar o parâmetro específico.</p>
<pre><code translate="no">kind: ConfigMap
apiVersion: v1
metadata:
  name: milvus-chaos
  ...
data:
  milvus.yaml: &gt;
    ......
  root_coord.yaml: |
    rootcoord:
      dmlChannelNum: 128
      maxPartitionNum: 4096
      minSegmentSizeToEnableIndex: 1024
      <span class="hljs-built_in">timeout</span>: 3600 <span class="hljs-comment"># time out, 5 seconds</span>
      timeTickInterval: 200 <span class="hljs-comment"># ms</span>
<button class="copy-code-btn"></button></code></pre>
<h3 id="Modify-Deployment-YAML" class="common-anchor-header">Modificar o YAML de implantação</h3><p>Os dados armazenados em um ConfigMap podem ser referenciados em um volume do tipo configMap e, em seguida, consumidos por aplicativos em contêineres executados em um pod. Para direcionar os pods para os novos arquivos de configuração, você deve modificar os modelos de pod que precisam carregar as configurações em <strong>root_coord.yaml</strong>. Especificamente, você precisa adicionar uma declaração de montagem na seção <code translate="no">spec.template.spec.containers.volumeMounts</code> no YAML de implantação.</p>
<p>Tomando o YAML de implantação do pod rootcoord como um exemplo, um volume do tipo <code translate="no">configMap</code> chamado <strong>milvus-config</strong> é especificado na seção <code translate="no">.spec.volumes</code>. E, na secção <code translate="no">spec.template.spec.containers.volumeMounts</code>, o volume é declarado para montar <strong>milvus.yaml</strong> do seu lançamento Milvus em <strong>/milvus/configs/milvus.yaml</strong>. Da mesma forma, só precisa de adicionar uma declaração de montagem especificamente para o contentor rootcoord para montar o <strong>root_coord.yaml</strong> em <strong>/milvus/configs/advanced/root_coord.yaml</strong>, e assim o contentor pode aceder ao novo ficheiro de configuração.</p>
<pre><code translate="no" class="language-yaml">spec:
  replicas: 1
  selector:
    ......
  template:
    metadata:
      ...
    spec:
      volumes:
        - name: milvus-config
          configMap:
            name: milvus-chaos
            defaultMode: 420
      containers:
        - name: rootcoord
          image: <span class="hljs-string">&#x27;milvusdb/milvus-dev:master-20210906-86afde4&#x27;</span>
          args:
            ...
          ports:
            ...
          resources: {}
          volumeMounts:
            - name: milvus-config
              readOnly: <span class="hljs-literal">true</span>
              mountPath: /milvus/configs/milvus.yaml
              subPath: milvus.yaml
            - name: milvus-config
              readOnly: <span class="hljs-literal">true</span>
              mountPath: /milvus/configs/advanced/`root_coord.yaml
              subPath: root_coord.yaml
          terminationMessagePath: /dev/termination-log
          terminationMessagePolicy: File
          imagePullPolicy: IfNotPresent
      restartPolicy: Always
      terminationGracePeriodSeconds: 30
      dnsPolicy: ClusterFirst
      securityContext: {}
      schedulerName: default-scheduler
<button class="copy-code-btn"></button></code></pre>
<h3 id="Verify-the-result" class="common-anchor-header">Verificar o resultado</h3><p>O kubelet verifica se o ConfigMap montado é novo em cada sincronização periódica. Quando o ConfigMap consumido no volume é atualizado, as chaves projetadas também são atualizadas automaticamente. Quando o novo pod estiver em execução novamente, você poderá verificar se a modificação foi bem-sucedida no pod. Os comandos para verificar o parâmetro <code translate="no">rootcoord.dmlChannelNum</code> são compartilhados abaixo.</p>
<pre><code translate="no" class="language-bash">$ kctl <span class="hljs-built_in">exec</span> -ti milvus-chaos-rootcoord-6f56794f5b-xp2zs -- sh
<span class="hljs-comment"># cd configs/advanced</span>
<span class="hljs-comment"># pwd</span>
/milvus/configs/advanced
<span class="hljs-comment"># ls</span>
channel.yaml  common.yaml  data_coord.yaml  data_node.yaml  etcd.yaml  proxy.yaml  query_node.yaml  root_coord.yaml
<span class="hljs-comment"># cat root_coord.yaml</span>
rootcoord:
  dmlChannelNum: 128
  maxPartitionNum: 4096
  minSegmentSizeToEnableIndex: 1024
  <span class="hljs-built_in">timeout</span>: 3600 <span class="hljs-comment"># time out, 5 seconds</span>
  timeTickInterval: 200 <span class="hljs-comment"># ms</span>
<span class="hljs-comment"># exit</span>
<button class="copy-code-btn"></button></code></pre>
<p>Acima está o método para modificar as configurações avançadas no Milvus implantado no Kubernetes. A versão futura do Milvus integrará todas as configurações em um arquivo e suportará a atualização da configuração via helm chart. Mas antes disso, espero que este artigo possa ajudar-te como uma solução temporária.</p>
<h2 id="Engage-with-our-open-source-community" class="common-anchor-header">Envolva-se com a nossa comunidade open-source:<button data-href="#Engage-with-our-open-source-community" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p>Encontre ou contribua para o Milvus no <a href="https://bit.ly/307b7jC">GitHub</a>.</p></li>
<li><p>Interaja com a comunidade através do <a href="https://bit.ly/3qiyTEk">Fórum</a>.</p></li>
<li><p>Ligue-se a nós no <a href="https://bit.ly/3ob7kd8">Twitter</a>.</p></li>
</ul>


Como modificar as configurações avançadas do Milvus

Introdução

<custom-h1>Partilha técnica: Aplicar alterações de configuração no Milvus 2.0 usando o Docker Compose</custom-h1><p><em>Jingjing Jia, Engenheira de Dados da Zilliz, licenciou-se em Ciências da Computação na Universidade de Xi'an Jiaotong. Depois de se juntar à Zilliz, trabalha principalmente no pré-processamento de dados, implementação de modelos de IA, investigação de tecnologias relacionadas com o Milvus e ajuda os utilizadores da comunidade a implementar cenários de aplicação. É muito paciente, gosta de comunicar com os parceiros da comunidade e gosta de ouvir música e ver anime.</em></p>
<p>Como utilizador frequente do Milvus, fiquei muito entusiasmado com o recém-lançado Milvus 2.0 RC. De acordo com a introdução no site oficial, o Milvus 2.0 parece superar os seus antecessores por uma grande margem. Estava ansioso por o experimentar.</p>
<p>E experimentei.  No entanto, quando realmente pus as mãos no Milvus 2.0, percebi que não era capaz de modificar o ficheiro de configuração no Milvus 2.0 tão facilmente como fazia com o Milvus 1.1.1. Não conseguia alterar o ficheiro de configuração dentro do contentor Docker do Milvus 2.0 iniciado com o Docker Compose, e mesmo uma alteração forçada não tinha efeito. Mais tarde, descobri que o Milvus 2.0 RC não conseguia detetar alterações no ficheiro de configuração após a instalação. E a futura versão estável corrigirá esse problema.</p>
<p>Depois de ter tentado diferentes abordagens, encontrei uma forma fiável de aplicar alterações aos ficheiros de configuração para o Milvus 2.0 standalone &amp; cluster, e aqui está como.</p>
<p>Observe que todas as alterações na configuração devem ser feitas antes de reiniciar o Milvus usando o Docker Compose.</p>
<h2 id="Modify-configuration-file-in-Milvus-standalone" class="common-anchor-header">Modificar o ficheiro de configuração em Milvus standalone<button data-href="#Modify-configuration-file-in-Milvus-standalone" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Primeiro, terá de <a href="https://github.com/milvus-io/milvus/blob/master/configs/milvus.yaml">descarregar</a> uma cópia do ficheiro <strong>milvus.yaml</strong> para o seu dispositivo local.</p>
<p>Em seguida, pode alterar as configurações no ficheiro. Por exemplo, pode alterar o formato do registo como <code translate="no">.json</code>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_1_ee4a16a3ee.png" alt="1.1.png" class="doc-image" id="1.1.png" />
   </span> <span class="img-wrapper"> <span>1.1.png</span> </span></p>
<p>Assim que o ficheiro milvus <strong>.yaml</strong> for modificado, também terá de <a href="https://github.com/milvus-io/milvus/blob/master/deployments/docker/standalone/docker-compose.yml">descarregar</a> e modificar o ficheiro <strong>docker-compose.yaml</strong> para o standalone, mapeando o caminho local para milvus.yaml para o caminho correspondente do contentor docker para o ficheiro de configuração <code translate="no">/milvus/configs/milvus.yaml</code> na secção <code translate="no">volumes</code>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_2_5e7c73708c.png" alt="1.2.png" class="doc-image" id="1.2.png" />
   </span> <span class="img-wrapper"> <span>1.2.png</span> </span></p>
<p>Por fim, inicie o Milvus standalone usando <code translate="no">docker-compose up -d</code> e verifique se as modificações foram bem-sucedidas. Por exemplo, execute <code translate="no">docker logs</code> para verificar o formato do registo.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_3_a0406df3ab.png" alt="1.3.png" class="doc-image" id="1.3.png" />
   </span> <span class="img-wrapper"> <span>1.3.png</span> </span></p>
<h2 id="Modify-configuration-file-in-Milvus-cluster" class="common-anchor-header">Modificar o ficheiro de configuração no cluster do Milvus<button data-href="#Modify-configuration-file-in-Milvus-cluster" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Primeiro, faça <a href="https://github.com/milvus-io/milvus/blob/master/configs/milvus.yaml">o download</a> e modifique o arquivo <strong>milvus.yaml</strong> para atender às suas necessidades.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_4_758b182846.png" alt="1.4.png" class="doc-image" id="1.4.png" />
   </span> <span class="img-wrapper"> <span>1.4.png</span> </span></p>
<p>Em seguida, você precisará <a href="https://github.com/milvus-io/milvus/blob/master/deployments/docker/cluster/docker-compose.yml">baixar</a> e modificar o arquivo <strong>docker-compose.yml</strong> do cluster mapeando o caminho local para <strong>milvus.yaml</strong> no caminho correspondente para os arquivos de configuração em todos os componentes, ou seja, coordenada raiz, coordenada de dados, nó de dados, coordenada de consulta, nó de consulta, coordenada de índice, nó de índice e proxy.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_5_80e15811b8.png" alt="1.5.png" class="doc-image" id="1.5.png" />
   </span> <span class="img-wrapper"> <span>1.5.png</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_6_b2f3e4e47f.png" alt="1.6.png" class="doc-image" id="1.6.png" />
   </span> <span class="img-wrapper"> <span>1.6.png</span> </span> <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_7_4d1eb5e1e5.png" alt="1.7.png" class="doc-image" id="1.7.png" /></span> <span class="img-wrapper">1 </span>. <span class="img-wrapper">7 <span>.png</span> </span></p>
<p>Finalmente, pode iniciar o cluster Milvus utilizando <code translate="no">docker-compose up -d</code> e verificar se as modificações foram bem sucedidas.</p>
<h2 id="Change-log-file-path-in-configuration-file" class="common-anchor-header">Alterar o caminho do ficheiro de registo no ficheiro de configuração<button data-href="#Change-log-file-path-in-configuration-file" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Primeiro, <a href="https://github.com/milvus-io/milvus/blob/master/configs/milvus.yaml">transfira</a> o ficheiro <strong>milvus.yaml</strong> e altere a secção <code translate="no">rootPath</code> como o diretório onde espera armazenar os ficheiros de registo no contentor Docker.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_8_e3bdc4843f.png" alt="1.8.png" class="doc-image" id="1.8.png" />
   </span> <span class="img-wrapper"> <span>1.8.png</span> </span></p>
<p>Depois disso, descarregue o ficheiro <strong>docker-compose.yml</strong> correspondente para Milvus <a href="https://github.com/milvus-io/milvus/blob/master/deployments/docker/standalone/docker-compose.yml">autónomo</a> ou <a href="https://github.com/milvus-io/milvus/blob/master/deployments/docker/cluster/docker-compose.yml">cluster</a>.</p>
<p>Para o modo autónomo, é necessário mapear o caminho local para <strong>milvus.yaml</strong> para o caminho correspondente do contentor Docker para o ficheiro de configuração <code translate="no">/milvus/configs/milvus.yaml</code> e mapear o diretório do ficheiro de registo local para o diretório do contentor Docker criado anteriormente.</p>
<p>Para o cluster, terá de mapear ambos os caminhos em cada componente.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_9_22d8929d92.png" alt="1.9.png" class="doc-image" id="1.9.png" />
   </span> <span class="img-wrapper"> <span>1.9.png</span> </span></p>
<p>Por fim, inicie o Milvus standalone ou o cluster utilizando <code translate="no">docker-compose up -d</code> e verifique os ficheiros de registo para ver se a modificação foi bem sucedida.</p>


Partilha técnica:Aplicar alterações de configuração no Milvus 2.0 utilizando o Docker Compose

<custom-h1>Criação de um sistema de análise de vídeo com a base de dados vetorial Milvus</custom-h1><p><em>Shiyu Chen, engenheira de dados na Zilliz, licenciou-se em Ciências Informáticas na Universidade de Xidian. Desde que se juntou à Zilliz, tem vindo a explorar soluções para o Milvus em vários domínios, como a análise de áudio e vídeo, a recuperação de fórmulas de moléculas, etc., o que enriqueceu bastante os cenários de aplicação da comunidade. Atualmente, está a explorar mais soluções interessantes. No seu tempo livre, adora desporto e leitura.</em></p>
<p>Quando estava a ver o <em>Free Guy</em> no fim de semana passado, senti que já tinha visto o ator que faz de Buddy, o segurança, algures, mas não me lembrava de nenhum dos seus trabalhos. A minha cabeça estava cheia de "quem é este gajo?". Tinha a certeza de ter visto aquela cara e estava a esforçar-me por me lembrar do seu nome. Um caso semelhante é o de uma vez que vi o ator principal de um vídeo a beber uma bebida de que gostava muito, mas acabei por não me lembrar do nome da marca.</p>
<p>A resposta estava na ponta da língua, mas o meu cérebro estava completamente bloqueado.</p>
<p>O fenómeno da ponta da língua (TOT) deixa-me louco quando vejo filmes. Se ao menos existisse um motor de pesquisa de imagens invertido para vídeos que me permitisse encontrar vídeos e analisar o seu conteúdo. Antes, criei um <a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/reverse_image_search/quick_deploy">motor de pesquisa de imagens invertido utilizando o Milvus</a>. Considerando que a análise de conteúdos de vídeo se assemelha de alguma forma à análise de imagens, decidi criar um motor de análise de conteúdos de vídeo com base no Milvus.</p>
<h2 id="Object-detection" class="common-anchor-header">Deteção de objectos<button data-href="#Object-detection" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="Overview" class="common-anchor-header">Visão geral</h3><p>Antes de serem analisados, os objectos de um vídeo devem ser detectados. Detetar objectos num vídeo de forma eficaz e precisa é o principal desafio da tarefa. É também uma tarefa importante para aplicações como o piloto automático, dispositivos portáteis e IoT.</p>
<p>Desenvolvidos a partir de algoritmos tradicionais de processamento de imagem para redes neurais profundas (DNN), os principais modelos actuais para deteção de objectos incluem R-CNN, FRCNN, SSD e YOLO. O sistema de análise de vídeo de aprendizagem profunda baseado em Milvus apresentado neste tópico pode detetar objectos de forma inteligente e rápida.</p>
<h3 id="Implementation" class="common-anchor-header">Implementação</h3><p>Para detetar e reconhecer objectos num vídeo, o sistema deve, em primeiro lugar, extrair fotogramas de um vídeo e detetar objectos nas imagens dos fotogramas utilizando a deteção de objectos; em segundo lugar, extrair vectores de caraterísticas dos objectos detectados e, por último, analisar o objeto com base nos vectores de caraterísticas.</p>
<ul>
<li>Extração de fotogramas</li>
</ul>
<p>A análise de vídeo é convertida em análise de imagem através da extração de fotogramas. Atualmente, a tecnologia de extração de fotogramas está muito madura. Programas como o FFmpeg e o OpenCV suportam a extração de fotogramas em intervalos específicos. Este artigo apresenta como extrair fotogramas de um vídeo a cada segundo utilizando o OpenCV.</p>
<ul>
<li>Deteção de objectos</li>
</ul>
<p>A deteção de objectos consiste em encontrar objectos nos fotogramas extraídos e extrair imagens dos objectos de acordo com as suas posições. Como se pode ver nas figuras seguintes, foram detectados uma bicicleta, um cão e um carro. Este tópico apresenta a forma de detetar objectos utilizando o YOLOv3, que é normalmente utilizado para a deteção de objectos.</p>
<ul>
<li>Extração de caraterísticas</li>
</ul>
<p>A extração de caraterísticas refere-se à conversão de dados não estruturados, que são difíceis de reconhecer pelas máquinas, em vectores de caraterísticas. Por exemplo, as imagens podem ser convertidas em vectores de caraterísticas multidimensionais utilizando modelos de aprendizagem profunda. Atualmente, os modelos de IA de reconhecimento de imagem mais populares incluem VGG, GNN e ResNet. Este tópico apresenta como extrair caraterísticas de objectos detectados utilizando o ResNet-50.</p>
<ul>
<li>Análise de vectores</li>
</ul>
<p>Os vectores de caraterísticas extraídos são comparados com os vectores da biblioteca, sendo devolvidas as informações correspondentes aos vectores mais semelhantes. Para conjuntos de dados de vectores de caraterísticas em grande escala, o cálculo é um enorme desafio. Este tópico apresenta a forma de analisar vectores de caraterísticas utilizando o Milvus.</p>
<h2 id="Key-technologies" class="common-anchor-header">Tecnologias-chave<button data-href="#Key-technologies" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="OpenCV" class="common-anchor-header">OpenCV</h3><p>A Open Source Computer Vision Library (OpenCV) é uma biblioteca de visão computacional multiplataforma que fornece muitos algoritmos universais para processamento de imagem e visão computacional. O OpenCV é normalmente utilizado no domínio da visão computacional.</p>
<p>O exemplo seguinte mostra como capturar fotogramas de vídeo em intervalos especificados e guardá-los como imagens utilizando o OpenCV com Python.</p>
<pre><code translate="no" class="language-python"><span class="hljs-keyword">import</span> cv2 
<span class="hljs-built_in">cap</span> = cv2.VideoCapture(file_path)   
framerate = <span class="hljs-built_in">cap</span>.get(cv2.CAP_PROP_FPS)   
allframes = <span class="hljs-type">int</span>(cv2.VideoCapture.get(<span class="hljs-built_in">cap</span>, <span class="hljs-type">int</span>(cv2.CAP_PROP_FRAME_COUNT)))  
success, image = <span class="hljs-built_in">cap</span>.read() 
cv2.imwrite(file_name, image)
<button class="copy-code-btn"></button></code></pre>
<h3 id="YOLOv3" class="common-anchor-header">YOLOv3</h3><p>You Only Look Once, Version 3 (YOLOv3 [5]) é um algoritmo de deteção de objectos de uma fase proposto nos últimos anos. Em comparação com os algoritmos tradicionais de deteção de objectos com a mesma precisão, o YOLOv3 é duas vezes mais rápido. O YOLOv3 mencionado neste tópico é a versão melhorada do PaddlePaddle [6]. Utiliza múltiplos métodos de otimização com uma maior velocidade de inferência.</p>
<h3 id="ResNet-50" class="common-anchor-header">ResNet-50</h3><p>A ResNet [7] é a vencedora do ILSVRC 2015 na classificação de imagens devido à sua simplicidade e praticidade. Como base de muitos métodos de análise de imagens, o ResNet prova ser um modelo popular especializado em deteção, segmentação e reconhecimento de imagens.</p>
<h3 id="Milvus" class="common-anchor-header">Milvus</h3><p><a href="https://milvus.io/">O Milvus</a> é uma base de dados vetorial de código aberto, nativa da nuvem, criada para gerir vectores de incorporação gerados por modelos de aprendizagem automática e redes neurais. Ele é amplamente usado em cenários como visão computacional, processamento de linguagem natural, química computacional, sistemas de recomendação personalizados e muito mais.</p>
<p>Os procedimentos seguintes descrevem o funcionamento do Milvus.</p>
<ol>
<li>Os dados não estruturados são convertidos em vectores de caraterísticas utilizando modelos de aprendizagem profunda e são importados para o Milvus.</li>
<li>O Milvus armazena e indexa os vectores de caraterísticas.</li>
<li>O Milvus devolve os vectores mais semelhantes ao vetor consultado pelos utilizadores.</li>
</ol>
<h2 id="Deployment" class="common-anchor-header">Implementação<button data-href="#Deployment" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Agora já sabe o que são os sistemas de análise de vídeo baseados em Milvus. O sistema é composto principalmente por duas partes, como mostra a figura seguinte.</p>
<ul>
<li><p>As setas vermelhas indicam o processo de importação de dados. Utilize o ResNet-50 para extrair vectores de caraterísticas do conjunto de dados de imagens e importe os vectores de caraterísticas para o Milvus.</p></li>
<li><p>As setas pretas indicam o processo de análise de vídeo. Em primeiro lugar, extrair fotogramas de um vídeo e guardar os fotogramas como imagens. Em segundo lugar, detetar e extrair objectos nas imagens utilizando o YOLOv3. Em seguida, utiliza o ResNet-50 para extrair vectores de caraterísticas das imagens. Por fim, o Milvus procura e devolve as informações dos objectos com os vectores de caraterísticas correspondentes.</p></li>
</ul>
<p>Para mais informações, consulte <a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/video_similarity_search/object_detection">Milvus Bootcamp: Sistema de deteção de objectos de vídeo</a>.</p>
<p><strong>Importação de dados</strong></p>
<p>O processo de importação de dados é simples. Converta os dados em vectores de 2.048 dimensões e importe os vectores para o Milvus.</p>
<pre><code translate="no" class="language-python">vector = image_encoder.execute(filename)
entities = [vector]
collection.insert(data=entities)
<button class="copy-code-btn"></button></code></pre>
<p><strong>Análise de vídeo</strong></p>
<p>Tal como referido anteriormente, o processo de análise de vídeo inclui a captura de fotogramas de vídeo, a deteção de objectos em cada fotograma, a extração de vectores dos objectos, o cálculo da similaridade dos vectores com a métrica da distância euclidiana (L2) e a pesquisa de resultados utilizando o Milvus.</p>
<pre><code translate="no" class="language-python">images = extract_frame(filename, 1, prefix)   
detector = Detector()   
run(detector, DATA_PATH)       
vectors = get_object_vector(image_encoder, DATA_PATH)
search_params = {<span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&quot;L2&quot;</span>, <span class="hljs-string">&quot;params&quot;</span>: {<span class="hljs-string">&quot;nprobe&quot;</span>: 10}}
results = collection.search(vectors, param=search_params, <span class="hljs-built_in">limit</span>=10)
<button class="copy-code-btn"></button></code></pre>
<h2 id="Conclusion" class="common-anchor-header">Conclusão<button data-href="#Conclusion" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Atualmente, mais de 80% dos dados não estão estruturados. Com o rápido desenvolvimento da IA, foi desenvolvido um número crescente de modelos de aprendizagem profunda para analisar dados não estruturados. Tecnologias como a deteção de objectos e o processamento de imagens alcançaram grandes avanços tanto no meio académico como na indústria. Graças a estas tecnologias, cada vez mais plataformas de IA satisfazem requisitos práticos.</p>
<p>O sistema de análise de vídeo abordado neste tópico foi criado com o Milvus, que pode analisar rapidamente conteúdos de vídeo.</p>
<p>Sendo uma base de dados vetorial de código aberto, o Milvus suporta vectores de caraterísticas extraídos através de vários modelos de aprendizagem profunda. Integrado com bibliotecas como Faiss, NMSLIB e Annoy, o Milvus fornece um conjunto de APIs intuitivas, suportando a mudança de tipos de índice de acordo com os cenários. Além disso, o Milvus suporta filtragem escalar, o que aumenta a taxa de recuperação e a flexibilidade da pesquisa. O Milvus tem sido aplicado em muitas áreas, como processamento de imagem, visão computacional, processamento de linguagem natural, reconhecimento de fala, sistema de recomendação e descoberta de novos medicamentos.</p>
<h2 id="References" class="common-anchor-header">Referências<button data-href="#References" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>[1] A. D. Bagdanov, L. Ballan, M. Bertini, A. Del Bimbo. "Correspondência e recuperação de marcas comerciais em bases de dados de vídeos desportivos". Actas do workshop internacional sobre Workshop sobre recuperação de informação multimédia, ACM, 2007. https://www.researchgate.net/publication/210113141_Trademark_matching_and_retrieval_in_sports_video_databases</p>
<p>[2] J. Kleban, X. Xie, W.-Y. Ma. "Spatial pyramid mining for logo detection in natural scenes" [Extração de pirâmides espaciais para deteção de logótipos em cenas naturais]. Conferência Internacional do IEEE, 2008. https://ieeexplore.ieee.org/document/4607625</p>
<p>[3] R. Boia, C. Florea, L. Florea, R. Dogaru. "Localização e reconhecimento de logótipos em imagens naturais utilizando gráficos de classes homográficas". Machine Vision and Applications 27 (2), 2016. https://link.springer.com/article/10.1007/s00138-015-0741-7</p>
<p>[4] R. Boia, C. Florea, L. Florea. "Aglomeração de asift elíptico em protótipo de classe para deteção de logotipo". BMVC, 2015. http://citeseerx.ist.psu.edu/viewdoc/download;jsessionid=5C87F52DE38AB0C90F8340DFEBB841F7?doi=10.1.1.707.9371&amp;rep=rep1&amp;type=pdf</p>
<p>[5] https://arxiv.org/abs/1804.02767</p>
<p>[6] https://paddlepaddle.org.cn/modelbasedetail/yolov3</p>
<p>[7] https://arxiv.org/abs/1512.03385</p>


Deteção de objectos

<custom-h1>Milvus vai participar no Hacktoberfest 2021</custom-h1><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Hacktoberfest_89c929cace.png" alt="hacktoberfestCover" class="doc-image" id="hacktoberfestcover" />
   </span> <span class="img-wrapper"> <span>hacktoberfestCover</span> </span></p>
<p><strong>Milvus, o banco de dados vetorial que capacita aplicativos de IA, anunciou hoje sua participação no 8º evento anual Hacktoberfest patrocinado pela DigitalOcean!</strong></p>
<p>Em 2014, a DigitalOcean iniciou <a href="https://hacktoberfest.digitalocean.com/">o Hacktoberfest</a> com a ideia de celebrar projetos de software de código aberto. Ao longo dos anos, o evento tem crescido constantemente de dezenas para milhares de participantes.  Este ano, o evento de um mês parece crescer para mais de 200.000 participantes activos!</p>
<p>A partir de 1 de outubro, todos, desde programadores experientes a estudantes, novatos em código e escritores técnicos a designers UX, podem contribuir para as comunidades de software de código aberto e desenvolver as suas capacidades, com a vantagem de ganharem brindes de edição limitada e muito mais.</p>
<h2 id="Everyone-is-welcome" class="common-anchor-header">Todos são bem-vindos<button data-href="#Everyone-is-welcome" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Há muitas formas de contribuir para o projeto Milvus - não é preciso ser uma superestrela do código para contribuir! De facto, nem sequer é necessário ter uma vasta experiência ou uma longa lista de competências para poder ajudar. Se é um grande escritor ou editor, ótimo!  Gosta de criar gráficos ou ilustrações - perfeito!  Aqui estão algumas formas de contribuir durante o evento, juntamente com uma lista de "questões" do GitHub para os novos colaboradores resolverem!</p>
<p>Vê os detalhes <a href="https://discuss.milvus.io/t/join-hacktoberfest-2021-with-us/72#how-to-participate-1">aqui</a>.</p>
<h2 id="Contribute-get-noticed--earn-swag" class="common-anchor-header">Contribua, seja notado e ganhe brindes<button data-href="#Contribute-get-noticed--earn-swag" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/swag_cae44023e8.png" alt="swag" class="doc-image" id="swag" />
   </span> <span class="img-wrapper"> <span>brindes</span> </span></p>
<p>É certo que contribuir para o código aberto, ou para o conceito de código aberto, é em essência uma encarnação de altruísmo, mas alguns brindes não fazem mal nenhum. Temos para oferecer autocolantes exclusivos, t-shirts, teclados e também um drone! Veja os detalhes na nossa <a href="https://discuss.milvus.io/t/join-hacktoberfest-2021-with-us/72#prizes-8">página do fórum</a>.</p>
<p>A DigitalOcean também oferece brindes para os participantes, veja as regras no site oficial do Hacktoberfest.</p>
<h2 id="Whats-next" class="common-anchor-header">O que vem por aí<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p>Recentemente, organizámos uma chamada virtual de perguntas e respostas sobre o Hacktoberfest.  Você pode ver a gravação <a href="https://www.youtube.com/watch?v=cHjSTEHoiF8">aqui</a>.</p></li>
<li><p>Para participar no evento, recomendamos que comece na nossa página Hacktoberfest em milvus.io e consulte o <a href="https://hacktoberfest.com/">Guia de "Início Rápido"</a></p></li>
<li><p>Ver o nosso <a href="https://github.com/milvus-io">repositório GitHub</a> (e dar-nos uma estrela)!</p></li>
<li><p>Veja a nossa lista de <a href="https://github.com/milvus-io/milvus/issues?q=is%3Aopen+is%3Aissue+label%3AHacktoberfest">"questões"</a> selecionadas para os participantes que o podem ajudar a tornar-se uma estrela do rock!</p></li>
</ul>
<h2 id="Helpful-links" class="common-anchor-header">Ligações úteis<button data-href="#Helpful-links" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p><a href="https://hacktoberfest.com/"><strong>Página do evento Milvus x Hactoberfest</strong></a></p></li>
<li><p><a href="https://discuss.milvus.io/c/hacktoberfest/9"><strong>Fórum de discussão Milvus</strong></a> - Junte-se ao nosso fórum Milvus para se manter atualizado sobre os lançamentos do Milvus, interagir com outros utilizadores e colocar questões durante o evento.</p></li>
<li><p><strong>Siga-nos no <a href="https://twitter.com/milvusio">Twitter</a></strong> e, se a sua contribuição for destacada durante o evento, poderá ganhar brindes especiais!</p></li>
</ul>


Todos são bem-vindos

<custom-h1>Combinar modelos de IA para pesquisa de imagens utilizando ONNX e Milvus</custom-h1><p>O Open Neural Network Exchange (ONNX) é um formato aberto criado para representar modelos de aprendizagem automática. Desde que foi aberto em 2017, o ONNX tornou-se um padrão para IA, fornecendo blocos de construção para modelos de aprendizagem automática e aprendizagem profunda. O ONNX define um formato de ficheiro comum para permitir que os programadores de IA utilizem modelos com várias estruturas, ferramentas, tempos de execução e compiladores, e ajuda a aumentar a velocidade de inovação na comunidade de inteligência artificial.</p>
<p>Milvus é uma base de dados vetorial de código aberto que é altamente flexível, fiável e extremamente rápida. Suporta a adição, eliminação, atualização e pesquisa de vectores quase em tempo real. Milvus tem um conjunto abrangente de APIs intuitivas e suporte para várias bibliotecas de índices amplamente adoptadas (por exemplo, Faiss, NMSLIB e Annoy), simplificando a seleção de índices para um determinado cenário. O Milvus é simples de usar e tem sido utilizado em centenas de organizações e instituições em todo o mundo, incluindo pesquisa de imagem, áudio e vídeo, recomendação, chatbot, pesquisa de novos medicamentos, etc.</p>
<p>Este artigo irá apresentar-lhe como utilizar vários modelos para a pesquisa de imagens com base no ONNX e no Milvus. Toma os modelos VGG16 e ResNet50 como exemplos, utiliza o ONNX para executar diferentes modelos de IA para gerar vectores de caraterísticas e, por fim, executa a recuperação de vectores de caraterísticas em Milvus para devolver imagens semelhantes.</p>
<h2 id="Process-Models-with-ONNX" class="common-anchor-header">Processar modelos com ONNX<button data-href="#Process-Models-with-ONNX" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>O formato ONNX pode ser facilmente trocado entre modelos de IA. Por exemplo, o modelo TensorFlow pode ser convertido para o formato ONNX e executado no ambiente Caffe. Neste exemplo, convertemos o modelo ResNet50 pré-treinado no âmbito da estrutura Keras para o formato ONNX e, em seguida, chamamos o modelo VGG16 no formato ONNX para analisar diferentes modelos.</p>
<pre><code translate="no" class="language-python"><span class="hljs-keyword">from</span> keras.applications.resnet50 <span class="hljs-keyword">import</span> ResNet50
<span class="hljs-keyword">import</span> tensorflow <span class="hljs-keyword">as</span> tf

<span class="hljs-comment"># load keras-resnet50 model and save as a floder</span>
model_resnet50 = ResNet50(include_top=<span class="hljs-literal">False</span>, pooling=<span class="hljs-string">&#x27;max&#x27;</span>, weights=<span class="hljs-string">&#x27;imagenet&#x27;</span>)
tf.saved_model.save(model_resnet50, <span class="hljs-string">&quot;keras_resnet50_model&quot;</span>)

<span class="hljs-comment"># convert resnet50 model to onnx</span>
! python -m tf2onnx.convert --saved-model <span class="hljs-string">&quot;keras_resnet50_model&quot;</span> --output <span class="hljs-string">&quot;onnx_resnet50.onnx&quot;</span>
<button class="copy-code-btn"></button></code></pre>
<p>Nota: Quando utilizámos a interface <code translate="no">keras2onnx.convert_keras(model, model.name)</code> para converter o modelo, esta devolverá o erro <code translate="no">AttributeError:'KerasTensor' object has no attribute'graph'</code>. Em seguida, podemos usar o comando Bash do Python para converter de acordo com a solução no Stack Overflow.</p>
<h2 id="Extract-Feature-Vectors-using-Models" class="common-anchor-header">Extrair vectores de caraterísticas utilizando modelos<button data-href="#Extract-Feature-Vectors-using-Models" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Depois de converter o modelo ResNet50 para o formato ONNX, pode extrair o vetor de caraterísticas da imagem diretamente através da inferência. Nota: Os vectores de caraterísticas têm de ser normalizados após a extração.</p>
<pre><code translate="no" class="language-python"><span class="hljs-comment"># get the image vectors with onnx model</span>
<span class="hljs-keyword">def</span> <span class="hljs-title function_">get_onnx_vectors</span>(<span class="hljs-params">onnx_model, img_path</span>):
    img = image.load_img(img_path, target_size=(<span class="hljs-number">224</span>, <span class="hljs-number">224</span>))
    x = image.img_to_array(img)
    x = np.expand_dims(x, axis=<span class="hljs-number">0</span>)
    x = preprocess_input(x)
    
    sess = onnxruntime.InferenceSession(onnx_model)
    x = x <span class="hljs-keyword">if</span> <span class="hljs-built_in">isinstance</span>(x, <span class="hljs-built_in">list</span>) <span class="hljs-keyword">else</span> [x]
    feed = <span class="hljs-built_in">dict</span>([(<span class="hljs-built_in">input</span>.name, x[n]) <span class="hljs-keyword">for</span> n, <span class="hljs-built_in">input</span> <span class="hljs-keyword">in</span> <span class="hljs-built_in">enumerate</span>(sess.get_inputs())])
    feat = sess.run(<span class="hljs-literal">None</span>, feed)[<span class="hljs-number">0</span>]
    
    norm_feat = feat[<span class="hljs-number">0</span>] / LA.norm(feat[<span class="hljs-number">0</span>])
    norm_feat = [i.item() <span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> norm_feat]
    <span class="hljs-keyword">return</span> norm_feat
<button class="copy-code-btn"></button></code></pre>
<p>Utilize o modelo VGG16 em formato ONNX para processar dados de imagem:</p>
<pre><code translate="no" class="language-python"><span class="hljs-comment"># generate vectors with ResNet50 and VGG16 ONNX model</span>
2vec_resnet = get_onnx_vectors(<span class="hljs-string">&quot;onnx_resnet50.onnx&quot;</span>, <span class="hljs-string">&quot;./pic/example.jpg&quot;</span>)
3vec_vgg = get_onnx_vectors(<span class="hljs-string">&quot;onnx_vgg16.onnx&quot;</span>, <span class="hljs-string">&quot;./pic/example.jpg&quot;</span>)
<button class="copy-code-btn"></button></code></pre>
<h2 id="Store-Vector-Data" class="common-anchor-header">Armazenar dados vectoriais<button data-href="#Store-Vector-Data" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Os dados não estruturados, como as imagens, não podem ser processados diretamente por um computador, mas podem ser convertidos em vectores através de um modelo de IA e depois analisados por um computador. A base de dados vetorial Milvus foi concebida para potenciar a análise maciça de dados não estruturados. Pode armazenar dados vectoriais e efetuar análises quase em tempo real. Em primeiro lugar, crie uma coleção do modelo correspondente em Milvus e, em seguida, insira os vectores de imagem.</p>
<pre><code translate="no" class="language-python"><span class="hljs-keyword">from</span> milvus <span class="hljs-keyword">import</span> *

<span class="hljs-comment"># create collections in Milvus</span>
milvus.create_collection(resnet_collection_param)
milvus.create_collection(vgg_collection_param)

<span class="hljs-comment"># insert data to Milvus and return ids</span>
status, resnet_ids = milvus.insert(resnet_collection_name, resnet_vectors)
status, vgg_ids = milvus.insert(vgg_collection_name, vgg_vectors)
<button class="copy-code-btn"></button></code></pre>
<p>Depois de inserir os dados com sucesso, o Milvus devolverá o ID correspondente ao vetor e, em seguida, podemos encontrar a imagem pelo ID. Uma vez que o Milvus 1.1 utilizado neste caso não suporta filtragem escalar (que o Milvus 2.0 suporta agora), o Redis é utilizado para armazenar o ID do vetor e o valor-chave do caminho da imagem.</p>
<pre><code translate="no" class="language-python"><span class="hljs-keyword">import</span> redis
<span class="hljs-keyword">def</span> <span class="hljs-title function_">img_ids_to_redis</span>(<span class="hljs-params">img_directory, res_ids</span>):
  <span class="hljs-keyword">for</span> img, ids <span class="hljs-keyword">in</span> <span class="hljs-built_in">zip</span>(images, res_ids):
    redis.<span class="hljs-built_in">set</span>(ids, img)
<button class="copy-code-btn"></button></code></pre>
<h2 id="Search-for-Similar-Images" class="common-anchor-header">Pesquisa de imagens semelhantes<button data-href="#Search-for-Similar-Images" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Depois de armazenar os dados, podemos recuperar o vetor. O Milvus suporta vários métodos de cálculo de distâncias, incluindo a distância Euclidiana, o produto interno e a distância de Hamming. A pesquisa de semelhança de imagens neste artigo adopta o cálculo da distância euclidiana entre os vectores no Milvus, devolve o ID do vetor semelhante e, em seguida, encontra a imagem correspondente ao ID no Redis.</p>
<pre><code translate="no" class="language-python"><span class="hljs-comment"># search in Milvus and return the similarly results with ids</span>
<span class="hljs-keyword">def</span> <span class="hljs-title function_">search_in_milvus</span>(<span class="hljs-params">collection_name, search_vector</span>):
    status, results = milvus.search(collection_name, TOP_K, [search_vector])
    <span class="hljs-built_in">print</span>(status)
    re_ids = [x.<span class="hljs-built_in">id</span> <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> results[<span class="hljs-number">0</span>]]
    re_distance = [x.distance <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> results[<span class="hljs-number">0</span>]]
    <span class="hljs-keyword">return</span> re_ids, re_distance
    
<span class="hljs-comment"># get the images according the result ids</span>
<span class="hljs-keyword">def</span> <span class="hljs-title function_">get_sim_imgs</span>(<span class="hljs-params">collection_name, search_vector</span>):
    ids, distance = search_in_milvus(collection_name, search_vector)
    img = [red.get(i).decode(<span class="hljs-string">&quot;utf-8&quot;</span>) <span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> ids]
    <span class="hljs-keyword">return</span> ids, distance, img
<button class="copy-code-btn"></button></code></pre>
<p>Tomando os modelos VGG16 e ResNet50 como exemplos, este artigo mostra o processamento de vários modelos através do ONNX e a combinação de vários modelos com o Milvus para a recuperação de vectores semelhantes, de modo a obter imagens semelhantes. Os dois modelos acima referidos baseiam-se na estrutura Keras, que pode extrair rapidamente vectores de caraterísticas. Pode ver-se no Notebook que, embora os resultados da pesquisa de imagens do Milvus no conjunto de dados COCO com base nestes dois modelos sejam semelhantes, as suas distâncias euclidianas não são as mesmas. Também pode tentar comparar os resultados da pesquisa dos dois modelos utilizando outros conjuntos de dados.</p>
<p>Milvus é uma base de dados vetorial de alto desempenho e altamente disponível que pode ser utilizada para processar vectores de caraterísticas gerados a partir de dados massivos não estruturados. Para obter mais soluções, pode consultar o <a href="https://github.com/milvus-io/bootcamp">bootcamp do Milvus</a>.</p>
<h2 id="References" class="common-anchor-header">Referências<button data-href="#References" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ol>
<li>https://github.com/onnx/onnx</li>
<li>https://onnx.ai/</li>
<li>https://milvus.io/cn/</li>
<li>https://github.com/milvus-io/bootcamp</li>
</ol>
<h3 id="About-author" class="common-anchor-header">Sobre o autor</h3><p>Shiyu Chen, engenheira de dados na Zilliz, licenciou-se em Ciências Informáticas na Universidade de Xidian. Desde que se juntou à Zilliz, tem vindo a explorar soluções para o Milvus em vários domínios, como a análise de áudio e vídeo, a recuperação de fórmulas de moléculas, etc., o que enriqueceu bastante os cenários de aplicação da comunidade. Atualmente, está a explorar mais soluções interessantes. No seu tempo livre, gosta de desporto e de ler.</p>


Processar modelos com ONNX

DiskANN, uma solução ANNS baseada em disco com alta recuperação e alto QPS em um conjunto de dados em escala de bilhões

Visão geral do projeto

<custom-h1>Classificação de sequências de ADN com base em Milvus</custom-h1><blockquote>
<p>Autora: Mengjia Gu, engenheira de dados na Zilliz, licenciou-se na Universidade McGill com um mestrado em Estudos da Informação. Os seus interesses incluem aplicações de IA e pesquisa de semelhanças em bases de dados vectoriais. Como membro da comunidade do projeto de código aberto Milvus, forneceu e melhorou várias soluções, como o sistema de recomendação e o modelo de classificação de sequências de ADN. Gosta de desafios e nunca desiste!</p>
</blockquote>
<custom-h1>Introdução</custom-h1><p>A sequência de ADN é um conceito popular tanto na investigação académica como em aplicações práticas, como a rastreabilidade de genes, a identificação de espécies e o diagnóstico de doenças. Considerando que todas as indústrias anseiam por um método de investigação mais inteligente e eficiente, a inteligência artificial tem atraído muita atenção, especialmente nos domínios biológico e médico. Cada vez mais cientistas e investigadores estão a contribuir para a aprendizagem automática e a aprendizagem profunda em bioinformática. Para tornar os resultados experimentais mais convincentes, uma opção comum é aumentar o tamanho da amostra. A colaboração com grandes volumes de dados no domínio da genómica também traz mais possibilidades de casos de utilização na realidade. No entanto, o alinhamento tradicional de sequências tem limitações que o tornam <a href="https://www.frontiersin.org/articles/10.3389/fbioe.2020.01032/full#h5">inadequado para grandes volumes de dados</a>. Para reduzir as desvantagens na realidade, a vectorização é uma boa opção para um grande conjunto de dados de sequências de ADN.</p>
<p>A base de dados de vectores de código aberto <a href="https://milvus.io/docs/v2.0.x/overview.md">Milvus</a> é adequada para dados maciços. É capaz de armazenar vectores de sequências de ácidos nucleicos e efetuar uma recuperação altamente eficiente. Pode também ajudar a reduzir o custo de produção ou de investigação. O sistema de classificação de sequências de ADN baseado no Milvus demora apenas milissegundos a efetuar a classificação dos genes. Além disso, apresenta uma maior precisão do que outros classificadores comuns na aprendizagem automática.</p>
<custom-h1>Processamento de dados</custom-h1><p>Um gene que codifica informação genética é constituído por uma pequena secção de sequências de ADN, que consiste em 4 bases de nucleótidos [A, C, G, T]. Existem cerca de 30.000 genes no genoma humano, quase 3 mil milhões de pares de bases de ADN, e cada par de bases tem 2 bases correspondentes. Para poderem ser utilizadas para diversos fins, as sequências de ADN podem ser classificadas em várias categorias. Para reduzir o custo e facilitar a utilização de dados de sequências de ADN longas, <a href="https://en.wikipedia.org/wiki/K-mer#:~:text=Usually%2C%20the%20term%20k%2Dmer,total%20possible%20k%2Dmers%2C%20where">o k-mer </a>é introduzido no pré-processamento de dados. Entretanto, torna os dados de sequências de ADN mais semelhantes a texto simples. Além disso, os dados vectorizados podem acelerar o cálculo na análise de dados ou na aprendizagem automática.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_a7469e9eac.png" alt="1.png" class="doc-image" id="1.png" />
   </span> <span class="img-wrapper"> <span>1.png</span> </span></p>
<p><strong>k-mer</strong></p>
<p>O método k-mer é normalmente utilizado no pré-processamento de sequências de ADN. Extrai uma pequena secção de comprimento k a partir de cada base da sequência original, convertendo assim uma sequência longa de comprimento s em (s-k+1) sequências curtas de comprimento k. Ajustar o valor de k melhorará o desempenho do modelo. As listas de sequências curtas são mais fáceis para a leitura de dados, extração de caraterísticas e vectorização.</p>
<p><strong>Vectorização</strong></p>
<p>As sequências de ADN são vectorizadas sob a forma de texto. Uma sequência transformada por k-mer torna-se uma lista de sequências curtas, que se assemelha a uma lista de palavras individuais numa frase. Por conseguinte, a maioria dos modelos de processamento de linguagem natural deve funcionar também para dados de sequências de ADN. Podem ser aplicadas metodologias semelhantes à formação de modelos, à extração de caraterísticas e à codificação. Uma vez que cada modelo tem as suas próprias vantagens e desvantagens, a seleção de modelos depende da caraterística dos dados e do objetivo da investigação. Por exemplo, o CountVectorizer, um modelo de saco de palavras, implementa a extração de caraterísticas através de uma tokenização simples. Não estabelece limites para o comprimento dos dados, mas o resultado obtido é menos óbvio em termos de comparação de semelhanças.</p>
<custom-h1>Demonstração do Milvus</custom-h1><p>O Milvus pode gerir facilmente dados não estruturados e recuperar os resultados mais semelhantes entre triliões de vectores num prazo médio de milissegundos. A sua pesquisa de semelhanças baseia-se no algoritmo de pesquisa ANN (Approximate Nearest Neighbor). Estas caraterísticas fazem do Milvus uma excelente opção para gerir vectores de sequências de ADN, promovendo assim o desenvolvimento e as aplicações da bioinformática.</p>
<p>Aqui está uma demonstração que mostra como construir um sistema de classificação de sequências de ADN com o Milvus. O <a href="https://www.kaggle.com/nageshsingh/dna-sequence-dataset">conjunto de dados experimentais </a>inclui 3 organismos e 7 famílias de genes. Todos os dados são convertidos em listas de sequências curtas por k-mers. Com um modelo CountVectorizer pré-treinado, o sistema codifica os dados das sequências em vectores. O fluxograma abaixo mostra a estrutura do sistema e os processos de inserção e pesquisa.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_ebd89660f6.png" alt="1.png" class="doc-image" id="1.png" />
   </span> <span class="img-wrapper"> <span>1.png</span> </span></p>
<p>Experimente esta demonstração no <a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/dna_sequence_classification">bootcamp de Milvus</a>.</p>
<p>No Milvus, o sistema cria uma coleção e insere os vectores correspondentes de sequências de ADN na coleção (ou na partição, se esta estiver activada). Quando recebe um pedido de consulta, o Milvus devolve as distâncias entre o vetor da sequência de ADN de entrada e os resultados mais semelhantes na base de dados. A classe da sequência de entrada e a semelhança entre as sequências de ADN podem ser determinadas pelas distâncias dos vectores nos resultados.</p>
<pre><code translate="no"><span class="hljs-comment"># Insert vectors to Milvus collection (partition &quot;human&quot;)</span>
DNA_human = collection.insert([human_ids, human_vectors], partition_name=<span class="hljs-string">&#x27;human&#x27;</span>)
<span class="hljs-comment"># Search topK results (in partition &quot;human&quot;) for test vectors</span>
res = collection.search(test_vectors, <span class="hljs-string">&quot;vector_field&quot;</span>, search_params, limit=topK, partition_names=[<span class="hljs-string">&#x27;human&#x27;</span>])
<span class="hljs-keyword">for</span> results <span class="hljs-keyword">in</span> res:
    res_ids = results.ids <span class="hljs-comment"># primary keys of topK results</span>
    res_distances = results.distances <span class="hljs-comment"># distances between topK results &amp; search input</span>
<button class="copy-code-btn"></button></code></pre>
<p><strong>Classificação das sequências</strong>de ADN A pesquisa das sequências de ADN mais semelhantes no Milvus pode implicar a família de genes de uma amostra desconhecida, permitindo assim conhecer a sua possível funcionalidade.<a href="https://www.nature.com/scitable/topicpage/gpcr-14047471/"> Se uma sequência for classificada como GPCRs, então provavelmente tem influência nas funções do corpo. </a>Nesta demonstração, o Milvus permitiu ao sistema identificar com êxito as famílias de genes das sequências de ADN humano pesquisadas.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/3_1616da5bb0.png" alt="3.png" class="doc-image" id="3.png" />
   </span> <span class="img-wrapper"> <span>3.png</span> </span> <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/4_d719b22fc7.png" alt="4.png" class="doc-image" id="4.png" /><span>4.png</span> </span></p>
<p><strong>Similaridade genética</strong></p>
<p>A similaridade média das sequências de ADN entre organismos ilustra a proximidade entre os seus genomas. A demonstração procura nos dados humanos as sequências de ADN mais semelhantes às do chimpanzé e do cão, respetivamente. Em seguida, calcula e compara as distâncias médias do produto interno (0,97 para o chimpanzé e 0,70 para o cão), o que prova que o chimpanzé partilha mais genes semelhantes com o ser humano do que o cão. Com dados mais complexos e conceção de sistema, o Milvus é capaz de apoiar a investigação genética mesmo a um nível mais elevado.</p>
<pre><code translate="no">search_params = {<span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&quot;IP&quot;</span>, <span class="hljs-string">&quot;params&quot;</span>: {<span class="hljs-string">&quot;nprobe&quot;</span>: <span class="hljs-number">20</span>}}
<button class="copy-code-btn"></button></code></pre>
<p><strong>Desempenho</strong></p>
<p>A demonstração treina o modelo de classificação com 80% de dados de amostras humanas (3629 no total) e utiliza os restantes como dados de teste. Compara o desempenho do modelo de classificação da sequência de ADN que utiliza o Milvus com o modelo alimentado por Mysql e 5 classificadores populares de aprendizagem automática. O modelo baseado no Milvus supera os seus homólogos em termos de precisão.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> sklearn.<span class="hljs-property">model_selection</span> <span class="hljs-keyword">import</span> train_test_split
X, y = human_sequence_kmers, human_labels
X_train, X_test, y_train, y_test = <span class="hljs-title function_">train_test_split</span>(X, y, test_size=<span class="hljs-number">0.2</span>, random_state=<span class="hljs-number">42</span>)
<button class="copy-code-btn"></button></code></pre>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_6541a7dec6.png" alt="1.png" class="doc-image" id="1.png" />
   </span> <span class="img-wrapper"> <span>1.png</span> </span></p>
<custom-h1>Exploração adicional</custom-h1><p>Com o desenvolvimento da tecnologia de grandes volumes de dados, a vectorização da sequência de ADN desempenhará um papel mais importante na investigação e na prática genéticas. Em combinação com os conhecimentos profissionais em bioinformática, os estudos relacionados podem beneficiar ainda mais do envolvimento da vectorização da sequência de ADN. Por conseguinte, o Milvus pode apresentar melhores resultados na prática. De acordo com diferentes cenários e necessidades dos utilizadores, a pesquisa de semelhanças e o cálculo de distâncias com Milvus apresentam um grande potencial e muitas possibilidades.</p>
<ul>
<li><strong>Estudar sequências desconhecidas</strong>: <a href="https://iopscience.iop.org/article/10.1088/1742-6596/1453/1/012071/pdf">De acordo com alguns investigadores, a vectorização pode comprimir dados de sequências de ADN.</a> Ao mesmo tempo, requer menos esforço para estudar a estrutura, função e evolução de sequências de ADN desconhecidas. O Milvus pode armazenar e recuperar um grande número de vectores de sequências de ADN sem perder a precisão.</li>
<li><strong>Adaptar dispositivos</strong>: Limitada pelos algoritmos tradicionais de alinhamento de sequências, a pesquisa por semelhança mal pode beneficiar da melhoria dos dispositivos<a href="https://www.ncbi.nlm.nih.gov/pmc/articles/PMC7884812/">(</a><a href="https://mjeer.journals.ekb.eg/article_146090.html">CPU/GPU</a>). O Milvus, que suporta tanto a computação regular da CPU como a aceleração da GPU, resolve este problema com o algoritmo do vizinho mais próximo aproximado.</li>
<li><strong>Detetar vírus e rastrear origens</strong>: <a href="https://www.nature.com/articles/s41586-020-2012-7?fbclid=IwAR2hxnXb9nLWgA8xexEoNrCNH8WHqvHhhbN38aSm48AaH6fTzGMB1BLljf4">Os cientistas compararam as sequências genómicas e indicaram que o vírus COVID19, provavelmente originário de morcegos, pertence ao SARS-COV</a>. Com base nesta conclusão, os investigadores podem expandir o tamanho da amostra para obter mais provas e padrões.</li>
<li><strong>Diagnosticar doenças</strong>: Em termos clínicos, os médicos podem comparar sequências de ADN entre pacientes e grupos saudáveis para identificar genes variantes que causam doenças. É possível extrair caraterísticas e codificar estes dados utilizando algoritmos adequados. O Milvus é capaz de devolver distâncias entre vectores, que podem ser relacionadas com dados de doenças. Para além de ajudar no diagnóstico de doenças, esta aplicação pode também ajudar a inspirar o estudo de <a href="https://www.frontiersin.org/articles/10.3389/fgene.2021.680117/full">terapias específicas</a>.</li>
</ul>
<custom-h1>Saiba mais sobre o Milvus</custom-h1><p>O Milvus é uma ferramenta poderosa capaz de alimentar um vasto conjunto de aplicações de inteligência artificial e de pesquisa de semelhanças vectoriais. Para saber mais sobre o projeto, consulte os seguintes recursos:</p>
<ul>
<li>Leia o nosso <a href="https://milvus.io/blog">blogue</a>.</li>
<li>Interagir com a nossa comunidade de código aberto no <a href="https://milvusio.slack.com/join/shared_invite/zt-e0u4qu3k-bI2GDNys3ZqX1YCJ9OM~GQ#/shared-invite/email">Slack</a>.</li>
<li>Utilize ou contribua para a base de dados de vectores mais popular do mundo no <a href="https://github.com/milvus-io/milvus/">GitHub</a>.</li>
<li>Teste e implemente rapidamente aplicações de IA com o nosso novo <a href="https://github.com/milvus-io/bootcamp">bootcamp</a>.</li>
</ul>


Classificação da sequência de ADN com base em Milvus

Leitura do documento｜HM-ANN Quando a ANNS encontra a memória heterogénea

Milvus 2.0 Redefinir a base de dados vetorial

<custom-h1>Criação de um sistema de recomendação de produtos personalizados com a Vipshop e a Milvus</custom-h1><p>Com o crescimento explosivo da escala de dados da Internet, a quantidade de produtos, bem como a categoria na atual plataforma de comércio eletrónico convencional, aumentam, por um lado, e a dificuldade dos utilizadores em encontrar os produtos de que necessitam aumenta, por outro.</p>
<p><a href="https://www.vip.com/">A Vipshop</a> é um retalhista online líder em descontos para marcas na China. A empresa oferece produtos de marca populares e de alta qualidade aos consumidores em toda a China, com um desconto significativo em relação aos preços de retalho. Para otimizar a experiência de compra dos seus clientes, a empresa decidiu criar um sistema de recomendação de pesquisa personalizado com base nas palavras-chave de consulta do utilizador e nos retratos do utilizador.</p>
<p>A função principal do sistema de recomendação de pesquisa de comércio eletrónico é recuperar produtos adequados de um grande número de produtos e apresentá-los aos utilizadores de acordo com a sua intenção de pesquisa e preferência. Neste processo, o sistema tem de calcular a semelhança entre os produtos e a intenção e preferência de pesquisa dos utilizadores, e recomenda os produtos TopK com a maior semelhança aos utilizadores.</p>
<p>Dados como a informação do produto, a intenção de pesquisa do utilizador e as preferências do utilizador são todos dados não estruturados. Tentámos calcular a semelhança desses dados utilizando o CosineSimilarity(7.x) do motor de busca Elasticsearch (ES), mas esta abordagem tem as seguintes desvantagens</p>
<ul>
<li><p>Tempo de resposta computacional longo - a latência média para recuperar resultados TopK de milhões de itens é de cerca de 300 ms.</p></li>
<li><p>Elevado custo de manutenção dos índices do ES - o mesmo conjunto de índices é utilizado tanto para os vectores de caraterísticas das mercadorias como para outros dados relacionados, o que dificilmente facilita a construção do índice, mas produz uma enorme quantidade de dados.</p></li>
</ul>
<p>Tentámos desenvolver o nosso próprio plug-in de hash localmente sensível para acelerar o cálculo do CosineSimilarity do ES. Embora o desempenho e o rendimento tenham melhorado significativamente após a aceleração, a latência de mais de 100 ms continuava a ser difícil de satisfazer os requisitos reais de recuperação de produtos em linha.</p>
<p>Após uma pesquisa exaustiva, decidimos utilizar a Milvus, uma base de dados vetorial de código aberto, que tem a vantagem de suportar a implantação distribuída, SDKs multilingues, separação de leitura/escrita, etc., em comparação com a Faiss autónoma normalmente utilizada.</p>
<p>Utilizando vários modelos de aprendizagem profunda, convertemos dados massivos não estruturados em vectores de caraterísticas e importamos os vectores para o Milvus. Com o excelente desempenho do Milvus, o nosso sistema de recomendação de pesquisa de comércio eletrónico pode consultar eficazmente os vectores TopK que são semelhantes aos vectores-alvo.</p>
<h2 id="Overall-Architecture" class="common-anchor-header">Arquitetura geral<button data-href="#Overall-Architecture" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>![Arquitetura](https://assets.zilliz.com/1_01551e7b2b.jpg &quot;Arquitetura.) Como mostra o diagrama, a arquitetura geral do sistema é constituída por duas partes principais.</p>
<ul>
<li><p>Processo de escrita: os vectores de caraterísticas dos itens (a seguir designados por vectores de itens) gerados pelo modelo de aprendizagem profunda são normalizados e escritos no MySQL. Em seguida, o MySQL lê os vectores de caraterísticas de itens processados utilizando a ferramenta de sincronização de dados (ETL) e importa-os para a base de dados de vectores Milvus.</p></li>
<li><p>Processo de leitura: O serviço de pesquisa obtém vectores de caraterísticas das preferências do utilizador (doravante designados por vectores do utilizador) com base nas palavras-chave da consulta do utilizador e nos retratos do utilizador, consulta vectores semelhantes no Milvus e recorda os vectores de itens TopK.</p></li>
</ul>
<p>O Milvus suporta tanto a atualização incremental dos dados como a atualização de todos os dados. Cada atualização incremental tem de eliminar o vetor de itens existente e inserir um novo vetor de itens, o que significa que cada coleção recentemente actualizada será novamente indexada. É mais adequado para o cenário com mais leituras e menos escritas. Por isso, escolhemos o método de atualização de dados completos. Além disso, são necessários apenas alguns minutos para escrever todos os dados em lotes de várias partições, o que equivale a actualizações quase em tempo real.</p>
<p>Os nós de escrita Milvus executam todas as operações de escrita, incluindo a criação de colecções de dados, a construção de índices, a inserção de vectores, etc., e fornecem serviços ao público com nomes de domínio de escrita. Os nós de leitura do Milvus realizam todas as operações de leitura e fornecem serviços ao público com nomes de domínio apenas de leitura.</p>
<p>Considerando que a versão atual do Milvus não suporta a troca de aliases de colecções, introduzimos o Redis para trocar aliases entre múltiplas colecções de dados inteiras.</p>
<p>O nó de leitura só precisa de ler informações de metadados existentes e dados vectoriais ou índices do MySQL, do Milvus e do sistema de ficheiros distribuído GlusterFS, pelo que a capacidade de leitura pode ser alargada horizontalmente através da implementação de várias instâncias.</p>
<h2 id="Implementation-Details" class="common-anchor-header">Detalhes da implementação<button data-href="#Implementation-Details" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="Data-Update" class="common-anchor-header">Atualização de dados</h3><p>O serviço de atualização de dados inclui não só a escrita de dados vectoriais, mas também a deteção do volume de dados dos vectores, a construção de índices, o pré-carregamento de índices, o controlo de pseudónimos, etc. O processo global é o seguinte. <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/2_6052b01334.jpg" alt="Process" class="doc-image" id="process" /><span>Processo</span> </span></p>
<ol>
<li><p>Suponha-se que, antes de construir os dados completos, a ColecçãoA presta um serviço de dados ao público e que os dados completos que estão a ser utilizados são dirigidos à ColecçãoA (<code translate="no">redis key1 = CollectionA</code>). O objetivo da construção de dados completos é criar uma nova coleção CollectionB.</p></li>
<li><p>Verificação dos dados das mercadorias - verificar o número de item dos dados das mercadorias na tabela MySQL, comparar os dados das mercadorias com os dados existentes na ColecçãoA. O alerta pode ser definido de acordo com a quantidade ou a percentagem. Se a quantidade definida (percentagem) não for atingida, os dados completos não serão construídos e será considerado como uma falha desta operação de construção, accionando o alerta; assim que a quantidade definida (percentagem) for atingida, todo o processo de construção de dados é iniciado.</p></li>
<li><p>Iniciar a construção de todos os dados - inicializar o alias de todos os dados que estão a ser construídos e atualizar o Redis. Após a atualização, o alias de todos os dados em construção é direcionado para a ColecçãoB (<code translate="no">redis key2 = CollectionB</code>).</p></li>
<li><p>Criar uma nova coleção inteira - determinar se CollectionB existe. Se existir, exclua-a antes de criar uma nova.</p></li>
<li><p>Gravação de dados em lote - calcular o ID da partição de cada dado de mercadoria com o seu próprio ID utilizando a operação de módulo e gravar os dados em várias partições na coleção recém-criada em lotes.</p></li>
<li><p>Criar e pré-carregar o índice - Criar um índice (<code translate="no">createIndex()</code>) para a nova coleção. O ficheiro de índice é armazenado no servidor de armazenamento distribuído GlusterFS. O sistema simula automaticamente a consulta na nova coleção e pré-carrega o índice para aquecimento da consulta.</p></li>
<li><p>Verificação dos dados da coleção - verifica o número de itens de dados na nova coleção, compara os dados com a coleção existente e define alarmes com base na quantidade e na percentagem. Se o número definido (percentagem) não for atingido, a coleção não será trocada e o processo de construção será considerado como uma falha, accionando o alerta.</p></li>
<li><p>Troca de coleção - Controlo de alias. Após a atualização do Redis, todo o alias de dados em utilização é direcionado para a CollectionB (<code translate="no">redis key1 = CollectionB</code>), a chave original do Redis2 é eliminada e o processo de construção é concluído.</p></li>
</ol>
<h3 id="Data-Recall" class="common-anchor-header">Recuperação de dados</h3><p>Os dados da partição Milvus são chamados várias vezes para calcular a semelhança entre os vectores de utilizador, obtidos com base nas palavras-chave de consulta do utilizador e no retrato do utilizador, e o vetor de item, e os vectores de item TopK são devolvidos após a fusão. O esquema geral do fluxo de trabalho é o seguinte: <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/3_93518602b1.jpg" alt="workflow" class="doc-image" id="workflow" /><span>fluxo de trabalho</span>A </span>tabela seguinte enumera os principais serviços envolvidos neste processo. Pode ver-se que a latência média para recuperar os vectores TopK é de cerca de 30 ms.</p>
<table>
<thead>
<tr><th><strong>Serviço</strong></th><th><strong>Função</strong></th><th><strong>Parâmetros de entrada</strong></th><th><strong>Parâmetros de saída</strong></th><th><strong>Latência de resposta</strong></th></tr>
</thead>
<tbody>
<tr><td>Aquisição dos vectores do utilizador</td><td>Obter o vetor do utilizador</td><td>informação do utilizador + consulta</td><td>vetor do utilizador</td><td>10 ms</td></tr>
<tr><td>Pesquisa Milvus</td><td>Calcular a similaridade do vetor e devolver os resultados TopK</td><td>vetor do utilizador</td><td>vetor do item</td><td>10 ms</td></tr>
<tr><td>Lógica de programação</td><td>Recolha e fusão simultânea de resultados</td><td>Vectores de itens recuperados por vários canais e a pontuação de semelhança</td><td>Itens TopK</td><td>10 ms</td></tr>
</tbody>
</table>
<p><strong>Processo de implementação:</strong></p>
<ol>
<li>Com base nas palavras-chave de consulta do utilizador e no retrato do utilizador, o vetor do utilizador é calculado pelo modelo de aprendizagem profunda.</li>
<li>Obter o alias da coleção de todos os dados que estão a ser utilizados a partir de Redis currentInUseKeyRef e obter Milvus CollectionName. Este processo é um serviço de sincronização de dados, ou seja, mudar o alias para o Redis após a atualização de todos os dados.</li>
<li>O Milvus é chamado de forma simultânea e assíncrona com o vetor do utilizador para obter dados de diferentes partições da mesma coleção, e o Milvus calcula a semelhança entre o vetor do utilizador e o vetor do item, e devolve os TopK vectores de itens semelhantes em cada partição.</li>
<li>Fundir os vectores de itens TopK devolvidos de cada partição e classificar os resultados pela ordem inversa da distância de semelhança, que é calculada utilizando o produto interno IP (quanto maior for a distância entre os vectores, mais semelhantes são). São devolvidos os vectores de itens TopK finais.</li>
</ol>
<h2 id="Looking-Ahead" class="common-anchor-header">Olhando para o futuro<button data-href="#Looking-Ahead" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Atualmente, a pesquisa vetorial baseada em Milvus pode ser utilizada de forma constante na pesquisa de cenários de recomendação, e o seu elevado desempenho dá-nos mais espaço para jogar na dimensionalidade do modelo e na seleção do algoritmo.</p>
<p>O Milvus desempenhará um papel crucial como middleware para mais cenários, incluindo a chamada de atenção para a pesquisa no sítio principal e recomendações para todos os cenários.</p>
<p>As três caraterísticas mais esperadas do Milvus no futuro são as seguintes</p>
<ul>
<li>Lógica para a comutação de pseudónimos de colecções - coordenar a comutação entre colecções sem componentes externos.</li>
<li>Mecanismo de filtragem - Milvus v0.11.0 apenas suporta o mecanismo de filtragem ES DSL na versão autónoma. O Milvus 2.0, recentemente lançado, suporta filtragem escalar e separação de leitura/escrita.</li>
<li>Suporte de armazenamento para Hadoop Distributed File System (HDFS) - O Milvus v0.10.6 que estamos a utilizar apenas suporta a interface de ficheiros POSIX, e implementámos GlusterFS com suporte FUSE como backend de armazenamento. No entanto, o HDFS é uma escolha melhor em termos de desempenho e facilidade de escalonamento.</li>
</ul>
<h2 id="Lessons-Learned-and-Best-Practices" class="common-anchor-header">Lições aprendidas e melhores práticas<button data-href="#Lessons-Learned-and-Best-Practices" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ol>
<li>Para aplicações em que as operações de leitura são o foco principal, uma implantação de separação leitura-escrita pode aumentar significativamente o poder de processamento e melhorar o desempenho.</li>
<li>O cliente Java Milvus não possui um mecanismo de reconexão porque o cliente Milvus usado pelo serviço de recuperação está residente na memória. Temos de criar o nosso próprio conjunto de ligações para garantir a disponibilidade da ligação entre o cliente Java e o servidor através de um teste de pulsação.</li>
<li>Ocasionalmente, ocorrem consultas lentas no Milvus. Isto deve-se a um aquecimento insuficiente da nova coleção. Ao simular a consulta na nova coleção, o ficheiro de índice é carregado na memória para atingir o aquecimento do índice.</li>
<li>nlist é o parâmetro de construção do índice e nprobe é o parâmetro de consulta. É necessário obter um valor limite razoável de acordo com o seu cenário empresarial através de experiências de teste de pressão para equilibrar o desempenho e a precisão da recuperação.</li>
<li>Para um cenário de dados estáticos, é mais eficiente importar primeiro todos os dados para a coleção e construir índices mais tarde.</li>
</ol>


Arquitetura geral

<custom-h1>Recuperação de áudio baseada em Milvus</custom-h1><p>O som é um tipo de dados denso em termos de informação. Embora possa parecer antiquado na era do conteúdo vídeo, o áudio continua a ser uma fonte de informação primária para muitas pessoas. Apesar do declínio de longo prazo no número de ouvintes, 83% dos americanos com 12 anos ou mais ouviram rádio terrestre (AM / FM) em uma determinada semana em 2020 (abaixo dos 89% em 2019). Por outro lado, o áudio online tem visto um aumento constante de ouvintes nas últimas duas décadas, com 62% dos americanos ouvindo alguma forma dele semanalmente, de acordo com o mesmo <a href="https://www.journalism.org/fact-sheet/audio-and-podcasting/">estudo do Pew Research Center</a>.</p>
<p>Como uma onda, o som inclui quatro propriedades: frequência, amplitude, forma de onda e duração. Na terminologia musical, estas propriedades são designadas por altura, dinâmica, tom e duração. Os sons também ajudam os seres humanos e outros animais a perceber e compreender o nosso ambiente, fornecendo pistas contextuais para a localização e o movimento de objectos no nosso meio envolvente.</p>
<p>Como portador de informação, o áudio pode ser classificado em três categorias:</p>
<ol>
<li><strong>Fala:</strong> Um meio de comunicação composto por palavras e gramática. Com algoritmos de reconhecimento de voz, a fala pode ser convertida em texto.</li>
<li><strong>Música:</strong> Sons vocais e/ou instrumentais combinados para produzir uma composição composta por melodia, harmonia, ritmo e timbre. A música pode ser representada por uma partitura.</li>
<li><strong>Forma de onda:</strong> Um sinal de áudio digital obtido através da digitalização de sons analógicos. As formas de onda podem representar fala, música e sons naturais ou sintetizados.</li>
</ol>
<p>A recuperação de áudio pode ser utilizada para pesquisar e monitorizar os meios de comunicação em linha em tempo real, a fim de reprimir a violação dos direitos de propriedade intelectual. Assume também um papel importante na classificação e análise estatística de dados áudio.</p>
<h2 id="Processing-Technologies" class="common-anchor-header">Tecnologias de processamento<button data-href="#Processing-Technologies" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>A fala, a música e outros sons genéricos têm caraterísticas únicas e exigem diferentes métodos de processamento. Normalmente, o áudio é separado em grupos que contêm fala e grupos que não a contêm:</p>
<ul>
<li>O áudio de fala é processado por reconhecimento automático de fala.</li>
<li>O áudio que não contém fala, incluindo áudio musical, efeitos sonoros e sinais de fala digitalizados, é processado através de sistemas de recuperação de áudio.</li>
</ul>
<p>Este artigo centra-se na utilização de um sistema de recuperação de áudio para processar dados de áudio que não sejam de fala. O reconhecimento da fala não é abordado neste artigo</p>
<h3 id="Audio-feature-extraction" class="common-anchor-header">Extração de caraterísticas de áudio</h3><p>A extração de caraterísticas é a tecnologia mais importante nos sistemas de recuperação de áudio, uma vez que permite a pesquisa de semelhanças de áudio. Os métodos de extração de caraterísticas de áudio dividem-se em duas categorias:</p>
<ul>
<li>Modelos tradicionais de extração de caraterísticas de áudio, como os modelos de mistura gaussiana (GMM) e os modelos ocultos de Markov (HMM);</li>
<li>Modelos de extração de caraterísticas de áudio baseados na aprendizagem profunda, tais como redes neuronais recorrentes (RNN), redes de memória de curto prazo (LSTM), quadros de codificação-descodificação, mecanismos de atenção, etc.</li>
</ul>
<p>Os modelos baseados na aprendizagem profunda têm uma taxa de erro que é uma ordem de grandeza inferior à dos modelos tradicionais e, por conseguinte, estão a ganhar força como tecnologia de base no domínio do processamento de sinais de áudio.</p>
<p>Os dados de áudio são normalmente representados pelas caraterísticas de áudio extraídas. O processo de recuperação procura e compara estas caraterísticas e atributos em vez dos próprios dados áudio. Por conseguinte, a eficácia da recuperação da similaridade do áudio depende em grande medida da qualidade da extração das caraterísticas.</p>
<p>Neste artigo, <a href="https://github.com/qiuqiangkong/audioset_tagging_cnn">as redes neurais de áudio pré-treinadas em grande escala para o reconhecimento de padrões de áudio (PANNs)</a> são utilizadas para extrair vectores de caraterísticas com uma precisão média (mAP) de 0,439 (Hershey et al., 2017).</p>
<p>Depois de extrair os vectores de caraterísticas dos dados de áudio, podemos implementar uma análise de vectores de caraterísticas de alto desempenho utilizando o Milvus.</p>
<h3 id="Vector-similarity-search" class="common-anchor-header">Pesquisa de similaridade de vectores</h3><p><a href="https://milvus.io/">O Milvus</a> é um banco de dados de vetores de código aberto e nativo da nuvem, criado para gerenciar vetores de incorporação gerados por modelos de aprendizado de máquina e redes neurais. É amplamente utilizado em cenários como visão computacional, processamento de linguagem natural, química computacional, sistemas de recomendação personalizados e muito mais.</p>
<p>O diagrama seguinte descreve o processo geral de pesquisa de semelhanças utilizando o Milvus: <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/how_does_milvus_work_6926180543.png" alt="how-does-milvus-work.png" class="doc-image" id="how-does-milvus-work.png" /><span>how-does-milvus-work.png</span> </span></p>
<ol>
<li>Os dados não estruturados são convertidos em vectores de caraterísticas por modelos de aprendizagem profunda e inseridos no Milvus.</li>
<li>O Milvus armazena e indexa estes vectores de caraterísticas.</li>
<li>Mediante pedido, o Milvus procura e devolve os vectores mais semelhantes ao vetor de consulta.</li>
</ol>
<h2 id="System-overview" class="common-anchor-header">Visão geral do sistema<button data-href="#System-overview" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>O sistema de recuperação de áudio é composto principalmente por duas partes: inserção (linha preta) e pesquisa (linha vermelha).</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/audio_retrieval_system_663a911c95.png" alt="audio-retrieval-system.png" class="doc-image" id="audio-retrieval-system.png" />
   </span> <span class="img-wrapper"> <span>audio-retrieval-system.png</span> </span></p>
<p>O conjunto de dados de amostra utilizado neste projeto contém sons de jogos de código aberto, e o código está detalhado no <a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/audio_similarity_search">bootcamp do Milvus</a>.</p>
<h3 id="Step-1-Insert-data" class="common-anchor-header">Passo 1: Inserir dados</h3><p>Abaixo está o código de exemplo para gerar áudio embeddings com o modelo de inferência PANNs pré-treinado e inseri-los no Milvus, que atribui um ID único a cada vetor embedding.</p>
<pre><code translate="no"><span class="hljs-number">1</span> wav_name, vectors_audio = get_audio_embedding(audio_path)  
<span class="hljs-number">2</span> <span class="hljs-keyword">if</span> vectors_audio:    
<span class="hljs-number">3</span>     embeddings.<span class="hljs-built_in">append</span>(vectors_audio)  
<span class="hljs-number">4</span>     wav_names.<span class="hljs-built_in">append</span>(wav_name)  
<span class="hljs-number">5</span> ids_milvus = insert_vectors(milvus_client, table_name, embeddings)  
<span class="hljs-number">6</span> 
<button class="copy-code-btn"></button></code></pre>
<p>Em seguida, os <strong>ids_milvus</strong> devolvidos são armazenados juntamente com outras informações relevantes (por exemplo, <strong>wav_name</strong>) para os dados de áudio mantidos numa base de dados MySQL para processamento subsequente.</p>
<pre><code translate="no">1 get_ids_correlation(ids_milvus, wav_name)  
2 load_data_to_mysql(conn, cursor, table_name)    
3  
<button class="copy-code-btn"></button></code></pre>
<h3 id="Step-2-Audio-search" class="common-anchor-header">Passo 2: Pesquisa de áudio</h3><p>O Milvus calcula a distância do produto interno entre os vectores de caraterísticas pré-armazenados e os vectores de caraterísticas de entrada, extraídos dos dados de áudio consultados utilizando o modelo de inferência PANNs, e devolve os <strong>ids_milvus</strong> de vectores de caraterísticas semelhantes, que correspondem aos dados de áudio pesquisados.</p>
<pre><code translate="no"><span class="hljs-number">1</span> _, vectors_audio = get_audio_embedding(audio_filename)    
<span class="hljs-number">2</span> results = search_vectors(milvus_client, table_name, [vectors_audio], METRIC_TYPE, TOP_K)  
<span class="hljs-number">3</span> ids_milvus = [x.<span class="hljs-built_in">id</span> <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> results[<span class="hljs-number">0</span>]]  
<span class="hljs-number">4</span> audio_name = search_by_milvus_ids(conn, cursor, ids_milvus, table_name)    
<span class="hljs-number">5</span>
<button class="copy-code-btn"></button></code></pre>
<h2 id="API-reference-and-demo" class="common-anchor-header">Referência e demonstração da API<button data-href="#API-reference-and-demo" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="API" class="common-anchor-header">API</h3><p>Este sistema de recuperação de áudio é construído com código-fonte aberto. As suas principais caraterísticas são a inserção e a eliminação de dados áudio. Todas as APIs podem ser visualizadas digitando <strong>127.0.0.1:<port></strong> /docs no navegador.</p>
<h3 id="Demo" class="common-anchor-header">Demonstração</h3><p>Alojamos online uma <a href="https://zilliz.com/solutions">demonstração em direto</a> do sistema de recuperação de áudio baseado no Milvus, que pode experimentar com os seus próprios dados de áudio.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/audio_search_demo_cae60625db.png" alt="audio-search-demo.png" class="doc-image" id="audio-search-demo.png" />
   </span> <span class="img-wrapper"> <span>audio-search-demo.png</span> </span></p>
<h2 id="Conclusion" class="common-anchor-header">Conclusão<button data-href="#Conclusion" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Vivendo na era dos grandes volumes de dados, as pessoas vêem as suas vidas repletas de todo o tipo de informação. Para a compreender melhor, a recuperação tradicional de texto já não é suficiente. Atualmente, a tecnologia de recuperação de informação necessita urgentemente da recuperação de vários tipos de dados não estruturados, como vídeos, imagens e áudio.</p>
<p>Os dados não estruturados, que são difíceis de processar pelos computadores, podem ser convertidos em vectores de caraterísticas utilizando modelos de aprendizagem profunda. Estes dados convertidos podem ser facilmente processados por máquinas, permitindo-nos analisar dados não estruturados de uma forma que os nossos antecessores nunca conseguiram. A Milvus, uma base de dados de vectores de código aberto, pode processar eficazmente os vectores de caraterísticas extraídos por modelos de IA e fornece uma variedade de cálculos comuns de semelhança de vectores.</p>
<h2 id="References" class="common-anchor-header">Referências<button data-href="#References" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Hershey, S., Chaudhuri, S., Ellis, D.P., Gemmeke, J.F., Jansen, A., Moore, R.C., Plakal, M., Platt, D., Saurous, R.A., Seybold, B. e Slaney, M., 2017, março. Arquiteturas CNN para classificação de áudio em grande escala. Em 2017, Conferência Internacional do IEEE sobre Acústica, Fala e Processamento de Sinais (ICASSP), pp. 131-135, 2017</p>
<h2 id="Dont-be-a-stranger" class="common-anchor-header">Não seja um estranho<button data-href="#Dont-be-a-stranger" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p>Encontre ou contribua para o Milvus no <a href="https://github.com/milvus-io/milvus/">GitHub</a>.</p></li>
<li><p>Interaja com a comunidade através do <a href="https://join.slack.com/t/milvusio/shared_invite/zt-e0u4qu3k-bI2GDNys3ZqX1YCJ9OM~GQ">Slack</a>.</p></li>
<li><p>Ligue-se a nós no <a href="https://twitter.com/milvusio">Twitter</a>.</p></li>
</ul>


Tecnologias de processamento

<custom-h1>MilMil: Um chatbot de perguntas frequentes sobre Milvus que responde a perguntas sobre Milvus</custom-h1><p>A comunidade open-source criou recentemente o MilMil - um chatbot de FAQ do Milvus construído por e para utilizadores do Milvus. O MilMil está disponível 24 horas por dia, 7 dias por semana, em <a href="https://milvus.io/">Milvus.io</a>, para responder a perguntas comuns sobre o Milvus, a base de dados vetorial de código aberto mais avançada do mundo.</p>
<p>Este sistema de resposta a perguntas não só ajuda a resolver problemas comuns que os utilizadores do Milvus encontram mais rapidamente, como também identifica novos problemas com base nas submissões dos utilizadores. A base de dados do MilMil inclui perguntas que os utilizadores fizeram desde que o projeto foi lançado pela primeira vez sob uma licença de código aberto em 2019. As perguntas são armazenadas em duas coleções, uma para o Milvus 1.x e anterior e outra para o Milvus 2.0.</p>
<p>Atualmente, o MilMil só está disponível em inglês.</p>
<h2 id="How-does-MilMil-work" class="common-anchor-header">Como é que o MilMil funciona?<button data-href="#How-does-MilMil-work" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>O MilMil <em>baseia-se</em> no modelo <em>sentence-transformers/paraphrase-mpnet-base-v2</em> para obter representações vectoriais da base de dados de FAQs, depois o Milvus é utilizado para a recuperação de semelhanças vectoriais para devolver perguntas semanticamente semelhantes.</p>
<p>Em primeiro lugar, os dados das FAQ são convertidos em vectores semânticos utilizando o BERT, um modelo de processamento de linguagem natural (PNL). Os vectores são depois inseridos no Milvus e a cada um deles é atribuída uma identificação única. Finalmente, as perguntas e respostas são inseridas no PostgreSQL, uma base de dados relacional, juntamente com os seus IDs vectoriais.</p>
<p>Quando os utilizadores enviam uma pergunta, o sistema converte-a num vetor de caraterísticas utilizando o BERT. Em seguida, procura no Milvus os cinco vectores mais semelhantes ao vetor de consulta e obtém os seus IDs. Finalmente, as perguntas e respostas que correspondem aos IDs dos vectores recuperados são devolvidas ao utilizador.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/system_process_dca67a80a6.png" alt="system-process.png" class="doc-image" id="system-process.png" />
   </span> <span class="img-wrapper"> <span>processo-sistema.png</span> </span></p>
<p>Veja o projeto <a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/question_answering_system">do sistema de resposta a perguntas</a> no bootcamp do Milvus para explorar o código utilizado para criar chatbots de IA.</p>
<h2 id="Ask-MilMil-about-Milvus" class="common-anchor-header">Pergunte ao MilMil sobre o Milvus<button data-href="#Ask-MilMil-about-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Para conversar com o MilMil, navegue para qualquer página em <a href="https://milvus.io/">Milvus.io</a> e clique no ícone do pássaro no canto inferior direito. Digite sua pergunta na caixa de entrada de texto e clique em enviar. O MilMil responder-lhe-á em milissegundos! Para além disso, a lista pendente no canto superior esquerdo pode ser utilizada para alternar entre a documentação técnica de diferentes versões do Milvus.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/milvus_chatbot_icon_f3c25708ca.png" alt="milvus-chatbot-icon.png" class="doc-image" id="milvus-chatbot-icon.png" />
   </span> <span class="img-wrapper"> <span>milvus-chatbot-icon.png</span> </span></p>
<p>Depois de submeter uma pergunta, o bot devolve imediatamente três perguntas que são semanticamente semelhantes à pergunta de consulta. Pode clicar em "Ver resposta" para procurar potenciais respostas à sua pergunta ou clicar em "Ver mais" para ver mais perguntas relacionadas com a sua pesquisa. Se não estiver disponível uma resposta adequada, clique em "Introduza aqui os seus comentários" para colocar a sua pergunta juntamente com um endereço de correio eletrónico. A ajuda da comunidade Milvus chegará em breve!</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/chatbot_UI_0f4a7655d4.png" alt="chatbot_UI.png" class="doc-image" id="chatbot_ui.png" />
   </span> <span class="img-wrapper"> <span>chatbot_UI.png</span> </span></p>
<p>Experimente o MilMil e diga-nos o que pensa. Todas as perguntas, comentários ou qualquer forma de feedback são bem-vindos.</p>
<h2 id="Dont-be-a-stranger" class="common-anchor-header">Não sejas um estranho<button data-href="#Dont-be-a-stranger" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li>Encontre ou contribua para o Milvus no <a href="https://github.com/milvus-io/milvus/">GitHub</a>.</li>
<li>Interaja com a comunidade através do <a href="https://join.slack.com/t/milvusio/shared_invite/zt-e0u4qu3k-bI2GDNys3ZqX1YCJ9OM~GQ">Slack</a>.</li>
<li>Conecte-se conosco no <a href="https://twitter.com/milvusio">Twitter</a>.</li>
</ul>


MilMil Um chatbot de perguntas frequentes alimentado por Milvus que responde a perguntas sobre Milvus

<custom-h1>Teste e Implemente Rapidamente Soluções de Pesquisa Vetorial com o Bootcamp do Milvus 2.0</custom-h1><p>Com o lançamento do Milvus 2.0, a equipa renovou o <a href="https://github.com/milvus-io/bootcamp">bootcamp</a> do Milvus. O novo e melhorado bootcamp oferece guias actualizados e exemplos de código mais fáceis de seguir para uma variedade de casos de utilização e implementações. Além disso, esta nova versão é actualizada para o <a href="https://milvus.io/blog/milvus2.0-redefining-vector-database.md">Milvus 2.0</a>, uma versão reimaginada do banco de dados vetorial mais avançado do mundo.</p>
<h3 id="Stress-test-your-system-against-1M-and-100M-dataset-benchmarks" class="common-anchor-header">Teste de stress do seu sistema contra benchmarks de conjuntos de dados de 1M e 100M</h3><p>O <a href="https://github.com/milvus-io/bootcamp/tree/master/benchmark_test">diretório</a> de benchmark contém testes de benchmark de 1 milhão e 100 milhões de vetores que indicam como seu sistema reagirá a conjuntos de dados de tamanhos diferentes.</p>
<p><br/></p>
<h3 id="Explore-and-build-popular-vector-similarity-search-solutions" class="common-anchor-header">Explore e crie soluções populares de pesquisa de similaridade de vetores</h3><p>O diretório <a href="https://github.com/milvus-io/bootcamp/tree/master/solutions">de soluções</a> inclui os casos de utilização de pesquisa por semelhança de vectores mais populares. Cada caso de uso contém uma solução de notebook e uma solução implantável no Docker. Os casos de uso incluem:</p>
<ul>
<li><a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/reverse_image_search">Pesquisa de similaridade de imagens</a></li>
<li><a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/video_similarity_search">Pesquisa de similaridade de vídeo</a></li>
<li><a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/audio_similarity_search">Pesquisa de similaridade de áudio</a></li>
<li><a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/recommendation_system">Sistema de recomendação</a></li>
<li><a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/molecular_similarity_search">Pesquisa molecular</a></li>
<li><a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/question_answering_system">Sistema de resposta a perguntas</a></li>
</ul>
<p><br/></p>
<h3 id="Quickly-deploy-a-fully-built-application-on-any-system" class="common-anchor-header">Implementar rapidamente uma aplicação totalmente criada em qualquer sistema</h3><p>As soluções de implementação rápida são soluções dockerizadas que permitem aos utilizadores implementar aplicações totalmente criadas em qualquer sistema. Essas soluções são ideais para demonstrações breves, mas exigem trabalho adicional para personalizar e entender em comparação com os notebooks.</p>
<p><br/></p>
<h3 id="Use-scenario-specific-notebooks-to-easily-deploy-pre-configured-applications" class="common-anchor-header">Use notebooks específicos do cenário para implantar facilmente aplicativos pré-configurados</h3><p>Os notebooks contêm um exemplo simples de implantação do Milvus para resolver o problema em um determinado caso de uso. Cada um dos exemplos pode ser executado do início ao fim sem a necessidade de gerir ficheiros ou configurações. Cada caderno é também fácil de seguir e modificável, tornando-os ficheiros de base ideais para outros projectos.</p>
<p><br/></p>
<h3 id="Image-similarity-search-notebook-example" class="common-anchor-header">Exemplo de bloco de notas de pesquisa de semelhança de imagens</h3><p>A pesquisa de semelhança de imagens é uma das ideias centrais por detrás de muitas tecnologias diferentes, incluindo carros autónomos que reconhecem objectos. Este exemplo explica como construir facilmente programas de visão computacional com o Milvus.</p>
<p>Este bloco de notas gira em torno de três coisas:</p>
<ul>
<li>Servidor Milvus</li>
<li>Servidor Redis (para armazenamento de metadados)</li>
<li>Modelo Resnet-18 pré-treinado.</li>
</ul>
<h4 id="Step-1-Download-required-packages" class="common-anchor-header">Passo 1: Descarregar os pacotes necessários</h4><p>Comece por descarregar todos os pacotes necessários para este projeto. Este bloco de notas inclui uma tabela que lista os pacotes a utilizar.</p>
<pre><code translate="no">pip install -r requirements.txt
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-2-Server-startup" class="common-anchor-header">Passo 2: Arranque do servidor</h4><p>Depois de os pacotes estarem instalados, inicie os servidores e certifique-se de que ambos estão a funcionar corretamente. Certifique-se de seguir as instruções corretas para iniciar os servidores <a href="https://milvus.io/docs/v2.0.x/install_standalone-docker.md">Milvus</a> e <a href="https://hub.docker.com/_/redis">Redis</a>.</p>
<h4 id="Step-3-Download-project-data" class="common-anchor-header">Passo 3: Descarregar dados do projeto</h4><p>Por predefinição, este bloco de notas extrai um fragmento dos dados VOCImage para utilização como exemplo, mas qualquer diretório com imagens deve funcionar desde que siga a estrutura de ficheiros que pode ser vista no topo do bloco de notas.</p>
<pre><code translate="no">! gdown <span class="hljs-string">&quot;https://drive.google.com/u/1/uc?id=1jdudBiUu41kL-U5lhH3ari_WBRXyedWo&amp;export=download&quot;</span>
! tar -xf <span class="hljs-string">&#x27;VOCdevkit.zip&#x27;</span>
! <span class="hljs-built_in">rm</span> <span class="hljs-string">&#x27;VOCdevkit.zip&#x27;</span>
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-4-Connect-to-the-servers" class="common-anchor-header">Passo 4: Ligar aos servidores</h4><p>Neste exemplo, os servidores estão a funcionar nas portas predefinidas no localhost.</p>
<pre><code translate="no">connections.<span class="hljs-title function_">connect</span>(host=<span class="hljs-string">&quot;127.0.0.1&quot;</span>, port=<span class="hljs-number">19537</span>)
red = redis.<span class="hljs-title class_">Redis</span>(host = <span class="hljs-string">&#x27;127.0.0.1&#x27;</span>, port=<span class="hljs-number">6379</span>, db=<span class="hljs-number">0</span>)
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-5-Create-a-collection" class="common-anchor-header">Passo 5: Criar uma coleção</h4><p>Depois de iniciar os servidores, crie uma coleção no Milvus para armazenar todos os vectores. Neste exemplo, o tamanho da dimensão é definido como 512, o tamanho da saída do resnet-18, e a métrica de similaridade é definida como a distância euclidiana (L2). O Milvus suporta uma variedade de <a href="https://milvus.io/docs/v2.0.x/metric.md">métricas de similaridade</a> diferentes.</p>
<pre><code translate="no">collection_name = <span class="hljs-string">&quot;image_similarity_search&quot;</span>
dim = <span class="hljs-number">512</span>
default_fields = [
    schema.FieldSchema(name=<span class="hljs-string">&quot;id&quot;</span>, dtype=DataType.INT64, is_primary=<span class="hljs-literal">True</span>, auto_id=<span class="hljs-literal">True</span>),
    schema.FieldSchema(name=<span class="hljs-string">&quot;vector&quot;</span>, dtype=DataType.FLOAT_VECTOR, dim=dim)
]
default_schema = schema.CollectionSchema(fields=default_fields, description=<span class="hljs-string">&quot;Image test collection&quot;</span>)
collection = Collection(name=collection_name, schema=default_schema)
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-6-Build-an-index-for-the-collection" class="common-anchor-header">Passo 6: Construir um índice para a coleção</h4><p>Uma vez criada a coleção, construa um índice para a mesma. Neste caso, é utilizado o índice IVF_SQ8. Este índice requer o parâmetro 'nlist', que indica ao Milvus quantos clusters devem ser criados em cada ficheiro de dados (segmento). <a href="https://milvus.io/docs/v2.0.x/index.md">Índices</a> diferentes requerem parâmetros diferentes.</p>
<pre><code translate="no">default_index = {<span class="hljs-string">&quot;index_type&quot;</span>: <span class="hljs-string">&quot;IVF_SQ8&quot;</span>, <span class="hljs-string">&quot;params&quot;</span>: {<span class="hljs-string">&quot;nlist&quot;</span>: <span class="hljs-number">2048</span>}, <span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&quot;L2&quot;</span>}
collection.<span class="hljs-title function_">create_index</span>(field_name=<span class="hljs-string">&quot;vector&quot;</span>, index_params=default_index)
collection.<span class="hljs-title function_">load</span>()
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-7-Set-up-model-and-data-loader" class="common-anchor-header">Etapa 7: Configurar o modelo e o carregador de dados</h4><p>Após a construção do índice IVF_SQ8, configure a rede neural e o carregador de dados. O pytorch resnet-18 pré-treinado utilizado neste exemplo não tem a última camada, que comprime os vectores para classificação e pode perder informações valiosas.</p>
<pre><code translate="no">model = torch.hub.load(<span class="hljs-string">&#x27;pytorch/vision:v0.9.0&#x27;</span>, <span class="hljs-string">&#x27;resnet18&#x27;</span>, pretrained=<span class="hljs-literal">True</span>)
encoder = torch.nn.Sequential(*(<span class="hljs-built_in">list</span>(model.children())[:-<span class="hljs-number">1</span>]))
<button class="copy-code-btn"></button></code></pre>
<p>O conjunto de dados e o carregador de dados precisam de ser modificados para poderem pré-processar e agrupar as imagens, fornecendo também os caminhos dos ficheiros das imagens. Isto pode ser feito com um carregador de dados torchvision ligeiramente modificado. Para o pré-processamento, as imagens precisam de ser cortadas e normalizadas devido ao facto de o modelo resnet-18 ter sido treinado num tamanho e intervalo de valores específicos.</p>
<pre><code translate="no">dataset = ImageFolderWithPaths(data_dir, transform=transforms.Compose([
                                                transforms.Resize(256),
                                                transforms.CenterCrop(224),
                                                transforms.ToTensor(),
                                                transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])]))

dataloader = torch.utils.data.DataLoader(dataset, num_workers=0, batch_si
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-8-Insert-vectors-into-the-collection" class="common-anchor-header">Passo 8: Inserir vectores na coleção</h4><p>Com a configuração da coleção, as imagens podem ser processadas e carregadas na coleção criada. Primeiro, as imagens são extraídas pelo carregador de dados e executadas através do modelo resnet-18. Os embeddings vectoriais resultantes são depois inseridos no Milvus, que devolve um ID único para cada vetor. Os IDs dos vectores e os caminhos dos ficheiros de imagem são então inseridos como pares chave-valor no servidor Redis.</p>
<pre><code translate="no">steps = <span class="hljs-built_in">len</span>(dataloader)
step = <span class="hljs-number">0</span>
<span class="hljs-keyword">for</span> inputs, labels, paths <span class="hljs-keyword">in</span> dataloader:
    <span class="hljs-keyword">with</span> torch.no_grad():
        output = encoder(inputs).squeeze()
        output = output.numpy()

    mr = collection.insert([output.tolist()])
    ids = mr.primary_keys
    <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-built_in">len</span>(ids)):
        red.<span class="hljs-built_in">set</span>(<span class="hljs-built_in">str</span>(ids[x]), paths[x])
    <span class="hljs-keyword">if</span> step%<span class="hljs-number">5</span> == <span class="hljs-number">0</span>:
        <span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Insert Step: &quot;</span> + <span class="hljs-built_in">str</span>(step) + <span class="hljs-string">&quot;/&quot;</span> + <span class="hljs-built_in">str</span>(steps))
    step += <span class="hljs-number">1</span>
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-9-Conduct-a-vector-similarity-search" class="common-anchor-header">Etapa 9: realizar uma pesquisa de similaridade de vetor</h4><p>Depois que todos os dados são inseridos no Milvus e no Redis, a pesquisa de similaridade de vetores pode ser realizada. Para este exemplo, três imagens selecionadas aleatoriamente são retiradas do servidor Redis para uma pesquisa de semelhança vetorial.</p>
<pre><code translate="no">random_ids = [<span class="hljs-built_in">int</span>(red.randomkey()) <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-number">3</span>)]
search_images = [x.decode(<span class="hljs-string">&quot;utf-8&quot;</span>) <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> red.mget(random_ids)]
<button class="copy-code-btn"></button></code></pre>
<p>Estas imagens passam primeiro pelo mesmo pré-processamento que é encontrado no Passo 7 e são depois passadas pelo modelo resnet-18.</p>
<pre><code translate="no">transform_ops = transforms.Compose([
                transforms.Resize(<span class="hljs-number">256</span>),
                transforms.CenterCrop(<span class="hljs-number">224</span>),
                transforms.ToTensor(),
                transforms.Normalize(mean=[<span class="hljs-number">0.485</span>, <span class="hljs-number">0.456</span>, <span class="hljs-number">0.406</span>], std=[<span class="hljs-number">0.229</span>, <span class="hljs-number">0.224</span>, <span class="hljs-number">0.225</span>])])

embeddings = [transform_ops(Image.<span class="hljs-built_in">open</span>(x)) <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> search_images]
embeddings = torch.stack(embeddings, dim=<span class="hljs-number">0</span>)

<span class="hljs-keyword">with</span> torch.no_grad():
    embeddings = encoder(embeddings).squeeze().numpy()
<button class="copy-code-btn"></button></code></pre>
<p>Em seguida, os embeddings vectoriais resultantes são utilizados para efetuar uma pesquisa. Primeiro, defina os parâmetros de pesquisa, incluindo o nome da coleção a pesquisar, nprobe (o número de clusters a pesquisar) e top_k (o número de vectores devolvidos). Neste exemplo, a pesquisa deve ser muito rápida.</p>
<pre><code translate="no">search_params = {<span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&quot;L2&quot;</span>, <span class="hljs-string">&quot;params&quot;</span>: {<span class="hljs-string">&quot;nprobe&quot;</span>: 32}}
start = time.time()
results = collection.search(embeddings, <span class="hljs-string">&quot;vector&quot;</span>, param=search_params, <span class="hljs-built_in">limit</span>=3, <span class="hljs-built_in">expr</span>=None)
end = time.time() - start
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-10-Image-search-results" class="common-anchor-header">Passo 10: Resultados da pesquisa de imagens</h4><p>Os IDs dos vectores devolvidos pelas consultas são utilizados para encontrar as imagens correspondentes. O Matplotlib é então utilizado para apresentar os resultados da pesquisa de imagens.<br/></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/pic1_c8652c7fae.png" alt="pic1.png" class="doc-image" id="pic1.png" />
   </span> <span class="img-wrapper"> <span>pic1.png</span> </span> <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/pic2_355b054161.png" alt="pic2.png" class="doc-image" id="pic2.png" /><span>pic2.png</span> </span> <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/pic3_01780c6aac.png" alt="pic3.png" class="doc-image" id="pic3.png" /><span>pic3.png</span> </span></p>
<p><br/></p>
<h3 id="Learn-how-to-deploy-Milvus-in-different-enviroments" class="common-anchor-header">Saiba como implementar o Milvus em diferentes ambientes</h3><p>A <a href="https://github.com/milvus-io/bootcamp/tree/master/deployments">secção de implementações</a> do novo bootcamp contém toda a informação para utilizar o Milvus em diferentes ambientes e configurações. Inclui a implantação de Mishards, usando Kubernetes com Milvus, balanceamento de carga e muito mais. Cada ambiente tem um guia passo a passo detalhado que explica como fazer o Milvus funcionar nele.</p>
<p><br/></p>
<h3 id="Dont-be-a-stranger" class="common-anchor-header">Não seja um estranho</h3><ul>
<li>Leia o nosso <a href="https://zilliz.com/blog">blogue</a>.</li>
<li>Interaja com a nossa comunidade de código aberto no <a href="https://join.slack.com/t/milvusio/shared_invite/zt-e0u4qu3k-bI2GDNys3ZqX1YCJ9OM~GQ">Slack</a>.</li>
<li>Utilize ou contribua para o Milvus, a base de dados vetorial mais popular do mundo, no <a href="https://github.com/milvus-io/milvus">Github</a>.</li>
</ul>


Teste e Implemente Rapidamente Soluções de Pesquisa Vetorial com o Bootcamp Milvus 2.0

<custom-h1>Criar uma aplicação de planeamento do guarda-roupa e do vestuário com Milvus</custom-h1><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/stylepedia_1_5f239a8d48.png" alt="stylepedia-1.png" class="doc-image" id="stylepedia-1.png" />
   </span> <span class="img-wrapper"> <span>stylepedia-1.png</span> </span></p>
<p>Fundada em 2003, <a href="http://www.mozat.com/home">a Mozat</a> é uma start-up com sede em Singapura e escritórios na China e na Arábia Saudita. A empresa é especializada na criação de aplicações de redes sociais, comunicação e estilo de vida. <a href="https://stylepedia.com/">A Stylepedia</a> é uma aplicação de guarda-roupa criada pela Mozat que ajuda os utilizadores a descobrirem novos estilos e a ligarem-se a outras pessoas que são apaixonadas pela moda. As suas principais caraterísticas incluem a capacidade de organizar um armário digital, recomendações de estilo personalizadas, funcionalidade de redes sociais e uma ferramenta de pesquisa de imagens para encontrar artigos semelhantes a algo visto online ou na vida real.</p>
<p><a href="https://milvus.io">O Milvus</a> é utilizado para alimentar o sistema de pesquisa de imagens da Stylepedia. A aplicação lida com três tipos de imagens: imagens de utilizadores, imagens de produtos e fotografias de moda. Cada imagem pode incluir um ou mais itens, complicando ainda mais cada consulta. Para ser útil, um sistema de pesquisa de imagens tem de ser preciso, rápido e estável, caraterísticas que estabelecem uma base técnica sólida para adicionar novas funcionalidades à aplicação, tais como sugestões de roupa e recomendações de conteúdos de moda.</p>
<h2 id="System-overview" class="common-anchor-header">Descrição geral do sistema<button data-href="#System-overview" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/stylepedia_system_process_8e7e2ab3e4.png" alt="stylepedia-system-process.png" class="doc-image" id="stylepedia-system-process.png" />
   </span> <span class="img-wrapper"> <span>stylepedia-system-process.png</span> </span></p>
<p>O sistema de pesquisa de imagens está dividido em componentes offline e online.</p>
<p>Offline, as imagens são vectorizadas e inseridas numa base de dados vetorial (Milvus). No fluxo de trabalho de dados, as imagens de produtos relevantes e as fotografias de moda são convertidas em vectores de caraterísticas de 512 dimensões, utilizando modelos de deteção de objectos e de extração de caraterísticas. Os dados vectoriais são depois indexados e adicionados à base de dados vetorial.</p>
<p>Em linha, a base de dados de imagens é consultada e imagens semelhantes são devolvidas ao utilizador. À semelhança da componente off-line, uma imagem consultada é processada por modelos de deteção de objectos e de extração de caraterísticas para obter um vetor de caraterísticas. Utilizando o vetor de caraterísticas, o Milvus procura os vectores semelhantes TopK e obtém os IDs de imagem correspondentes. Finalmente, após o pós-processamento (filtragem, ordenação, etc.), é devolvida uma coleção de imagens semelhantes à imagem consultada.</p>
<h2 id="Implementation" class="common-anchor-header">Implementação<button data-href="#Implementation" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>A implementação divide-se em quatro módulos:</p>
<ol>
<li>Deteção de vestuário</li>
<li>Extração de caraterísticas</li>
<li>Pesquisa de semelhanças vectoriais</li>
<li>Pós-processamento</li>
</ol>
<h3 id="Garment-detection" class="common-anchor-header">Deteção de vestuário</h3><p>No módulo de deteção de vestuário, <a href="https://pytorch.org/hub/ultralytics_yolov5/">o YOLOv5</a>, uma estrutura de deteção de alvos baseada em âncoras e de uma fase, é utilizado como modelo de deteção de objectos devido ao seu tamanho reduzido e à inferência em tempo real. Oferece quatro tamanhos de modelo (YOLOv5s/m/l/x), e cada tamanho específico tem vantagens e desvantagens. Os modelos maiores terão um melhor desempenho (maior precisão), mas requerem muito mais potência de computação e funcionam mais lentamente. Uma vez que, neste caso, os objectos são relativamente grandes e fáceis de detetar, o modelo mais pequeno, YOLOv5s, é suficiente.</p>
<p>Os artigos de vestuário em cada imagem são reconhecidos e recortados para servirem como entradas do modelo de extração de caraterísticas utilizado no processamento subsequente. Simultaneamente, o modelo de deteção de objectos também prevê a classificação do vestuário de acordo com classes predefinidas (tops, vestuário exterior, calças, saias, vestidos e macacões).</p>
<h3 id="Feature-extraction" class="common-anchor-header">Extração de caraterísticas</h3><p>A chave para a pesquisa de semelhanças é o modelo de extração de caraterísticas. As imagens de roupas recortadas são incorporadas em vectores de ponto flutuante de 512 dimensões que representam os seus atributos num formato de dados numéricos legíveis por máquina. A metodologia <a href="https://github.com/Joon-Park92/Survey_of_Deep_Metric_Learning">de aprendizagem métrica profunda (DML)</a> é adoptada com a <a href="https://arxiv.org/abs/1905.11946">EfficientNet</a> como modelo de base.</p>
<p>A aprendizagem métrica visa treinar um módulo de extração de caraterísticas não lineares baseado numa CNN (ou um codificador) para reduzir a distância entre os vectores de caraterísticas correspondentes à mesma classe de amostras e aumentar a distância entre os vectores de caraterísticas correspondentes a diferentes classes de amostras. Neste cenário, a mesma classe de amostras refere-se à mesma peça de roupa.</p>
<p>A EfficientNet tem em conta tanto a velocidade como a precisão quando dimensiona uniformemente a largura, profundidade e resolução da rede. A EfficientNet-B4 é utilizada como rede de extração de caraterísticas e o resultado da última camada totalmente ligada são as caraterísticas de imagem necessárias para efetuar a pesquisa de semelhança de vectores.</p>
<h3 id="Vector-similarity-search" class="common-anchor-header">Pesquisa de semelhança de vectores</h3><p>O Milvus é uma base de dados vetorial de código aberto que suporta operações de criação, leitura, atualização e eliminação (CRUD), bem como pesquisa quase em tempo real em conjuntos de dados de triliões de bytes. Na Stylepedia, é utilizada para pesquisa de semelhanças vectoriais em grande escala porque é altamente elástica, estável, fiável e extremamente rápida. O Milvus alarga as capacidades das bibliotecas de índices vectoriais amplamente utilizadas (Faiss, NMSLIB, Annoy, etc.) e fornece um conjunto de API simples e intuitivas que permitem aos utilizadores selecionar o tipo de índice ideal para um determinado cenário.</p>
<p>Tendo em conta os requisitos do cenário e a escala de dados, os programadores da Stylepedia utilizaram a distribuição do Milvus apenas para CPU em conjunto com o índice HNSW. Duas colecções indexadas, uma para produtos e outra para fotografias de moda, são construídas para alimentar diferentes funcionalidades da aplicação. Cada coleção é ainda dividida em seis partições com base nos resultados da deteção e classificação para limitar o âmbito da pesquisa. O Milvus efectua pesquisas em dezenas de milhões de vectores em milissegundos, proporcionando um desempenho ótimo, mantendo os custos de desenvolvimento baixos e minimizando o consumo de recursos.</p>
<h3 id="Post-processing" class="common-anchor-header">Pós-processamento</h3><p>Para melhorar a semelhança entre os resultados da recuperação de imagens e a imagem consultada, utilizamos a filtragem de cores e a filtragem de etiquetas-chave (comprimento da manga, comprimento da roupa, estilo do colarinho, etc.) para filtrar imagens não elegíveis. Além disso, é utilizado um algoritmo de avaliação da qualidade da imagem para garantir que as imagens de maior qualidade são apresentadas primeiro aos utilizadores.</p>
<h2 id="Application" class="common-anchor-header">Aplicação<button data-href="#Application" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="User-uploads-and-image-search" class="common-anchor-header">Carregamentos do utilizador e pesquisa de imagens</h3><p>Os utilizadores podem tirar fotografias das suas próprias roupas e carregá-las para o seu armário digital Stylepedia, recuperando depois as imagens de produtos mais semelhantes às suas cargas.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/stylepedia_search_results_0568e20dc0.png" alt="stylepedia-search-results.png" class="doc-image" id="stylepedia-search-results.png" />
   </span> <span class="img-wrapper"> <span>stylepedia resultados da pesquisa.png</span> </span></p>
<h3 id="Outfit-suggestions" class="common-anchor-header">Sugestões de roupa</h3><p>Ao efetuar uma pesquisa por semelhança na base de dados da Stylepedia, os utilizadores podem encontrar fotografias de moda que contenham um artigo de moda específico. Podem ser peças de vestuário novas que alguém está a pensar comprar, ou algo da sua própria coleção que pode ser usado ou combinado de forma diferente. Em seguida, através do agrupamento dos artigos com que é frequentemente combinado, são geradas sugestões de conjuntos. Por exemplo, um casaco de motoqueiro preto pode combinar com uma variedade de artigos, como um par de calças de ganga skinny pretas. Os utilizadores podem então navegar por fotografias de moda relevantes em que esta combinação ocorre na fórmula selecionada.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/stylepedia_jacket_outfit_e84914da9e.png" alt="stylepedia-jacket-outfit.png" class="doc-image" id="stylepedia-jacket-outfit.png" />
   </span> <span class="img-wrapper"> <span>stylepedia-jacket-outfit.png</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/stylepedia_jacket_snapshot_25f53cc09b.png" alt="stylepedia-jacket-snapshot.png" class="doc-image" id="stylepedia-jacket-snapshot.png" />
   </span> <span class="img-wrapper"> <span>stylepedia-jacket-snapshot.png</span> </span></p>
<h3 id="Fashion-photograph-recommendations" class="common-anchor-header">Recomendações de fotografias de moda</h3><p>Com base no histórico de navegação de um utilizador, nos seus gostos e no conteúdo do seu armário digital, o sistema calcula a semelhança e fornece recomendações personalizadas de fotografias de moda que possam ser do seu interesse.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/stylepedia_user_wardrobe_6770c856b9.png" alt="stylepedia-user-wardrobe.png" class="doc-image" id="stylepedia-user-wardrobe.png" />
   </span> <span class="img-wrapper"> <span>stylepedia-user-wardrobe.png</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/stylepedia_streetsnap_rec_901601a34d.png" alt="stylepedia-streetsnap-rec.png" class="doc-image" id="stylepedia-streetsnap-rec.png" />
   </span> <span class="img-wrapper"> <span>stylepedia-streetsnap-rec.png</span> </span></p>
<p>Combinando metodologias de aprendizagem profunda e de visão computacional, a Mozat conseguiu criar um sistema de pesquisa de semelhanças de imagens rápido, estável e preciso, utilizando o Milvus para alimentar várias funcionalidades da aplicação Stylepedia.</p>
<h2 id="Dont-be-a-stranger" class="common-anchor-header">Não seja um estranho<button data-href="#Dont-be-a-stranger" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li>Encontre ou contribua para o Milvus no <a href="https://github.com/milvus-io/milvus/">GitHub</a>.</li>
<li>Interaja com a comunidade através do <a href="https://join.slack.com/t/milvusio/shared_invite/zt-e0u4qu3k-bI2GDNys3ZqX1YCJ9OM~GQ">Slack</a>.</li>
<li>Ligue-se a nós no <a href="https://twitter.com/milvusio">Twitter</a>.</li>
</ul>


Descrição geral do sistema

<custom-h1>Construindo um cluster Milvus baseado no JuiceFS</custom-h1><p>As colaborações entre comunidades de código aberto são uma coisa mágica. Voluntários apaixonados, inteligentes e criativos não apenas mantêm as soluções de código aberto inovadoras, mas também trabalham para reunir diferentes ferramentas de maneiras interessantes e úteis. <a href="https://milvus.io/">O Milvus</a>, a base de dados vetorial mais popular do mundo, e <a href="https://github.com/juicedata/juicefs">o JuiceFS</a>, um sistema de ficheiros partilhado concebido para ambientes nativos da nuvem, foram unidos neste espírito pelas respectivas comunidades de código aberto. Este artigo explica o que é o JuiceFS, como criar um cluster Milvus baseado no armazenamento de ficheiros partilhados JuiceFS e o desempenho que os utilizadores podem esperar com esta solução.</p>
<h2 id="What-is-JuiceFS" class="common-anchor-header"><strong>O que é o JuiceFS?</strong><button data-href="#What-is-JuiceFS" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>O JuiceFS é um sistema de ficheiros POSIX distribuído de alto desempenho e de código aberto, que pode ser construído sobre o Redis e o S3. Ele foi projetado para ambientes nativos da nuvem e suporta o gerenciamento, a análise, o arquivamento e o backup de dados de qualquer tipo. O JuiceFS é normalmente utilizado para resolver desafios de grandes volumes de dados, criar aplicações de inteligência artificial (IA) e recolher registos. O sistema também suporta a partilha de dados entre vários clientes e pode ser utilizado diretamente como armazenamento partilhado no Milvus.</p>
<p>Depois de os dados e os metadados correspondentes serem persistidos no armazenamento de objectos e no <a href="https://redis.io/">Redis</a>, respetivamente, o JuiceFS funciona como um middleware sem estado. A partilha de dados é realizada permitindo que diferentes aplicações se liguem umas às outras sem problemas através de uma interface de sistema de ficheiros padrão. O JuiceFS depende do Redis, um armazenamento de dados em memória de código aberto, para o armazenamento de metadados. O Redis é utilizado porque garante a atomicidade e fornece operações de metadados de elevado desempenho. Todos os dados são armazenados no armazenamento de objectos através do cliente JuiceFS. O diagrama de arquitetura é o seguinte:</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/juicefs_architecture_2023b37a4e.png" alt="juicefs-architecture.png" class="doc-image" id="juicefs-architecture.png" />
   </span> <span class="img-wrapper"> <span>juicefs-architecture.png</span> </span></p>
<h2 id="Build-a-Milvus-cluster-based-on-JuiceFS" class="common-anchor-header"><strong>Construir um cluster Milvus baseado no JuiceFS</strong><button data-href="#Build-a-Milvus-cluster-based-on-JuiceFS" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Um cluster Milvus construído com o JuiceFS (ver diagrama de arquitetura abaixo) funciona dividindo os pedidos a montante utilizando o Mishards, um middleware de fragmentação de clusters, para fazer descer os pedidos em cascata até aos seus sub-módulos. Ao inserir dados, o Mishards aloca solicitações upstream para o nó de gravação Milvus, que armazena os dados recém-inseridos no JuiceFS. Ao ler dados, o Mishards carrega os dados do JuiceFS através de um nó de leitura Milvus para a memória para processamento, depois recolhe e devolve os resultados dos sub-serviços a montante.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/milvus_cluster_built_with_juicefs_3a43cd262c.png" alt="milvus-cluster-built-with-juicefs.png" class="doc-image" id="milvus-cluster-built-with-juicefs.png" />
   </span> <span class="img-wrapper"> <span>milvus-cluster-built-with-juicefs.png</span> </span></p>
<h3 id="Step-1-Launch-MySQL-service" class="common-anchor-header"><strong>Passo 1: Iniciar o serviço MySQL</strong></h3><p>Inicie o serviço MySQL em <strong>qualquer</strong> nó do cluster. Para obter detalhes, consulte <a href="https://milvus.io/docs/v1.1.0/data_manage.md">Gerenciar metadados com o MySQL</a>.</p>
<h3 id="Step-2-Create-a-JuiceFS-file-system" class="common-anchor-header"><strong>Etapa 2: criar um sistema de arquivos JuiceFS</strong></h3><p>Para fins de demonstração, é usado o programa JuiceFS binário pré-compilado. Baixe o <a href="https://github.com/juicedata/juicefs/releases">pacote de instalação</a> correto para seu sistema e siga o <a href="https://github.com/juicedata/juicefs-quickstart">Guia de início rápido</a> do JuiceFS para obter instruções detalhadas de instalação. Para criar um sistema de arquivos JuiceFS, primeiro configure um banco de dados Redis para armazenamento de metadados. Recomenda-se que, para implantações em nuvem pública, você hospede o serviço Redis na mesma nuvem que o aplicativo. Além disso, configure o armazenamento de objetos para o JuiceFS. Neste exemplo, o Armazenamento de Blobs do Azure é usado; no entanto, o JuiceFS dá suporte a quase todos os serviços de objeto. Selecione o serviço de armazenamento de objetos que melhor se adapta às demandas do seu cenário.</p>
<p>Depois de configurar o serviço Redis e o armazenamento de objetos, formate um novo sistema de arquivos e monte o JuiceFS no diretório local:</p>
<pre><code translate="no">1 $  <span class="hljs-built_in">export</span> AZURE_STORAGE_CONNECTION_STRING=<span class="hljs-string">&quot;DefaultEndpointsProtocol=https;AccountName=XXX;AccountKey=XXX;EndpointSuffix=core.windows.net&quot;</span>
2 $ ./juicefs format \
3     --storage wasb \
4     --bucket https://&lt;container&gt; \
5     ... \
6     localhost <span class="hljs-built_in">test</span> <span class="hljs-comment">#format</span>
7 $ ./juicefs mount -d localhost ~/jfs  <span class="hljs-comment">#mount</span>
8
<button class="copy-code-btn"></button></code></pre>
<blockquote>
<p>Se o servidor Redis não estiver a ser executado localmente, substitua o localhost pelo seguinte endereço: <code translate="no">redis://&lt;user:password&gt;@host:6379/1</code>.</p>
</blockquote>
<p>Quando a instalação for bem sucedida, o JuiceFS devolve a página de armazenamento partilhado <strong>/root/jfs</strong>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/installation_success_9d05279ecd.png" alt="installation-success.png" class="doc-image" id="installation-success.png" />
   </span> <span class="img-wrapper"> <span>installation-success.png</span> </span></p>
<h3 id="Step-3-Start-Milvus" class="common-anchor-header"><strong>Passo 3: Iniciar o Milvus</strong></h3><p>Todos os nós do cluster devem ter o Milvus instalado, e cada nó do Milvus deve ser configurado com permissão de leitura ou gravação. Apenas um nó do Milvus pode ser configurado como nó de escrita, e os demais devem ser nós de leitura. Primeiro, defina os parâmetros das secções <code translate="no">cluster</code> e <code translate="no">general</code> no ficheiro de configuração do sistema Milvus <strong>server_config.yaml</strong>:</p>
<p><strong>Secção</strong> <code translate="no">cluster</code></p>
<table>
<thead>
<tr><th style="text-align:left"><strong>Parâmetro</strong></th><th style="text-align:left"><strong>Descrição</strong></th><th style="text-align:left"><strong>Configuration (Configuração)</strong></th></tr>
</thead>
<tbody>
<tr><td style="text-align:left"><code translate="no">enable</code></td><td style="text-align:left">Ativar ou não o modo de cluster</td><td style="text-align:left"><code translate="no">true</code></td></tr>
<tr><td style="text-align:left"><code translate="no">role</code></td><td style="text-align:left">Função de implantação do Milvus</td><td style="text-align:left"><code translate="no">rw</code>/<code translate="no">ro</code></td></tr>
</tbody>
</table>
<p><strong>Secção</strong> <code translate="no">general</code></p>
<pre><code translate="no"><span class="hljs-comment"># meta_uri is the URI for metadata storage, using MySQL (for Milvus Cluster). Format: mysql://&lt;username:password&gt;@host:port/database</span>
general:
  timezone: UTC+8
  meta_uri: mysql://root:milvusroot@host:3306/milvus
<button class="copy-code-btn"></button></code></pre>
<p>Durante a instalação, o caminho de armazenamento partilhado JuiceFS configurado é definido como <strong>/root/jfs/milvus/db</strong>.</p>
<pre><code translate="no">1 <span class="hljs-built_in">sudo</span> docker run -d --name milvus_gpu_1.0.0 --gpus all \
2 -p 19530:19530 \
3 -p 19121:19121 \
4 -v /root/jfs/milvus/db:/var/lib/milvus/db \  <span class="hljs-comment">#/root/jfs/milvus/db is the shared storage path</span>
5 -v /home/<span class="hljs-variable">$USER</span>/milvus/conf:/var/lib/milvus/conf \
6 -v /home/<span class="hljs-variable">$USER</span>/milvus/logs:/var/lib/milvus/logs \
7 -v /home/<span class="hljs-variable">$USER</span>/milvus/wal:/var/lib/milvus/wal \
8 milvusdb/milvus:1.0.0-gpu-d030521-1ea92e
9
<button class="copy-code-btn"></button></code></pre>
<p>Após a conclusão da instalação, inicie o Milvus e confirme se ele foi iniciado corretamente. Por fim, inicie o serviço Mishards em <strong>qualquer um</strong> dos nós do cluster. A imagem abaixo mostra um lançamento bem-sucedido do Mishards. Para obter mais informações, consulte o <a href="https://github.com/milvus-io/bootcamp/tree/new-bootcamp/deployments/juicefs">tutorial</a> do GitHub.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/mishards_launch_success_921695d3a8.png" alt="mishards-launch-success.png" class="doc-image" id="mishards-launch-success.png" />
   </span> <span class="img-wrapper"> <span>mishards-launch-success.png</span> </span></p>
<h2 id="Performance-benchmarks" class="common-anchor-header"><strong>Referências de desempenho</strong><button data-href="#Performance-benchmarks" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>As soluções de armazenamento compartilhado geralmente são implementadas por sistemas de armazenamento conectado à rede (NAS). Os tipos de sistemas NAS normalmente usados incluem o Sistema de Arquivos de Rede (NFS) e o Bloco de Mensagens do Servidor (SMB). As plataformas de nuvem pública geralmente fornecem serviços de armazenamento gerenciado compatíveis com esses protocolos, como o Amazon Elastic File System (EFS).</p>
<p>Ao contrário dos sistemas NAS tradicionais, o JuiceFS é implementado com base no Filesystem in Userspace (FUSE), em que toda a leitura e escrita de dados ocorre diretamente no lado da aplicação, reduzindo ainda mais a latência de acesso. Existem também funcionalidades exclusivas do JuiceFS que não podem ser encontradas noutros sistemas NAS, como a compressão de dados e a colocação em cache.</p>
<p>Os testes de benchmark revelam que o JuiceFS oferece grandes vantagens em relação ao EFS. No benchmark de metadados (Figura 1), o JuiceFS regista operações de E/S por segundo (IOPS) até dez vezes superiores ao EFS. Além disso, o benchmark de taxa de transferência de E/S (Figura 2) mostra que o JuiceFS supera o EFS em cenários de trabalho único e múltiplo.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/performance_benchmark_1_b7fcbb4439.png" alt="performance-benchmark-1.png" class="doc-image" id="performance-benchmark-1.png" />
   </span> <span class="img-wrapper"> <span>performance-benchmark-1.png</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/performance_benchmark_2_e311098123.png" alt="performance-benchmark-2.png" class="doc-image" id="performance-benchmark-2.png" />
   </span> <span class="img-wrapper"> <span>performance-benchmark-2.png</span> </span></p>
<p>Além disso, o teste de benchmark mostra que o tempo de recuperação da primeira consulta, ou o tempo para carregar dados recém-inseridos do disco para a memória, para o cluster Milvus baseado no JuiceFS é de apenas 0,032 segundos em média, indicando que os dados são carregados do disco para a memória quase instantaneamente. Para este teste, o tempo de recuperação da primeira consulta é medido utilizando um milhão de linhas de dados vectoriais de 128 dimensões inseridos em lotes de 100k em intervalos de 1 a 8 segundos.</p>
<p>O JuiceFS é um sistema de armazenamento de ficheiros partilhado estável e fiável, e o cluster Milvus construído sobre o JuiceFS oferece um elevado desempenho e uma capacidade de armazenamento flexível.</p>
<h2 id="Learn-more-about-Milvus" class="common-anchor-header"><strong>Saiba mais sobre o Milvus</strong><button data-href="#Learn-more-about-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>O Milvus é uma ferramenta poderosa capaz de alimentar uma vasta gama de aplicações de inteligência artificial e de pesquisa de semelhanças vectoriais. Para saber mais sobre o projeto, consulte os seguintes recursos:</p>
<ul>
<li>Leia o nosso <a href="https://zilliz.com/blog">blogue</a>.</li>
<li>Interagir com a nossa comunidade de código aberto no <a href="https://join.slack.com/t/milvusio/shared_invite/zt-e0u4qu3k-bI2GDNys3ZqX1YCJ9OM~GQ">Slack</a>.</li>
<li>Utilize ou contribua para a base de dados de vectores mais popular do mundo no <a href="https://github.com/milvus-io/milvus/">GitHub</a>.</li>
<li>Testar e implementar rapidamente aplicações de IA com o nosso novo <a href="https://github.com/milvus-io/bootcamp">bootcamp</a>.</li>
</ul>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/writer_bio_changjian_gao_68018f7716.png" alt="writer bio-changjian gao.png" class="doc-image" id="writer-bio-changjian-gao.png" />
   </span> <span class="img-wrapper"> <span>biografia do escritor-changjian gao.png</span> </span> <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/writer_bio_jingjing_jia_a85d1c2e3b.png" alt="writer bio-jingjing jia.png" class="doc-image" id="writer-bio-jingjing-jia.png" /><span>biografia do escritor-jingjing jia.png</span> </span></p>


O que é o JuiceFS?

<custom-h1>Criando um sistema inteligente de recomendação de notícias dentro do aplicativo Sohu News</custom-h1><p>Com <a href="https://www.socialmediatoday.com/news/new-research-shows-that-71-of-americans-now-get-news-content-via-social-pl/593255/">71% dos americanos</a> a obterem as suas recomendações de notícias a partir de plataformas sociais, o conteúdo personalizado tornou-se rapidamente a forma como os novos meios de comunicação são descobertos. Quer as pessoas estejam a procurar tópicos específicos ou a interagir com conteúdos recomendados, tudo o que os utilizadores vêem é optimizado por algoritmos para melhorar as taxas de cliques (CTR), o envolvimento e a relevância. A Sohu é um grupo chinês de media, vídeo, pesquisa e jogos online cotado na NASDAQ. Utilizou a <a href="https://milvus.io/">Milvus</a>, uma base de dados vetorial de código aberto criada pela <a href="https://zilliz.com/">Zilliz</a>, para criar um motor de pesquisa vetorial semântico na sua aplicação de notícias. Este artigo explica como a empresa utilizou perfis de utilizador para afinar as recomendações de conteúdos personalizados ao longo do tempo, melhorando a experiência e o envolvimento do utilizador.</p>
<h2 id="Recommending-content-using-semantic-vector-search" class="common-anchor-header">Recomendação de conteúdos utilizando a pesquisa vetorial semântica<button data-href="#Recommending-content-using-semantic-vector-search" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Os perfis de utilizador da Sohu News são criados a partir do histórico de navegação e ajustados à medida que os utilizadores procuram e interagem com o conteúdo das notícias. O sistema de recomendação da Sohu utiliza a pesquisa vetorial semântica para encontrar artigos noticiosos relevantes. O sistema funciona identificando um conjunto de etiquetas que se espera serem do interesse de cada utilizador com base no histórico de navegação. Em seguida, procura rapidamente artigos relevantes e ordena os resultados por popularidade (medida pela CTR média), antes de os apresentar aos utilizadores.</p>
<p>Só o New York Times publica <a href="https://www.theatlantic.com/technology/archive/2016/05/how-many-stories-do-newspapers-publish-per-day/483845/">230 peças de conteúdo</a> por dia, o que dá uma ideia da magnitude do novo conteúdo que um sistema de recomendação eficaz deve ser capaz de processar. A ingestão de grandes volumes de notícias exige pesquisa de similaridade em milissegundos e correspondência horária de tags com novos conteúdos. A Sohu escolheu o Milvus porque processa conjuntos de dados maciços de forma eficiente e precisa, reduz a utilização de memória durante a pesquisa e suporta implementações de elevado desempenho.</p>
<h2 id="Understanding-a-news-recommendation-system-workflow" class="common-anchor-header">Compreender o fluxo de trabalho de um sistema de recomendação de notícias<button data-href="#Understanding-a-news-recommendation-system-workflow" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>A recomendação de conteúdos baseada na pesquisa vetorial semântica da Sohu baseia-se no Modelo Semântico Estruturado Profundo (DSSM), que utiliza duas redes neurais para representar as consultas dos utilizadores e os artigos de notícias como vectores. O modelo calcula a semelhança de cosseno dos dois vectores semânticos e, em seguida, o lote de notícias mais semelhante é enviado para o conjunto de candidatos à recomendação. Em seguida, os artigos de notícias são classificados com base na sua CTR estimada, e aqueles com a taxa de cliques mais elevada prevista são apresentados aos utilizadores.</p>
<h3 id="Encoding-news-articles-into-semantic-vectors-with-BERT-as-service" class="common-anchor-header">Codificação de artigos de notícias em vectores semânticos com o BERT-as-service</h3><p>Para codificar artigos de notícias em vectores semânticos, o sistema utiliza a ferramenta <a href="https://github.com/hanxiao/bert-as-service.git">BERT-as-service</a>. Se a contagem de palavras de qualquer conteúdo exceder 512 ao utilizar este modelo, ocorre uma perda de informação durante o processo de incorporação. Para ajudar a ultrapassar este problema, o sistema começa por extrair um resumo e codifica-o num vetor semântico de 768 dimensões. Em seguida, são extraídos os dois tópicos mais relevantes de cada artigo de notícias e os correspondentes vectores de tópicos pré-treinados (200 dimensões) são identificados com base na ID do tópico. Em seguida, os vectores de tópicos são unidos ao vetor semântico de 768 dimensões extraído do resumo do artigo, formando um vetor semântico de 968 dimensões.</p>
<p>A Kafta recebe continuamente novos conteúdos, que são convertidos em vectores semânticos antes de serem inseridos na base de dados Milvus.</p>
<h3 id="Extracting-semantically-similar-tags-from-user-profiles-with-BERT-as-service" class="common-anchor-header">Extração de etiquetas semanticamente semelhantes a partir de perfis de utilizadores com o BERT-as-service</h3><p>A outra rede neural do modelo é o vetor semântico do utilizador. As etiquetas semanticamente semelhantes (por exemplo, coronavírus, covid, COVID-19, pandemia, nova estirpe, pneumonia) são extraídas dos perfis dos utilizadores com base em interesses, consultas de pesquisa e histórico de navegação. A lista de etiquetas adquiridas é ordenada por peso e as 200 primeiras são divididas em diferentes grupos semânticos. As permutações das etiquetas dentro de cada grupo semântico são utilizadas para gerar novas frases de etiquetas, que são depois codificadas em vectores semânticos através do BERT-as-service</p>
<p>Para cada perfil de utilizador, os conjuntos de frases com etiquetas têm um <a href="https://github.com/baidu/Familia">conjunto correspondente de tópicos</a> que são marcados por um peso que indica o nível de interesse de um utilizador. Os dois tópicos mais importantes de todos os tópicos relevantes são selecionados e codificados pelo modelo de aprendizagem automática (ML) para serem unidos no vetor semântico da etiqueta correspondente, formando um vetor semântico do utilizador de 968 dimensões. Mesmo que o sistema gere as mesmas etiquetas para diferentes utilizadores, os diferentes pesos das etiquetas e dos tópicos correspondentes, bem como a variação explícita entre os vectores de tópicos de cada utilizador, garantem que as recomendações são únicas</p>
<p>O sistema é capaz de fazer recomendações de notícias personalizadas calculando a semelhança de cosseno dos vectores semânticos extraídos dos perfis de utilizador e dos artigos de notícias.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Sohu01_1e466fe0c3.jpg" alt="Sohu01.jpg" class="doc-image" id="sohu01.jpg" />
   </span> <span class="img-wrapper"> <span>Sohu01.jpg</span> </span></p>
<h3 id="Computing-new-semantic-user-profile-vectors-and-inserting-them-to-Milvus" class="common-anchor-header">Cálculo de novos vectores semânticos de perfis de utilizador e sua inserção no Milvus</h3><p>Os vectores semânticos do perfil do utilizador são calculados diariamente, com os dados do período de 24 horas anterior processados na noite seguinte. Os vectores são inseridos no Milvus individualmente e passam pelo processo de consulta para fornecer resultados noticiosos relevantes aos utilizadores. O conteúdo das notícias é inerentemente atual, exigindo que o cálculo seja executado de hora a hora para gerar um newsfeed atual que contenha conteúdo com uma elevada taxa de cliques prevista e que seja relevante para os utilizadores. O conteúdo das notícias também é classificado em partições por data, e as notícias antigas são eliminadas diariamente.</p>
<h3 id="Decreasing-semantic-vector-extraction-time-from-days-to-hours" class="common-anchor-header">Diminuição do tempo de extração de vectores semânticos de dias para horas</h3><p>A recuperação de conteúdos utilizando vectores semânticos requer a conversão diária de dezenas de milhões de frases de etiqueta em vectores semânticos. Trata-se de um processo moroso que demoraria dias a concluir, mesmo quando executado em unidades de processamento gráfico (GPU), que aceleram este tipo de computação. Para ultrapassar este problema técnico, os vectores semânticos da incorporação anterior devem ser optimizados de modo a que, quando surgem frases com etiquetas semelhantes, os vectores semânticos correspondentes sejam diretamente recuperados.</p>
<p>O vetor semântico do conjunto de frases com etiquetas existente é armazenado e um novo conjunto de frases com etiquetas gerado diariamente é codificado em vectores MinHash. <a href="https://milvus.io/docs/v1.1.1/metric.md">A distância de Jaccard</a> é utilizada para calcular a semelhança entre o vetor MinHash da nova frase de etiqueta e o vetor de frases de etiqueta guardado. Se a distância Jaccard exceder um limiar predefinido, os dois conjuntos são considerados semelhantes. Se o limiar de semelhança for atingido, as novas frases podem tirar partido das informações semânticas das incorporações anteriores. Os testes sugerem que uma distância superior a 0,8 deve garantir uma precisão suficiente para a maioria das situações.</p>
<p>Através deste processo, a conversão diária das dezenas de milhões de vectores acima referidos é reduzida de dias para cerca de duas horas. Embora outros métodos de armazenamento de vectores semânticos possam ser mais apropriados, dependendo dos requisitos específicos do projeto, o cálculo da semelhança entre duas frases de etiqueta utilizando a distância Jaccard numa base de dados Milvus continua a ser um método eficiente e preciso numa grande variedade de cenários.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Sohu02_d50fccc538.jpg" alt="Sohu02.jpg" class="doc-image" id="sohu02.jpg" />
   </span> <span class="img-wrapper"> <span>Sohu02.jpg</span> </span></p>
<h2 id="Overcoming-bad-cases-of-short-text-classification" class="common-anchor-header">Ultrapassar os "maus casos" da classificação de textos curtos<button data-href="#Overcoming-bad-cases-of-short-text-classification" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Ao classificar um texto noticioso, os artigos noticiosos curtos têm menos caraterísticas para extração do que os mais longos. Por este motivo, os algoritmos de classificação falham quando conteúdos de diferentes comprimentos são submetidos ao mesmo classificador. O Milvus ajuda a resolver este problema procurando várias informações de classificação de textos longos com semântica semelhante e pontuações fiáveis, utilizando depois um mecanismo de votação para modificar a classificação de textos curtos.</p>
<h3 id="Identifying-and-resolving-misclassified-short-text" class="common-anchor-header">Identificação e resolução de erros de classificação de textos curtos</h3><p>A classificação exacta de cada artigo noticioso é crucial para fornecer recomendações de conteúdo úteis. Uma vez que os artigos noticiosos curtos têm menos caraterísticas, a aplicação do mesmo classificador a notícias com diferentes durações resulta numa taxa de erro mais elevada para a classificação de textos curtos. A rotulagem humana é demasiado lenta e imprecisa para esta tarefa, pelo que o BERT-as-service e o Milvus são utilizados para identificar rapidamente textos curtos mal classificados em lotes, reclassificá-los corretamente e, em seguida, utilizar lotes de dados como corpus para treino contra este problema.</p>
<p>O BERT-as-service é utilizado para codificar um número total de cinco milhões de artigos noticiosos longos com uma pontuação do classificador superior a 0,9 em vectores semânticos. Depois de inserir os artigos de texto longo no Milvus, as notícias de texto curto são codificadas em vectores semânticos. Cada vetor semântico de notícias curtas é utilizado para consultar a base de dados Milvus e obter os 20 principais artigos de notícias longas com a maior semelhança de cosseno com as notícias curtas visadas. Se 18 das 20 notícias longas semanticamente mais semelhantes parecerem estar na mesma classificação e esta for diferente da das notícias curtas consultadas, então a classificação das notícias curtas é considerada incorrecta e deve ser ajustada para se alinhar com os 18 artigos de notícias longas.</p>
<p>Este processo identifica e corrige rapidamente classificações incorrectas de textos curtos. As estatísticas de amostragem aleatória mostram que, após a correção das classificações de textos curtos, a precisão global da classificação de textos excede os 95%. Ao aproveitar a classificação de textos longos de elevada confiança para corrigir a classificação de textos curtos, a maioria dos casos de má classificação é corrigida num curto espaço de tempo. Isto também oferece um bom corpus para treinar um classificador de texto curto.</p>
<p>![Sohu03.jpg](https://assets.zilliz.com/Sohu03_a43074cf5f.jpg "Fluxograma da descoberta de "maus casos" de classificação de textos curtos.")</p>
<h2 id="Milvus-can-power-real-time-news-content-recommendation-and-more" class="common-anchor-header">O Milvus pode fornecer recomendações de conteúdos noticiosos em tempo real e muito mais<button data-href="#Milvus-can-power-real-time-news-content-recommendation-and-more" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>O Milvus melhorou consideravelmente o desempenho em tempo real do sistema de recomendação de notícias da Sohu e também reforçou a eficiência da identificação de textos curtos mal classificados. Se estiver interessado em saber mais sobre o Milvus e as suas várias aplicações:</p>
<ul>
<li>Leia o nosso <a href="https://zilliz.com/blog">blogue</a>.</li>
<li>Interagir com a nossa comunidade de código aberto no <a href="https://join.slack.com/t/milvusio/shared_invite/zt-e0u4qu3k-bI2GDNys3ZqX1YCJ9OM~GQ">Slack</a>.</li>
<li>Utilize ou contribua para a base de dados de vectores mais popular do mundo no <a href="https://github.com/milvus-io/milvus/">GitHub</a>.</li>
<li>Teste e implemente rapidamente aplicações de IA com o nosso novo <a href="https://github.com/milvus-io/bootcamp">bootcamp</a>.</li>
</ul>


Recomendação de conteúdos utilizando a pesquisa vetorial semântica

<custom-h1>Acelerando a compilação em 2,5 vezes com o desacoplamento de dependências e a conteinerização de testes</custom-h1><p>O tempo de compilação pode ser agravado por dependências internas e externas complexas que evoluem ao longo do processo de desenvolvimento, bem como por alterações nos ambientes de compilação, como o sistema operacional ou as arquiteturas de hardware. A seguir estão os problemas comuns que podem ser encontrados ao trabalhar em projetos de IA ou MLOps em grande escala:</p>
<p><strong>Compilação proibitivamente longa</strong> - A integração de código é efectuada centenas de vezes por dia. Com centenas de milhares de linhas de código em vigor, mesmo uma pequena alteração pode resultar numa compilação completa que, normalmente, demora uma ou mais horas.</p>
<p><strong>Ambiente de compilação complexo</strong> - O código do projeto tem de ser compilado em diferentes ambientes, que envolvem diferentes sistemas operativos, como o CentOS e o Ubuntu, dependências subjacentes, como o GCC, o LLVM e o CUDA, e arquitecturas de hardware. E a compilação num ambiente específico pode normalmente não funcionar num ambiente diferente.</p>
<p><strong>Dependências complexas</strong> - A compilação de projectos envolve mais de 30 dependências entre componentes e de terceiros. O desenvolvimento do projeto conduz frequentemente a alterações nas dependências, causando inevitavelmente conflitos de dependências. O controlo de versões entre dependências é tão complexo que a atualização da versão das dependências afectará facilmente outros componentes.</p>
<p><strong>O descarregamento de dependências de terceiros é lento ou falha</strong> - Atrasos na rede ou bibliotecas de dependências de terceiros instáveis causam lentidão no descarregamento de recursos ou falhas de acesso, afectando seriamente a integração do código.</p>
<p>Ao dissociar as dependências e implementar a contentorização de testes, conseguimos diminuir o tempo médio de compilação em 60% enquanto trabalhávamos no projeto open-source de pesquisa de semelhanças de embeddings <a href="https://milvus.io/">Milvus</a>.</p>
<p><br/></p>
<h3 id="Decouple-the-dependencies-of-the-project" class="common-anchor-header">Desacoplar as dependências do projeto</h3><p>A compilação de projectos envolve normalmente um grande número de dependências de componentes internos e externos. Quanto mais dependências um projeto tiver, mais complexa se torna a sua gestão. À medida que o software cresce, torna-se mais difícil e dispendioso alterar ou remover dependências, bem como identificar os efeitos de o fazer. É necessária uma manutenção regular ao longo do processo de desenvolvimento para garantir que as dependências funcionam corretamente. Uma manutenção deficiente, dependências complexas ou dependências defeituosas podem causar conflitos que atrasam ou impedem o desenvolvimento. Na prática, isso pode significar atrasos no download de recursos, falhas de acesso que afetam negativamente a integração do código e muito mais. O desacoplamento das dependências do projeto pode atenuar os defeitos e reduzir o tempo de compilação, acelerando os testes do sistema e evitando atrasos desnecessários no desenvolvimento do software.</p>
<p>Por isso, recomendamos dissociar as dependências do seu projeto:</p>
<ul>
<li>Dividir componentes com dependências complexas</li>
<li>Utilizar diferentes repositórios para a gestão de versões.</li>
<li>Utilize ficheiros de configuração para gerir informações sobre versões, opções de compilação, dependências, etc.</li>
<li>Adicione os ficheiros de configuração às bibliotecas de componentes, para que sejam actualizados à medida que o projeto é iterado.</li>
</ul>
<p>Otimização<strong>da compilação entre componentes</strong> - Puxe e compile o componente relevante de acordo com as dependências e as opções de compilação registadas nos ficheiros de configuração. Marque e empacote os resultados da compilação binária e os ficheiros de manifesto correspondentes e, em seguida, carregue-os no seu repositório privado. Se nenhuma alteração for feita a um componente ou aos componentes dos quais ele depende, reproduza os resultados da compilação de acordo com os arquivos de manifesto. Para problemas como atrasos de rede ou bibliotecas de dependência de terceiros instáveis, tente configurar um repositório interno ou usar repositórios espelhados.</p>
<p>Para otimizar a compilação entre componentes:</p>
<p>1.Criar gráfico de relação de dependência - Use os arquivos de configuração nas bibliotecas de componentes para criar gráfico de relação de dependência. Utilize a relação de dependência para obter as informações de versão (Git Branch, Tag e Git commit ID) e as opções de compilação, entre outros, dos componentes dependentes a montante e a jusante.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_949dffec32.png" alt="1.png" class="doc-image" id="1.png" />
   </span> <span class="img-wrapper"> <span>1.png</span> </span></p>
<p>2.<strong>verificar dependências</strong> - Gerar alertas para dependências circulares, conflitos de versão e outros problemas que surgem entre componentes.</p>
<p>3<strong>.Achatar dependências</strong> - Classifique as dependências por Depth First Search (DFS) e componentes de mesclagem frontal com dependências duplicadas para formar um gráfico de dependências.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/2_45130c55e4.png" alt="2.png" class="doc-image" id="2.png" />
   </span> <span class="img-wrapper"> <span>2.png</span> </span></p>
<p>4. usar o algoritmo MerkleTree para gerar um hash (Root Hash) contendo dependências de cada componente com base em informações de versão, opções de compilação e muito mais. Combinado com informações como o nome do componente, o algoritmo forma uma etiqueta exclusiva para cada componente.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/3_6a4fcdf4e3.png" alt="3.png" class="doc-image" id="3.png" />
   </span> <span class="img-wrapper"> <span>3.png</span> </span></p>
<p>5. com base nas informações da etiqueta exclusiva do componente, verifique se existe um arquivo de compilação correspondente no repositório privado. Se for recuperado um arquivo de compilação, descompacte-o para obter o ficheiro de manifesto para reprodução; caso contrário, compile o componente, marque os ficheiros de objectos de compilação e o ficheiro de manifesto gerados e carregue-os no repositório privado.</p>
<p><br/></p>
<p><strong>Implementar optimizações de compilação nos componentes</strong> - Escolha uma ferramenta de cache de compilação específica da linguagem para armazenar em cache os ficheiros de objectos compilados e carregue-os e armazene-os no seu repositório privado. Para a compilação de C/C++, escolha uma ferramenta de cache de compilação como o CCache para armazenar em cache os arquivos intermediários de compilação de C/C++ e, em seguida, arquive o cache local do CCache após a compilação. Essas ferramentas de cache de compilação simplesmente armazenam em cache os arquivos de código alterados um a um após a compilação e copiam os componentes compilados do arquivo de código inalterado para que eles possam estar diretamente envolvidos na compilação final. A otimização da compilação nos componentes inclui as seguintes etapas:</p>
<ol>
<li>Adicionar as dependências de compilação necessárias ao Dockerfile. Use o Hadolint para executar verificações de conformidade no Dockerfile para garantir que a imagem esteja em conformidade com as práticas recomendadas do Docker.</li>
<li>Espelhe o ambiente de compilação de acordo com a versão do sprint do projeto (versão + compilação), o sistema operacional e outras informações.</li>
<li>Execute o contêiner do ambiente de compilação espelhado e transfira a ID da imagem para o contêiner como uma variável de ambiente. Aqui está um exemplo de comando para obter o ID da imagem: "docker inspect ' - type=image' - format '{{.ID}}' repository/build-env:v0.1-centos7".</li>
<li>Escolha a ferramenta de cache de compilação adequada: Introduza o seu containter para integrar e compilar os seus códigos e verifique no seu repositório privado se existe uma cache de compilação adequada. Em caso afirmativo, descarregue-a e extraia-a para o diretório especificado. Depois de todos os componentes serem compilados, a cache gerada pela ferramenta de cache de compilação é empacotada e carregada no seu repositório privado com base na versão do projeto e na ID da imagem.</li>
</ol>
<p><br/></p>
<h3 id="Further-compilation-optimization" class="common-anchor-header">Otimização adicional da compilação</h3><p>A nossa compilação inicial ocupa demasiado espaço em disco e largura de banda de rede, e demora muito tempo a ser implementada, pelo que tomámos as seguintes medidas:</p>
<ol>
<li>Escolher a imagem de base mais simples para reduzir o tamanho da imagem, por exemplo, alpine, busybox, etc.</li>
<li>Reduzir o número de camadas de imagem. Reutilizar as dependências o máximo possível. Junte vários comandos com "&amp;&amp;".</li>
<li>Limpar os produtos intermédios durante a construção da imagem.</li>
<li>Utilizar a cache de imagem para construir a imagem tanto quanto possível.</li>
</ol>
<p>À medida que o nosso projeto continua a progredir, a utilização do disco e os recursos de rede começaram a subir à medida que a cache de compilação aumentava, enquanto algumas das caches de compilação eram subutilizadas. Fizemos então os seguintes ajustes:</p>
<p>Limpar<strong>regularmente os ficheiros de cache</strong> - Verificar regularmente o repositório privado (utilizando scripts, por exemplo) e limpar os ficheiros de cache que não foram alterados durante algum tempo ou que não foram descarregados muitas vezes.</p>
<p><strong>Cache de compilação seletivo</strong> - Armazene em cache apenas as compilações que exigem muitos recursos e ignore as compilações em cache que não exigem muitos recursos.</p>
<p><br/></p>
<h3 id="Leveraging-containerized-testing-to-reduce-errors-improve-stability-and-reliability" class="common-anchor-header">Aproveitar os testes em contêineres para reduzir erros, melhorar a estabilidade e a confiabilidade</h3><p>Os códigos têm de ser compilados em diferentes ambientes, que envolvem uma variedade de sistemas operativos (por exemplo, CentOS e Ubuntu), dependências subjacentes (por exemplo, GCC, LLVM e CUDA) e arquitecturas de hardware específicas. O código que compila com sucesso em um ambiente específico falha em um ambiente diferente. Ao executar testes dentro de contêineres, o processo de teste se torna mais rápido e mais preciso.</p>
<p>A conteinerização garante que o ambiente de teste seja consistente e que um aplicativo esteja funcionando conforme o esperado. A abordagem de teste em contêineres empacota os testes como contêineres de imagem e cria um ambiente de teste verdadeiramente isolado. Nossos testadores acharam essa abordagem bastante útil, o que acabou reduzindo os tempos de compilação em até 60%.</p>
<p><strong>Garantir um ambiente de compilação consistente</strong> - Como os produtos compilados são sensíveis a alterações no ambiente do sistema, podem ocorrer erros desconhecidos em diferentes sistemas operativos. Temos de marcar e arquivar a cache de produtos compilados de acordo com as alterações no ambiente de compilação, mas são difíceis de categorizar. Por isso, introduzimos a tecnologia de contentorização para unificar o ambiente de compilação e resolver estes problemas.</p>
<p><br/></p>
<h3 id="Conclusion" class="common-anchor-header">Conclusão</h3><p>Ao analisar as dependências do projeto, este artigo apresenta diferentes métodos para otimização da compilação entre e dentro dos componentes, fornecendo ideias e melhores práticas para criar uma integração de código contínua estável e eficiente. Esses métodos ajudaram a resolver a lentidão da integração de código causada por dependências complexas, unificar operações dentro do contêiner para garantir a consistência do ambiente e melhorar a eficiência da compilação por meio da reprodução dos resultados da compilação e do uso de ferramentas de cache de compilação para armazenar em cache os resultados intermediários da compilação.</p>
<p>Estas práticas acima mencionadas reduziram o tempo de compilação do projeto em 60%, em média, melhorando consideravelmente a eficiência global da integração do código. No futuro, continuaremos a paralelizar a compilação entre e dentro dos componentes para reduzir ainda mais os tempos de compilação.</p>
<p><br/></p>
<p><em>As seguintes fontes foram usadas para este artigo:</em></p>
<ul>
<li>"Desacoplamento de árvores de código-fonte em componentes de nível de compilação"</li>
<li>"<a href="https://dev.to/brpaz/factors-to-consider-when-adding-third-party-dependencies-to-a-project-46hf">Fatores a serem considerados ao adicionar dependências de terceiros a um projeto</a>"</li>
<li>"<a href="https://queue.acm.org/detail.cfm?id=3344149">Sobrevivendo às Dependências de Software</a>"</li>
<li>"<a href="https://www.cc.gatech.edu/~beki/t1.pdf">Understanding Dependencies: Um estudo sobre os desafios de coordenação no desenvolvimento de software</a>"</li>
</ul>
<p><br/></p>
<h3 id="About-the-author" class="common-anchor-header">Sobre o autor</h3><p>Zhifeng Zhang é um engenheiro DevOps sénior na Zilliz.com que trabalha no Milvus, uma base de dados vetorial de código aberto, e instrutor autorizado da universidade de software de código aberto LF na China. Ele recebeu seu diploma de bacharel em Internet das Coisas (IOT) do Instituto de Engenharia de Software de Guangzhou. Ele passa sua carreira participando e liderando projetos na área de CI/CD, DevOps, gerenciamento de infraestrutura de TI, kit de ferramentas Cloud-Native, conteinerização e otimização de processos de compilação.</p>


Pesquisa semântica multimodal com imagens e texto