<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Multimodal_Semantic_Search_with_Images_and_Text_180d89d5aa.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Como humanos, interpretamos el mundo a través de nuestros sentidos. Oímos sonidos, vemos imágenes, vídeos y textos, a menudo superpuestos. Entendemos el mundo a través de estas múltiples modalidades y de la relación entre ellas. Para que la inteligencia artificial iguale o supere realmente las capacidades humanas, debe desarrollar esta misma capacidad de entender el mundo a través de múltiples lentes simultáneamente.</p>
<p>En este artículo, junto con el vídeo que lo acompaña (próximamente) y el cuaderno, mostraremos los últimos avances en modelos capaces de procesar texto e imágenes a la vez. Lo demostraremos construyendo una aplicación de búsqueda semántica que va más allá de la simple concordancia de palabras clave: entiende la relación entre lo que piden los usuarios y el contenido visual que buscan.</p>
<p>Lo que hace que este proyecto sea especialmente interesante es que se ha construido íntegramente con herramientas de código abierto: la base de datos vectorial Milvus, las bibliotecas de aprendizaje automático de HuggingFace y un conjunto de datos de reseñas de clientes de Amazon. Resulta sorprendente pensar que hace tan solo una década, para construir algo así se habrían necesitado importantes recursos patentados. Hoy en día, estos potentes componentes están disponibles gratuitamente y pueden ser combinados de forma innovadora por cualquiera que tenga la curiosidad de experimentar.</p>
<custom-h1>Visión general</custom-h1><p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/overview_97a124bc9a.jpg" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Nuestra aplicación de búsqueda multimodal es del tipo <em>retrieve-and-rerank.</em> Si está familiarizado con <em>la recuperación-aumentada-generación</em> (RAG) es muy similar, sólo que la salida final es una lista de imágenes que fueron reranked por un gran modelo de lenguaje-visión (LLVM). La consulta de búsqueda del usuario contiene texto e imagen, y el objetivo es un conjunto de imágenes indexadas en una base de datos vectorial. La arquitectura consta de tres pasos: <em>indexación</em>, <em>recuperación</em> y <em>renumeración</em> (algo así como "generación"), que resumimos a continuación.</p>
<h2 id="Indexing" class="common-anchor-header">Indexación<button data-href="#Indexing" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Nuestra aplicación de búsqueda debe tener algo que buscar. En nuestro caso, utilizamos un pequeño subconjunto del conjunto de datos "Amazon Reviews 2023", que contiene texto e imágenes de opiniones de clientes de Amazon sobre todo tipo de productos. Se puede imaginar que una búsqueda semántica como la que estamos construyendo sería un complemento útil para un sitio web de comercio electrónico. Utilizamos 900 imágenes y descartamos el texto, aunque observamos que este cuaderno puede escalar a tamaño de producción con la base de datos y los despliegues de inferencia adecuados.</p>
<p>El primer elemento "mágico" de nuestro proceso es la elección del modelo de incrustación. Utilizamos un modelo multimodal desarrollado recientemente, llamado <a href="https://huggingface.co/BAAI/bge-visualized">Visualized BGE</a>, capaz de incrustar texto e imágenes conjuntamente, o por separado, en el mismo espacio con un único modelo en el que los puntos cercanos son semánticamente similares. Recientemente se han desarrollado otros modelos de este tipo, por ejemplo <a href="https://github.com/google-deepmind/magiclens">MagicLens</a>.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/indexing_1937241be5.jpg" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>La figura anterior lo ilustra: la incrustación para [una imagen de un león de perfil] más el texto "vista frontal de esto", se aproxima a una incrustación para [una imagen de un león de frente] sin texto. Se utiliza el mismo modelo para entradas de texto e imagen y para entradas de sólo imagen (así como para entradas de sólo texto). <em>De este modo, el modelo es capaz de comprender la intención del usuario en cuanto a la relación entre el texto y la imagen consultados.</em></p>
<p>Incrustamos nuestras 900 imágenes de productos sin el texto correspondiente y almacenamos las incrustaciones en una base de datos vectorial utilizando <a href="https://milvus.io/docs">Milvus</a>.</p>
<h2 id="Retrieval" class="common-anchor-header">Recuperación<button data-href="#Retrieval" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Una vez creada la base de datos, podemos realizar una consulta al usuario. Imaginemos que un usuario viene con la consulta "una funda de teléfono con esto" más [una imagen de un Leopardo]. Es decir, busca fundas de teléfono con estampados de leopardo.</p>
<p>Nótese que el texto de la consulta del usuario decía "esto" en lugar de "la piel de un Leopardo". Nuestro modelo de incrustación debe ser capaz de conectar "esto" con aquello a lo que se refiere, lo cual es una hazaña impresionante dado que la iteración anterior de modelos no era capaz de manejar instrucciones tan abiertas. El <a href="https://arxiv.org/abs/2403.19651">artículo MagicLens</a> ofrece más ejemplos.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Retrieval_ad64f48e49.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Integramos el texto y la imagen de la consulta y realizamos una búsqueda de similitudes en nuestra base de datos vectorial. Los resultados se muestran en la figura anterior, junto con la imagen del leopardo. Parece que el primer resultado no es el más pertinente para la consulta. El séptimo resultado parece ser el más relevante: se trata de una funda de teléfono con un estampado de piel de leopardo.</p>
<h2 id="Generation" class="common-anchor-header">Generación<button data-href="#Generation" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Parece que nuestra búsqueda ha fallado en el sentido de que el resultado superior no es el más relevante. Sin embargo, podemos solucionarlo con un paso de reordenación. Es posible que esté familiarizado con el reordenamiento de los elementos recuperados, ya que es un paso importante en muchos procesos RAG. Utilizamos <a href="https://huggingface.co/microsoft/Phi-3-vision-128k-instruct">Phi-3 Vision</a> como modelo de reordenación.</p>
<p>Primero pedimos a un LLVM que genere un pie de foto de la imagen consultada. El LLVM genera:</p>
<p><em>"La imagen muestra un primer plano de la cara de un leopardo, centrándose en su pelaje moteado y sus ojos verdes".</em></p>
<p>A continuación, introducimos este pie de foto, una sola imagen con los nueve resultados y la imagen de consulta, y construimos un mensaje de texto en el que se pide al modelo que vuelva a clasificar los resultados, dando la respuesta en forma de lista y justificando la elección de la mejor coincidencia.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Generation_b016a6c26a.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>El resultado se visualiza en la figura anterior: el elemento más relevante es ahora el que más coincide, y la razón que se da es:</p>
<p><em>"El elemento más adecuado es el que tiene el tema del leopardo, que coincide con la instrucción de consulta del usuario para una funda de teléfono con un tema similar".</em></p>
<p>Nuestro re-ranker LLVM fue capaz de realizar la comprensión a través de imágenes y texto, y mejorar la relevancia de los resultados de búsqueda. <em>Un artefacto interesante es que el re-ranker sólo dio ocho resultados y ha descartado uno, lo que pone de relieve la necesidad de guardrails y salida estructurada.</em></p>
<h2 id="Summary" class="common-anchor-header">Resumen<button data-href="#Summary" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>En este post y en el vídeo (próximamente) y el <a href="https://github.com/milvus-io/bootcamp/blob/master/bootcamp/tutorials/quickstart/multimodal_retrieval_amazon_reviews.ipynb">cuaderno</a> que lo acompañan, hemos construido una aplicación para la búsqueda semántica multimodal en texto e imágenes. El modelo de incrustación fue capaz de incrustar texto e imágenes conjunta o separadamente en el mismo espacio, y el modelo de fundamentación fue capaz de introducir texto e imagen mientras generaba texto como respuesta. <em>Y lo que es más importante, el modelo de incrustación fue capaz de relacionar la intención del usuario de una instrucción abierta con la imagen de la consulta y, de ese modo, especificar cómo quería el usuario que se relacionaran los resultados con la imagen introducida.</em></p>
<p>Esto es sólo una muestra de lo que nos espera en un futuro próximo. Veremos muchas aplicaciones de búsqueda multimodal, comprensión y razonamiento multimodal, etc. en diversas modalidades: imagen, vídeo, audio, moléculas, redes sociales, datos tabulares, series temporales, el potencial es ilimitado.</p>
<p>Y en el núcleo de estos sistemas se encuentra una base de datos vectorial que contiene la "memoria" externa del sistema. Milvus es una opción excelente para este fin. Es de código abierto, cuenta con todas las funciones (véase <a href="https://milvus.io/blog/get-started-with-hybrid-semantic-full-text-search-with-milvus-2-5.md">este artículo sobre la búsqueda de texto completo en Milvus 2.5</a>) y se escala eficientemente a miles de millones de vectores con tráfico a escala web y latencia inferior a 100 ms. Obtenga más información en <a href="https://milvus.io/docs">la documentación de Milvus</a>, únase a nuestra comunidad de <a href="https://milvus.io/discord">Discord</a> y esperamos verle en nuestro próximo <a href="https://lu.ma/unstructured-data-meetup">encuentro sobre datos no estructurados</a>. Hasta entonces.</p>
<h2 id="Resources" class="common-anchor-header">Recursos<button data-href="#Resources" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p>Cuaderno de notas: <a href="https://github.com/milvus-io/bootcamp/blob/master/bootcamp/tutorials/quickstart/multimodal_retrieval_amazon_reviews.ipynb">"Búsqueda multimodal con Amazon Reviews y LLVM Reranking</a>"</p></li>
<li><p>Youtube AWS Developers video (próximamente)</p></li>
<li><p><a href="https://milvus.io/docs">Documentación de Milvus</a></p></li>
<li><p><a href="https://lu.ma/unstructured-data-meetup">Reunión sobre datos no estructurados</a></p></li>
<li><p>Modelo de incrustación: <a href="https://huggingface.co/BAAI/bge-visualized">Tarjeta de modelo BGE visualizada</a></p></li>
<li><p>Modelo de incrustación alt: <a href="https://github.com/google-deepmind/magiclens">MagicLens model repo</a></p></li>
<li><p>LLVM: <a href="https://huggingface.co/microsoft/Phi-3-vision-128k-instruct">Tarjeta de modelo Phi-3 Vision</a></p></li>
<li><p>Ponencia: "<a href="https://arxiv.org/abs/2403.19651">MagicLens: Recuperación autosupervisada de imágenes con instrucciones abiertas</a>"</p></li>
<li><p>Conjunto de datos: <a href="https://amazon-reviews-2023.github.io/">Reseñas de Amazon 2023</a></p></li>
</ul>


Búsqueda semántica multimodal con imágenes y texto

Cómo empezar con Milvus

<p>A estas alturas, todo el mundo sabe que la búsqueda híbrida ha mejorado la calidad de la búsqueda <a href="https://zilliz.com/learn/Retrieval-Augmented-Generation">RAG</a> (Retrieval-Augmented Generation). Aunque la búsqueda <a href="https://zilliz.com/learn/sparse-and-dense-embeddings">de incrustación densa</a> ha demostrado una capacidad impresionante para captar relaciones semánticas profundas entre consultas y documentos, sigue teniendo notables limitaciones. Entre ellas, la falta de explicabilidad y un rendimiento subóptimo con consultas de cola larga y términos poco frecuentes.</p>
<p>Muchas aplicaciones RAG tienen dificultades porque los modelos preentrenados suelen carecer de conocimientos específicos del dominio. En algunos casos, la simple concordancia de palabras clave BM25 supera a estos sofisticados modelos. Aquí es donde la búsqueda híbrida salva las distancias, combinando la comprensión semántica de la recuperación de vectores densos con la precisión de la concordancia de palabras clave.</p>
<h2 id="Why-Hybrid-Search-is-Complex-in-Production" class="common-anchor-header">Por qué la búsqueda híbrida es compleja en la producción<button data-href="#Why-Hybrid-Search-is-Complex-in-Production" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Aunque los marcos de trabajo como <a href="https://zilliz.com/learn/LangChain">LangChain</a> o <a href="https://zilliz.com/learn/getting-started-with-llamaindex">LlamaIndex</a> facilitan la creación de un recuperador híbrido de prueba de concepto, el escalado a la producción con conjuntos de datos masivos es todo un reto. Las arquitecturas tradicionales requieren bases de datos vectoriales y motores de búsqueda independientes, lo que conlleva varios retos clave:</p>
<ul>
<li><p>Elevados costes de mantenimiento de la infraestructura y complejidad operativa</p></li>
<li><p>Redundancia de datos en varios sistemas</p></li>
<li><p>Difícil gestión de la coherencia de los datos</p></li>
<li><p>Seguridad y control de acceso complejos en todos los sistemas</p></li>
</ul>
<p>El mercado necesita una solución unificada que admita la búsqueda léxica y semántica al tiempo que reduce la complejidad y el coste del sistema.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/elasticsearch_vs_milvus_5be6e2b69e.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<h2 id="The-Pain-Points-of-Elasticsearch" class="common-anchor-header">Los puntos débiles de Elasticsearch<button data-href="#The-Pain-Points-of-Elasticsearch" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Elasticsearch ha sido uno de los proyectos de búsqueda de código abierto más influyentes de la última década. Basado en Apache Lucene, ganó popularidad gracias a su alto rendimiento, escalabilidad y arquitectura distribuida. Aunque añadió la búsqueda vectorial RNA en la versión 8.0, las implantaciones de producción se enfrentan a varios retos críticos:</p>
<p><strong>Altos costes de actualización e indexación:</strong> La arquitectura de Elasticsearch no desacopla completamente las operaciones de escritura, la creación de índices y las consultas. Esto conlleva una sobrecarga significativa de CPU y E/S durante las operaciones de escritura, especialmente en las actualizaciones masivas. La contención de recursos entre la indexación y la consulta afecta al rendimiento, creando un importante cuello de botella para los escenarios de actualización de alta frecuencia.</p>
<p><strong>Bajo rendimiento en tiempo real:</strong> Como motor de búsqueda "casi en tiempo real", Elasticsearch introduce una latencia notable en la visibilidad de los datos. Esta latencia resulta especialmente problemática para las aplicaciones de IA, como los sistemas de agentes, en los que las interacciones de alta frecuencia y la toma de decisiones dinámica requieren un acceso inmediato a los datos.</p>
<p><strong>Difícil gestión de shards:</strong> Aunque Elasticsearch utiliza sharding para la arquitectura distribuida, la gestión de shards plantea retos significativos. La falta de soporte dinámico de sharding crea un dilema: demasiados shards en pequeños conjuntos de datos conducen a un rendimiento pobre, mientras que muy pocos shards en grandes conjuntos de datos limitan la escalabilidad y causan una distribución desigual de los datos.</p>
<p><strong>Arquitectura no nativa de la nube:</strong> Desarrollado antes de que las arquitecturas nativas de la nube se volvieran prevalentes, el diseño de Elasticsearch acopla estrechamente el almacenamiento y el cómputo, lo que limita su integración con infraestructuras modernas como nubes públicas y Kubernetes. El escalado de recursos requiere aumentos simultáneos tanto en almacenamiento como en computación, lo que reduce la flexibilidad. En escenarios de múltiples réplicas, cada shard debe construir su índice de forma independiente, lo que aumenta los costes computacionales y reduce la eficiencia de los recursos.</p>
<p><strong>Bajo rendimiento de la búsqueda vectorial:</strong> Aunque Elasticsearch 8.0 introdujo la búsqueda vectorial RNA, su rendimiento está muy por detrás del de motores vectoriales dedicados como Milvus. Basada en el núcleo Lucene, su estructura de índices resulta ineficaz para datos de alta dimensión, lo que dificulta los requisitos de búsqueda vectorial a gran escala. El rendimiento se vuelve particularmente inestable en escenarios complejos que implican filtrado escalar y multi-tenancy, por lo que es difícil soportar una alta carga o diversas necesidades de negocio.</p>
<p><strong>Consumo excesivo de recursos:</strong> Elasticsearch impone exigencias extremas a la memoria y la CPU, especialmente cuando procesa datos a gran escala. Su dependencia de la JVM requiere frecuentes ajustes del tamaño de la pila y de la recolección de basura, lo que afecta gravemente a la eficiencia de la memoria. Las operaciones de búsqueda vectorial requieren cálculos intensivos optimizados para SIMD, para los que el entorno JVM dista mucho de ser ideal.</p>
<p>Estas limitaciones fundamentales se vuelven cada vez más problemáticas a medida que las organizaciones escalan su infraestructura de IA, lo que hace que Elasticsearch sea particularmente desafiante para las aplicaciones modernas de IA que requieren un alto rendimiento y fiabilidad.</p>
<h2 id="Introducing-Sparse-BM25-Reimagining-Lexical-Search" class="common-anchor-header">Presentación de Sparse-BM25: Reimaginar la búsqueda léxica<button data-href="#Introducing-Sparse-BM25-Reimagining-Lexical-Search" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><a href="https://milvus.io/blog/introduce-milvus-2-5-full-text-search-powerful-metadata-filtering-and-more.md">Milvus 2.5</a> introduce soporte nativo de búsqueda léxica a través de Sparse-BM25, basándose en las capacidades de búsqueda híbrida introducidas en la versión 2.4. Este enfoque innovador incluye los siguientes componentes clave</p>
<ul>
<li><p>tokenización y preprocesamiento avanzados mediante Tantivy</p></li>
<li><p>Gestión distribuida del vocabulario y de la frecuencia de los términos</p></li>
<li><p>Generación de vectores dispersos mediante TF del corpus y TF-IDF de la consulta.</p></li>
<li><p>Soporte de índices invertidos con el algoritmo WAND (Block-Max WAND y soporte de índices gráficos en desarrollo).</p></li>
</ul>
<p>En comparación con Elasticsearch, Milvus ofrece ventajas significativas en la flexibilidad del algoritmo. Su cálculo de similitud basado en la distancia vectorial permite una comparación más sofisticada, incluyendo la implementación de TW-BERT (Term Weighting BERT) basado en la investigación "End-to-End Query Term Weighting". Este enfoque ha demostrado un rendimiento superior en las pruebas dentro y fuera del dominio.</p>
<p>Otra ventaja crucial es la rentabilidad. Al aprovechar tanto el índice invertido como la compresión de incrustación densa, Milvus consigue quintuplicar el rendimiento con menos de un 1% de degradación de la recuperación. El uso de memoria se ha reducido en más de un 50% gracias a la poda de los términos de cola y la cuantificación vectorial.</p>
<p>La optimización de las consultas largas es uno de sus puntos fuertes. Mientras que los algoritmos WAND tradicionales tienen dificultades con las consultas largas, Milvus sobresale combinando incrustaciones dispersas con índices de grafos, lo que multiplica por diez el rendimiento en escenarios de búsqueda de vectores dispersos de alta dimensión.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/document_in_and_out_b84771bec4.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<h2 id="Milvus-The-Ultimate-Vector-Database-for-RAG" class="common-anchor-header">Milvus: la base de datos vectorial definitiva para RAG<button data-href="#Milvus-The-Ultimate-Vector-Database-for-RAG" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus es la primera opción para aplicaciones RAG gracias a su completo conjunto de características. Entre sus principales ventajas se incluyen</p>
<ul>
<li><p>Amplio soporte de metadatos con capacidades de esquema dinámico y potentes opciones de filtrado</p></li>
<li><p>Arrendamiento múltiple de nivel empresarial con aislamiento flexible a través de colecciones, particiones y claves de partición.</p></li>
<li><p>Soporte de índices vectoriales de disco pionero en el sector con almacenamiento en varios niveles desde la memoria hasta S3</p></li>
<li><p>Escalabilidad nativa en la nube que admite un escalado sin fisuras de 10M a 1B+ vectores</p></li>
<li><p>Amplias capacidades de búsqueda, incluidas la agrupación, el rango y la búsqueda híbrida</p></li>
<li><p>Profunda integración del ecosistema con LangChain, LlamaIndex, Dify y otras herramientas de IA</p></li>
</ul>
<p>Las diversas capacidades de búsqueda del sistema abarcan metodologías de agrupación, rango y búsqueda híbrida. La profunda integración con herramientas como LangChain, LlamaIndex y Dify, así como la compatibilidad con numerosos productos de IA, sitúan a Milvus en el centro del ecosistema moderno de infraestructuras de IA.</p>
<h2 id="Looking-Forward" class="common-anchor-header">De cara al futuro<button data-href="#Looking-Forward" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>A medida que la IA pasa de POC a producción, Milvus sigue evolucionando. Nos centramos en hacer que la búsqueda vectorial sea más accesible y rentable, al tiempo que mejoramos la calidad de la búsqueda. Tanto si se trata de una startup como de una empresa, Milvus reduce las barreras técnicas para el desarrollo de aplicaciones de IA.</p>
<p>Este compromiso con la accesibilidad y la innovación nos ha llevado a dar otro gran paso adelante. Aunque nuestra solución de código abierto sigue sirviendo de base para miles de aplicaciones en todo el mundo, reconocemos que muchas organizaciones necesitan una solución totalmente gestionada que elimine los gastos operativos.</p>
<h2 id="Zilliz-Cloud-The-Managed-Solution" class="common-anchor-header">Zilliz Cloud: La solución gestionada<button data-href="#Zilliz-Cloud-The-Managed-Solution" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Hemos construido <a href="https://zilliz.com/cloud">Zilliz Cloud</a>, un servicio de base de datos vectorial totalmente gestionado basado en Milvus, durante los últimos tres años. Mediante una reimplementación nativa en la nube del protocolo Milvus, ofrece mayor facilidad de uso, rentabilidad y seguridad.</p>
<p>Aprovechando nuestra experiencia en el mantenimiento de los clústeres de búsqueda vectorial más grandes del mundo y dando soporte a miles de desarrolladores de aplicaciones de IA, Zilliz Cloud reduce significativamente los gastos operativos y los costes en comparación con las soluciones autoalojadas.</p>
<p>¿Listo para experimentar el futuro de la búsqueda vectorial? Comience su prueba gratuita hoy mismo con hasta 200 $ en créditos, sin necesidad de tarjeta de crédito.</p>


Elasticsearch ha muerto, larga vida a la búsqueda léxica

Introducción a la búsqueda híbrida semántica/de texto completo con Milvus 2.5

Presentamos Milvus 2.5: búsqueda de texto completo, filtrado de metadatos más potente y mejoras en la usabilidad.

Búsqueda semántica frente a búsqueda de texto completo: ¿Cuál elijo en Milvus 2.5?

Diseño de RAG multitenencia con Milvus: mejores prácticas para bases de conocimiento empresariales escalables

Cómo contribuir a Milvus: Inicio rápido para desarrolladores

Getting Started with HNSWlib

Introducción a HNSWlib

<p>Nos complace presentar horas de oficina semanales para que los usuarios de Milvus obtengan asistencia práctica en sus proyectos de <a href="https://zilliz.com/learn/what-is-vector-database">bases de datos vectoriales</a>. Únase a nuestro equipo de expertos en una sesión individual de 20 minutos para obtener información, orientación y respuestas a sus preguntas. Tanto si acaba de empezar como si necesita ayuda con un problema específico, estamos aquí para ayudarle a sacar el máximo partido de Milvus.</p>
<p><strong>Reserva tu sesión de horario de oficina aquí<a href="https://meetings.hubspot.com/chloe-williams1/milvus-office-hours">:https://meetings.hubspot.com/chloe-williams1/milvus-office-hours</a></strong></p>
<h2 id="Why-Book-a-Session" class="common-anchor-header">¿Por qué reservar una sesión?<button data-href="#Why-Book-a-Session" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Estas son algunas de las razones para reservar una sesión en nuestro horario de oficina:</p>
<ul>
<li><p><strong>Optimización del rendimiento de Milvus:</strong> Obtenga consejos sobre cómo ajustar las configuraciones para aumentar el rendimiento de la base de datos.</p></li>
<li><p><strong>Consejos para el diseño de esquemas de datos:</strong> Aprenda las mejores prácticas para el esquema de datos y los tipos de índice que mejor se adapten a su caso de uso.</p></li>
<li><p><strong>Ampliación de la implementación de Milvus:</strong> Obtenga consejos sobre la gestión y el escalado de Milvus para volúmenes de datos mayores.</p></li>
<li><p><strong>Resolución de problemas específicos:</strong> ¿Atascado en un error o comportamiento inusual? Podemos ayudarle a resolverlo.</p></li>
<li><p><strong>Asistencia para la integración:</strong> ¿Necesita orientación sobre el uso de Milvus con otros marcos integrados como LangChain, LlamaIndex, Spark o sus tuberías de procesamiento de datos?</p></li>
<li><p><strong>Conozca las nuevas características:</strong> Manténgase actualizado con las últimas capacidades de Milvus y cómo podrían beneficiar a su proyecto.</p></li>
</ul>
<p>No se pierda esta oportunidad de mejorar su implementación de Milvus con la orientación de expertos.</p>
<p>Si no puede unirse a nosotros en directo, no se preocupe: ¡todavía hay muchas formas de obtener apoyo! La comunidad Milvus está activa y lista para ayudar tanto en <a href="https://discord.com/invite/8uyFbECzPX">Discord</a> como en<a href="https://github.com/search?q=milvus&amp;type=discussions"> GitHub Discussions</a>. Ya sea que prefiera el chat en vivo o las discusiones asincrónicas, estas plataformas son un gran lugar para hacer preguntas, compartir conocimientos y conectarse con otros usuarios y colaboradores de Milvus.</p>


Únase al horario de oficina de Milvus para obtener asistencia de expertos en bases de datos vectoriales.

What are Matryoshka Embeddings?

Incrustaciones Matryoshka: Detalle a múltiples escalas

Cómo utilizar la herramienta de copia de seguridad de Milvus: Guía paso a paso

Despliegue de Milvus en Kubernetes: Guía paso a paso para usuarios de Kubernetes

Cómo implementar la base de datos vectorial Milvus de código abierto en Amazon EKS

<p><a href="https://milvus.io/intro">Milvus</a> es una base de datos vectorial de código abierto diseñada específicamente para aplicaciones de IA. Ya sea que esté trabajando en aprendizaje automático, aprendizaje profundo o cualquier otro proyecto relacionado con la IA, Milvus ofrece una manera robusta y eficiente de manejar datos vectoriales a gran escala.</p>
<p>Ahora, con la <a href="https://milvus.io/docs/embeddings.md">integración del módulo de modelos</a> en PyMilvus, el SDK de Python para Milvus, es aún más fácil añadir modelos de Embedding y Reranking. Esta integración simplifica la transformación de sus datos en vectores de búsqueda o la reordenación de los resultados para obtener resultados más precisos, como en la <a href="https://zilliz.com/learn/Retrieval-Augmented-Generation">Generación Aumentada de Recuperación (RAG)</a>.</p>
<p>En este blog, revisaremos los modelos de incrustación densa, los modelos de incrustación dispersa y los reordenadores y demostraremos cómo utilizarlos en la práctica utilizando <a href="https://milvus.io/blog/introducing-milvus-lite.md">Milvus Lite</a>, una versión ligera de Milvus que puede ejecutarse localmente en sus aplicaciones Python.</p>
<h2 id="Dense-vs-Sparse-Embeddings" class="common-anchor-header">Incrustaciones densas frente a dispersas<button data-href="#Dense-vs-Sparse-Embeddings" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Antes de explicarle cómo utilizar nuestras integraciones, veamos dos categorías principales de incrustaciones vectoriales.</p>
<p><a href="https://zilliz.com/glossary/vector-embeddings">Las incrustaciones vectoriales</a> generalmente se dividen en dos categorías principales: <a href="https://zilliz.com/learn/sparse-and-dense-embeddings"><strong>Incrustaciones densas</strong> e <strong>incrustaciones dispersas</strong></a>.</p>
<ul>
<li><p>Las incrustaciones densas son vectores de alta dimensión en los que la mayoría o todos los elementos son distintos de cero, lo que los hace ideales para codificar la semántica del texto o el significado difuso.</p></li>
<li><p>Las incrustaciones dispersas son vectores de alta dimensión con muchos elementos nulos, más adecuados para codificar conceptos exactos o adyacentes.</p></li>
</ul>
<p>Milvus admite ambos tipos de incrustaciones y ofrece búsqueda híbrida. La <a href="https://zilliz.com/blog/hybrid-search-with-milvus">búsqueda híbrida</a> le permite realizar búsquedas en varios campos vectoriales dentro de la misma colección. Estos vectores pueden representar diferentes facetas de los datos, utilizar diversos modelos de incrustación o emplear distintos métodos de procesamiento de datos, combinando los resultados mediante reordenadores.</p>
<h2 id="How-to-Use-Our-Embedding-and-Reranking-Integrations" class="common-anchor-header">Cómo utilizar nuestras integraciones de incrustación y reclasificación<button data-href="#How-to-Use-Our-Embedding-and-Reranking-Integrations" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>En las siguientes secciones, mostraremos tres ejemplos prácticos de uso de nuestras integraciones para generar incrustaciones y realizar búsquedas vectoriales.</p>
<h3 id="Example-1-Use-the-Default-Embedding-Function-to-Generate-Dense-Vectors" class="common-anchor-header">Ejemplo 1: Utilizar la función de incrustación predeterminada para generar vectores densos</h3><p>Debe instalar el cliente <code translate="no">pymilvus</code> con el paquete <code translate="no">model</code> para utilizar las funciones de incrustación y reordenación con Milvus.</p>
<pre><code translate="no">pip install <span class="hljs-string">&quot;pymilvus[model]&quot;</span>
<button class="copy-code-btn"></button></code></pre>
<p>Este paso instalará <a href="https://milvus.io/docs/quickstart.md">Milvus Lite</a>, permitiéndole ejecutar Milvus localmente dentro de su aplicación Python. También incluye el subpaquete model, que incluye todas las utilidades para Embedding y reranking.</p>
<p>El subpaquete de modelos admite varios modelos de incrustación, incluidos los de OpenAI, <a href="https://zilliz.com/learn/Sentence-Transformers-for-Long-Form-Text">Sentence Transformers</a>, <a href="https://zilliz.com/learn/bge-m3-and-splade-two-machine-learning-models-for-generating-sparse-embeddings">BGE-M3</a>, BM25, <a href="https://zilliz.com/learn/bge-m3-and-splade-two-machine-learning-models-for-generating-sparse-embeddings">SPLADE</a> y los modelos preentrenados de Jina AI.</p>
<p>Este ejemplo utiliza el modelo <code translate="no">DefaultEmbeddingFunction</code>, basado en el modelo <code translate="no">all-MiniLM-L6-v2</code> Sentence Transformer para simplificar. El modelo ocupa unos 70 MB y se descargará durante el primer uso:</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> model

<span class="hljs-comment"># This will download &quot;all-MiniLM-L6-v2&quot;, a lightweight model.</span>
ef = model.DefaultEmbeddingFunction()

<span class="hljs-comment"># Data from which embeddings are to be generated</span>
docs = [
   <span class="hljs-string">&quot;Artificial intelligence was founded as an academic discipline in 1956.&quot;</span>,
   <span class="hljs-string">&quot;Alan Turing was the first person to conduct substantial research in AI.&quot;</span>,
   <span class="hljs-string">&quot;Born in Maida Vale, London, Turing was raised in southern England.&quot;</span>,
]

embeddings = ef.encode_documents(docs)

<span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Embeddings:&quot;</span>, embeddings)
<span class="hljs-comment"># Print dimension and shape of embeddings</span>
<span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Dim:&quot;</span>, ef.dim, embeddings[<span class="hljs-number">0</span>].shape)
<button class="copy-code-btn"></button></code></pre>
<p>El resultado esperado debería ser algo parecido a lo siguiente:</p>
<pre><code translate="no">Embeddings: [array([<span class="hljs-number">-3.09392996e-02</span>, <span class="hljs-number">-1.80662833e-02</span>,  <span class="hljs-number">1.34775648e-02</span>,  <span class="hljs-number">2.77156215e-02</span>,
      <span class="hljs-number">-4.86349640e-03</span>, <span class="hljs-number">-3.12581174e-02</span>, <span class="hljs-number">-3.55921760e-02</span>,  <span class="hljs-number">5.76934684e-03</span>,
       <span class="hljs-number">2.80773244e-03</span>,  <span class="hljs-number">1.35783911e-01</span>,  <span class="hljs-number">3.59678417e-02</span>,  <span class="hljs-number">6.17732145e-02</span>,
...
      <span class="hljs-number">-4.61330153e-02</span>, <span class="hljs-number">-4.85207550e-02</span>,  <span class="hljs-number">3.13997865e-02</span>,  <span class="hljs-number">7.82178566e-02</span>,
      <span class="hljs-number">-4.75336798e-02</span>,  <span class="hljs-number">5.21207601e-02</span>,  <span class="hljs-number">9.04406682e-02</span>, <span class="hljs-number">-5.36676683e-02</span>],
     dtype=<span class="hljs-type">float32</span>)]
Dim: <span class="hljs-number">384</span> (<span class="hljs-number">384</span>,)
<button class="copy-code-btn"></button></code></pre>
<h3 id="Example-2-Generate-Sparse-Vectors-Using-The-BM25-Model" class="common-anchor-header">Ejemplo 2: Generar vectores dispersos utilizando el modelo BM25</h3><p>BM25 es un método bien conocido que utiliza frecuencias de aparición de palabras para determinar la relevancia entre consultas y documentos. En este ejemplo, mostraremos cómo utilizar <code translate="no">BM25EmbeddingFunction</code> para generar incrustaciones dispersas para consultas y documentos.</p>
<p>En BM25, es importante calcular las estadísticas de los documentos para obtener la IDF (Inverse Document Frequency), que puede representar los patrones de los documentos. El IDF mide cuánta información proporciona una palabra, si es común o rara en todos los documentos.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus.model.sparse <span class="hljs-keyword">import</span> BM25EmbeddingFunction

<span class="hljs-comment"># 1. Prepare a small corpus to search</span>
docs = [
   <span class="hljs-string">&quot;Artificial intelligence was founded as an academic discipline in 1956.&quot;</span>,
   <span class="hljs-string">&quot;Alan Turing was the first person to conduct substantial research in AI.&quot;</span>,
   <span class="hljs-string">&quot;Born in Maida Vale, London, Turing was raised in southern England.&quot;</span>,
]
query = <span class="hljs-string">&quot;Where was Turing born?&quot;</span>
bm25_ef = BM25EmbeddingFunction()

<span class="hljs-comment"># 2. Fit the corpus to get BM25 model parameters on your documents.</span>
bm25_ef.fit(docs)

<span class="hljs-comment"># 3. Store the fitted parameters to expedite future processing.</span>
bm25_ef.save(<span class="hljs-string">&quot;bm25_params.json&quot;</span>)

<span class="hljs-comment"># 4. Load the saved params</span>
new_bm25_ef = BM25EmbeddingFunction()
new_bm25_ef.load(<span class="hljs-string">&quot;bm25_params.json&quot;</span>)

docs_embeddings = new_bm25_ef.encode_documents(docs)
query_embeddings = new_bm25_ef.encode_queries([query])
<span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Dim:&quot;</span>, new_bm25_ef.dim, <span class="hljs-built_in">list</span>(docs_embeddings)[<span class="hljs-number">0</span>].shape)
<button class="copy-code-btn"></button></code></pre>
<h3 id="Example-3-Using-a-ReRanker" class="common-anchor-header">Ejemplo 3: Utilización de un ReRanker</h3><p>El objetivo de un sistema de búsqueda es encontrar los resultados más relevantes de forma rápida y eficaz. Tradicionalmente, se han utilizado métodos como BM25 o TF-IDF para clasificar los resultados de la búsqueda basándose en la coincidencia de palabras clave. Los métodos más recientes, como la similitud coseno-incrustada, son sencillos, pero a veces no tienen en cuenta las sutilezas del lenguaje y, sobre todo, la interacción entre los documentos y la intención de la consulta.</p>
<p>Aquí es donde ayuda el uso de un <a href="https://zilliz.com/learn/optimize-rag-with-rerankers-the-role-and-tradeoffs">re-ranker</a>. Un re-ranker es un modelo avanzado de IA que toma el conjunto inicial de resultados de una búsqueda -a menudo proporcionado por una búsqueda basada en incrustaciones/tokens- y los reevalúa para asegurarse de que se ajustan mejor a la intención del usuario. Va más allá de la coincidencia superficial de términos para considerar la interacción más profunda entre la consulta de búsqueda y el contenido de los documentos.</p>
<p>Para este ejemplo, utilizaremos <a href="https://milvus.io/docs/integrate_with_jina.md">el Jina AI Reranker</a>.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus.model.reranker <span class="hljs-keyword">import</span> JinaRerankFunction

jina_api_key = <span class="hljs-string">&quot;&lt;YOUR_JINA_API_KEY&gt;&quot;</span>

rf = JinaRerankFunction(<span class="hljs-string">&quot;jina-reranker-v1-base-en&quot;</span>, jina_api_key)

query = <span class="hljs-string">&quot;What event in 1956 marked the official birth of artificial intelligence as a discipline?&quot;</span>

documents = [
   <span class="hljs-string">&quot;In 1950, Alan Turing published his seminal paper, &#x27;Computing Machinery and Intelligence,&#x27; proposing the Turing Test as a criterion of intelligence, a foundational concept in the philosophy and development of artificial intelligence.&quot;</span>,
   <span class="hljs-string">&quot;The Dartmouth Conference in 1956 is considered the birthplace of artificial intelligence as a field; here, John McCarthy and others coined the term &#x27;artificial intelligence&#x27; and laid out its basic goals.&quot;</span>,
   <span class="hljs-string">&quot;In 1951, British mathematician and computer scientist Alan Turing also developed the first program designed to play chess, demonstrating an early example of AI in game strategy.&quot;</span>,
   <span class="hljs-string">&quot;The invention of the Logic Theorist by Allen Newell, Herbert A. Simon, and Cliff Shaw in 1955 marked the creation of the first true AI program, which was capable of solving logic problems, akin to proving mathematical theorems.&quot;</span>
]

results = rf(query, documents)

<span class="hljs-keyword">for</span> result <span class="hljs-keyword">in</span> results:
   <span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;Index: <span class="hljs-subst">{result.index}</span>&quot;</span>)
   <span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;Score: <span class="hljs-subst">{result.score:<span class="hljs-number">.6</span>f}</span>&quot;</span>)
   <span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;Text: <span class="hljs-subst">{result.text}</span>\n&quot;</span>)
<button class="copy-code-btn"></button></code></pre>
<p>El resultado esperado es similar al siguiente:</p>
<pre><code translate="no">Index: <span class="hljs-number">1</span>
Score: <span class="hljs-number">0.937096</span>
Text: The Dartmouth Conference <span class="hljs-keyword">in</span> <span class="hljs-number">1956</span> <span class="hljs-keyword">is</span> considered the birthplace of artificial intelligence <span class="hljs-keyword">as</span> a field; here, John McCarthy <span class="hljs-keyword">and</span> others coined the term <span class="hljs-string">&#x27;artificial intelligence&#x27;</span> <span class="hljs-keyword">and</span> laid <span class="hljs-keyword">out</span> its basic goals.

Index: <span class="hljs-number">3</span>
Score: <span class="hljs-number">0.354210</span>
Text: The invention of the Logic Theorist <span class="hljs-keyword">by</span> Allen Newell, Herbert A. Simon, <span class="hljs-keyword">and</span> Cliff Shaw <span class="hljs-keyword">in</span> <span class="hljs-number">1955</span> marked the creation of the first <span class="hljs-literal">true</span> AI program, which was capable of solving logic problems, akin to proving mathematical theorems.

Index: <span class="hljs-number">0</span>
Score: <span class="hljs-number">0.349866</span>
Text: In <span class="hljs-number">1950</span>, Alan Turing published his seminal paper, <span class="hljs-string">&#x27;Computing Machinery and Intelligence,&#x27;</span> proposing the Turing Test <span class="hljs-keyword">as</span> a criterion of intelligence, a foundational concept <span class="hljs-keyword">in</span> the philosophy <span class="hljs-keyword">and</span> development of artificial intelligence.

Index: <span class="hljs-number">2</span>
Score: <span class="hljs-number">0.272896</span>
Text: In <span class="hljs-number">1951</span>, British mathematician <span class="hljs-keyword">and</span> computer scientist Alan Turing also developed the first program designed to play chess, demonstrating an early example of AI <span class="hljs-keyword">in</span> game strategy.
<button class="copy-code-btn"></button></code></pre>
<h2 id="Star-Us-On-GitHub-and-Join-Our-Discord" class="common-anchor-header">¡Síguenos en GitHub y únete a nuestro Discord!<button data-href="#Star-Us-On-GitHub-and-Join-Our-Discord" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Si te ha gustado esta entrada de blog, ¡considera incluir a Milvus en <a href="https://github.com/milvus-io/milvus">GitHub</a>, y no dudes en unirte a nuestro <a href="https://discord.gg/FG6hMJStWu">Discord</a>! 💙</p>


Presentación de la integración de PyMilvus con los modelos de incrustación

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/2_72e444c8dc.JPG" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Nos complace presentar <a href="https://milvus.io/docs/milvus_lite.md">Milvus Lite</a>, una base de datos vectorial ligera que se ejecuta localmente dentro de su aplicación Python. Basada en la popular base de datos vectorial de código abierto <a href="https://milvus.io/intro">Milvus</a>, Milvus Lite reutiliza los componentes centrales para la indexación vectorial y el análisis sintáctico de consultas, al tiempo que elimina elementos diseñados para una alta escalabilidad en sistemas distribuidos. Este diseño hace que sea una solución compacta y eficiente ideal para entornos con recursos informáticos limitados, como ordenadores portátiles, Jupyter Notebooks y dispositivos móviles o de borde.</p>
<p>Milvus Lite se integra con varias pilas de desarrollo de IA como LangChain y LlamaIndex, permitiendo su uso como almacén de vectores en pipelines de Generación Aumentada de Recuperación (RAG) sin necesidad de configurar servidores. Simplemente ejecute <code translate="no">pip install pymilvus</code> (versión 2.4.3 o superior) para incorporarlo a su aplicación de IA como una biblioteca Python.</p>
<p>Milvus Lite comparte la API de Milvus, asegurando que su código del lado del cliente funcione tanto para despliegues locales a pequeña escala como para servidores Milvus desplegados en Docker o Kubernetes con miles de millones de vectores.</p>
<h2 id="Why-We-Built-Milvus-Lite" class="common-anchor-header">Por qué construimos Milvus Lite<button data-href="#Why-We-Built-Milvus-Lite" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Muchas aplicaciones de IA requieren búsqueda de similitud vectorial para datos no estructurados, incluyendo texto, imágenes, voces y videos, para aplicaciones como chatbots y asistentes de compras. Las bases de datos vectoriales están diseñadas para almacenar y buscar incrustaciones vectoriales y son una parte crucial de la pila de desarrollo de IA, particularmente para casos de uso de IA generativa como <a href="https://zilliz.com/learn/Retrieval-Augmented-Generation">la Generación Aumentada de Recuperación (RAG)</a>.</p>
<p>A pesar de la disponibilidad de numerosas soluciones de búsqueda vectorial, faltaba una opción fácil de poner en marcha que también funcionara para despliegues de producción a gran escala. Como creadores de Milvus, diseñamos Milvus Lite para ayudar a los desarrolladores de IA a crear aplicaciones más rápido y, al mismo tiempo, garantizar una experiencia consistente en varias opciones de implementación, incluyendo Milvus en Kubernetes, Docker y servicios de nube gestionados.</p>
<p>Milvus Lite es una adición crucial a nuestro conjunto de ofertas dentro del ecosistema Milvus. Proporciona a los desarrolladores una herramienta versátil que soporta cada etapa de su viaje de desarrollo. Desde la creación de prototipos hasta los entornos de producción y desde la computación de borde hasta las implementaciones a gran escala, Milvus es ahora la única base de datos vectorial que cubre casos de uso de cualquier tamaño y todas las etapas de desarrollo.</p>
<h2 id="How-Milvus-Lite-Works" class="common-anchor-header">Cómo funciona Milvus Lite<button data-href="#How-Milvus-Lite-Works" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus Lite admite todas las operaciones básicas disponibles en Milvus, como la creación de colecciones y la inserción, búsqueda y eliminación de vectores. Pronto soportará funciones avanzadas como la búsqueda híbrida. Milvus Lite carga datos en memoria para realizar búsquedas eficientes y los persiste como un archivo SQLite.</p>
<p>Milvus Lite está incluido en el <a href="https://github.com/milvus-io/pymilvus">SDK Python de Milvus</a> y puede desplegarse con un simple <code translate="no">pip install pymilvus</code>. El siguiente fragmento de código demuestra cómo configurar una base de datos vectorial con Milvus Lite especificando un nombre de archivo local y luego creando una nueva colección. Para aquellos familiarizados con la API Milvus, la única diferencia es que <code translate="no">uri</code> se refiere a un nombre de archivo local en lugar de a un punto final de red, por ejemplo, <code translate="no">&quot;milvus_demo.db&quot;</code> en lugar de <code translate="no">&quot;http://localhost:19530&quot;</code> para un servidor Milvus. Todo lo demás permanece igual. Milvus Lite también admite el almacenamiento de texto sin formato y otras etiquetas como metadatos, utilizando un esquema dinámico o definido explícitamente, como se muestra a continuación.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> MilvusClient

client = MilvusClient(<span class="hljs-string">&quot;milvus_demo.db&quot;</span>)
<span class="hljs-comment"># This collection can take input with mandatory fields named &quot;id&quot;, &quot;vector&quot; and</span>
<span class="hljs-comment"># any other fields as &quot;dynamic schema&quot;. You can also define the schema explicitly.</span>
client.create_collection(
    collection_name=<span class="hljs-string">&quot;demo_collection&quot;</span>,
    dimension=<span class="hljs-number">384</span>  <span class="hljs-comment"># Dimension for vectors.</span>
)
<button class="copy-code-btn"></button></code></pre>
<p>Para la escalabilidad, una aplicación de IA desarrollada con Milvus Lite puede pasar fácilmente a usar Milvus desplegado en Docker o Kubernetes simplemente especificando el <code translate="no">uri</code> con el punto final del servidor.</p>
<h2 id="Integration-with-AI-Development-Stack" class="common-anchor-header">Integración con la pila de desarrollo de IA<button data-href="#Integration-with-AI-Development-Stack" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Además de presentar Milvus Lite para facilitar la búsqueda vectorial para comenzar, Milvus también se integra con muchos marcos y proveedores de la pila de desarrollo de IA, incluidos <a href="https://python.langchain.com/v0.2/docs/integrations/vectorstores/milvus/">LangChain</a>, <a href="https://docs.llamaindex.ai/en/stable/examples/vector_stores/MilvusIndexDemo/">LlamaIndex</a>, <a href="https://haystack.deepset.ai/integrations/milvus-document-store">Haystack</a>, <a href="https://blog.voyageai.com/2024/05/30/semantic-search-with-milvus-lite-and-voyage-ai/">Voyage AI</a>, <a href="https://milvus.io/docs/integrate_with_ragas.md">Ragas</a>, <a href="https://jina.ai/news/implementing-a-chat-history-rag-with-jina-ai-and-milvus-lite/">Jina AI</a>, <a href="https://dspy-docs.vercel.app/docs/deep-dive/retrieval_models_clients/MilvusRM">DSPy</a>, <a href="https://www.bentoml.com/blog/building-a-rag-app-with-bentocloud-and-milvus-lite">BentoML</a>, <a href="https://chiajy.medium.com/70873c7576f1">WhyHow</a>, <a href="https://blog.relari.ai/case-study-using-synthetic-data-to-benchmark-rag-systems-be324904ace1">Relari AI</a>, <a href="https://docs.airbyte.com/integrations/destinations/milvus">Airbyte</a>, <a href="https://milvus.io/docs/integrate_with_hugging-face.md">HuggingFace</a> y <a href="https://memgpt.readme.io/docs/storage#milvus">MemGPT</a>. Gracias a sus amplias herramientas y servicios, estas integraciones simplifican el desarrollo de aplicaciones de IA con capacidad de búsqueda vectorial.</p>
<p>Y esto es sólo el principio: ¡pronto habrá muchas más integraciones interesantes! Permanezca atento.</p>
<h2 id="More-Resources-and-Examples" class="common-anchor-header">Más recursos y ejemplos<button data-href="#More-Resources-and-Examples" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Explore <a href="https://milvus.io/docs/quickstart.md">la documentación de inicio rápido de Milvus</a> para obtener guías detalladas y ejemplos de código sobre el uso de Milvus Lite para crear aplicaciones de IA como la generación mejorada de recuperación<a href="https://github.com/milvus-io/bootcamp/blob/master/bootcamp/tutorials/quickstart/build_RAG_with_milvus.ipynb">(RAG</a>) y la <a href="https://github.com/milvus-io/bootcamp/blob/master/bootcamp/tutorials/quickstart/image_search_with_milvus.ipynb">búsqueda de imágenes</a>.</p>
<p>Milvus Lite es un proyecto de código abierto y sus contribuciones son bienvenidas. Consulte nuestra <a href="https://github.com/milvus-io/milvus-lite/blob/main/CONTRIBUTING.md">Guía de Contribución</a> para empezar. También puede informar de errores o solicitar características presentando una incidencia en el repositorio <a href="https://github.com/milvus-io/milvus-lite">GitHub de Milvus Lite</a>.</p>


Presentamos Milvus Lite: Empiece a construir una aplicación GenAI en segundos

Optimizar las bases de datos vectoriales y mejorar la IA generativa basada en RAG

Primeros pasos con Milvus cluster y K8s

<p>Nos complace anunciar el lanzamiento de Milvus 2.4, un importante avance en la mejora de las capacidades de búsqueda de conjuntos de datos a gran escala. Esta última versión añade nuevas funciones, como la compatibilidad con el índice CAGRA basado en GPU, la compatibilidad beta con <a href="https://zilliz.com/learn/sparse-and-dense-embeddings">incrustaciones dispersas</a>, la búsqueda de grupos y otras mejoras en las capacidades de búsqueda. Estos avances refuerzan nuestro compromiso con la comunidad al ofrecer a desarrolladores como usted una herramienta potente y eficaz para manejar y consultar datos vectoriales. Analicemos juntos las principales ventajas de Milvus 2.4.</p>
<h2 id="Enabled-Multi-vector-Search-for-Simplified-Multimodal-Searches" class="common-anchor-header">Búsqueda multivectorial habilitada para búsquedas multimodales simplificadas<button data-href="#Enabled-Multi-vector-Search-for-Simplified-Multimodal-Searches" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.4 proporciona la capacidad de búsqueda multivectorial, permitiendo la búsqueda simultánea y la reordenación de diferentes tipos de vectores dentro del mismo sistema Milvus. Esta función agiliza las búsquedas multimodales, mejorando significativamente las tasas de recuperación y permitiendo a los desarrolladores gestionar sin esfuerzo intrincadas aplicaciones de IA con diversos tipos de datos. Además, esta funcionalidad simplifica la integración y el ajuste de modelos de reordenación personalizados, ayudando a la creación de funciones de búsqueda avanzadas como <a href="https://zilliz.com/vector-database-use-cases/recommender-system">sistemas de recomendación</a> precisos que utilizan información de datos multidimensionales.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/How_the_multi_vector_search_feature_works_6c85961349.png" alt="How the Milti-Vector Search Feature Works" class="doc-image" id="how-the-milti-vector-search-feature-works" />
   </span> <span class="img-wrapper"> <span>Cómo funciona la función de búsqueda multivectorial</span> </span></p>
<p>El soporte multivectorial en Milvus tiene dos componentes:</p>
<ol>
<li><p>La capacidad de almacenar/consultar múltiples vectores para una sola entidad dentro de una colección, que es una forma más natural de organizar los datos.</p></li>
<li><p>La capacidad de construir/optimizar un algoritmo de reordenación aprovechando los algoritmos de reordenación predefinidos en Milvus.</p></li>
</ol>
<p>Además de ser una <a href="https://github.com/milvus-io/milvus/issues/25639">función</a> muy <a href="https://github.com/milvus-io/milvus/issues/25639">solicitada</a>, hemos creado esta capacidad porque el sector está avanzando hacia modelos multimodales con el lanzamiento de GPT-4 y Claude 3. La reordenación es una técnica muy utilizada para mejorar el rendimiento de las consultas en las búsquedas. Nuestro objetivo era facilitar a los desarrolladores la creación y optimización de sus reordenadores dentro del ecosistema Milvus.</p>
<h2 id="Grouping-Search-Support-for-Enhanced-Compute-Efficiency" class="common-anchor-header">Soporte de búsqueda agrupada para mejorar la eficiencia computacional<button data-href="#Grouping-Search-Support-for-Enhanced-Compute-Efficiency" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>La búsqueda agrupada es otra de las <a href="https://github.com/milvus-io/milvus/issues/25343">características</a> más <a href="https://github.com/milvus-io/milvus/issues/25343">solicitadas</a> que hemos añadido a Milvus 2.4. Integra una operación de agrupación diseñada para campos de tipo BOOL, INT, o VARCHAR, llenando un vacío de eficiencia crucial en la ejecución de consultas de agrupación a gran escala.</p>
<p>Tradicionalmente, los desarrolladores dependían de extensas búsquedas Top-K seguidas de un postprocesamiento manual para destilar los resultados específicos de grupo, un método intensivo en computación y pesado en código. La búsqueda de grupos perfecciona este proceso vinculando eficazmente los resultados de las consultas a identificadores de grupos agregados, como nombres de documentos o vídeos, lo que agiliza la gestión de entidades segmentadas dentro de grandes conjuntos de datos.</p>
<p>Milvus distingue su Grouping Search con una implementación basada en iteradores, que ofrece una notable mejora de la eficiencia computacional con respecto a tecnologías similares. Esta elección garantiza una escalabilidad superior del rendimiento, especialmente en entornos de producción en los que la optimización de los recursos informáticos es primordial. Al reducir la sobrecarga computacional y de procesamiento de datos, Milvus soporta un procesamiento de consultas más eficiente, reduciendo significativamente los tiempos de respuesta y los costes operativos en comparación con otras bases de datos vectoriales.</p>
<p>La búsqueda agrupada refuerza la capacidad de Milvus para gestionar consultas complejas de gran volumen y se ajusta a las prácticas informáticas de alto rendimiento para soluciones de gestión de datos sólidas.</p>
<h2 id="Beta-Support-for-Sparse-Vector-Embeddings" class="common-anchor-header">Soporte Beta para incrustaciones de vectores dispersos<button data-href="#Beta-Support-for-Sparse-Vector-Embeddings" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><a href="https://zilliz.com/learn/sparse-and-dense-embeddings">Las incrustaciones de</a> vectores dispersos representan un cambio de paradigma con respecto a los enfoques tradicionales de vectores densos, ya que tienen en cuenta los matices de la similitud semántica en lugar de la mera frecuencia de palabras clave. Esta distinción permite una capacidad de búsqueda más matizada, en estrecha consonancia con el contenido semántico de la consulta y los documentos. Los modelos de vectores dispersos, especialmente útiles en la recuperación de información y el procesamiento del lenguaje natural, ofrecen potentes capacidades de búsqueda fuera del dominio e interpretabilidad en comparación con sus homólogos densos.</p>
<p>En Milvus 2.4, hemos ampliado la búsqueda híbrida para incluir incrustaciones dispersas generadas por modelos neuronales avanzados como SPLADEv2 o modelos estadísticos como BM25. En Milvus, los vectores dispersos reciben el mismo tratamiento que los vectores densos, lo que permite crear colecciones con campos de vectores dispersos, insertar datos, crear índices y realizar búsquedas de similitud. En particular, las incrustaciones dispersas de Milvus admiten la métrica de distancia <a href="https://zilliz.com/blog/similarity-metrics-for-vector-search#Inner-Product">del producto interior</a> (IP), lo que resulta ventajoso dada su naturaleza altamente dimensional, que hace que otras métricas sean menos eficaces. Esta funcionalidad también admite tipos de datos con una dimensión como un entero de 32 bits sin signo y un flotante de 32 bits para el valor, lo que facilita un amplio espectro de aplicaciones, desde búsquedas de texto matizadas hasta elaborados sistemas <a href="https://zilliz.com/learn/information-retrieval-metrics">de recuperación de información</a>.</p>
<p>Con esta nueva función, Milvus permite metodologías de búsqueda híbridas que combinan técnicas basadas en palabras clave e incrustaciones, ofreciendo una transición fluida a los usuarios que pasan de marcos de búsqueda centrados en palabras clave a una solución completa y de bajo mantenimiento.</p>
<p>Etiquetamos esta función como "Beta" para seguir probando su rendimiento y recabar comentarios de la comunidad. La disponibilidad general (GA) del soporte de vectores dispersos está prevista para el lanzamiento de Milvus 3.0.</p>
<h2 id="CAGRA-Index-Support-for-Advanced-GPU-Accelerated-Graph-Indexing" class="common-anchor-header">Soporte de índices CAGRA para la indexación avanzada de gráficos acelerada en la GPU<button data-href="#CAGRA-Index-Support-for-Advanced-GPU-Accelerated-Graph-Indexing" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Desarrollada por NVIDIA, <a href="https://arxiv.org/abs/2308.15136">CAGRA</a> (Cuda Anns GRAph-based) es una tecnología de indexación de gráficos basada en la GPU que supera con creces los métodos tradicionales basados en la CPU, como el índice HNSW, en eficiencia y rendimiento, especialmente en entornos de alta producción.</p>
<p>Con la introducción del índice CAGRA, Milvus 2.4 proporciona una mayor capacidad de indexación de grafos acelerada por la GPU. Esta mejora es ideal para crear aplicaciones de búsqueda de similitudes que requieran una latencia mínima. Además, Milvus 2.4 integra una búsqueda de fuerza bruta con el índice CAGRA para conseguir las máximas tasas de recuperación en las aplicaciones. Para obtener información detallada, explore el <a href="https://zilliz.com/blog/Milvus-introduces-GPU-index-CAGRA">blog de introducción sobre CAGRA</a>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Milvus_raft_cagra_vs_milvus_hnsw_ffe0415ff5.png" alt="Milvus Raft CAGRA vs. Milvus HNSW" class="doc-image" id="milvus-raft-cagra-vs.-milvus-hnsw" />
   </span> <span class="img-wrapper"> <span>Milvus Raft CAGRA frente a Milvus HNSW</span> </span></p>
<h2 id="Additional-Enhancements-and-Features" class="common-anchor-header">Mejoras y características adicionales<button data-href="#Additional-Enhancements-and-Features" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.4 también incluye otras mejoras clave, como la compatibilidad con expresiones regulares para mejorar la coincidencia de subcadenas en <a href="https://zilliz.com/blog/metadata-filtering-with-zilliz-cloud-pipelines">el filtrado de metadatos</a>, un nuevo índice escalar invertido para un filtrado eficaz de tipos de datos escalares y una herramienta de captura de datos de cambios para supervisar y replicar los cambios en las colecciones de Milvus. Estas actualizaciones mejoran colectivamente el rendimiento y la versatilidad de Milvus, convirtiéndolo en una solución completa para operaciones de datos complejas.</p>
<p>Para más detalles, consulte <a href="https://milvus.io/docs/release_notes.md">la documentación de Milvus 2.4</a>.</p>
<h2 id="Stay-Connected" class="common-anchor-header">Manténgase conectado<button data-href="#Stay-Connected" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>¿Quiere saber más sobre Milvus 2.4? <a href="https://zilliz.com/event/unlocking-advanced-search-capabilities-milvus">Participe en nuestro próximo seminario web</a> con James Luan, Vicepresidente de Ingeniería de Zilliz, para un debate en profundidad sobre las capacidades de esta última versión. Si tiene preguntas o comentarios, únase a nuestro <a href="https://discord.com/invite/8uyFbECzPX">canal de Discord</a> para hablar con nuestros ingenieros y miembros de la comunidad. No olvide seguirnos en <a href="https://twitter.com/milvusio">Twitter</a> o <a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn</a> para conocer las últimas noticias y actualizaciones sobre Milvus.</p>


Milvus 2.4 Supports Multi-vector Search, Sparse Vector, CAGRA, and More!

Presentación de Milvus 2.4: búsqueda multivectorial, vector disperso, índice CAGRA, ¡y mucho más!

<p><a href="https://zilliz.com/what-is-milvus">Milvus</a>, la base de datos vectorial altamente escalable y famosa por su capacidad para manejar grandes conjuntos de datos, da un importante paso adelante al introducir la compatibilidad con archivos Parquet en <a href="https://zilliz.com/blog/what-is-new-in-milvus-2-3-4">la versión 2.3.4</a>. Al adoptar Apache Parquet, los usuarios pueden agilizar sus procesos de importación de datos y disfrutar de un ahorro sustancial en costes de almacenamiento y computación.</p>
<p>En nuestro último post, exploramos las ventajas de Parquet y los beneficios que aporta a los usuarios de Milvus. Discutimos la motivación que hay detrás de la integración de esta función y proporcionamos una guía paso a paso para importar sin problemas archivos Parquet en Milvus, desbloqueando nuevas posibilidades para una gestión y análisis eficientes de los datos.</p>
<h2 id="What-Is-Apache-Parquet" class="common-anchor-header">¿Qué es Apache Parquet?<button data-href="#What-Is-Apache-Parquet" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><a href="https://parquet.apache.org/">Apache Parquet</a> es un popular formato de archivo de datos orientado a columnas de código abierto diseñado para mejorar la eficiencia del almacenamiento y procesamiento de conjuntos de datos a gran escala. A diferencia de los formatos de datos tradicionales orientados a filas, como CSV o JSON, Parquet almacena los datos por columnas, ofreciendo esquemas de compresión y codificación de datos más eficientes. Este enfoque se traduce en un mejor rendimiento, menores requisitos de almacenamiento y una mayor capacidad de procesamiento, lo que lo hace ideal para manejar datos complejos en masa.</p>
<h2 id="How-Milvus-Users-Benefit-from-the-Support-for-Parquet-File-Imports" class="common-anchor-header">Cómo se benefician los usuarios de Milvus de la compatibilidad con la importación de archivos Parquet<button data-href="#How-Milvus-Users-Benefit-from-the-Support-for-Parquet-File-Imports" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus amplía la compatibilidad con las importaciones de archivos Parquet, proporcionando a los usuarios experiencias optimizadas y diversas ventajas, entre las que se incluyen la reducción de los gastos de almacenamiento y computación, la racionalización de la gestión de datos y la simplificación del proceso de importación.</p>
<h3 id="Optimized-Storage-Efficiency-and-Streamlined-Data-Management" class="common-anchor-header">Eficiencia de almacenamiento optimizada y gestión de datos racionalizada</h3><p>Parquet ofrece opciones de compresión flexibles y esquemas de codificación eficientes que se adaptan a diferentes tipos de datos, garantizando una eficiencia de almacenamiento óptima. Esta flexibilidad es especialmente valiosa en entornos de nube, donde cada gramo de ahorro de almacenamiento se correlaciona directamente con una reducción tangible de los costes. Con esta nueva función de Milvus, los usuarios pueden consolidar sin esfuerzo todos sus datos diversos en un único archivo, agilizando la gestión de datos y mejorando la experiencia general del usuario. Esta función es especialmente beneficiosa para los usuarios que trabajan con tipos de datos Array de longitud variable, que ahora pueden disfrutar de un proceso de importación de datos simplificado.</p>
<h3 id="Improved-Query-Performance" class="common-anchor-header">Mejora del rendimiento de las consultas</h3><p>El diseño de almacenamiento en columnas de Parquet y los métodos de compresión avanzados mejoran significativamente el rendimiento de las consultas. A la hora de realizar consultas, los usuarios pueden centrarse únicamente en los datos pertinentes sin tener que escanear los datos irrelevantes. Esta lectura selectiva de columnas minimiza el uso de la CPU, lo que se traduce en tiempos de consulta más rápidos.</p>
<h3 id="Broad-Language-Compatibility" class="common-anchor-header">Amplia compatibilidad lingüística</h3><p>Parquet está disponible en varios lenguajes, como Java, C++ y Python, y es compatible con un gran número de herramientas de procesamiento de datos. Con el soporte de archivos Parquet, los usuarios de Milvus que utilizan diferentes SDKs pueden generar sin problemas archivos Parquet para analizarlos dentro de la base de datos.</p>
<h2 id="How-to-Import-Parquet-Files-into-Milvus" class="common-anchor-header">Cómo importar archivos Parquet a Milvus<button data-href="#How-to-Import-Parquet-Files-into-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Si sus datos ya están en formato de archivo Parquet, la importación es fácil. Suba el archivo Parquet a un sistema de almacenamiento de objetos como MinIO, y ya está listo para importar.</p>
<p>El siguiente fragmento de código es un ejemplo de importación de ficheros Parquet a Milvus.</p>
<pre><code translate="no">remote_files = []
<span class="hljs-keyword">try</span>:
    <span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Prepare upload files&quot;</span>)
    minio_client = Minio(endpoint=MINIO_ADDRESS, access_key=MINIO_ACCESS_KEY, secret_key=MINIO_SECRET_KEY,
                         secure=<span class="hljs-literal">False</span>)
    found = minio_client.bucket_exists(bucket_name)
    <span class="hljs-keyword">if</span> <span class="hljs-keyword">not</span> found:
        minio_client.make_bucket(bucket_name)
        <span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;MinIO bucket &#x27;{}&#x27; doesn&#x27;t exist&quot;</span>.<span class="hljs-built_in">format</span>(bucket_name))
        <span class="hljs-keyword">return</span> <span class="hljs-literal">False</span>, []

    <span class="hljs-comment"># set your remote data path</span>
    remote_data_path = <span class="hljs-string">&quot;milvus_bulkinsert&quot;</span>

    <span class="hljs-keyword">def</span> <span class="hljs-title function_">upload_file</span>(<span class="hljs-params">f: <span class="hljs-built_in">str</span></span>):
        file_name = os.path.basename(f)
        minio_file_path = os.path.join(remote_data_path, <span class="hljs-string">&quot;parquet&quot;</span>, file_name)
        minio_client.fput_object(bucket_name, minio_file_path, f)
        <span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Upload file &#x27;{}&#x27; to &#x27;{}&#x27;&quot;</span>.<span class="hljs-built_in">format</span>(f, minio_file_path))
        remote_files.append(minio_file_path)

    upload_file(data_file)

<span class="hljs-keyword">except</span> S3Error <span class="hljs-keyword">as</span> e:
    <span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Failed to connect MinIO server {}, error: {}&quot;</span>.<span class="hljs-built_in">format</span>(MINIO_ADDRESS, e))
    <span class="hljs-keyword">return</span> <span class="hljs-literal">False</span>, []

<span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Successfully upload files: {}&quot;</span>.<span class="hljs-built_in">format</span>(remote_files))
<span class="hljs-keyword">return</span> <span class="hljs-literal">True</span>, remote_files
<button class="copy-code-btn"></button></code></pre>
<p>Si sus datos no son archivos Parquet o tienen campos dinámicos, puede aprovechar BulkWriter, nuestra herramienta de conversión de formatos de datos, para ayudarle a generar archivos Parquet. BulkWriter ha adoptado ahora Parquet como su formato de datos de salida por defecto, asegurando una experiencia más intuitiva para los desarrolladores.</p>
<p>El siguiente fragmento de código es un ejemplo del uso de BulkWriter para generar archivos Parquet.</p>
<pre><code translate="no"><span class="hljs-keyword">import</span> numpy <span class="hljs-keyword">as</span> np
<span class="hljs-keyword">import</span> json

<span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> (
    RemoteBulkWriter,
    BulkFileType,
)

remote_writer = RemoteBulkWriter(
        schema=your_collection_schema,
        remote_path=<span class="hljs-string">&quot;your_remote_data_path&quot;</span>,
        connect_param=RemoteBulkWriter.ConnectParam(
            endpoint=YOUR_MINIO_ADDRESS,
            access_key=YOUR_MINIO_ACCESS_KEY,
            secret_key=YOUR_MINIO_SECRET_KEY,
            bucket_name=<span class="hljs-string">&quot;a-bucket&quot;</span>,
        ),
        file_type=BulkFileType.PARQUET,
)

<span class="hljs-comment"># append your data</span>
batch_count = <span class="hljs-number">10000</span>
<span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(batch_count):
    row = {
        <span class="hljs-string">&quot;id&quot;</span>: i,
        <span class="hljs-string">&quot;bool&quot;</span>: <span class="hljs-literal">True</span> <span class="hljs-keyword">if</span> i % <span class="hljs-number">5</span> == <span class="hljs-number">0</span> <span class="hljs-keyword">else</span> <span class="hljs-literal">False</span>,
        <span class="hljs-string">&quot;int8&quot;</span>: i % <span class="hljs-number">128</span>,
        <span class="hljs-string">&quot;int16&quot;</span>: i % <span class="hljs-number">1000</span>,
        <span class="hljs-string">&quot;int32&quot;</span>: i % <span class="hljs-number">100000</span>,
        <span class="hljs-string">&quot;int64&quot;</span>: i,
        <span class="hljs-string">&quot;float&quot;</span>: i / <span class="hljs-number">3</span>,
        <span class="hljs-string">&quot;double&quot;</span>: i / <span class="hljs-number">7</span>,
        <span class="hljs-string">&quot;varchar&quot;</span>: <span class="hljs-string">f&quot;varchar_<span class="hljs-subst">{i}</span>&quot;</span>,
        <span class="hljs-string">&quot;json&quot;</span>: {<span class="hljs-string">&quot;dummy&quot;</span>: i, <span class="hljs-string">&quot;ok&quot;</span>: <span class="hljs-string">f&quot;name_<span class="hljs-subst">{i}</span>&quot;</span>},
        <span class="hljs-string">&quot;vector&quot;</span>: gen_binary_vector() <span class="hljs-keyword">if</span> bin_vec <span class="hljs-keyword">else</span> gen_float_vector(),
        <span class="hljs-string">f&quot;dynamic_<span class="hljs-subst">{i}</span>&quot;</span>: i,
    }
    remote_writer.append_row(row)

<span class="hljs-comment"># append rows by numpy type</span>
<span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(batch_count):
    remote_writer.append_row({
        <span class="hljs-string">&quot;id&quot;</span>: np.int64(i + batch_count),
        <span class="hljs-string">&quot;bool&quot;</span>: <span class="hljs-literal">True</span> <span class="hljs-keyword">if</span> i % <span class="hljs-number">3</span> == <span class="hljs-number">0</span> <span class="hljs-keyword">else</span> <span class="hljs-literal">False</span>,
        <span class="hljs-string">&quot;int8&quot;</span>: np.int8(i % <span class="hljs-number">128</span>),
        <span class="hljs-string">&quot;int16&quot;</span>: np.int16(i % <span class="hljs-number">1000</span>),
        <span class="hljs-string">&quot;int32&quot;</span>: np.int32(i % <span class="hljs-number">100000</span>),
        <span class="hljs-string">&quot;int64&quot;</span>: np.int64(i),
        <span class="hljs-string">&quot;float&quot;</span>: np.float32(i / <span class="hljs-number">3</span>),
        <span class="hljs-string">&quot;double&quot;</span>: np.float64(i / <span class="hljs-number">7</span>),
        <span class="hljs-string">&quot;varchar&quot;</span>: <span class="hljs-string">f&quot;varchar_<span class="hljs-subst">{i}</span>&quot;</span>,
        <span class="hljs-string">&quot;json&quot;</span>: json.dumps({<span class="hljs-string">&quot;dummy&quot;</span>: i, <span class="hljs-string">&quot;ok&quot;</span>: <span class="hljs-string">f&quot;name_<span class="hljs-subst">{i}</span>&quot;</span>}),
        <span class="hljs-string">&quot;vector&quot;</span>: gen_binary_vector() <span class="hljs-keyword">if</span> bin_vec <span class="hljs-keyword">else</span> gen_float_vector(),
        <span class="hljs-string">f&quot;dynamic_<span class="hljs-subst">{i}</span>&quot;</span>: i,
    })

<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;<span class="hljs-subst">{remote_writer.total_row_count}</span> rows appends&quot;</span>)
<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;<span class="hljs-subst">{remote_writer.buffer_row_count}</span> rows in buffer not flushed&quot;</span>)
<span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Generate data files...&quot;</span>)
remote_writer.commit()
<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;Data files have been uploaded: <span class="hljs-subst">{remote_writer.batch_files}</span>&quot;</span>)
remote_files = remote_writer.batch_files
<button class="copy-code-btn"></button></code></pre>
<p>A continuación, puede empezar a importar sus archivos Parquet en Milvus.</p>
<pre><code translate="no">remote_files = [remote_file_path]
task_id = utility.do_bulk_insert(collection_name=collection_name,
                                 files=remote_files)

task_ids = [task_id]         
states = wait_tasks_to_state(task_ids, BulkInsertState.ImportCompleted)
complete_count = 0
for state in states:
    if state.state == BulkInsertState.ImportCompleted:
        complete_count = complete_count + 1
<button class="copy-code-btn"></button></code></pre>
<p>Ahora, sus datos están perfectamente integrados en Milvus.</p>
<h2 id="Whats-Next" class="common-anchor-header">¿Y ahora qué?<button data-href="#Whats-Next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>A medida que Milvus continúa soportando volúmenes de datos cada vez mayores, surge el reto de gestionar importaciones de gran tamaño, especialmente cuando los archivos Parquet superan los 10 GB. Para hacer frente a este reto, tenemos previsto segregar los datos de importación en columnas escalares y vectoriales, creando dos archivos Parquet por importación para aliviar la presión de E/S. Para conjuntos de datos que superen varios cientos de gigabytes, recomendamos importar los datos varias veces.</p>


Milvus Supports Imports of Apache Parquet Files

Milvus admite la importación de archivos Apache Parquet para mejorar la eficacia del procesamiento de datos

<custom-h1>Introducción a las versiones de Milvus</custom-h1><p>La selección de la versión Milvus adecuada es fundamental para el éxito de cualquier proyecto que aproveche la tecnología de búsqueda vectorial. Con diferentes versiones de Milvus adaptadas a distintos requisitos, comprender la importancia de seleccionar la versión correcta es crucial para lograr los resultados deseados.</p>
<p>La versión correcta de Milvus puede ayudar a un desarrollador a aprender y crear prototipos rápidamente o ayudar a optimizar la utilización de recursos, agilizar los esfuerzos de desarrollo y garantizar la compatibilidad con la infraestructura y las herramientas existentes. En última instancia, se trata de mantener la productividad del desarrollador y mejorar la eficacia, la fiabilidad y la satisfacción del usuario.</p>
<h2 id="Available-Milvus-versions" class="common-anchor-header">Versiones disponibles de Milvus<button data-href="#Available-Milvus-versions" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Hay tres versiones de Milvus disponibles para los desarrolladores, y todas son de código abierto. Las tres versiones son Milvus Lite, Milvus Standalone y Milvus Cluster, que difieren en características y en cómo los usuarios planean utilizar Milvus a corto y largo plazo. Explorémoslas individualmente.</p>
<h2 id="Milvus-Lite" class="common-anchor-header">Milvus Lite<button data-href="#Milvus-Lite" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Como su nombre indica, Milvus Lite es una versión ligera que se integra perfectamente con Google Colab y Jupyter Notebook. Está empaquetado como un único binario sin dependencias adicionales, lo que hace que sea fácil de instalar y ejecutar en su máquina o incrustar en aplicaciones Python. Además, Milvus Lite incluye un servidor independiente Milvus basado en CLI, proporcionando flexibilidad para ejecutarlo directamente en su máquina. El hecho de incrustarlo en su código Python o utilizarlo como servidor independiente depende totalmente de sus preferencias y de los requisitos específicos de su aplicación.</p>
<h3 id="Features-and-Capabilities" class="common-anchor-header">Características y capacidades</h3><p>Milvus Lite incluye todas las características principales de búsqueda vectorial de Milvus.</p>
<ul>
<li><p><strong>Capacidades de búsqueda</strong>: Admite búsquedas top-k, de rango e híbridas, incluido el filtrado de metadatos, para satisfacer diversos requisitos de búsqueda.</p></li>
<li><p><strong>Tipos de índices y métricas de similitud</strong>: Ofrece soporte para 11 tipos de índices y cinco métricas de similitud, proporcionando flexibilidad y opciones de personalización para su caso de uso específico.</p></li>
<li><p><strong>Procesamiento de datos</strong>: Permite el procesamiento por lotes (Apache Parquet, Arrays, JSON) y en flujo, con una integración perfecta a través de conectores para Airbyte, Apache Kafka y Apache Spark.</p></li>
<li><p><strong>Operaciones CRUD</strong>: Ofrece soporte completo CRUD (crear, leer, actualizar/upsertar, eliminar), facultando a los usuarios con capacidades integrales de gestión de datos.</p></li>
</ul>
<h3 id="Applications-and-limitations" class="common-anchor-header">Aplicaciones y limitaciones</h3><p>Milvus Lite es ideal para la creación rápida de prototipos y el desarrollo local, ofreciendo soporte para la configuración rápida y la experimentación con conjuntos de datos a pequeña escala en su máquina. Sin embargo, sus limitaciones se hacen evidentes al pasar a entornos de producción con conjuntos de datos más grandes y requisitos de infraestructura más exigentes. Por ello, aunque Milvus Lite es una herramienta excelente para la exploración y las pruebas iniciales, puede no ser adecuada para desplegar aplicaciones en entornos de gran volumen o listos para la producción.</p>
<h3 id="Available-Resources" class="common-anchor-header">Recursos disponibles</h3><ul>
<li><p><a href="https://milvus.io/docs/milvus_lite.md">Documentación</a></p></li>
<li><p><a href="https://github.com/milvus-io/milvus-lite/">Repositorio Github</a></p></li>
<li><p><a href="https://github.com/milvus-io/milvus-lite/tree/main/examples">Ejemplo de Google Colab</a></p></li>
<li><p><a href="https://www.youtube.com/watch?v=IgJdrGiB5ZY">Vídeo de introducción</a></p></li>
</ul>
<h2 id="Milvus-Standalone" class="common-anchor-header">Milvus autónomo<button data-href="#Milvus-Standalone" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus ofrece dos modos operativos: Standalone y Cluster. Ambos modos son idénticos en cuanto a las características básicas de la base de datos vectorial y difieren en cuanto al tamaño de los datos y los requisitos de escalabilidad. Esta distinción le permite seleccionar el modo que mejor se ajuste al tamaño de su conjunto de datos, volumen de tráfico y otros requisitos de infraestructura para la producción.</p>
<p>Milvus Standalone es un modo de funcionamiento para el sistema de base de datos vectorial de Milvus en el que funciona de forma independiente como una única instancia sin ninguna agrupación o configuración distribuida. Milvus se ejecuta en un único servidor o máquina en este modo, proporcionando funcionalidades como la indexación y la búsqueda de vectores. Es adecuado para situaciones en las que la escala de volumen de datos y tráfico es relativamente pequeña y no requiere las capacidades distribuidas que proporciona una configuración en clúster.</p>
<h3 id="Features-and-Capabilities" class="common-anchor-header">Características y capacidades</h3><ul>
<li><p><strong>Alto rendimiento</strong>: Realice búsquedas vectoriales en conjuntos de datos masivos (miles de millones o más) con una velocidad y eficacia excepcionales.</p></li>
<li><p><strong>Capacidades de búsqueda</strong>: Admite búsquedas top-k, de rango e híbridas, incluido el filtrado de metadatos, para satisfacer diversos requisitos de búsqueda.</p></li>
<li><p><strong>Tipos de índices y métricas de similitud</strong>: Ofrece soporte para 11 tipos de índices y 5 métricas de similitud, proporcionando flexibilidad y opciones de personalización para su caso de uso específico.</p></li>
<li><p><strong>Procesamiento de datos</strong>: Permite el procesamiento tanto por lotes (Apache Parquet, Arrays, Json) como por flujos, con una integración perfecta a través de conectores para Airbyte, Apache Kafka y Apache Spark.</p></li>
<li><p><strong>Replicación de datos y conmutación por error</strong>: Las funciones integradas de replicación y failover/failback garantizan la integridad de los datos y la disponibilidad de la aplicación, incluso durante interrupciones o fallos.</p></li>
<li><p><strong>Escalabilidad</strong>: Consiga escalabilidad dinámica con escalado a nivel de componentes, lo que permite un escalado ascendente y descendente sin interrupciones en función de la demanda. Milvus puede autoescalar a nivel de componente, optimizando la asignación de recursos para mejorar la eficiencia.</p></li>
<li><p><strong>Arrendamiento múltiple</strong>: Soporta multi-tenancy con la capacidad de gestionar hasta 10.000 colecciones/particiones en un cluster, proporcionando una utilización eficiente de los recursos y aislamiento para diferentes usuarios o aplicaciones.</p></li>
<li><p><strong>Operaciones CRUD</strong>: Ofrece soporte completo CRUD (crear, leer, actualizar/upsertar, eliminar), facultando a los usuarios con capacidades integrales de gestión de datos.</p></li>
</ul>
<h3 id="Essential-components" class="common-anchor-header">Componentes esenciales:</h3><ul>
<li><p>Milvus: El componente funcional central.</p></li>
<li><p>etcd: El motor de metadatos responsable de acceder y almacenar metadatos de los componentes internos de Milvus, incluyendo proxies, nodos de índice y más.</p></li>
<li><p>MinIO: El motor de almacenamiento responsable de la persistencia de datos dentro de Milvus.</p></li>
</ul>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Screenshot_2024_02_19_at_4_16_41_PM_5e635586a7.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Figura 1: Arquitectura independiente de Milvus</p>
<h3 id="Available-Resources" class="common-anchor-header">Recursos disponibles</h3><ul>
<li><p>Documentación</p>
<ul>
<li><p><a href="https://milvus.io/docs/prerequisite-docker.md">Lista de comprobación del entorno para Milvus con Docker Compose</a></p></li>
<li><p><a href="https://milvus.io/docs/install_standalone-docker.md">Instalar Milvus Standalone con Docker</a></p></li>
</ul></li>
<li><p><a href="https://github.com/milvus-io/milvus">Repositorio Github</a></p></li>
</ul>
<h2 id="Milvus-Cluster" class="common-anchor-header">Milvus Cluster<button data-href="#Milvus-Cluster" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus Cluster es un modo de operación para el sistema de base de datos vectorial Milvus donde opera y se distribuye a través de múltiples nodos o servidores. En este modo, las instancias de Milvus se agrupan para formar un sistema unificado que puede manejar mayores volúmenes de datos y mayores cargas de tráfico en comparación con una configuración independiente. Milvus Cluster ofrece características de escalabilidad, tolerancia a fallos y equilibrio de carga, lo que lo hace adecuado para escenarios que necesitan manejar grandes volúmenes de datos y servir muchas consultas concurrentes de forma eficiente.</p>
<h3 id="Features-and-Capabilities" class="common-anchor-header">Características y capacidades</h3><ul>
<li><p>Hereda todas las funciones disponibles en Milvus Standalone, incluida la búsqueda vectorial de alto rendimiento, la compatibilidad con múltiples tipos de índices y métricas de similitud, y la integración perfecta con marcos de procesamiento por lotes y de flujo.</p></li>
<li><p>Ofrece una disponibilidad, un rendimiento y una optimización de costes sin precedentes al aprovechar la informática distribuida y el equilibrio de carga en varios nodos.</p></li>
<li><p>Permite desplegar y escalar cargas de trabajo seguras y de nivel empresarial con costes totales más bajos mediante la utilización eficiente de los recursos en todo el clúster y la optimización de la asignación de recursos en función de las demandas de la carga de trabajo.</p></li>
</ul>
<h3 id="Essential-components" class="common-anchor-header">Componentes esenciales:</h3><p>Milvus Cluster incluye ocho componentes de microservicios y tres dependencias de terceros. Todos los microservicios pueden desplegarse en Kubernetes independientemente unos de otros.</p>
<h4 id="Microservice-components" class="common-anchor-header">Componentes de microservicio</h4><ul>
<li><p>Coordenada raíz</p></li>
<li><p>Proxy</p></li>
<li><p>Nodo de consulta</p></li>
<li><p>Nodo de consulta</p></li>
<li><p>Coordenada de índice</p></li>
<li><p>Nodo índice</p></li>
<li><p>Coordenada de datos</p></li>
<li><p>Nodo de datos</p></li>
</ul>
<h4 id="Third-party-dependencies" class="common-anchor-header">Dependencias de terceros</h4><ul>
<li><p>etcd: Almacena metadatos para varios componentes del clúster.</p></li>
<li><p>MinIO: Responsable de la persistencia de datos de archivos de gran tamaño en el clúster, como archivos de índice y de registro binario.</p></li>
<li><p>Pulsar: Gestiona los registros de operaciones de mutación recientes, genera registros de flujo y proporciona servicios de publicación y suscripción de registros.</p></li>
</ul>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Screenshot_2024_02_19_at_4_18_01_PM_88971280ed.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Figura 2: Arquitectura del clúster Milvus</p>
<h4 id="Available-Resources" class="common-anchor-header">Recursos disponibles</h4><ul>
<li><p><a href="https://milvus.io/docs/install_cluster-milvusoperator.md">Documentación</a> | Cómo empezar</p>
<ul>
<li><p><a href="https://milvus.io/docs/install_cluster-milvusoperator.md">Instalar Milvus Cluster con Milvus Operator</a></p></li>
<li><p><a href="https://milvus.io/docs/install_cluster-helm.md">Instalar Milvus Cluster con Helm</a></p></li>
<li><p><a href="https://milvus.io/docs/scaleout.md">Cómo escalar un clúster Milvus</a></p></li>
</ul></li>
<li><p><a href="https://github.com/milvus-io/milvus">Repositorio Github</a></p></li>
</ul>
<h2 id="Making-the-Decision-on-which-Milvus-version-to-use" class="common-anchor-header">Tomar la decisión sobre qué versión de Milvus utilizar<button data-href="#Making-the-Decision-on-which-Milvus-version-to-use" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Al decidir qué versión de Milvus utilizar para su proyecto, debe considerar factores como el tamaño de su conjunto de datos, el volumen de tráfico, los requisitos de escalabilidad y las limitaciones del entorno de producción. Milvus Lite es perfecto para crear prototipos en su ordenador portátil. Milvus Standalone ofrece un alto rendimiento y flexibilidad para realizar búsquedas vectoriales en sus conjuntos de datos, por lo que es adecuado para implementaciones a menor escala, CI/CD e implementaciones fuera de línea cuando no tiene soporte para Kubernetes... Y, por último, Milvus Cluster ofrece una disponibilidad, escalabilidad y optimización de costes sin precedentes para cargas de trabajo de nivel empresarial, por lo que es la opción preferida para entornos de producción a gran escala y altamente disponibles.</p>
<p>Existe otra versión sin complicaciones, que es una versión gestionada de Milvus llamada <a href="https://cloud.zilliz.com/signup">Zilliz Cloud</a>.</p>
<p>En última instancia, la versión de Milvus dependerá de su caso de uso específico, requisitos de infraestructura y objetivos a largo plazo. Al evaluar cuidadosamente estos factores y comprender las características y capacidades de cada versión, puede tomar una decisión informada que se alinee con las necesidades y objetivos de su proyecto. Tanto si elige Milvus Standalone como Milvus Cluster, puede aprovechar la potencia de las bases de datos vectoriales para mejorar el rendimiento y la eficiencia de sus aplicaciones de IA.</p>


Con qué versión de Milvus empezar

Top 10 Keywords Dominating the Milvus Community in 2023

Desvelamos las 10 palabras clave que dominarán la comunidad Milvus en 2023

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/What_is_new_in_Milvus_2_3_4_1847b0fa8a.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Nos complace presentar la última versión de Milvus 2.3.4. Esta actualización introduce un conjunto de características y mejoras meticulosamente diseñadas para optimizar el rendimiento, aumentar la eficiencia y ofrecer una experiencia de usuario sin fisuras. En esta entrada de blog, profundizaremos en los aspectos más destacados de Milvus 2.3.4.</p>
<h2 id="Access-logs-for-improved-monitoring" class="common-anchor-header">Registros de acceso para una mejor supervisión<button data-href="#Access-logs-for-improved-monitoring" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus admite ahora registros de acceso, que ofrecen información muy valiosa sobre las interacciones con interfaces externas. Estos registros registran los nombres de los métodos, las solicitudes de los usuarios, los tiempos de respuesta, los códigos de error y otra información sobre las interacciones, lo que permite a los desarrolladores y administradores de sistemas realizar análisis de rendimiento, auditorías de seguridad y una solución de problemas eficaz.</p>
<p><strong><em>Nota:</em></strong> <em>Actualmente, los registros de acceso sólo soportan interacciones gRPC. Sin embargo, nuestro compromiso de mejora continúa, y futuras versiones ampliarán esta capacidad para incluir registros de peticiones RESTful.</em></p>
<p>Para obtener información más detallada, consulte <a href="https://milvus.io/docs/configure_access_logs.md">Configurar registros de acceso</a>.</p>
<h2 id="Parquet-file-imports-for-enhanced-data-processing-efficiency" class="common-anchor-header">Importación de archivos Parquet para mejorar la eficiencia del procesamiento de datos<button data-href="#Parquet-file-imports-for-enhanced-data-processing-efficiency" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.3.4 soporta ahora la importación de archivos Parquet, un formato de almacenamiento en columnas ampliamente aceptado y diseñado para mejorar la eficiencia del almacenamiento y procesamiento de conjuntos de datos a gran escala. Esta incorporación ofrece a los usuarios una mayor flexibilidad y eficacia en sus tareas de procesamiento de datos. Al eliminar la necesidad de laboriosas conversiones de formatos de datos, los usuarios que gestionen conjuntos de datos sustanciales en formato Parquet experimentarán un proceso de importación de datos racionalizado, reduciendo significativamente el tiempo desde la preparación inicial de los datos hasta la posterior recuperación de vectores.</p>
<p>Además, nuestra herramienta de conversión de formatos de datos, BulkWriter, ha adoptado Parquet como formato de datos de salida predeterminado, lo que garantiza una experiencia más intuitiva para los desarrolladores.</p>
<h2 id="Binlog-index-on-growing-segments-for-faster-searches" class="common-anchor-header">Índice Binlog en segmentos crecientes para búsquedas más rápidas<button data-href="#Binlog-index-on-growing-segments-for-faster-searches" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus aprovecha ahora un índice binlog en segmentos crecientes, lo que resulta en búsquedas hasta diez veces más rápidas en segmentos crecientes. Esta mejora aumenta significativamente la eficiencia de la búsqueda y admite índices avanzados como IVF o Fast Scan, mejorando la experiencia general del usuario.</p>
<h2 id="Support-for-up-to-10000-collectionspartitions" class="common-anchor-header">Soporte de hasta 10.000 colecciones/particiones<button data-href="#Support-for-up-to-10000-collectionspartitions" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Al igual que las tablas y particiones en las bases de datos relacionales, las colecciones y particiones son las unidades centrales para almacenar y gestionar datos vectoriales en Milvus. En respuesta a las necesidades cambiantes de los usuarios de una organización de datos matizada, Milvus 2.3.4 admite ahora hasta 10.000 colecciones/particiones en un clúster, un salto significativo desde el límite anterior de 4.096. Esta mejora beneficia a diversos casos de uso, como la gestión de bases de conocimiento y los entornos multiempresa. La mayor compatibilidad con colecciones/particiones se debe a mejoras en el mecanismo de tictac de tiempo, la gestión de goroutines y el uso de memoria.</p>
<p><strong><em>Nota:</em></strong> <em>El límite recomendado para el número de colecciones/particiones es de 10.000, ya que superarlo puede afectar a la recuperación de fallos y al uso de recursos.</em></p>
<h2 id="Other-enhancements" class="common-anchor-header">Otras mejoras<button data-href="#Other-enhancements" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Además de las características anteriores, Milvus 2.3.4 incluye varias mejoras y correcciones de errores. Entre ellas se incluyen la reducción del uso de memoria durante la recuperación de datos y la gestión de datos de longitud variable, el perfeccionamiento de los mensajes de error, la aceleración de la velocidad de carga y la mejora del equilibrio de los fragmentos de consulta. Estas mejoras colectivas contribuyen a que la experiencia general del usuario sea más fluida y eficiente.</p>
<p>Para obtener una visión general de todos los cambios introducidos en Milvus 2.3.4, consulte nuestras <a href="https://milvus.io/docs/release_notes.md#v234">Notas de la versión</a>.</p>
<h2 id="Stay-connected" class="common-anchor-header">Manténgase conectado<button data-href="#Stay-connected" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Si tiene preguntas o comentarios sobre Milvus, únase a nuestro <a href="https://discord.com/invite/8uyFbECzPX">canal de Discord</a> para interactuar con nuestros ingenieros y la comunidad directamente o únase a nuestro <a href="https://discord.com/invite/RjNbk8RR4f">Almuerzo y Aprendizaje de la Comunidad Milvus</a> todos los martes de 12 a 12:30 PM PST. También puede seguirnos en <a href="https://twitter.com/milvusio">Twitter</a> o <a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn</a> para conocer las últimas noticias y actualizaciones sobre Milvus.</p>


Milvus 2.3.4: Búsquedas más rápidas, soporte de datos ampliado, supervisión mejorada y mucho más.

2023: el año de la IA

Búsqueda eficiente de vectores de similitud en flujos de trabajo de recomendación utilizando Milvus con NVIDIA Merlin

Cómo obtener las incrustaciones vectoriales adecuadas

Cómo migrar sus datos a Milvus sin problemas: Guía completa

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Exploring_NATS_878f48c848.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>En el intrincado tapiz del tratamiento de datos, la comunicación sin fisuras es el hilo que une las operaciones. <a href="https://zilliz.com/what-is-milvus">Milvus</a>, la pionera <a href="https://zilliz.com/cloud">base de datos vectorial de código abierto</a>, se ha embarcado en un viaje transformador con su última función: la integración de la mensajería NATS. En esta completa entrada de blog, desentrañaremos los entresijos de esta integración, explorando sus características principales, el proceso de configuración, los beneficios de la migración y cómo se compara con su predecesor, RocksMQ.</p>
<h2 id="Understanding-the-role-of-message-queues-in-Milvus" class="common-anchor-header">Comprender el papel de las colas de mensajes en Milvus<button data-href="#Understanding-the-role-of-message-queues-in-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>En la arquitectura nativa en la nube de Milvus, la cola de mensajes, o Log Broker, tiene una importancia fundamental. Es la columna vertebral que garantiza los flujos de datos persistentes, la sincronización, las notificaciones de eventos y la integridad de los datos durante las recuperaciones del sistema. Tradicionalmente, RocksMQ era la opción más sencilla en el modo Milvus Standalone, especialmente cuando se comparaba con Pulsar y Kafka, pero sus limitaciones se hicieron evidentes con datos extensos y escenarios complejos.</p>
<p>Milvus 2.3 introduce NATS, una implementación MQ de nodo único, que redefine la forma de gestionar flujos de datos. A diferencia de sus predecesores, NATS libera a los usuarios de Milvus de las limitaciones de rendimiento, ofreciendo una experiencia sin fisuras en el manejo de volúmenes de datos sustanciales.</p>
<h2 id="What-is-NATS" class="common-anchor-header">¿Qué es NATS?<button data-href="#What-is-NATS" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>NATS es una tecnología de conectividad de sistemas distribuidos implementada en Go. Soporta varios modos de comunicación como Request-Reply y Publish-Subscribe entre sistemas, proporciona persistencia de datos a través de JetStream, y ofrece capacidades distribuidas a través de RAFT incorporado. Puede consultar el <a href="https://nats.io/">sitio web oficial de</a> NATS para una comprensión más detallada de NATS.</p>
<p>En el modo Milvus 2.3 Standalone, NATS, JetStream y PubSub proporcionan a Milvus sólidas capacidades MQ.</p>
<h2 id="Enabling-NATS" class="common-anchor-header">Activación de NATS<button data-href="#Enabling-NATS" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.3 ofrece una nueva opción de control, <code translate="no">mq.type</code>, que permite a los usuarios especificar el tipo de MQ que desean utilizar. Para habilitar NATS, configure <code translate="no">mq.type=natsmq</code>. Si ve registros similares a los siguientes después de iniciar instancias Milvus, ha habilitado correctamente NATS como cola de mensajes.</p>
<pre><code translate="no">[INFO] [dependency/factory.go:83] [<span class="hljs-string">&quot;try to init mq&quot;</span>] [standalone=<span class="hljs-literal">true</span>] [mqType=natsmq]
<button class="copy-code-btn"></button></code></pre>
<h2 id="Configuring-NATS-for-Milvus" class="common-anchor-header">Configuración de NATS para Milvus<button data-href="#Configuring-NATS-for-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Las opciones de personalización de NATS incluyen especificar el puerto de escucha, el directorio de almacenamiento JetStream, el tamaño máximo de la carga útil y el tiempo de espera de inicialización. El ajuste fino de estos parámetros garantiza un rendimiento y una fiabilidad óptimos.</p>
<pre><code translate="no">natsmq:
server: <span class="hljs-comment"># server side configuration for natsmq.</span>
port: <span class="hljs-number">4222</span> <span class="hljs-comment"># 4222 by default, Port for nats server listening.</span>
storeDir: /var/lib/milvus/nats <span class="hljs-comment"># /var/lib/milvus/nats by default, directory to use for JetStream storage of nats.</span>
maxFileStore: <span class="hljs-number">17179869184</span> <span class="hljs-comment"># (B) 16GB by default, Maximum size of the &#x27;file&#x27; storage.</span>
maxPayload: <span class="hljs-number">8388608</span> <span class="hljs-comment"># (B) 8MB by default, Maximum number of bytes in a message payload.</span>
maxPending: <span class="hljs-number">67108864</span> <span class="hljs-comment"># (B) 64MB by default, Maximum number of bytes buffered for a connection Applies to client connections.</span>
initializeTimeout: <span class="hljs-number">4000</span> <span class="hljs-comment"># (ms) 4s by default, waiting for initialization of natsmq finished.</span>
monitor:
trace: false <span class="hljs-comment"># false by default, If true enable protocol trace log messages.</span>
debug: false <span class="hljs-comment"># false by default, If true enable debug log messages.</span>
logTime: true <span class="hljs-comment"># true by default, If set to false, log without timestamps.</span>
logFile: /tmp/milvus/logs/nats.log <span class="hljs-comment"># /tmp/milvus/logs/nats.log by default, Log file path relative to .. of milvus binary if use relative path.</span>
logSizeLimit: <span class="hljs-number">536870912</span> <span class="hljs-comment"># (B) 512MB by default, Size in bytes after the log file rolls over to a new one.</span>
retention:
maxAge: <span class="hljs-number">4320</span> <span class="hljs-comment"># (min) 3 days by default, Maximum age of any message in the P-channel.</span>
maxBytes: <span class="hljs-comment"># (B) None by default, How many bytes the single P-channel may contain. Removing oldest messages if the P-channel exceeds this size.</span>
maxMsgs: <span class="hljs-comment"># None by default, How many message the single P-channel may contain. Removing oldest messages if the P-channel exceeds this limit.</span>
<button class="copy-code-btn"></button></code></pre>
<p><strong>Nota:</strong></p>
<ul>
<li><p>Debe especificar <code translate="no">server.port</code> para la escucha del servidor NATS. Si hay un conflicto de puertos, Milvus no puede iniciarse. Configure <code translate="no">server.port=-1</code> para seleccionar un puerto al azar.</p></li>
<li><p><code translate="no">storeDir</code> Especifica el directorio para el almacenamiento de JetStream. Recomendamos almacenar el directorio en una unidad de estado sólido (SSD) de alto rendimiento para mejorar el rendimiento de lectura/escritura de Milvus.</p></li>
<li><p><code translate="no">maxFileStore</code> establece el límite superior del tamaño de almacenamiento JetStream. Si se supera este límite, no se podrán seguir escribiendo datos.</p></li>
<li><p><code translate="no">maxPayload</code> limita el tamaño de los mensajes individuales. Debe mantenerlo por encima de 5 MB para evitar rechazos de escritura.</p></li>
<li><p><code translate="no">initializeTimeout</code>controla el tiempo de espera de inicio del servidor NATS.</p></li>
<li><p><code translate="no">monitor</code> configura los registros independientes de NATS.</p></li>
<li><p><code translate="no">retention</code> controla el mecanismo de retención de los mensajes NATS.</p></li>
</ul>
<p>Para más información, consulte <a href="https://docs.nats.io/running-a-nats-service/configuration">la documentación oficial de NATS</a>.</p>
<h2 id="Migrating-from-RocksMQ-to-NATS" class="common-anchor-header">Migración de RocksMQ a NATS<button data-href="#Migrating-from-RocksMQ-to-NATS" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>La migración de RocksMQ a NATS es un proceso continuo que implica pasos como detener las operaciones de escritura, vaciar los datos, modificar las configuraciones y verificar la migración a través de los registros de Milvus.</p>
<ol>
<li><p>Antes de iniciar la migración, detenga todas las operaciones de escritura en Milvus.</p></li>
<li><p>Ejecute la operación <code translate="no">FlushALL</code> en Milvus y espere a que finalice. Este paso garantiza que todos los datos pendientes se vacíen y que el sistema esté listo para el cierre.</p></li>
<li><p>Modifique el archivo de configuración de Milvus configurando <code translate="no">mq.type=natsmq</code> y ajustando las opciones pertinentes en la sección <code translate="no">natsmq</code>.</p></li>
<li><p>Inicie Milvus 2.3.</p></li>
<li><p>Haga una copia de seguridad y limpie los datos originales almacenados en el directorio <code translate="no">rocksmq.path</code>. (Opcional)</p></li>
</ol>
<h2 id="NATS-vs-RocksMQ-A-Performance-Showdown" class="common-anchor-header">NATS vs. RocksMQ: Un enfrentamiento de rendimiento<button data-href="#NATS-vs-RocksMQ-A-Performance-Showdown" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="PubSub-Performance-Testing" class="common-anchor-header">Pruebas de rendimiento Pub/Sub</h3><ul>
<li><p><strong>Plataforma de pruebas:</strong> Chip M1 Pro / Memoria: 16GB</p></li>
<li><p><strong>Escenario de la prueba:</strong> Suscripción y publicación de paquetes de datos aleatorios a un tema repetidamente hasta que se reciba el último resultado publicado.</p></li>
<li><p><strong>Resultados:</strong></p>
<ul>
<li><p>Para paquetes de datos más pequeños (&lt; 64kb), RocksMQ supera a NATS en cuanto a memoria, CPU y velocidad de respuesta.</p></li>
<li><p>Para paquetes de datos más grandes (&gt; 64kb), NATS supera a RocksMQ, ofreciendo tiempos de respuesta mucho más rápidos.</p></li>
</ul></li>
</ul>
<table>
<thead>
<tr><th>Tipo de prueba</th><th>MQ</th><th>número de operaciones</th><th>Coste por operación</th><th>Coste de memoria</th><th>Tiempo total CPU</th><th>Coste de almacenamiento</th></tr>
</thead>
<tbody>
<tr><td>5MB*100 Pub/Sub</td><td>NATS</td><td>50</td><td>1,650328186 s/op</td><td>4,29 GB</td><td>85.58</td><td>25G</td></tr>
<tr><td>5MB*100 Pub/Sub</td><td>RocksMQ</td><td>50</td><td>2.475595131 s/op</td><td>1,18 GB</td><td>81.42</td><td>19G</td></tr>
<tr><td>1MB*500 Pub/Sub</td><td>NATS</td><td>50</td><td>2.248722593 s/op</td><td>2,60 GB</td><td>96.50</td><td>25G</td></tr>
<tr><td>1MB*500 Pub/Sub</td><td>RocksMQ</td><td>50</td><td>2.554614279 s/op</td><td>614,9 MB</td><td>80.19</td><td>19G</td></tr>
<tr><td>64KB*10000 Pub/Sub</td><td>NATS</td><td>50</td><td>2.133345262 s/op</td><td>3,29 GB</td><td>97.59</td><td>31G</td></tr>
<tr><td>64KB*10000 Pub/Sub</td><td>RocksMQ</td><td>50</td><td>3.253778195 s/op</td><td>331,2 MB</td><td>134.6</td><td>24G</td></tr>
<tr><td>1KB*50000 Pub/Sub</td><td>NATS</td><td>50</td><td>2.629391004 s/op</td><td>635,1 MB</td><td>179.67</td><td>2.6G</td></tr>
<tr><td>1KB*50000 Pub/Sub</td><td>RocksMQ</td><td>50</td><td>0,897638581 s/op</td><td>232,3 MB</td><td>60.42</td><td>521M</td></tr>
</tbody>
</table>
<p>Tabla 1: Resultados de las pruebas de rendimiento Pub/Sub</p>
<h3 id="Milvus-Integration-Testing" class="common-anchor-header">Pruebas de integración de Milvus</h3><p><strong>Tamaño de los datos:</strong> 100M</p>
<p><strong>Resultado:</strong> En pruebas exhaustivas con un conjunto de datos de 100 millones de vectores, NATS mostró una menor latencia de búsqueda y consulta de vectores.</p>
<table>
<thead>
<tr><th>Métricas</th><th>RocksMQ (ms)</th><th>NATS (ms)</th></tr>
</thead>
<tbody>
<tr><td>Latencia media de búsqueda de vectores</td><td>23.55</td><td>20.17</td></tr>
<tr><td>Peticiones de búsqueda vectorial por segundo (RPS)</td><td>2.95</td><td>3.07</td></tr>
<tr><td>Latencia media de la consulta</td><td>7.2</td><td>6.74</td></tr>
<tr><td>Peticiones de consulta por segundo (RPS)</td><td>1.47</td><td>1.54</td></tr>
</tbody>
</table>
<p>Tabla 2: Resultados de las pruebas de integración de Milvus con un conjunto de datos de 100 millones</p>
<p><strong>Conjunto de datos: &lt;100M</strong></p>
<p><strong>Resultado:</strong> Para conjuntos de datos inferiores a 100M, NATS y RocksMQ muestran un rendimiento similar.</p>
<h2 id="Conclusion-Empowering-Milvus-with-NATS-messaging" class="common-anchor-header">Conclusión: Potenciación de Milvus con la mensajería NATS<button data-href="#Conclusion-Empowering-Milvus-with-NATS-messaging" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>La integración de NATS en Milvus supone un avance significativo en el procesamiento de datos. Tanto si se adentra en el análisis en tiempo real como en aplicaciones de aprendizaje automático o en cualquier empresa que haga un uso intensivo de los datos, NATS dota a sus proyectos de eficacia, fiabilidad y velocidad. A medida que evoluciona el panorama de los datos, contar con un sistema de mensajería robusto como NATS dentro de Milvus garantiza una comunicación de datos fluida, fiable y de alto rendimiento.</p>


Optimización de la comunicación de datos: Milvus adopta NATS Messaging

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/What_s_New_in_Milvus_2_3_2_and_2_3_3_d3d0db03c3.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>En el panorama en constante evolución de las tecnologías de búsqueda vectorial, Milvus se mantiene a la vanguardia, superando los límites y estableciendo nuevos estándares. Hoy, ¡estamos encantados de anunciar el lanzamiento de Milvus 2.3.2 y 2.3.3! Estas actualizaciones traen muchas características interesantes, optimizaciones y mejoras, mejorando el rendimiento del sistema, la flexibilidad y la experiencia general del usuario.</p>
<h2 id="Support-for-Array-data-types---making-search-results-more-accurate-and-relevant" class="common-anchor-header">Compatibilidad con tipos de datos Array: resultados de búsqueda más precisos y relevantes<button data-href="#Support-for-Array-data-types---making-search-results-more-accurate-and-relevant" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>La incorporación de la compatibilidad con tipos de datos Array es una mejora fundamental para Milvus, especialmente en escenarios de filtrado de consultas como la intersección y la unión. Esta incorporación garantiza que los resultados de la búsqueda no sólo sean más precisos, sino también más relevantes. En términos prácticos, por ejemplo, en el sector del comercio electrónico, las etiquetas de productos almacenadas como matrices de cadenas permiten a los consumidores realizar búsquedas avanzadas, filtrando los resultados irrelevantes.</p>
<p>Sumérjase en nuestra completa <a href="https://milvus.io/docs/array_data_type.md">documentación</a> para obtener una guía detallada sobre el aprovechamiento de los tipos Array en Milvus.</p>
<h2 id="Support-for-complex-delete-expressions---improving-your-data-management" class="common-anchor-header">Compatibilidad con expresiones de eliminación complejas: mejora de la gestión de datos<button data-href="#Support-for-complex-delete-expressions---improving-your-data-management" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>En versiones anteriores, Milvus soportaba expresiones de borrado de clave primaria, proporcionando una arquitectura estable y racionalizada. Con Milvus 2.3.2 o 2.3.3, los usuarios pueden emplear expresiones de borrado complejas, facilitando tareas sofisticadas de gestión de datos como la limpieza continua de datos antiguos o el borrado de datos conforme a GDPR basado en ID de usuario.</p>
<p>Nota: Asegúrese de haber cargado las colecciones antes de utilizar expresiones complejas. Además, es importante tener en cuenta que el proceso de eliminación no garantiza la atomicidad.</p>
<h2 id="TiKV-integration---scalable-metadata-storage-with-stability" class="common-anchor-header">Integración de TiKV: almacenamiento de metadatos escalable y estable<button data-href="#TiKV-integration---scalable-metadata-storage-with-stability" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Al depender anteriormente de Etcd para el almacenamiento de metadatos, Milvus se enfrentaba a problemas de capacidad limitada y escalabilidad en el almacenamiento de metadatos. Para resolver estos problemas, Milvus añadió TiKV, un almacén de valores clave de código abierto, como una opción más para el almacenamiento de metadatos. TiKV ofrece mayor escalabilidad, estabilidad y eficiencia, lo que lo convierte en una solución ideal para los requisitos cambiantes de Milvus. A partir de Milvus 2.3.2, los usuarios pueden pasar sin problemas a TiKV para su almacenamiento de metadatos modificando la configuración.</p>
<h2 id="Support-for-FP16-vector-type---embracing-machine-learning-efficiency" class="common-anchor-header">Compatibilidad con el tipo de vector FP16: adopción de la eficiencia del aprendizaje automático<button data-href="#Support-for-FP16-vector-type---embracing-machine-learning-efficiency" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.3.2 y versiones posteriores soportan ahora el tipo de vector FP16 a nivel de interfaz. FP16, o punto flotante de 16 bits, es un formato de datos ampliamente utilizado en el aprendizaje profundo y el aprendizaje automático, que proporciona una representación y un cálculo eficientes de los valores numéricos. Si bien el soporte completo para FP16 está en marcha, varios índices en la capa de indexación requieren convertir FP16 a FP32 durante la construcción.</p>
<p>Daremos soporte completo a los tipos de datos FP16, BF16 e int8 en versiones posteriores de Milvus. Permanezca atento.</p>
<h2 id="Significant-improvement-in-the-rolling-upgrade-experience---seamless-transition-for-users" class="common-anchor-header">Mejora significativa en la experiencia de actualización continua - transición sin problemas para los usuarios<button data-href="#Significant-improvement-in-the-rolling-upgrade-experience---seamless-transition-for-users" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>La actualización continua es una característica fundamental para los sistemas distribuidos, ya que permite actualizar el sistema sin interrumpir los servicios empresariales ni sufrir tiempos de inactividad. En las últimas versiones de Milvus, hemos reforzado la función de actualización continua de Milvus, garantizando una transición más ágil y eficiente para los usuarios que actualicen de la versión 2.2.15 a la 2.3.3 y a todas las versiones posteriores. La comunidad también ha invertido en extensas pruebas y optimizaciones, reduciendo el impacto de la consulta durante la actualización a menos de 5 minutos, proporcionando a los usuarios una experiencia sin complicaciones.</p>
<h2 id="Performance-optimization" class="common-anchor-header">Optimización del rendimiento<button data-href="#Performance-optimization" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Además de introducir nuevas funciones, hemos optimizado significativamente el rendimiento de Milvus en las dos últimas versiones.</p>
<ul>
<li><p>Minimización de las operaciones de copia de datos para optimizar la carga de datos.</p></li>
<li><p>Se han simplificado las inserciones de gran capacidad mediante la lectura varchar por lotes.</p></li>
<li><p>Se han eliminado las comprobaciones de desplazamiento innecesarias durante el relleno de datos para mejorar el rendimiento de la fase de recuperación.</p></li>
<li><p>Se han solucionado los problemas de alto consumo de CPU en escenarios con grandes inserciones de datos.</p></li>
</ul>
<p>Estas optimizaciones contribuyen colectivamente a una experiencia Milvus más rápida y eficiente. Eche un vistazo a nuestro panel de control para ver cómo Milvus ha mejorado su rendimiento.</p>
<h2 id="Incompatible-changes" class="common-anchor-header">Cambios incompatibles<button data-href="#Incompatible-changes" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p>Eliminado permanentemente el código relacionado con TimeTravel.</p></li>
<li><p>Soporte obsoleto para MySQL como almacén de metadatos.</p></li>
</ul>
<p>Consulte <a href="https://milvus.io/docs/release_notes.md">las notas de la versión de</a> Milvus para obtener información más detallada sobre todas las nuevas funciones y mejoras.</p>
<h2 id="Conclusion" class="common-anchor-header">Conclusión<button data-href="#Conclusion" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Con las últimas versiones de Milvus 2.3.2 y 2.3.3, nos comprometemos a proporcionar una solución de base de datos robusta, rica en funciones y de alto rendimiento. Explore estas nuevas características, aproveche las optimizaciones y únase a nosotros en este emocionante viaje a medida que evolucionamos Milvus para satisfacer las demandas de la gestión de datos moderna. Descargue ahora la última versión y experimente el futuro del almacenamiento de datos con Milvus.</p>
<h2 id="Let’s-keep-in-touch" class="common-anchor-header">Mantengámonos en contacto<button data-href="#Let’s-keep-in-touch" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Si tiene preguntas o comentarios sobre Milvus, únase a nuestro <a href="https://discord.com/invite/8uyFbECzPX">canal de Discord</a> para interactuar con nuestros ingenieros y la comunidad directamente o únase a nuestro <a href="https://discord.com/invite/RjNbk8RR4f">Almuerzo y Aprendizaje de la Comunidad Milvus</a> todos los martes de 12 a 12:30 PM PST. También puede seguirnos en <a href="https://twitter.com/milvusio">Twitter</a> o <a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn</a> para conocer las últimas noticias y actualizaciones sobre Milvus.</p>


Revelando Milvus 2.3.2 &amp; 2.3.3: Soporte para tipos de datos array, borrado complejo, integración TiKV y más

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Exploring_M_Map_5086d652bd.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p><a href="https://zilliz.com/what-is-milvus">Milvus</a> es la solución más rápida en <a href="https://zilliz.com/blog/what-is-a-real-vector-database">bases de datos vectoriales</a> de código abierto, que atiende a usuarios con necesidades de rendimiento intensivo. Sin embargo, la diversidad de necesidades de los usuarios refleja los datos con los que trabajan. Algunos priorizan las soluciones económicas y el almacenamiento expansivo sobre la velocidad pura y dura. Entendiendo este espectro de demandas, Milvus introduce la característica MMap, redefiniendo cómo manejamos grandes volúmenes de datos a la vez que prometemos rentabilidad sin sacrificar funcionalidad.</p>
<h2 id="What-is-MMap" class="common-anchor-header">¿Qué es MMap?<button data-href="#What-is-MMap" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>MMap, abreviatura de memory-mapped files (archivos mapeados en memoria), tiende un puente entre los archivos y la memoria dentro de los sistemas operativos. Esta tecnología permite a Milvus mapear archivos de gran tamaño directamente en el espacio de memoria del sistema, transformando los archivos en bloques de memoria contiguos. Esta integración elimina la necesidad de operaciones explícitas de lectura o escritura, cambiando fundamentalmente la forma en que Milvus gestiona los datos. Garantiza un acceso sin fisuras y un almacenamiento eficiente para archivos de gran tamaño o situaciones en las que los usuarios necesitan acceder a archivos de forma aleatoria.</p>
<h2 id="Who-benefits-from-MMap" class="common-anchor-header">¿A quién beneficia MMap?<button data-href="#Who-benefits-from-MMap" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Las bases de datos vectoriales exigen una capacidad de memoria considerable debido a los requisitos de almacenamiento de los datos vectoriales. Con la función MMap, procesar más datos dentro de una memoria limitada se convierte en una realidad. Sin embargo, esta mayor capacidad tiene un coste de rendimiento. El sistema gestiona la memoria de forma inteligente, desalojando algunos datos en función de la carga y el uso. Este desalojo permite a Milvus procesar más datos con la misma capacidad de memoria.</p>
<p>Durante nuestras pruebas, observamos que con una memoria amplia, todos los datos residen en la memoria tras un periodo de calentamiento, preservando el rendimiento del sistema. Sin embargo, a medida que aumenta el volumen de datos, el rendimiento disminuye gradualmente. <strong>Por lo tanto, recomendamos la función MMap a los usuarios menos sensibles a las fluctuaciones de rendimiento.</strong></p>
<h2 id="Enabling-MMap-in-Milvus-a-simple-configuration" class="common-anchor-header">Activar MMap en Milvus: una configuración sencilla<button data-href="#Enabling-MMap-in-Milvus-a-simple-configuration" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Activar MMap en Milvus es notablemente sencillo. Todo lo que tiene que hacer es modificar el archivo <code translate="no">milvus.yaml</code>: añada el elemento <code translate="no">mmapDirPath</code> en la configuración <code translate="no">queryNode</code> y establezca una ruta válida como valor.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/enabling_mmap_a2df88276b.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<h2 id="Striking-the-balance-performance-storage-and-system-limits" class="common-anchor-header">Encontrar el equilibrio: rendimiento, almacenamiento y límites del sistema<button data-href="#Striking-the-balance-performance-storage-and-system-limits" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Los patrones de acceso a los datos afectan significativamente al rendimiento. La función MMap de Milvus optimiza el acceso a los datos basándose en la localidad. MMap permite a Milvus escribir datos escalares directamente en el disco para segmentos de datos a los que se accede secuencialmente. Los datos de longitud variable, como las cadenas, se aplanan y se indexan utilizando una matriz de offsets en memoria. Este método garantiza la localización de los datos y elimina la sobrecarga de almacenar cada dato de longitud variable por separado. La optimización de los índices vectoriales es meticulosa. El MMap se emplea de forma selectiva para los datos vectoriales, conservando las listas de adyacencia en memoria, lo que permite ahorrar una cantidad significativa de memoria sin comprometer el rendimiento.</p>
<p>Además, MMap maximiza el procesamiento de datos minimizando el uso de memoria. A diferencia de las versiones anteriores de Milvus, en las que QueryNode copiaba conjuntos de datos enteros, MMap adopta un proceso de streaming racionalizado y sin copias durante el desarrollo. Esta optimización reduce drásticamente la sobrecarga de memoria.</p>
<p><strong>Los resultados de nuestras pruebas internas demuestran que Milvus puede gestionar eficazmente el doble de volumen de datos cuando se habilita MMap.</strong></p>
<h2 id="The-road-ahead-continuous-innovation-and-user-centric-enhancements" class="common-anchor-header">El camino por recorrer: innovación continua y mejoras centradas en el usuario<button data-href="#The-road-ahead-continuous-innovation-and-user-centric-enhancements" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Aunque la función MMap se encuentra en fase beta, el equipo de Milvus está comprometido con la mejora continua. Las futuras actualizaciones perfeccionarán el uso de memoria del sistema, lo que permitirá a Milvus soportar volúmenes de datos aún mayores en un único nodo. Los usuarios pueden anticipar un control más granular sobre la función MMap, permitiendo cambios dinámicos en las colecciones y modos avanzados de carga de campos. Estas mejoras proporcionan una flexibilidad sin precedentes, permitiendo a los usuarios adaptar sus estrategias de procesamiento de datos a requisitos específicos.</p>
<h2 id="Conclusion-redefining-data-processing-excellence-with-Milvus-MMap" class="common-anchor-header">Conclusión: redefinir la excelencia del procesamiento de datos con Milvus MMap<button data-href="#Conclusion-redefining-data-processing-excellence-with-Milvus-MMap" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>La función MMap de Milvus 2.3 marca un salto significativo en la tecnología de procesamiento de datos. Al lograr un delicado equilibrio entre rendimiento, coste y límites del sistema, Milvus permite a los usuarios manejar grandes cantidades de datos de forma eficaz y rentable. A medida que Milvus sigue evolucionando, se mantiene a la vanguardia de las soluciones innovadoras, redefiniendo los límites de lo que se puede conseguir en la gestión de datos.</p>
<p>Esté atento a los desarrollos más innovadores a medida que Milvus continúa su viaje hacia la excelencia en el procesamiento de datos sin precedentes.</p>


Milvus presenta MMap para una gestión de datos redefinida y una mayor capacidad de almacenamiento

Comparación de bases de datos vectoriales, bibliotecas de búsqueda vectorial y plugins de búsqueda vectorial

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Ingesting_Chaos_20231017_110103_54fe2009cb.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Los datos se generan más rápido que nunca y en todas las formas imaginables. Estos datos son la gasolina que impulsará una nueva oleada de aplicaciones de inteligencia artificial, pero estos motores de mejora de la productividad necesitan ayuda para ingerir este combustible. La amplia gama de escenarios y casos extremos que rodean a los datos no estructurados dificulta su uso en los sistemas de IA de producción.</p>
<p>Para empezar, existe un gran número de fuentes de datos. Éstas exportan los datos en varios formatos de archivo, cada uno con sus excentricidades. Por ejemplo, la forma de procesar un PDF varía mucho en función de su procedencia. La ingesta de un PDF para un caso de litigio de valores se centrará probablemente en los datos textuales. En cambio, una especificación de diseño de un sistema para un ingeniero de cohetes estará llena de diagramas que requieren un procesamiento visual. La falta de un esquema definido en los datos no estructurados añade aún más complejidad. Incluso cuando se supera el reto de procesar los datos, persiste el problema de ingestarlos a escala. El tamaño de los archivos puede variar considerablemente, lo que cambia la forma de procesarlos. Se puede procesar rápidamente una carga de 1 MB en una API a través de HTTP, pero la lectura de docenas de GB de un único archivo requiere streaming y un trabajador dedicado.</p>
<p>Superar estos retos tradicionales de ingeniería de datos es una apuesta segura para conectar datos sin procesar a <a href="https://zilliz.com/glossary/large-language-models-(llms)">LLM</a> a través de <a href="https://zilliz.com/learn/what-is-vector-database">bases de datos vectoriales</a> como <a href="https://github.com/milvus-io/milvus">Milvus</a>. Sin embargo, los casos de uso emergentes, como la realización de búsquedas de similitud semántica con la ayuda de una base de datos vectorial, requieren nuevos pasos de procesamiento, como la fragmentación de los datos de origen, la orquestación de metadatos para búsquedas híbridas, la elección del modelo de incrustación vectorial adecuado y el ajuste de los parámetros de búsqueda para determinar qué datos alimentar al LLM. Estos flujos de trabajo son tan nuevos que no existen mejores prácticas establecidas que los desarrolladores puedan seguir. En su lugar, deben experimentar para encontrar la configuración y el caso de uso correctos para sus datos. Para acelerar este proceso, el uso de una canalización de incrustación de vectores para manejar la ingestión de datos en la base de datos de vectores es inestimable.</p>
<p>Una canalización de incrustación vectorial como <a href="https://github.com/dgarnitz/vectorflow">VectorFlow</a> conectará sus datos sin procesar a su base de datos vectorial, incluyendo la fragmentación, la orquestación de metadatos, la incrustación y la carga. VectorFlow permite a los equipos de ingenieros centrarse en la lógica central de la aplicación, experimentando con los diferentes parámetros de recuperación generados a partir del modelo de incrustación, la estrategia de agrupación, los campos de metadatos y los aspectos de la búsqueda para ver qué funciona mejor.</p>
<p>En nuestro trabajo ayudando a los equipos de ingeniería a llevar sus sistemas de <a href="https://zilliz.com/use-cases/llm-retrieval-augmented-generation">generación aumentada de recuperación (RAG</a> ) del prototipo a la producción, hemos observado que el siguiente enfoque tiene éxito a la hora de probar los diferentes parámetros de una canalización de búsqueda RAG:</p>
<ol>
<li>Utilice un pequeño conjunto de datos con los que esté familiarizado para acelerar la iteración, como algunos PDF que contengan fragmentos relevantes para las consultas de búsqueda.</li>
<li>Crea un conjunto estándar de preguntas y respuestas sobre ese subconjunto de datos. Por ejemplo, después de leer los PDF, escribe una lista de preguntas y haz que tu equipo se ponga de acuerdo sobre las respuestas.</li>
<li>Crea un sistema de evaluación automatizado que puntúe cómo funciona la recuperación en cada pregunta. Una forma de hacerlo es tomar la respuesta del sistema RAG y volver a pasarla por el LLM con una indicación que pregunte si este resultado RAG responde a la pregunta dada la respuesta correcta. La respuesta debe ser "sí" o "no". Por ejemplo, si tiene 25 preguntas en sus documentos y el sistema acierta 20, puede utilizarlo para comparar con otros enfoques.</li>
<li>Asegúrese de utilizar para la evaluación un LLM diferente del que utilizó para codificar las incrustaciones vectoriales almacenadas en la base de datos. El LLM de evaluación suele ser de tipo decodificador de un modelo como GPT-4. Una cosa que hay que recordar es el coste de estas evaluaciones cuando se ejecutan repetidamente. Los modelos de código abierto como Llama2 70B o el LLM 6B de Deci AI, que pueden ejecutarse en una única GPU más pequeña, tienen aproximadamente el mismo rendimiento por una fracción del coste.</li>
<li>Ejecuta cada prueba varias veces y calcula la media para suavizar la estocasticidad del LLM.</li>
</ol>
<p>Manteniendo constantes todas las opciones excepto una, puedes determinar rápidamente qué parámetros funcionan mejor para tu caso de uso. Una canalización de incrustación vectorial como VectorFlow hace que esto sea especialmente fácil en el lado de la ingestión, donde puede probar rápidamente diferentes estrategias de fragmentación, longitudes de trozos, superposiciones de trozos y modelos de incrustación de código abierto para ver qué conduce a los mejores resultados. Esto es especialmente útil cuando el conjunto de datos tiene varios tipos de archivos y fuentes de datos que requieren una lógica personalizada.</p>
<p>Una vez que el equipo sabe lo que funciona para su caso de uso, la canalización de incrustación de vectores les permite pasar rápidamente a producción sin tener que rediseñar el sistema para tener en cuenta aspectos como la fiabilidad y la supervisión. Con tecnologías como VectorFlow y <a href="https://zilliz.com/what-is-milvus">Milvus</a>, que son de código abierto e independientes de la plataforma, el equipo puede realizar pruebas eficientes en distintos entornos cumpliendo los requisitos de privacidad y seguridad.</p>


Ingerir el caos: Los MLOps detrás del manejo fiable de datos no estructurados a escala para RAG

¿Por qué y cuándo se necesita una base de datos vectorial específica?

Presentación de Milvus 2.3: una versión que marca un hito al ofrecer compatibilidad con GPU, Arm64, CDC y muchas otras funciones muy esperadas.

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/What_s_New_in_2_2_12_20230720_143424_7d19280738.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Estamos encantados de anunciar la última versión de Milvus 2.2.12. Esta actualización incluye múltiples novedades, como la compatibilidad con la API RESTful, la función <code translate="no">json_contains</code> y la recuperación de vectores durante las búsquedas RNA en respuesta a los comentarios de los usuarios. También hemos simplificado la experiencia del usuario, mejorado la velocidad de búsqueda de vectores y resuelto muchos problemas. Profundicemos en lo que podemos esperar de Milvus 2.2.12.</p>
<h2 id="Support-for-RESTful-API" class="common-anchor-header">Soporte para RESTful API<button data-href="#Support-for-RESTful-API" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.2.12 soporta ahora la API RESTful, que permite a los usuarios acceder a Milvus sin instalar un cliente, haciendo que las operaciones cliente-servidor se realicen sin esfuerzo. Además, el despliegue de Milvus es ahora más cómodo porque el SDK de Milvus y la API RESTful comparten el mismo número de puerto.</p>
<p><strong>Nota</strong>: Seguimos recomendando el uso del SDK para desplegar Milvus para operaciones avanzadas o si su negocio es sensible a la latencia.</p>
<h2 id="Vector-retrieval-during-ANN-searches" class="common-anchor-header">Recuperación de vectores durante las búsquedas RNA<button data-href="#Vector-retrieval-during-ANN-searches" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>En versiones anteriores, Milvus no permitía la recuperación de vectores durante las búsquedas aproximadas del vecino más cercano (RNA) para priorizar el rendimiento y el uso de memoria. Como resultado, la recuperación de vectores sin procesar tenía que dividirse en dos pasos: realizar la búsqueda RNA y después consultar los vectores sin procesar basándose en sus ID. Este enfoque aumentaba los costes de desarrollo y dificultaba la implantación y adopción de Milvus por parte de los usuarios.</p>
<p>Con Milvus 2.2.12, los usuarios pueden recuperar vectores sin procesar durante las búsquedas RNA configurando el campo vectorial como campo de salida y realizando consultas en colecciones indexadas por HNSW, DiskANN o IVF-FLAT. Además, los usuarios pueden esperar una velocidad de recuperación de vectores mucho mayor.</p>
<h2 id="Support-for-operations-on-JSON-arrays" class="common-anchor-header">Compatibilidad con operaciones en matrices JSON<button data-href="#Support-for-operations-on-JSON-arrays" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Recientemente hemos añadido soporte para JSON en Milvus 2.2.8. Desde entonces, los usuarios han enviado numerosas peticiones para soportar operaciones adicionales con matrices JSON, como inclusión, exclusión, intersección, unión, diferencia y más. En Milvus 2.2.12, hemos dado prioridad al soporte de la función <code translate="no">json_contains</code> para habilitar la operación de inclusión. Seguiremos añadiendo soporte para otros operadores en futuras versiones.</p>
<h2 id="Enhancements-and-bug-fixes" class="common-anchor-header">Mejoras y correcciones de errores<button data-href="#Enhancements-and-bug-fixes" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Además de introducir nuevas funciones, Milvus 2.2.12 ha mejorado su rendimiento de búsqueda vectorial con una sobrecarga reducida, lo que facilita el manejo de búsquedas topk extensas. Además, mejora el rendimiento de escritura en situaciones de partición clave y multipartición y optimiza el uso de la CPU para máquinas grandes. Esta actualización soluciona varios problemas: uso excesivo del disco, compactación atascada, borrado infrecuente de datos y fallos de inserción masiva. Para más información, consulte <a href="https://milvus.io/docs/release_notes.md#2212">las Notas de la versión de Milvus 2.2.12</a>.</p>
<h2 id="Lets-keep-in-touch" class="common-anchor-header">¡Sigamos en contacto!<button data-href="#Lets-keep-in-touch" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Si tiene preguntas o comentarios sobre Milvus, no dude en ponerse en contacto con nosotros a través de <a href="https://twitter.com/milvusio">Twitter</a> o <a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn</a>. También le invitamos a unirse a nuestro <a href="https://milvus.io/slack/">canal de Slack</a> para charlar directamente con nuestros ingenieros y la comunidad, o a consultar nuestro <a href="https://us02web.zoom.us/meeting/register/tZ0pcO6vrzsuEtVAuGTpNdb6lGnsPBzGfQ1T#/registration">horario de oficina de los martes</a>.</p>


Milvus 2.2.12: Acceso más fácil, mayor velocidad de búsqueda de vectores y mejor experiencia de usuario

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/What_s_New_in_Milvus_2_2_10_and_2_2_11_5018946465.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>¡Saludos, fans de Milvus! Nos complace anunciar que acabamos de lanzar Milvus 2.2.10 y 2.2.11, dos actualizaciones menores centradas principalmente en la corrección de errores y la mejora general del rendimiento. Puede esperar un sistema más estable y una mejor experiencia de usuario con las dos actualizaciones. Echemos un vistazo rápido a las novedades de estas dos versiones.</p>
<h2 id="Milvus-2210" class="common-anchor-header">Milvus 2.2.10<button data-href="#Milvus-2210" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.2.10 ha corregido fallos ocasionales del sistema, ha acelerado la carga y la indexación, ha reducido el uso de memoria en los nodos de datos y ha realizado muchas otras mejoras. A continuación se indican algunos cambios notables:</p>
<ul>
<li>Se ha sustituido el antiguo escritor de carga útil CGO por uno nuevo escrito en Go puro, reduciendo el uso de memoria en los nodos de datos.</li>
<li>Añadido <code translate="no">go-api/v2</code> al archivo <code translate="no">milvus-proto</code> para evitar confusiones con diferentes versiones de <code translate="no">milvus-proto</code>.</li>
<li>Se ha actualizado Gin de la versión 1.9.0 a la 1.9.1 para corregir un error en la función <code translate="no">Context.FileAttachment</code>.</li>
<li>Añadido el control de acceso basado en roles (RBAC) para las APIs FlushAll y Database.</li>
<li>Se ha corregido un fallo aleatorio causado por el SDK de AWS S3.</li>
<li>Mejoradas las velocidades de carga e indexación.</li>
</ul>
<p>Para más detalles, consulte <a href="https://milvus.io/docs/release_notes.md#2210">las Notas de la versión de Milvus 2.2.10</a>.</p>
<h2 id="Milvus-2211" class="common-anchor-header">Milvus 2.2.11<button data-href="#Milvus-2211" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.2.11 ha resuelto varios problemas para mejorar la estabilidad del sistema. También ha mejorado su rendimiento en la supervisión, el registro, la limitación de velocidad y la interceptación de peticiones entre clústeres. Consulte a continuación los aspectos más destacados de esta actualización.</p>
<ul>
<li>Se ha añadido un interceptor al servidor Milvus GRPC para evitar problemas con el enrutamiento entre clústeres.</li>
<li>Se han añadido códigos de error al gestor de trozos de minio para facilitar el diagnóstico y la corrección de errores.</li>
<li>Utilización de un conjunto de coroutines singleton para evitar el desperdicio de coroutines y maximizar el uso de recursos.</li>
<li>Reducido el uso de disco para RocksMq a una décima parte de su nivel original habilitando la compresión zstd.</li>
<li>Corregido el pánico ocasional de QueryNode durante la carga.</li>
<li>Rectificado el problema de estrangulamiento de peticiones de lectura causado por calcular mal la longitud de la cola dos veces.</li>
<li>Se han corregido los problemas por los que GetObject devolvía valores nulos en MacOS.</li>
<li>Se ha corregido un fallo causado por el uso incorrecto del modificador noexcept.</li>
</ul>
<p>Para más detalles, consulte <a href="https://milvus.io/docs/release_notes.md#2211">las Notas de la versión de Milvus 2.2.11</a>.</p>
<h2 id="Let’s-keep-in-touch" class="common-anchor-header">¡Sigamos en contacto!<button data-href="#Let’s-keep-in-touch" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Si tiene preguntas o comentarios sobre Milvus, no dude en ponerse en contacto con nosotros a través de <a href="https://twitter.com/milvusio">Twitter</a> o <a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn</a>. También le invitamos a unirse a nuestro <a href="https://milvus.io/slack/">canal de Slack</a> para charlar con nuestros ingenieros y la comunidad directamente o eche un vistazo a nuestro <a href="https://us02web.zoom.us/meeting/register/tZ0pcO6vrzsuEtVAuGTpNdb6lGnsPBzGfQ1T#/registration">horario de oficina de los martes</a>.</p>


Milvus 2.2.10 & 2.2.11 Enhanced System Stability and User Experience

Milvus 2.2.10 y 2.2.11: actualizaciones menores para mejorar la estabilidad del sistema y la experiencia del usuario

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Milvus_hit_20_000_stars_284ed694d2.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>¡Rompamos el confeti y celebremos!</p>
<p><a href="https://github.com/milvus-io/milvus">Milvus</a> ha alcanzado un hito estelar: ¡superar las 20.000 estrellas en GitHub! No podríamos haberlo conseguido sin el apoyo y los comentarios de nuestros fieles seguidores y miembros de la comunidad. Muchas gracias.</p>
<p>Para compartir la alegría, hemos reunido una lista de temas críticos de la amplia comunidad de Milvus, incluyendo:</p>
<ul>
<li>Seis proyectos destacados que utilizan Milvus</li>
<li>Cinco integraciones con otros proyectos de código abierto</li>
<li>Cinco casos de uso bien conocidos de Milvus</li>
<li>Cinco excelentes características futuras</li>
</ul>
<h2 id="Six-LLM-projects-that-utilize-Milvus" class="common-anchor-header">Seis proyectos LLM que utilizan Milvus<button data-href="#Six-LLM-projects-that-utilize-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="PaperGPT" class="common-anchor-header">PaperGPT</h3><p><a href="http://papergpt.bio">PaperGPT</a> es una herramienta de búsqueda de artículos biomédicos basada en un LLM y una base de datos vectorial. Aprovecha la base de datos PubMed y tecnologías como SentenceTransformers y Zilliz Cloud para una búsqueda eficiente.</p>
<h3 id="NoticeAI" class="common-anchor-header">NoticeAI</h3><p>NoticeAI ayuda a las empresas a automatizar sus procesos de atención al cliente. Utiliza Milvus y LangChain para realizar un seguimiento de las preguntas de atención al cliente, actualizar la base de conocimientos y decidir si es necesario o no recurrir a un humano.</p>
<h3 id="Searchanythingio" class="common-anchor-header">Search.anything.io</h3><p><a href="http://search.anything.io">Search Anything</a> utiliza LLM y Milvus para ofrecer una mejor experiencia de búsqueda. Toma una descripción de texto de un usuario y encuentra las imágenes correspondientes en la web.</p>
<h3 id="IkuStudies" class="common-anchor-header">IkuStudies</h3><p><a href="https://ikustudies.xyz/">IkuStudies</a> es un proyecto que permite a los usuarios buscar homófonos en 28 idiomas. Utiliza Milvus como almacén vectorial para encontrar similitudes entre las palabras.</p>
<h3 id="AssistLink-AI" class="common-anchor-header">AssistLink AI</h3><p><a href="https://www.linkedin.com/company/assistlink/about/">AssistLink AI</a> es una startup con sede en Seattle que utiliza Milvus y LLaMa 65bn para almacenar variables para un sistema de asistencia gubernamental.</p>
<h3 id="OSS-Chat" class="common-anchor-header">OSS Chat</h3><p><a href="http://osschat.io">OSS Chat</a> permite chatear con software de código abierto. Utiliza Milvus para inyectar conocimiento de dominio sobre proyectos de código abierto y utiliza <a href="https://zilliz.com/blog/Caching-LLM-Queries-for-performance-improvements">GPTCache</a> para almacenar en caché las preguntas más frecuentes y reducir así los costes de LLMa.</p>
<h2 id="Five-AI-projects-Milvus-integrates-with" class="common-anchor-header">Cinco proyectos de IA con los que Milvus se integra<button data-href="#Five-AI-projects-Milvus-integrates-with" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="LlamaIndex" class="common-anchor-header">LlamaIndex</h3><p><a href="https://github.com/jerryjliu/llama_index">LlamaIndex</a> es un marco de datos para aplicaciones LLM que proporciona conectores de datos para vincular fuentes de datos externas con un LLM. LlamaIndex le permite inyectar sus datos privados o conocimientos específicos del dominio directamente en su aplicación LLM.</p>
<h3 id="LangChainLangChainJS" class="common-anchor-header">LangChain/LangChainJS</h3><p><a href="https://github.com/hwchase17/langchain">LangChain</a> es una librería diseñada para acelerar el desarrollo de aplicaciones LLM, ofreciendo características como la gestión de solicitudes, cadenas, generación de datos aumentados, memoria y mucho más.</p>
<h3 id="ChatGPT-Retrieval-Plugin" class="common-anchor-header">Plugin de recuperación ChatGPT</h3><p><a href="https://github.com/openai/chatgpt-retrieval-plugin">ChatGPT Retrieval</a> Plugin de OpenAI permite la búsqueda semántica y la recuperación de documentos personales u organizativos mediante consultas en lenguaje natural, permitiendo a los desarrolladores desplegar su plugin y registrarlo con ChatGPT.</p>
<h3 id="Haystack" class="common-anchor-header">Haystack</h3><p><a href="https://github.com/deepset-ai/haystack">Haystack</a> es un marco de PNL integral para crear aplicaciones de PNL basadas en LLM, modelos de transformación, búsqueda vectorial y otras tecnologías para tareas como la respuesta a preguntas, la búsqueda semántica de documentos y la creación de procesos complejos de toma de decisiones.</p>
<h3 id="GPTCache" class="common-anchor-header">GPTCache</h3><p>Las llamadas a la API de los LLM pueden ser caras y lentas. <a href="https://github.com/zilliztech/gptcache">GPTCache</a> puede remediar ambos problemas proporcionando una caché semántica para consultas LLM.</p>
<h2 id="Five-well-known-use-cases-of-Milvus" class="common-anchor-header">Cinco casos de uso conocidos de Milvus<button data-href="#Five-well-known-use-cases-of-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="LLM-augmentation" class="common-anchor-header">Aumento de LLM</h3><p>Los LLM o las aplicaciones LLM tienen tres problemas principales: falta de datos específicos del dominio, datos obsoletos y costes elevados. Milvus puede resolver estos tres problemas permitiéndole inyectar datos externos y servir de caché para consultas frecuentes.</p>
<h3 id="Anomaly-detection" class="common-anchor-header">Detección de anomalías</h3><p>Los datos anómalos son significativamente diferentes del resto en un conjunto determinado. Las bases de datos vectoriales como Milvus son beneficiosas para realizar búsquedas de similitud, lo que facilita la identificación de estos datos anómalos.</p>
<h3 id="Recommender-systems" class="common-anchor-header">Sistemas de recomendación</h3><p>Un sistema de recomendación recomienda a las personas artículos similares a los que ya disfrutan. Es un ejemplo clásico en el que Milvus acelera este proceso realizando búsquedas de similitud.</p>
<h3 id="Semantic-search" class="common-anchor-header">Búsqueda semántica</h3><p>La búsqueda por palabras clave no es suficiente cuando se quiere buscar en un texto cosas con significados similares. Ahí es donde entra la búsqueda semántica y donde Milvus puede ayudar. Milvus le permite comparar las intenciones que hay detrás del texto, no sólo las palabras en sí.</p>
<h3 id="Automatic-data-labeling" class="common-anchor-header">Etiquetado automático de datos</h3><p>¿Tiene datos etiquetados y necesita marcar más? Al almacenar las representaciones vectoriales en Milvus, puede detectar automáticamente los puntos de datos más similares en sus nuevos datos y aplicar las etiquetas apropiadas.</p>
<h2 id="Five-awesome-upcoming-features" class="common-anchor-header">Cinco increíbles funciones futuras<button data-href="#Five-awesome-upcoming-features" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="NVIDIA-GPU-support" class="common-anchor-header">Compatibilidad con GPU NVIDIA</h3><p>La compatibilidad con GPU llegará en Milvus 2.3 y ya está disponible en la <a href="https://github.com/milvus-io/milvus/releases/tag/v2.3.0-beta">versión beta</a> más reciente.</p>
<h3 id="Delete-by-Expression" class="common-anchor-header">Borrado por expresión</h3><p>Ya puede realizar filtrado escalar/de metadatos mediante expresiones booleanas en Milvus. La función de borrado por expresión también está disponible.</p>
<h3 id="Change-Data-Capture-CDC" class="common-anchor-header">Captura de datos de cambios (CDC)</h3><p>CDC es una técnica para capturar y rastrear los cambios realizados en su instancia de Milvus en tiempo real.</p>
<h3 id="Range-Search" class="common-anchor-header">Búsqueda por rango</h3><p>La búsqueda por rango, también conocida en algunos círculos como búsqueda épsilon, le permitirá encontrar todos los vectores dentro de una cierta distancia de su vector de consulta.</p>
<h3 id="Fast-Scan" class="common-anchor-header">Escaneado rápido</h3><p>La cuantización de 4 bits y FastScan se añadieron recientemente a FAISS y también llegarán a Milvus.</p>
<h2 id="Looking-forward-to-Milvus-reaching-even-greater-heights" class="common-anchor-header">Esperamos que Milvus alcance cotas aún mayores.<button data-href="#Looking-forward-to-Milvus-reaching-even-greater-heights" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Nos gustaría dar nuestro más enorme agradecimiento a nuestros usuarios, miembros de la comunidad, socios del ecosistema y observadores de estrellas por su continuo apoyo, comentarios y contribuciones. Esperamos que Milvus llegue aún más lejos.</p>


Un hito estelar: Milvus supera las 20.000 estrellas en GitHub

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Conversational_Memory_in_Lang_Chain_7c1b4b7ba9.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>LangChain es un framework robusto para construir aplicaciones LLM. Sin embargo, esa potencia viene acompañada de una gran complejidad. LangChain proporciona muchas maneras de incitar a un LLM y características esenciales como la memoria conversacional. La memoria conversacional ofrece contexto para que el LLM recuerde tu charla.</p>
<p>En este artículo, veremos cómo utilizar la memoria conversacional con LangChain y Milvus. Para seguir adelante, necesitas <code translate="no">pip</code> instalar cuatro bibliotecas y una clave API OpenAI. Las cuatro bibliotecas que necesitas se pueden instalar ejecutando <code translate="no">pip install langchain milvus pymilvus python-dotenv</code>. O ejecutando el primer bloque del <a href="https://colab.research.google.com/drive/11p-u8nKqrQYePlXR0HiSrUapmKLD0QN9?usp=sharing">CoLab Notebook</a> para este artículo.</p>
<p>En este post, aprenderemos sobre:</p>
<ul>
<li>Memoria conversacional con LangChain</li>
<li>Configuración del contexto de conversación</li>
<li>Prompting de la Memoria Conversacional con LangChain</li>
<li>Resumen de la Memoria Conversacional con LangChain</li>
</ul>
<h2 id="Conversational-Memory-with-LangChain" class="common-anchor-header">Memoria Conversacional con LangChain<button data-href="#Conversational-Memory-with-LangChain" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>En el estado por defecto, se interactúa con un LLM a través de prompts simples. Añadir memoria contextual o "memoria conversacional" significa que ya no tienes que enviarlo todo a través de un solo prompt. LangChain ofrece la posibilidad de almacenar la conversación que ya has mantenido con un LLM para recuperar esa información más adelante.</p>
<p>Para configurar una memoria conversacional persistente con un almacén vectorial, necesitamos seis módulos de LangChain. En primer lugar, debemos obtener los LLM <code translate="no">OpenAIEmbeddings</code> y <code translate="no">OpenAI</code>. También necesitamos <code translate="no">VectorStoreRetrieverMemory</code> y la versión LangChain de <code translate="no">Milvus</code> para utilizar un backend de almacén vectorial. Después necesitamos <code translate="no">ConversationChain</code> y <code translate="no">PromptTemplate</code> para guardar nuestra conversación y consultarla.</p>
<p>Las bibliotecas <code translate="no">os</code>, <code translate="no">dotenv</code>, y <code translate="no">openai</code> son principalmente para fines operativos. Las utilizamos para cargar y utilizar la clave API de OpenAI. El último paso de configuración es crear una instancia local <a href="https://milvus.io/docs/milvus_lite.md">de Milvus Lite</a>. Lo hacemos utilizando <code translate="no">default_server</code> del paquete Milvus Python.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> langchain.<span class="hljs-property">embeddings</span>.<span class="hljs-property">openai</span> <span class="hljs-keyword">import</span> <span class="hljs-title class_">OpenAIEmbeddings</span>
<span class="hljs-keyword">from</span> langchain.<span class="hljs-property">llms</span> <span class="hljs-keyword">import</span> <span class="hljs-title class_">OpenAI</span>
<span class="hljs-keyword">from</span> langchain.<span class="hljs-property">memory</span> <span class="hljs-keyword">import</span> <span class="hljs-title class_">VectorStoreRetrieverMemory</span>
<span class="hljs-keyword">from</span> langchain.<span class="hljs-property">chains</span> <span class="hljs-keyword">import</span> <span class="hljs-title class_">ConversationChain</span>
<span class="hljs-keyword">from</span> langchain.<span class="hljs-property">prompts</span> <span class="hljs-keyword">import</span> <span class="hljs-title class_">PromptTemplate</span>
<span class="hljs-keyword">from</span> langchain.<span class="hljs-property">vectorstores</span> <span class="hljs-keyword">import</span> <span class="hljs-title class_">Milvus</span>
embeddings = <span class="hljs-title class_">OpenAIEmbeddings</span>()


<span class="hljs-keyword">import</span> os
<span class="hljs-keyword">from</span> dotenv <span class="hljs-keyword">import</span> load_dotenv
<span class="hljs-keyword">import</span> openai
<span class="hljs-title function_">load_dotenv</span>()
openai.<span class="hljs-property">api_key</span> = os.<span class="hljs-title function_">getenv</span>(<span class="hljs-string">&quot;OPENAI_API_KEY&quot;</span>)


<span class="hljs-keyword">from</span> milvus <span class="hljs-keyword">import</span> default_server
default_server.<span class="hljs-title function_">start</span>()
<button class="copy-code-btn"></button></code></pre>
<h2 id="Setting-Up-Conversation-Context" class="common-anchor-header">Configuración del contexto de conversación<button data-href="#Setting-Up-Conversation-Context" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Ahora que tenemos todos nuestros prerrequisitos configurados, podemos proceder a crear nuestra memoria conversacional. Nuestro primer paso es crear una conexión con el servidor Milvus utilizando LangChain. A continuación, utilizamos un diccionario vacío para crear nuestra colección LangChain Milvus. Además, pasamos las incrustaciones que creamos anteriormente y los detalles de conexión para el servidor Milvus Lite.</p>
<p>Para utilizar la base de datos vectorial para la memoria conversacional, necesitamos instanciarla como recuperador. En este caso, sólo recuperamos el primer resultado, estableciendo <code translate="no">k=1</code>. El último paso en la configuración de la memoria conversacional es utilizar el objeto <code translate="no">VectorStoreRetrieverMemory</code> como nuestra memoria conversacional a través del recuperador y la conexión a la base de datos vectorial que acabamos de configurar.</p>
<p>Para usar nuestra memoria conversacional, tiene que tener algo de contexto en ella. Así que vamos a darle contexto a la memoria. Para este ejemplo, damos cinco datos. Guardemos mi tentempié favorito (chocolate), deporte (natación), cerveza (Guinness), postre (tarta de queso) y músico (Taylor Swift). Cada entrada se guarda en la memoria a través de la función <code translate="no">save_context</code>.</p>
<pre><code translate="no">vectordb = Milvus.from_documents(
   {},
   embeddings,
   connection_args={<span class="hljs-string">&quot;host&quot;</span>: <span class="hljs-string">&quot;127.0.0.1&quot;</span>, <span class="hljs-string">&quot;port&quot;</span>: default_server.listen_port})
retriever = Milvus.as_retriever(vectordb, search_kwargs=<span class="hljs-built_in">dict</span>(k=<span class="hljs-number">1</span>))
memory = VectorStoreRetrieverMemory(retriever=retriever)
about_me = [
   {<span class="hljs-string">&quot;input&quot;</span>: <span class="hljs-string">&quot;My favorite snack is chocolate&quot;</span>,
    <span class="hljs-string">&quot;output&quot;</span>: <span class="hljs-string">&quot;Nice&quot;</span>},
   {<span class="hljs-string">&quot;input&quot;</span>: <span class="hljs-string">&quot;My favorite sport is swimming&quot;</span>,
    <span class="hljs-string">&quot;output&quot;</span>: <span class="hljs-string">&quot;Cool&quot;</span>},
   {<span class="hljs-string">&quot;input&quot;</span>: <span class="hljs-string">&quot;My favorite beer is Guinness&quot;</span>,
    <span class="hljs-string">&quot;output&quot;</span>: <span class="hljs-string">&quot;Great&quot;</span>},
   {<span class="hljs-string">&quot;input&quot;</span>: <span class="hljs-string">&quot;My favorite dessert is cheesecake&quot;</span>,
    <span class="hljs-string">&quot;output&quot;</span>: <span class="hljs-string">&quot;Good to know&quot;</span>},
   {<span class="hljs-string">&quot;input&quot;</span>: <span class="hljs-string">&quot;My favorite musician is Taylor Swift&quot;</span>,
    <span class="hljs-string">&quot;output&quot;</span>: <span class="hljs-string">&quot;Same&quot;</span>}
]
<span class="hljs-keyword">for</span> example <span class="hljs-keyword">in</span> about_me:
   memory.save_context({<span class="hljs-string">&quot;input&quot;</span>: example[<span class="hljs-string">&quot;input&quot;</span>]}, {<span class="hljs-string">&quot;output&quot;</span>: example[<span class="hljs-string">&quot;output&quot;</span>]})
<button class="copy-code-btn"></button></code></pre>
<h2 id="Prompting-the-Conversational-Memory-with-LangChain" class="common-anchor-header">Activación de la memoria conversacional con LangChain<button data-href="#Prompting-the-Conversational-Memory-with-LangChain" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Es hora de ver cómo podemos utilizar nuestra memoria conversacional. Empecemos por conectarnos a la LLM de OpenAI a través de LangChain. Usamos una temperatura de 0 para indicar que no queremos que nuestro LLM sea creativo.</p>
<p>A continuación, creamos una plantilla. Le decimos al LLM que está manteniendo una conversación amistosa con un humano e insertamos dos variables. La variable <code translate="no">history</code> proporciona el contexto de la memoria conversacional. La variable <code translate="no">input</code> proporciona la entrada actual. Utilizamos el objeto <code translate="no">PromptTemplate</code> para insertar estas variables.</p>
<p>Usamos el objeto <code translate="no">ConversationChain</code> para combinar nuestro prompt, LLM y memoria. Ahora estamos listos para verificar la memoria de nuestra conversación dándole algunos prompt. Comenzamos diciéndole al LLM que nuestro nombre es Gary, el principal rival en la serie Pokemon (todo lo demás en la memoria de la conversación es un hecho sobre mí).</p>
<pre><code translate="no">llm = OpenAI(temperature=<span class="hljs-number">0</span>) <span class="hljs-comment"># Can be any valid LLM</span>
_DEFAULT_TEMPLATE = <span class="hljs-string">&quot;&quot;&quot;The following is a friendly conversation between a human and an AI. The AI is talkative and provides lots of specific details from its context. If the AI does not know the answer to a question, it truthfully says it does not know.


Relevant pieces of previous conversation:
{history}


(You do not need to use these pieces of information if not relevant)


Current conversation:
Human: {input}
AI:&quot;&quot;&quot;</span>
PROMPT = PromptTemplate(
   input_variables=[<span class="hljs-string">&quot;history&quot;</span>, <span class="hljs-string">&quot;input&quot;</span>], template=_DEFAULT_TEMPLATE
)
conversation_with_summary = ConversationChain(
   llm=llm,
   prompt=PROMPT,
   memory=memory,
   verbose=<span class="hljs-literal">True</span>
)
conversation_with_summary.predict(<span class="hljs-built_in">input</span>=<span class="hljs-string">&quot;Hi, my name is Gary, what&#x27;s up?&quot;</span>)
<button class="copy-code-btn"></button></code></pre>
<p>La imagen de abajo muestra cómo podría ser una respuesta esperada del LLM. En este ejemplo, ha respondido diciendo que se llama "AI".</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Conversational_Memory_in_Lang_Chain_graphics_1_2bf386d22a.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Ahora vamos a probar la memoria hasta ahora. Usamos el objeto <code translate="no">ConversationChain</code> que creamos antes y hacemos una consulta sobre mi músico favorito.</p>
<pre><code translate="no">conversation_with_summary.predict(<span class="hljs-built_in">input</span>=<span class="hljs-string">&quot;who is my favorite musician?&quot;</span>)
<button class="copy-code-btn"></button></code></pre>
<p>La imagen de abajo muestra una respuesta esperada de la Cadena de Conversación. Como usamos la opción verbose, también nos muestra la conversación relevante. Podemos ver que devuelve que mi artista favorita es Taylor Swift, como era de esperar.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Conversational_Memory_in_Lang_Chain_graphics_2_8355206f3e.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>A continuación, busquemos mi postre favorito: tarta de queso.</p>
<pre><code translate="no">conversation_with_summary.predict(<span class="hljs-built_in">input</span>=<span class="hljs-string">&quot;Whats my favorite dessert?&quot;</span>)
<button class="copy-code-btn"></button></code></pre>
<p>Cuando preguntamos por mi postre favorito, podemos ver que la Cadena de Conversación, una vez más, recoge la información correcta de Milvus. Comprueba que mi postre favorito es la tarta de queso, como le dije antes.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Conversational_Memory_in_Lang_Chain_graphics_3_66a5c9690f.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Ahora que hemos confirmado que podemos consultar la información que hemos dado antes, vamos a comprobar una cosa más: la información que hemos dado al principio de nuestra conversación. Empezamos la conversación diciéndole a la IA que nos llamábamos Gary.</p>
<pre><code translate="no">conversation_with_summary.predict(<span class="hljs-built_in">input</span>=<span class="hljs-string">&quot;What&#x27;s my name?&quot;</span>)
<button class="copy-code-btn"></button></code></pre>
<p>La última comprobación nos indica que la cadena de conversación almacenó la información sobre nuestro nombre en la memoria de conversación de nuestro almacén vectorial. Nos devuelve que dijimos que nos llamábamos Gary.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Conversational_Memory_in_Lang_Chain_graphics_4_f446f49672.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<h2 id="LangChain-Conversational-Memory-Summary" class="common-anchor-header">Resumen de la Memoria Conversacional LangChain<button data-href="#LangChain-Conversational-Memory-Summary" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>En este tutorial, hemos aprendido a utilizar la memoria conversacional en LangChain. LangChain ofrece acceso a vector store backends como Milvus para memoria conversacional persistente. Podemos utilizar la memoria conversacional inyectando historia en nuestros prompts y guardando el contexto histórico en el objeto <code translate="no">ConversationChain</code>.</p>
<p>Para este tutorial de ejemplo, le dimos a la cadena de conversación cinco datos sobre mí y fingimos ser el principal rival de Pokemon, Gary. A continuación, lanzamos a la Cadena de Conversación preguntas sobre el conocimiento a priori que habíamos almacenado: mi músico favorito y mi postre. Respondió correctamente a ambas preguntas y mostró las entradas correspondientes. Por último, le preguntamos por nuestro nombre al principio de la conversación, y respondió correctamente que habíamos dicho que nos llamábamos "Gary".</p>


Memoria conversacional en LangChain

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/What_s_New_in_2_2_9_858e54a2d3.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Estamos encantados de anunciar la llegada de Milvus 2.2.9, una versión muy esperada que marca un hito importante para el equipo y la comunidad. Esta versión ofrece muchas características interesantes, incluyendo la tan esperada compatibilidad con tipos de datos JSON, esquemas dinámicos y claves de partición, garantizando una experiencia de usuario optimizada y un flujo de trabajo de desarrollo simplificado. Además, esta versión incorpora numerosas mejoras y correcciones de errores. Únase a nosotros para explorar Milvus 2.2.9 y descubrir por qué esta versión es tan emocionante.</p>
<h2 id="Optimized-user-experience-with-JSON-support" class="common-anchor-header">Experiencia de usuario optimizada con soporte JSON<button data-href="#Optimized-user-experience-with-JSON-support" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus ha introducido la tan esperada compatibilidad con el tipo de datos JSON, permitiendo el almacenamiento sin fisuras de datos JSON junto con los metadatos de vectores dentro de las colecciones de los usuarios. Con esta mejora, los usuarios pueden insertar eficazmente datos JSON en bloque y realizar consultas y filtrados avanzados basados en el contenido de sus campos JSON. Además, los usuarios pueden aprovechar las expresiones y realizar operaciones adaptadas a los campos JSON de sus conjuntos de datos, construir consultas y aplicar filtros basados en el contenido y la estructura de sus campos JSON, lo que les permite extraer información relevante y manipular mejor los datos.</p>
<p>En el futuro, el equipo de Milvus añadirá índices para campos dentro del tipo JSON, optimizando aún más el rendimiento de las consultas mixtas escalares y vectoriales. Esté atento a los próximos desarrollos.</p>
<h2 id="Added-flexibility-with-support-for-dynamic-schema" class="common-anchor-header">Mayor flexibilidad gracias a la compatibilidad con esquemas dinámicos<button data-href="#Added-flexibility-with-support-for-dynamic-schema" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Con soporte para datos JSON, Milvus 2.2.9 proporciona ahora funcionalidad de esquema dinámico a través de un kit de desarrollo de software (SDK) simplificado.</p>
<p>A partir de Milvus 2.2.9, el SDK de Milvus incluye una API de alto nivel que rellena automáticamente los campos dinámicos en el campo JSON oculto de la colección, lo que permite a los usuarios concentrarse únicamente en sus campos de negocio.</p>
<h2 id="Better-data-separation-and-enhanced-search-efficiency-with-Partition-Key" class="common-anchor-header">Mejor separación de datos y mayor eficacia de búsqueda con Partition Key<button data-href="#Better-data-separation-and-enhanced-search-efficiency-with-Partition-Key" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.2.9 mejora sus capacidades de partición introduciendo la función Partition Key. Permite columnas específicas del usuario como claves primarias para la partición, eliminando la necesidad de API adicionales como <code translate="no">loadPartition</code> y <code translate="no">releasePartition</code>. Esta nueva función también elimina el límite en el número de particiones, lo que conduce a una utilización más eficiente de los recursos.</p>
<h2 id="Support-for-Alibaba-Cloud-OSS" class="common-anchor-header">Compatibilidad con Alibaba Cloud OSS<button data-href="#Support-for-Alibaba-Cloud-OSS" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.2.9 ahora es compatible con Alibaba Cloud Object Storage Service (OSS). Los usuarios de Alibaba Cloud pueden configurar fácilmente el <code translate="no">cloudProvider</code> a Alibaba Cloud y aprovechar la perfecta integración para el almacenamiento eficiente y la recuperación de datos vectoriales en la nube.</p>
<p>Además de las características mencionadas anteriormente, Milvus 2.2.9 ofrece soporte de base de datos en Role-Based Access Control (RBAC), introduce la gestión de conexiones e incluye múltiples mejoras y correcciones de errores. Para más información, consulte <a href="https://milvus.io/docs/release_notes.md">las Notas de la versión de Milvus 2.2.9</a>.</p>
<h2 id="Let’s-keep-in-touch" class="common-anchor-header">¡Sigamos en contacto!<button data-href="#Let’s-keep-in-touch" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Si tiene preguntas o comentarios sobre Milvus, no dude en ponerse en contacto con nosotros a través de <a href="https://twitter.com/milvusio">Twitter</a> o <a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn</a>. También le invitamos a unirse a nuestro <a href="https://milvus.io/slack/">canal de Slack</a> para charlar directamente con nuestros ingenieros y la comunidad, o a consultar nuestro <a href="https://us02web.zoom.us/meeting/register/tZ0pcO6vrzsuEtVAuGTpNdb6lGnsPBzGfQ1T#/registration">horario de oficina de los martes</a>.</p>


Milvus 2.2.9: Una versión muy esperada con una experiencia de usuario óptima

<p><strong><em>Nota importante</em></strong></p>
<p><em>Actualizamos Milvus Lite en junio de 2024, lo que permite a los desarrolladores de IA crear aplicaciones más rápido al tiempo que garantiza una experiencia coherente en varias opciones de implementación, incluidos Milvus en Kurbernetes, Docker y servicios gestionados en la nube. Milvus Lite también se integra con varios marcos y tecnologías de IA, agilizando el desarrollo de aplicaciones de IA con capacidades de búsqueda vectorial. Para obtener más información, consulte las siguientes referencias:</em></p>
<ul>
<li><p><em>Blog de lanzamiento de Milvus Lite: h<a href="https://milvus.io/blog/introducing-milvus-lite.md">ttps://</a>milvus.io/blog/introducing-milvus-lite.md</em></p></li>
<li><p><em>Documentación de Milvus Lite: <a href="https://milvus.io/docs/quickstart.md">https://milvus.io/docs/quickstart.md</a></em></p></li>
<li><p><em>Repositorio GitHub de Milvus Lite: <a href="https://github.com/milvus-io/milvus-lite">https://github.com/milvus-io/milvus-lite</a></em></p></li>
</ul>
<p><br></p>
<p><a href="https://github.com/milvus-io/milvus">Milvus</a> es una base de datos vectorial de código abierto creada específicamente para indexar, almacenar y consultar vectores de incrustación generados por redes neuronales profundas y otros modelos de aprendizaje automático (ML) a miles de millones de escalas. Se ha convertido en una opción popular para muchas empresas, investigadores y desarrolladores que deben realizar búsquedas de similitud en conjuntos de datos a gran escala.</p>
<p>Sin embargo, algunos usuarios pueden encontrar la versión completa de Milvus demasiado pesada o compleja. Para solucionar este problema, <a href="https://github.com/matrixji">Bin Ji</a>, uno de los colaboradores más activos de la comunidad Milvus, creó <a href="https://github.com/milvus-io/milvus-lite">Milvus Lite</a>, una versión ligera de Milvus.</p>
<h2 id="What-is-Milvus-Lite" class="common-anchor-header">¿Qué es Milvus Lite?<button data-href="#What-is-Milvus-Lite" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Como se ha mencionado anteriormente, Milvus <a href="https://github.com/milvus-io/milvus-lite">Lite</a> es una alternativa simplificada a Milvus que ofrece muchas ventajas y beneficios.</p>
<ul>
<li>Puede integrarlo en su aplicación Python sin añadir peso adicional.</li>
<li>Es autónomo y no requiere otras dependencias, gracias a la capacidad de Milvus independiente para trabajar con Etcd embebidos y almacenamiento local.</li>
<li>Puede importarlo como una biblioteca de Python y utilizarlo como un servidor independiente basado en una interfaz de línea de comandos (CLI).</li>
<li>Funciona sin problemas con Google Colab y Jupyter Notebook.</li>
<li>Puede migrar con seguridad su trabajo y escribir código en otras instancias de Milvus (versiones independientes, en clúster y totalmente gestionadas) sin riesgo de perder datos.</li>
</ul>
<h2 id="When-should-you-use-Milvus-Lite" class="common-anchor-header">¿Cuándo debería utilizar Milvus Lite?<button data-href="#When-should-you-use-Milvus-Lite" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>En concreto, Milvus Lite es más útil en las siguientes situaciones:</p>
<ul>
<li>Cuando prefiere utilizar Milvus sin técnicas y herramientas de contenedores como <a href="https://milvus.io/docs/install_standalone-operator.md">Milvus Operator</a>, <a href="https://milvus.io/docs/install_standalone-helm.md">Helm</a> o <a href="https://milvus.io/docs/install_standalone-docker.md">Docker Compose</a>.</li>
<li>Cuando no necesita máquinas virtuales o contenedores para utilizar Milvus.</li>
<li>Cuando desea incorporar características de Milvus en sus aplicaciones Python.</li>
<li>Cuando quiera poner en marcha una instancia de Milvus en Colab o Notebook para un experimento rápido.</li>
</ul>
<p><strong>Nota</strong>: No recomendamos utilizar Milvus Lite en ningún entorno de producción o si necesita alto rendimiento, fuerte disponibilidad o alta escalabilidad. En su lugar, considere el uso de <a href="https://github.com/milvus-io/milvus">clusters Milvus</a> o <a href="https://zilliz.com/cloud">Milvus totalmente gestionado en Zilliz Cloud</a> para producción.</p>
<h2 id="How-to-get-started-with-Milvus-Lite" class="common-anchor-header">¿Cómo empezar con Milvus Lite?<button data-href="#How-to-get-started-with-Milvus-Lite" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Ahora, echemos un vistazo a cómo instalar, configurar y utilizar Milvus Lite.</p>
<h3 id="Prerequisites" class="common-anchor-header">Requisitos previos</h3><p>Para utilizar Milvus Lite, asegúrese de haber cumplido los siguientes requisitos:</p>
<ul>
<li>Instalado Python 3.7 o una versión posterior.</li>
<li>Utilizar uno de los sistemas operativos verificados que se enumeran a continuación:<ul>
<li>Ubuntu &gt;= 18.04 (x86_64)</li>
<li>CentOS &gt;= 7.0 (x86_64)</li>
<li>MacOS &gt;= 11.0 (Apple Silicon)</li>
</ul></li>
</ul>
<p><strong>Notas</strong>:</p>
<ol>
<li>Milvus Lite utiliza <code translate="no">manylinux2014</code> como imagen base, por lo que es compatible con la mayoría de las distribuciones de Linux para usuarios de Linux.</li>
<li>También es posible ejecutar Milvus Lite en Windows, aunque aún no se ha verificado completamente.</li>
</ol>
<h3 id="Install-Milvus-Lite" class="common-anchor-header">Instalar Milvus Lite</h3><p>Milvus Lite está disponible en PyPI por lo que puede instalarlo a través de <code translate="no">pip</code>.</p>
<pre><code translate="no">$ python3 -m pip install milvus
<button class="copy-code-btn"></button></code></pre>
<p>También puede instalarlo con PyMilvus de la siguiente manera:</p>
<pre><code translate="no">$ python3 -m pip install milvus[client]
<button class="copy-code-btn"></button></code></pre>
<h3 id="Use-and-start-Milvus-Lite" class="common-anchor-header">Utilice e inicie Milvus Lite</h3><p>Descargue el <a href="https://github.com/milvus-io/milvus-lite/tree/main/examples">cuaderno de ejemplo</a> de la carpeta de ejemplos de nuestro repositorio de proyectos. Tiene dos opciones para utilizar Milvus Lite: importarlo como una biblioteca de Python o ejecutarlo como un servidor independiente en su máquina utilizando la CLI.</p>
<ul>
<li>Para iniciar Milvus Lite como un módulo Python, ejecute los siguientes comandos:</li>
</ul>
<pre><code translate="no"><span class="hljs-keyword">from</span> milvus <span class="hljs-keyword">import</span> default_server
<span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> connections, utility

<span class="hljs-comment"># Start your milvus server</span>
default_server.start()

<span class="hljs-comment"># Now you can connect with localhost and the given port</span>
<span class="hljs-comment"># Port is defined by default_server.listen_port</span>
connections.connect(host=<span class="hljs-string">&#x27;127.0.0.1&#x27;</span>, port=default_server.listen_port)

<span class="hljs-comment"># Check if the server is ready.</span>
<span class="hljs-built_in">print</span>(utility.get_server_version())

<span class="hljs-comment"># Stop your milvus server</span>
default_server.stop()
<button class="copy-code-btn"></button></code></pre>
<ul>
<li>Para suspender o detener Milvus Lite, utilice la sentencia <code translate="no">with</code>.</li>
</ul>
<pre><code translate="no"><span class="hljs-keyword">from</span> milvus <span class="hljs-keyword">import</span> default_server

<span class="hljs-keyword">with</span> default_server:
  <span class="hljs-comment"># Milvus Lite has already started, use default_server here.</span>
  connections.connect(host=<span class="hljs-string">&#x27;127.0.0.1&#x27;</span>, port=default_server.listen_port)
<button class="copy-code-btn"></button></code></pre>
<ul>
<li>Para iniciar Milvus Lite como un servidor autónomo basado en CLI, ejecute el siguiente comando:</li>
</ul>
<pre><code translate="no">milvus-server
<button class="copy-code-btn"></button></code></pre>
<p>Después de iniciar Milvus Lite, puede utilizar PyMilvus u otras herramientas que prefiera para conectarse al servidor autónomo.</p>
<h3 id="Start-Milvus-Lite-in-a-debug-mode" class="common-anchor-header">Iniciar Milvus Lite en modo de depuración</h3><ul>
<li>Para ejecutar Milvus Lite en un modo de depuración como un Módulo Python, ejecute los siguientes comandos:</li>
</ul>
<pre><code translate="no"><span class="hljs-keyword">from</span> milvus <span class="hljs-keyword">import</span> debug_server, MilvusServer

debug_server.run()

<span class="hljs-comment"># Or you can create a MilvusServer by yourself</span>
<span class="hljs-comment"># server = MilvusServer(debug=True)</span>
<button class="copy-code-btn"></button></code></pre>
<ul>
<li>Para ejecutar el servidor independiente en modo de depuración, ejecute el siguiente comando:</li>
</ul>
<pre><code translate="no">milvus-server --debug
<button class="copy-code-btn"></button></code></pre>
<h3 id="Persist-data-and-logs" class="common-anchor-header">Persistir datos y registros</h3><ul>
<li>Para crear un directorio local para Milvus Lite que contendrá todos los datos y registros relevantes, ejecute los siguientes comandos:</li>
</ul>
<pre><code translate="no"><span class="hljs-keyword">from</span> milvus <span class="hljs-keyword">import</span> default_server

<span class="hljs-keyword">with</span> <span class="hljs-attr">default_server</span>:
  default_server.<span class="hljs-title function_">set_base_dir</span>(<span class="hljs-string">&#x27;milvus_data&#x27;</span>)
<button class="copy-code-btn"></button></code></pre>
<ul>
<li>Para persistir todos los datos y registros generados por el servidor autónomo en su unidad local, ejecute el siguiente comando:</li>
</ul>
<pre><code translate="no">$ milvus-server --data milvus_data
<button class="copy-code-btn"></button></code></pre>
<h3 id="Configure-Milvus-Lite" class="common-anchor-header">Configurar Milvus Lite</h3><p>Configurar Milvus Lite es similar a configurar instancias de Milvus utilizando las API de Python o la CLI.</p>
<ul>
<li>Para configurar Milvus Lite utilizando las API de Python, utilice la API <code translate="no">config.set</code> de una instancia <code translate="no">MilvusServer</code> tanto para la configuración básica como para la adicional:</li>
</ul>
<pre><code translate="no"><span class="hljs-keyword">from</span> milvus <span class="hljs-keyword">import</span> default_server

<span class="hljs-keyword">with</span> default_server:
  default_server.config.<span class="hljs-built_in">set</span>(<span class="hljs-string">&#x27;system_Log_level&#x27;</span>, <span class="hljs-string">&#x27;info&#x27;</span>)
  default_server.config.<span class="hljs-built_in">set</span>(<span class="hljs-string">&#x27;proxy_port&#x27;</span>, <span class="hljs-number">19531</span>)
  default_server.config.<span class="hljs-built_in">set</span>(<span class="hljs-string">&#x27;dataCoord.segment.maxSize&#x27;</span>, <span class="hljs-number">1024</span>)
<button class="copy-code-btn"></button></code></pre>
<ul>
<li>Para configurar Milvus Lite utilizando CLI, ejecute el siguiente comando para las configuraciones básicas:</li>
</ul>
<pre><code translate="no">$ milvus-server --system-log-level info
$ milvus-server --proxy-port 19531
<button class="copy-code-btn"></button></code></pre>
<ul>
<li>O, ejecute lo siguiente para configuraciones extra.</li>
</ul>
<pre><code translate="no">$ milvus-server --extra-config dataCoord.segment.maxSize=1024
<button class="copy-code-btn"></button></code></pre>
<p>Todos los elementos configurables se encuentran en la plantilla <code translate="no">config.yaml</code> enviada con el paquete Milvus.</p>
<p>Para más detalles técnicos sobre cómo instalar y configurar Milvus Lite, consulte nuestra <a href="https://milvus.io/docs/milvus_lite.md#Prerequisites">documentación</a>.</p>
<h2 id="Summary" class="common-anchor-header">Resumen<button data-href="#Summary" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus Lite es una excelente opción para aquellos que buscan las capacidades de Milvus en un formato compacto. Si usted es un investigador, desarrollador o científico de datos, vale la pena explorar esta opción.</p>
<p>Milvus Lite es también una hermosa adición a la comunidad de código abierto, mostrando el extraordinario trabajo de sus colaboradores. Gracias a los esfuerzos de Bin Ji, Milvus está ahora disponible para más usuarios. Estamos impacientes por ver las ideas innovadoras que Bin Ji y otros miembros de la comunidad Milvus aportarán en el futuro.</p>
<h2 id="Let’s-keep-in-touch" class="common-anchor-header">¡Sigamos en contacto!<button data-href="#Let’s-keep-in-touch" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Si tiene problemas para instalar o utilizar Milvus Lite, puede <a href="https://github.com/milvus-io/milvus-lite/issues/new">presentar una incidencia aquí</a> o ponerse en contacto con nosotros a través de <a href="https://twitter.com/milvusio">Twitter</a> o <a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn</a>. También puede unirse a nuestro <a href="https://milvus.io/slack/">canal de Slack</a> para charlar con nuestros ingenieros y con toda la comunidad, o consultar <a href="https://us02web.zoom.us/meeting/register/tZ0pcO6vrzsuEtVAuGTpNdb6lGnsPBzGfQ1T#/registration">nuestro horario de oficina de los martes</a>.</p>


Presentamos Milvus Lite: la versión ligera de Milvus

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/What_s_New_in_2_2_8_f4dd6de0f2.png" alt="Milvus 2.2.8" class="doc-image" id="milvus-2.2.8" />
   </span> <span class="img-wrapper"> <span>Milvus 2.2.8</span> </span></p>
<p>Nos complace anunciar nuestra última versión de Milvus 2.2.8. Esta versión incluye numerosas mejoras y correcciones de errores de versiones anteriores, lo que resulta en un mejor rendimiento de consulta, ahorro de recursos y mayor rendimiento. Veamos juntos las novedades de esta versión.</p>
<h2 id="Reduced-peak-memory-consumption-during-collection-loading" class="common-anchor-header">Reducción del consumo máximo de memoria durante la carga de colecciones<button data-href="#Reduced-peak-memory-consumption-during-collection-loading" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Para realizar consultas, Milvus necesita cargar datos e índices en la memoria. Sin embargo, durante el proceso de carga, las múltiples copias de memoria pueden hacer que el pico de uso de memoria aumente hasta tres o cuatro veces más que durante el tiempo de ejecución real. La última versión de Milvus 2.2.8 aborda eficazmente este problema y optimiza el uso de la memoria.</p>
<h2 id="Expanded-querying-scenarios-with-QueryNode-supporting-plugins" class="common-anchor-header">Escenarios de consulta ampliados con QueryNode compatible con plugins<button data-href="#Expanded-querying-scenarios-with-QueryNode-supporting-plugins" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>QueryNode soporta ahora plugins en la última versión de Milvus 2.2.8. Puede especificar fácilmente la ruta del archivo del plugin con la configuración de <code translate="no">queryNode.soPath</code>. Entonces, Milvus puede cargar el plugin en tiempo de ejecución y ampliar los escenarios de consulta disponibles. Consulte la <a href="https://pkg.go.dev/plugin">documentación del complemento Go</a>, si necesita orientación sobre el desarrollo de complementos.</p>
<h2 id="Optimized-querying-performance-with-enhanced-compaction-algorithm" class="common-anchor-header">Rendimiento de consulta optimizado con un algoritmo de compactación mejorado<button data-href="#Optimized-querying-performance-with-enhanced-compaction-algorithm" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>El algoritmo de compactación determina la velocidad a la que pueden converger los segmentos, lo que afecta directamente al rendimiento de la consulta. Con las recientes mejoras del algoritmo de compactación, la eficacia de la convergencia ha mejorado drásticamente, lo que se traduce en consultas más rápidas.</p>
<h2 id="Better-resource-saving-and-querying-performance-with-reduced-collection-shards" class="common-anchor-header">Mejor ahorro de recursos y rendimiento de las consultas con fragmentos de colección reducidos<button data-href="#Better-resource-saving-and-querying-performance-with-reduced-collection-shards" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus es un sistema de procesamiento paralelo masivo (MPP), lo que significa que el número de fragmentos de colección afecta a la eficiencia de Milvus en la escritura y la consulta. En versiones anteriores, una colección tenía dos fragmentos por defecto, lo que resultaba en un excelente rendimiento de escritura pero comprometía el rendimiento de consulta y el coste de recursos. Con la nueva actualización de Milvus 2.2.8, los fragmentos de colección por defecto se han reducido a uno, lo que permite a los usuarios ahorrar más recursos y realizar mejores consultas. La mayoría de los usuarios de la comunidad tienen menos de 10 millones de volúmenes de datos, y un shard es suficiente para lograr un buen rendimiento de escritura.</p>
<p><strong>Nota</strong>: Esta actualización no afecta a las colecciones creadas antes de esta versión.</p>
<h2 id="20-throughput-increase-with-an-improved-query-grouping-algorithm" class="common-anchor-header">Aumento del rendimiento del 20% con un algoritmo de agrupación de consultas mejorado<button data-href="#20-throughput-increase-with-an-improved-query-grouping-algorithm" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus cuenta con un eficiente algoritmo de agrupación de consultas que combina múltiples peticiones de consulta en la cola en una sola para una ejecución más rápida, mejorando significativamente el rendimiento. En la última versión, hemos introducido mejoras adicionales en este algoritmo, aumentando el rendimiento de Milvus en al menos un 20%.</p>
<p>Además de las mejoras mencionadas, Milvus 2.2.8 también corrige varios errores. Para más detalles, consulte <a href="https://milvus.io/docs/release_notes.md">las Notas de la versión de Milvus</a>.</p>
<h2 id="Let’s-keep-in-touch" class="common-anchor-header">¡Sigamos en contacto!<button data-href="#Let’s-keep-in-touch" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Si tiene preguntas o comentarios sobre Milvus, no dude en ponerse en contacto con nosotros a través de <a href="https://twitter.com/milvusio">Twitter</a> o <a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn</a>. También le invitamos a unirse a nuestro <a href="https://milvus.io/slack/">canal de Slack</a> para charlar directamente con nuestros ingenieros y con toda la comunidad, o a consultar nuestro <a href="https://us02web.zoom.us/meeting/register/tZ0pcO6vrzsuEtVAuGTpNdb6lGnsPBzGfQ1T#/registration">horario de oficina de los martes</a>.</p>


Milvus 2.2.8: Mejor rendimiento de las consultas, un 20% más de rendimiento

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/exploring_milvus_latest_versions_4fa890533e.png" alt="Milvus at Its Best" class="doc-image" id="milvus-at-its-best" />
   </span> <span class="img-wrapper"> <span>Milvus en su mejor momento</span> </span></p>
<p>¡Bienvenidos de nuevo, seguidores de Milvus! Sabemos que ha pasado un tiempo desde la última vez que compartimos nuestras actualizaciones sobre esta vanguardista base de datos vectorial de código abierto. Pero no temas, porque estamos aquí para ponerte al día de todos los emocionantes desarrollos que han tenido lugar desde el pasado mes de agosto.</p>
<p>En esta entrada de blog, le llevaremos a través de las últimas versiones de Milvus, que abarcan desde la versión 2.2 hasta la versión 2.2.6. Tenemos mucho que cubrir, incluyendo nuevas características, mejoras, correcciones de errores y optimizaciones. Así que, ¡abróchense los cinturones y sumerjámonos!</p>
<h2 id="Milvus-v22-a-major-release-with-enhanced-stability-faster-search-speed-and-flexible-scalability" class="common-anchor-header">Milvus v2.2: una versión mayor con estabilidad mejorada, mayor velocidad de búsqueda y escalabilidad flexible<button data-href="#Milvus-v22-a-major-release-with-enhanced-stability-faster-search-speed-and-flexible-scalability" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus v2.2 es una versión importante que introduce siete características totalmente nuevas y numerosas mejoras con respecto a las versiones anteriores. Echemos un vistazo a algunos de los aspectos más destacados:</p>
<ul>
<li><strong>Inserción masiva de entidades desde archivos</strong>: Con esta función, puede cargar un lote de entidades en uno o varios archivos directamente a Milvus con sólo unas pocas líneas de código, ahorrándole tiempo y esfuerzo.</li>
<li><strong>Paginación de resultados de consultas</strong>: Para evitar la devolución masiva de resultados de búsqueda y consulta en una sola llamada a procedimiento remoto (RPC), Milvus v2.2 le permite configurar el desplazamiento y filtrar los resultados con palabras clave en las búsquedas y consultas.</li>
<li><strong>Control de acceso basado en roles (RBAC)</strong>: Milvus v2.2 es ahora compatible con RBAC, lo que le permite controlar el acceso a su instancia de Milvus mediante la gestión de usuarios, funciones y permisos.</li>
<li><strong>Cuotas y límites</strong>: Cuotas y límites es un nuevo mecanismo de Milvus v2.2 que protege el sistema de base de datos de errores de falta de memoria (OOM) y caídas durante aumentos repentinos de tráfico. Con esta función, puede controlar la ingestión, la búsqueda y el uso de memoria.</li>
<li><strong>Tiempo de vida (TTL) a nivel de colección</strong>: En versiones anteriores, Milvus sólo le permitía configurar TTL para sus clusters. Sin embargo, Milvus v2.2 ahora permite configurar el TTL a nivel de colección. Si configura TTL para una colección específica, las entidades de esa colección caducarán automáticamente cuando finalice el TTL. Esta configuración proporciona un control más preciso sobre la retención de datos.</li>
<li><strong>Índices de búsqueda del vecino más próximo (ANNS) basados en disco (Beta)</strong>: Milvus v2.2 introduce soporte para DiskANN, un algoritmo ANNS basado en gráficos Vamana y residente en SSD. Este soporte permite la búsqueda directa en conjuntos de datos a gran escala, lo que puede reducir significativamente el uso de memoria, hasta 10 veces.</li>
<li><strong>Copia de seguridad de datos (Beta)</strong>: Milvus v2.2 proporciona <a href="https://github.com/zilliztech/milvus-backup">una herramienta totalmente nueva</a> para realizar copias de seguridad y restaurar sus datos Milvus correctamente, ya sea a través de una línea de comandos o un servidor API.</li>
</ul>
<p>Además de las nuevas características mencionadas anteriormente, Milvus v2.2 incluye correcciones de cinco errores y múltiples mejoras para aumentar la estabilidad, la observabilidad y el rendimiento de Milvus. Para más detalles, consulte <a href="https://milvus.io/docs/release_notes.md#v220">las notas de la versión Milvus v2.2</a>.</p>
<h2 id="Milvus-v221--v222-minor-releases-with-issues-fixed" class="common-anchor-header">Milvus v2.2.1 y v2.2.2: versiones menores con problemas corregidos<button data-href="#Milvus-v221--v222-minor-releases-with-issues-fixed" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus v2.2.1 y v2.2.2 son versiones menores centradas en solucionar problemas críticos de versiones anteriores y en introducir nuevas funciones. He aquí algunas de las más destacadas:</p>
<h3 id="Milvus-v221" class="common-anchor-header">Milvus v2.2.1</h3><ul>
<li>Admite el inquilino y la autenticación Pulsa</li>
<li>Soporta seguridad de capa de transporte (TLS) en la fuente de configuración etcd</li>
<li>Mejora el rendimiento de la búsqueda en más de un 30%.</li>
<li>Optimiza el planificador y aumenta la probabilidad de fusión de tareas</li>
<li>Corrige varios errores, incluidos los fallos de filtrado de términos en campos escalares indexados y el pánico de IndexNode al fallar la creación de un índice.</li>
</ul>
<h3 id="Milvus-v222" class="common-anchor-header">Milvus v2.2.2</h3><ul>
<li>Se soluciona el problema de que el proxy no actualiza la caché de los líderes de fragmentos.</li>
<li>Se corrige el problema de que la información cargada no se limpia para las colecciones/particiones liberadas.</li>
<li>Corrige el problema de que el recuento de carga no se borra a tiempo</li>
</ul>
<p>Para más detalles, consulte las <a href="https://milvus.io/docs/release_notes.md#v222">Notas de la versión de Milvus</a> <a href="https://milvus.io/docs/release_notes.md#v221">v2.2.1</a> y <a href="https://milvus.io/docs/release_notes.md#v222">las Notas de la versión de Milvus v2.2.2</a>.</p>
<h2 id="Milvus-v223-more-secure-stable-and-available" class="common-anchor-header">Milvus v2.2.3: más seguro, estable y disponible<button data-href="#Milvus-v223-more-secure-stable-and-available" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus v2.2.3 es una versión que se centra en mejorar la seguridad, estabilidad y disponibilidad del sistema. Además, introduce dos características importantes:</p>
<ul>
<li><p><strong>Actualización continua</strong>: Esta función permite a Milvus responder a las solicitudes entrantes durante el proceso de actualización, lo que era imposible en versiones anteriores. Las actualizaciones continuas garantizan que el sistema siga estando disponible y respondiendo a las peticiones de los usuarios incluso durante las actualizaciones.</p></li>
<li><p><strong>Coordinador de alta disponibilidad (HA)</strong>: Esta función permite a los coordinadores de Milvus trabajar en modo activo-espera, reduciendo el riesgo de fallos puntuales. Incluso en catástrofes inesperadas, el tiempo de recuperación se reduce a un máximo de 30 segundos.</p></li>
</ul>
<p>Además de estas nuevas funciones, Milvus v2.2.3 incluye numerosas mejoras y correcciones de errores, incluido un mayor rendimiento de la inserción masiva, un menor uso de memoria, métricas de supervisión optimizadas y un mejor rendimiento del metaalmacenamiento. Para más detalles, consulte <a href="https://milvus.io/docs/release_notes.md#v223">las Notas de la versión de Milvus v2.2.3</a>.</p>
<h2 id="Milvus-v224-faster-more-reliable-and-resource-saving" class="common-anchor-header">Milvus v2.2.4: más rápido, más fiable y ahorra recursos<button data-href="#Milvus-v224-faster-more-reliable-and-resource-saving" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus v2.2.4 es una actualización menor de Milvus v2.2. Introduce cuatro nuevas funciones y varias mejoras, lo que se traduce en un rendimiento más rápido, una mayor fiabilidad y un menor consumo de recursos. Los aspectos más destacados de esta versión son</p>
<ul>
<li><strong>Agrupación de recursos</strong>: Milvus admite ahora la agrupación de QueryNodes en otros grupos de recursos, lo que permite el aislamiento completo del acceso a los recursos físicos en diferentes grupos.</li>
<li><strong>Cambio de nombre de colecciones</strong>: La API de cambio de nombre de colecciones permite a los usuarios cambiar el nombre de una colección, proporcionando más flexibilidad en la gestión de colecciones y mejorando la usabilidad.</li>
<li><strong>Compatibilidad con Google Cloud Storage</strong></li>
<li><strong>Nueva opción en las API de búsqueda y consulta</strong>: Esta nueva función permite a los usuarios omitir la búsqueda en todos los segmentos crecientes, ofreciendo un mejor rendimiento de búsqueda en escenarios donde la búsqueda se realiza simultáneamente con la inserción de datos.</li>
</ul>
<p>Para obtener más información, consulte <a href="https://milvus.io/docs/release_notes.md#v224">las Notas de la versión de Milvus v2.2.4</a>.</p>
<h2 id="Milvus-v225-NOT-RECOMMENDED" class="common-anchor-header">Milvus v2.2.5: NO RECOMENDADO<button data-href="#Milvus-v225-NOT-RECOMMENDED" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus v2.2.5 tiene varios problemas críticos y, por lo tanto, no recomendamos utilizar esta versión.  Pedimos sinceras disculpas por cualquier inconveniente causado por ellos. No obstante, estos problemas se han solucionado en Milvus v2.2.6.</p>
<h2 id="Milvus-v226-resolves-critical-issues-from-v225" class="common-anchor-header">Milvus v2.2.6: resuelve problemas críticos de v2.2.5<button data-href="#Milvus-v226-resolves-critical-issues-from-v225" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus v2.2.6 ha resuelto satisfactoriamente los problemas críticos descubiertos en v2.2.5, incluidos los problemas con el reciclaje de datos binlog sucios y el fallo de GC de DataCoord. Si actualmente utiliza la versión 2.2.5, actualícela para garantizar un rendimiento y una estabilidad óptimos.</p>
<p>Los problemas críticos solucionados incluyen:</p>
<ul>
<li>Fallo de DataCoord GC</li>
<li>Anulación de los parámetros de índice pasados</li>
<li>Retraso del sistema causado por la acumulación de mensajes de RootCoord.</li>
<li>Inexactitud de la métrica RootCoordInsertChannelTimeTick</li>
<li>Posible detención de timestamp</li>
<li>Autodestrucción ocasional del rol de coordinador durante el proceso de reinicio</li>
<li>Atraso de los puntos de control debido a una salida anormal de la recogida de basura</li>
</ul>
<p>Para más detalles, consulte <a href="https://milvus.io/docs/release_notes.md#v226">las notas de la versión Milvus v2.2.6</a>.</p>
<h2 id="Summary" class="common-anchor-header">Resumen<button data-href="#Summary" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>En conclusión, las últimas versiones de Milvus de v2.2 a v2.2.6 han proporcionado muchas actualizaciones y mejoras interesantes. Desde nuevas funciones hasta correcciones de errores y optimizaciones, Milvus sigue cumpliendo sus compromisos de proporcionar soluciones de vanguardia y potenciar las aplicaciones en diversos dominios. Permanezca atento a más actualizaciones e innovaciones interesantes de la comunidad Milvus.</p>


Milvus en su mejor momento: Explorando de v2.2 a v2.2.6

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Dynamically_Change_Log_Levels_in_the_Milvus_Vector_Database_58e31c66cc.png" alt="Cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>Imagen de portada</span> </span></p>
<blockquote>
<p>Este artículo ha sido escrito por <a href="https://github.com/jiaoew1991">Enwei Jiao</a> y traducido por <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni</a>.</p>
</blockquote>
<p>Para evitar que un exceso de registros afecte al rendimiento del disco y del sistema, Milvus genera por defecto registros en el nivel <code translate="no">info</code> mientras se ejecuta. Sin embargo, a veces los registros en el nivel <code translate="no">info</code> no son suficientes para ayudarnos a identificar eficientemente errores y problemas. Lo que es peor, en algunos casos, cambiar el nivel de registro y reiniciar el servicio puede hacer que no se reproduzcan los problemas, lo que dificulta aún más la resolución de problemas. En consecuencia, se necesita urgentemente el soporte para cambiar dinámicamente los niveles de registro en la base de datos vectorial de Milvus.</p>
<p>Este artículo pretende presentar el mecanismo que permite cambiar los niveles de registro de forma dinámica y proporcionar instrucciones sobre cómo hacerlo en la base de datos vectorial de Milvus.</p>
<p><strong>Ir a:</strong></p>
<ul>
<li><a href="#Mechanism">Mecanismo</a></li>
<li><a href="#How-to-dynamically-change-log-levels">Cómo cambiar dinámicamente los niveles de registro</a></li>
</ul>
<h2 id="Mechanism" class="common-anchor-header">Mecanismo<button data-href="#Mechanism" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>La base de datos vectorial Milvus adopta el registrador <a href="https://github.com/uber-go/zap">zap</a> de código abierto de Uber. Como uno de los componentes de registro más potentes en el ecosistema del lenguaje Go, zap incorpora un módulo <a href="https://github.com/uber-go/zap/blob/master/http_handler.go">http_handler.go</a> para que pueda ver el nivel de registro actual y cambiar dinámicamente el nivel de registro a través de una interfaz HTTP.</p>
<p>Milvus escucha el servicio HTTP proporcionado por el puerto <code translate="no">9091</code>. Por lo tanto, puede acceder al puerto <code translate="no">9091</code> para aprovechar funciones como la depuración del rendimiento, las métricas y las comprobaciones de estado. Del mismo modo, el puerto <code translate="no">9091</code> se reutiliza para permitir la modificación dinámica del nivel de registro y también se añade una ruta <code translate="no">/log/level</code> al puerto. Para más información, consulte la<a href="https://github.com/milvus-io/milvus/pull/18430"> interfaz de registro PR</a>.</p>
<h2 id="How-to-dynamically-change-log-levels" class="common-anchor-header">Cómo modificar dinámicamente los niveles de registro<button data-href="#How-to-dynamically-change-log-levels" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Esta sección proporciona instrucciones sobre cómo cambiar dinámicamente los niveles de registro sin necesidad de reiniciar el servicio Milvus en ejecución.</p>
<h3 id="Prerequisite" class="common-anchor-header">Requisitos previos</h3><p>Asegúrese de que puede acceder al puerto <code translate="no">9091</code> de los componentes Milvus.</p>
<h3 id="Change-the-log-level" class="common-anchor-header">Cambiar el nivel de registro</h3><p>Supongamos que la dirección IP del proxy Milvus es <code translate="no">192.168.48.12</code>.</p>
<p>Primero puede ejecutar <code translate="no">$ curl -X GET 192.168.48.12:9091/log/level</code> para comprobar el nivel de registro actual del proxy.</p>
<p>A continuación, puede realizar ajustes especificando el nivel de registro. Las opciones de nivel de registro incluyen:</p>
<ul>
<li><p><code translate="no">debug</code></p></li>
<li><p><code translate="no">info</code></p></li>
<li><p><code translate="no">warn</code></p></li>
<li><p><code translate="no">error</code></p></li>
<li><p><code translate="no">dpanic</code></p></li>
<li><p><code translate="no">panic</code></p></li>
<li><p><code translate="no">fatal</code></p></li>
</ul>
<p>El siguiente código de ejemplo cambia el nivel de registro del nivel de registro predeterminado de <code translate="no">info</code> a <code translate="no">error</code>.</p>
<pre><code translate="no" class="language-Python">$ curl -X PUT 192.168.48.12:9091/log/level -d level=error
<button class="copy-code-btn"></button></code></pre>


Cambiar dinámicamente los niveles de registro en la base de datos Milvus Vector

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1280_X1280_0e0d4bc107.png" alt="Cover_image" class="doc-image" id="cover_image" />
   </span> <span class="img-wrapper"> <span>Imagen_de_portada</span> </span></p>
<blockquote>
<p>Este artículo ha sido escrito por <a href="https://github.com/longjiquan">Jiquan Long</a> y transcreado por <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni</a>.</p>
</blockquote>
<p>En el <a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md">blog anterior</a> sobre consistencia, hemos explicado cuál es la connotación de la consistencia en una base de datos vectorial distribuida, hemos cubierto los cuatro niveles de consistencia - fuerte, estancamiento limitado, sesión y eventual - soportados en la base de datos vectorial Milvus, y hemos explicado el escenario de aplicación más adecuado para cada nivel de consistencia.</p>
<p>En este artículo, seguiremos examinando el mecanismo que permite a los usuarios de la base de datos vectorial Milvus elegir con flexibilidad el nivel de consistencia ideal para diversos escenarios de aplicación. También proporcionaremos un tutorial básico sobre cómo ajustar el nivel de consistencia en la base de datos vectorial Milvus.</p>
<p><strong>Ir a:</strong></p>
<ul>
<li><a href="#The-underlying-time-tick-mechanism">El mecanismo de marca de tiempo subyacente</a></li>
<li><a href="#Guarantee-timestamp">Marca de tiempo de garantía</a></li>
<li><a href="#Consistency-levels">Niveles de consistencia</a></li>
<li><a href="#How-to-tune-consistency-level-in-Milvus">¿Cómo ajustar el nivel de consistencia en Milvus?</a></li>
</ul>
<h2 id="The-underlying-time-tick-mechanism" class="common-anchor-header">El mecanismo de marca de tiempo subyacente<button data-href="#The-underlying-time-tick-mechanism" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus utiliza el mecanismo de marca de tiempo para garantizar diferentes niveles de consistencia cuando se realiza una búsqueda o consulta vectorial. Time Tick es la marca de agua de Milvus que actúa como un reloj en Milvus y significa en qué punto del tiempo se encuentra el sistema Milvus. Cada vez que se envía una solicitud de lenguaje de manipulación de datos (DML) a la base de datos vectorial Milvus, asigna una marca de tiempo a la solicitud. Como se muestra en la siguiente figura, cuando se insertan nuevos datos en la cola de mensajes, por ejemplo, Milvus no sólo marca una marca de tiempo en estos datos insertados, sino que también inserta marcas de tiempo a intervalos regulares.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/timetick_b395df9804.png" alt="timetick" class="doc-image" id="timetick" />
   </span> <span class="img-wrapper"> <span>marca de tiempo</span> </span></p>
<p>Tomemos como ejemplo <code translate="no">syncTs1</code> en la figura anterior. Cuando los consumidores posteriores, como los nodos de consulta, ven <code translate="no">syncTs1</code>, los componentes consumidores entienden que todos los datos insertados antes de <code translate="no">syncTs1</code> se han consumido. En otras palabras, las solicitudes de inserción de datos cuyos valores de marca de tiempo sean inferiores a <code translate="no">syncTs1</code> dejarán de aparecer en la cola de mensajes.</p>
<h2 id="Guarantee-Timestamp" class="common-anchor-header">Marca de tiempo de garantía<button data-href="#Guarantee-Timestamp" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Como se ha mencionado en la sección anterior, los componentes consumidores posteriores, como los nodos de consulta, obtienen continuamente mensajes de solicitudes de inserción de datos y marcas de tiempo de la cola de mensajes. Cada vez que se consume un tick de tiempo, el nodo de consulta marcará este tick de tiempo consumido como tiempo útil - <code translate="no">ServiceTime</code> y todos los datos insertados antes de <code translate="no">ServiceTime</code> son visibles para el nodo de consulta.</p>
<p>Además de <code translate="no">ServiceTime</code>, Milvus también adopta un tipo de marca de tiempo - marca de tiempo de garantía (<code translate="no">GuaranteeTS</code>) para satisfacer la necesidad de varios niveles de consistencia y disponibilidad por parte de diferentes usuarios. Esto significa que los usuarios de la base de datos vectorial Milvus pueden especificar <code translate="no">GuaranteeTs</code> para informar a los nodos de consulta de que todos los datos anteriores a <code translate="no">GuaranteeTs</code> deben ser visibles e intervenir cuando se realice una búsqueda o consulta.</p>
<p>Suele haber dos escenarios cuando el nodo de consulta ejecuta una petición de búsqueda en la base de datos vectorial Milvus.</p>
<h3 id="Scenario-1-Execute-search-request-immediately" class="common-anchor-header">Escenario 1: Ejecutar la petición de búsqueda inmediatamente</h3><p>Como se muestra en la siguiente figura, si <code translate="no">GuaranteeTs</code> es menor que <code translate="no">ServiceTime</code>, los nodos de consulta pueden ejecutar la petición de búsqueda inmediatamente.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/execute_immediately_dd1913775d.png" alt="execute_immediately" class="doc-image" id="execute_immediately" />
   </span> <span class="img-wrapper"> <span>ejecutar_inmediatamente</span> </span></p>
<h3 id="Scenario-2-Wait-till-ServiceTime--GuaranteeTs" class="common-anchor-header">Escenario 2: Esperar hasta que "ServiceTime &gt; GuaranteeTs"</h3><p>Si <code translate="no">GuaranteeTs</code> es mayor que <code translate="no">ServiceTime</code>, los nodos de consulta deben seguir consumiendo time tick de la cola de mensajes. Las peticiones de búsqueda no pueden ejecutarse hasta que <code translate="no">ServiceTime</code> sea mayor que <code translate="no">GuaranteeTs</code>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/wait_search_f09a2f6cf9.png" alt="wait_search" class="doc-image" id="wait_search" />
   </span> <span class="img-wrapper"> <span>wait_search</span> </span></p>
<h2 id="Consistency-Levels" class="common-anchor-header">Niveles de coherencia<button data-href="#Consistency-Levels" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Por lo tanto, el <code translate="no">GuaranteeTs</code> es configurable en la petición de búsqueda para alcanzar el nivel de consistencia especificado por usted. Un <code translate="no">GuaranteeTs</code> con un valor grande asegura <a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md#Strong">una fuerte consistencia</a> a costa de una alta latencia de búsqueda. Y un <code translate="no">GuaranteeTs</code> con un valor pequeño reduce la latencia de búsqueda pero la visibilidad de los datos se ve comprometida.</p>
<p><code translate="no">GuaranteeTs</code> en Milvus es un formato de marca de tiempo híbrido. Y el usuario no tiene ni idea del <a href="https://github.com/milvus-io/milvus/blob/master/docs/design_docs/20211214-milvus_hybrid_ts.md">TSO</a> dentro de Milvus. Por lo tanto, especificar el valor de<code translate="no">GuaranteeTs</code> es una tarea demasiado complicada para los usuarios. Para ahorrar problemas a los usuarios y proporcionarles una experiencia óptima, Milvus sólo requiere que los usuarios elijan el nivel de consistencia específico, y la base de datos vectorial de Milvus gestionará automáticamente el valor de <code translate="no">GuaranteeTs</code> para los usuarios. Es decir, el usuario de Milvus sólo tiene que elegir entre los cuatro niveles de consistencia: <code translate="no">Strong</code>, <code translate="no">Bounded</code>, <code translate="no">Session</code>, y <code translate="no">Eventually</code>. Y cada uno de los niveles de consistencia corresponde a un determinado valor <code translate="no">GuaranteeTs</code>.</p>
<p>La siguiente figura ilustra el <code translate="no">GuaranteeTs</code> para cada uno de los cuatro niveles de consistencia en la base de datos vectorial Milvus.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/guarantee_ts_f4b3e119d3.png" alt="guarantee_ts" class="doc-image" id="guarantee_ts" />
   </span> <span class="img-wrapper"> <span>garantía_ts</span> </span></p>
<p>La base de datos vectorial Milvus admite cuatro niveles de consistencia:</p>
<ul>
<li><p><code translate="no">CONSISTENCY_STRONG</code>: <code translate="no">GuaranteeTs</code> se establece en el mismo valor que la última marca de tiempo del sistema, y los nodos de consulta esperan hasta que el tiempo de servicio proceda a la última marca de tiempo del sistema para procesar la solicitud de búsqueda o consulta.</p></li>
<li><p><code translate="no">CONSISTENCY_EVENTUALLY</code>Para omitir la comprobación de coherencia: <code translate="no">GuaranteeTs</code> se establece en un valor insignificantemente inferior a la última marca de tiempo del sistema para omitir la comprobación de coherencia. Los nodos de consulta buscan inmediatamente en la vista de datos existente.</p></li>
<li><p><code translate="no">CONSISTENCY_BOUNDED</code> <code translate="no">GuaranteeTs</code> se establece en un valor relativamente menor que la última marca de tiempo del sistema, y los nodos de consulta buscan en una vista de datos tolerablemente menos actualizada.</p></li>
<li><p><code translate="no">CONSISTENCY_SESSION</code>: El cliente utiliza la marca de tiempo de la última operación de escritura como <code translate="no">GuaranteeTs</code> para que cada cliente pueda al menos recuperar los datos insertados por sí mismo.</p></li>
</ul>
<h2 id="How-to-tune-consistency-level-in-Milvus" class="common-anchor-header">¿Cómo ajustar el nivel de consistencia en Milvus?<button data-href="#How-to-tune-consistency-level-in-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus permite ajustar el nivel de consistencia cuando se <a href="https://milvus.io/docs/v2.1.x/create_collection.md">crea una colección</a> o se realiza una <a href="https://milvus.io/docs/v2.1.x/search.md">búsqueda</a> o <a href="https://milvus.io/docs/v2.1.x/query.md">consulta</a>.</p>
<h3 id="Conduct-a-vector-similarity-search" class="common-anchor-header">Realizar una búsqueda de similitud vectorial</h3><p>Para realizar una búsqueda de similitud vectorial con el nivel de consistencia que desee, simplemente establezca el valor para el parámetro <code translate="no">consistency_level</code> como <code translate="no">Strong</code>, <code translate="no">Bounded</code>, <code translate="no">Session</code>, o <code translate="no">Eventually</code>. Si no establece el valor para el parámetro <code translate="no">consistency_level</code>, el nivel de consistencia será <code translate="no">Bounded</code> por defecto. El ejemplo realiza una búsqueda de similitud vectorial con la consistencia <code translate="no">Strong</code>.</p>
<pre><code translate="no">results = collection.search(
        data=[[0.1, 0.2]], 
        anns_field=<span class="hljs-string">&quot;book_intro&quot;</span>, 
        param=search_params, 
        <span class="hljs-built_in">limit</span>=10, 
        <span class="hljs-built_in">expr</span>=None,
        consistency_level=<span class="hljs-string">&quot;Strong&quot;</span>
)
<button class="copy-code-btn"></button></code></pre>
<h3 id="Conduct-a-vector-query" class="common-anchor-header">Realizar una consulta vectorial</h3><p>De forma similar a la realización de una búsqueda de similitud vectorial, puede especificar el valor para el parámetro <code translate="no">consistency_level</code> al realizar una consulta vectorial. En el ejemplo se realiza una consulta vectorial con la coherencia <code translate="no">Strong</code>.</p>
<pre><code translate="no">res = collection.query(
  <span class="hljs-built_in">expr</span> = <span class="hljs-string">&quot;book_id in [2,4,6,8]&quot;</span>, 
  output_fields = [<span class="hljs-string">&quot;book_id&quot;</span>, <span class="hljs-string">&quot;book_intro&quot;</span>],
  consistency_level=<span class="hljs-string">&quot;Strong&quot;</span>
)
<button class="copy-code-btn"></button></code></pre>
<h2 id="Whats-next" class="common-anchor-header">Próximos pasos<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Con el lanzamiento oficial de Milvus 2.1, hemos preparado una serie de blogs presentando las nuevas características. Lea más en esta serie de blogs:</p>
<ul>
<li><a href="https://milvus.io/blog/2022-08-08-How-to-use-string-data-to-empower-your-similarity-search-applications.md">Cómo utilizar datos de cadenas para potenciar sus aplicaciones de búsqueda por similitud</a></li>
<li><a href="https://milvus.io/blog/embedded-milvus.md">Uso de Milvus integrado para instalar y ejecutar Milvus con Python de forma instantánea</a></li>
<li><a href="https://milvus.io/blog/in-memory-replicas.md">Aumente el rendimiento de lectura de su base de datos vectorial con réplicas en memoria</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md">Comprender el nivel de consistencia en la base de datos vectorial Milvus</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database-2.md">Comprender el nivel de consistencia en la base de datos vectorial de Milvus (Parte II)</a></li>
<li><a href="https://milvus.io/blog/data-security.md">¿Cómo Garantiza la Seguridad de los Datos la Base de Datos Vectorial de Milvus?</a></li>
</ul>


Comprender el nivel de coherencia en la base de datos Milvus Vector - Parte II

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Security_192e35a790.png" alt="Cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>Imagen de portada</span> </span></p>
<p>En plena consideración de la seguridad de sus datos, la autenticación de usuario y la conexión de seguridad de la capa de transporte (TLS) están ahora oficialmente disponibles en Milvus 2.1. Sin autenticación de usuario, cualquiera puede acceder a todos los datos de su base de datos vectorial con SDK. Sin embargo, a partir de Milvus 2.1, sólo aquellos que dispongan de un nombre de usuario y una contraseña válidos podrán acceder a la base de datos vectorial de Milvus. Además, en Milvus 2.1 la seguridad de los datos se protege aún más mediante TLS, que garantiza la seguridad de las comunicaciones en una red informática.</p>
<p>Este artículo pretende analizar cómo la base de datos de vectores Milvus garantiza la seguridad de los datos con la autenticación de usuario y la conexión TLS y explicar cómo puede utilizar estas dos características como usuario que desea garantizar la seguridad de los datos cuando utiliza la base de datos de vectores.</p>
<p><strong>Ir a:</strong></p>
<ul>
<li><a href="#What-is-database-security-and-why-is-it-important">¿Qué es la seguridad de la base de datos y por qué es importante?</a></li>
<li><a href="#How-does-the-Milvus-vector-database-ensure-data-security">¿Cómo garantiza la base de datos vectorial de Milvus la seguridad de los datos?</a><ul>
<li><a href="#User-authentication">Autenticación del usuario</a></li>
<li><a href="#TLS-connection">Conexión TLS</a></li>
</ul></li>
</ul>
<h2 id="What-is-database-security-and-why-is-it-important" class="common-anchor-header">¿Qué es la seguridad de las bases de datos y por qué es importante?<button data-href="#What-is-database-security-and-why-is-it-important" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>La seguridad de las bases de datos se refiere a las medidas adoptadas para garantizar que todos los datos de la base de datos estén seguros y se mantengan confidenciales. Los recientes casos de filtración y filtración de datos en <a href="https://firewalltimes.com/recent-data-breaches/">Twitter, Marriott, el Departamento de Seguros de Texas, etc.</a> nos hacen estar aún más atentos a la cuestión de la seguridad de los datos. Todos estos casos nos recuerdan constantemente que las empresas y los negocios pueden sufrir graves pérdidas si los datos no están bien protegidos y las bases de datos que utilizan son seguras.</p>
<h2 id="How-does-the-Milvus-vector-database-ensure-data-security" class="common-anchor-header">¿Cómo garantiza la base de datos vectorial Milvus la seguridad de los datos?<button data-href="#How-does-the-Milvus-vector-database-ensure-data-security" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>En la versión actual 2.1, la base de datos vectorial Milvus intenta garantizar la seguridad de la base de datos mediante la autenticación y la encriptación. Más concretamente, a nivel de acceso, Milvus admite la autenticación básica de usuarios para controlar quién puede acceder a la base de datos. Mientras tanto, en el nivel de la base de datos, Milvus adopta el protocolo de encriptación de seguridad de la capa de transporte (TLS) para proteger la comunicación de datos.</p>
<h3 id="User-authentication" class="common-anchor-header">Autenticación de usuarios</h3><p>La función de autenticación de usuario básica de Milvus permite acceder a la base de datos de vectores utilizando un nombre de usuario y una contraseña para garantizar la seguridad de los datos. Esto significa que los clientes sólo pueden acceder a la instancia de Milvus si proporcionan un nombre de usuario y una contraseña autenticados.</p>
<h4 id="The-authentication-workflow-in-the-Milvus-vector-database" class="common-anchor-header">El flujo de trabajo de autenticación en la base de datos vectorial Milvus</h4><p>Todas las peticiones gRPC son gestionadas por el proxy de Milvus, por lo que la autenticación es completada por el proxy. El flujo de trabajo de inicio de sesión con las credenciales para conectarse a la instancia Milvus es el siguiente.</p>
<ol>
<li>Crear credenciales para cada instancia Milvus y las contraseñas encriptadas se almacenan en etcd. Milvus utiliza <a href="https://golang.org/x/crypto/bcrypt">bcrypt</a> para el cifrado, ya que implementa el <a href="http://www.usenix.org/event/usenix99/provos/provos.pdf">algoritmo de hashing adaptativo</a> de Provos y Mazières.</li>
<li>En el lado del cliente, SDK envía el texto cifrado cuando se conecta al servicio Milvus. El texto cifrado en base64 (<username>:<password>) se adjunta a los metadatos con la clave <code translate="no">authorization</code>.</li>
<li>El proxy de Milvus intercepta la solicitud y verifica las credenciales.</li>
<li>Las credenciales se almacenan en caché localmente en el proxy.</li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1280_X1280_021e90e3c8.jpeg" alt="authetication_workflow" class="doc-image" id="authetication_workflow" />
   </span> <span class="img-wrapper"> <span>flujo de trabajo de autenticación</span> </span></p>
<p>Cuando se actualizan las credenciales, el flujo de trabajo del sistema en Milvus es el siguiente</p>
<ol>
<li>El coordinador raíz se encarga de las credenciales cuando se llama a las API de inserción, consulta y eliminación.</li>
<li>Cuando se actualizan las credenciales porque se olvida la contraseña por ejemplo, la nueva contraseña se persiste en etcd. Entonces se invalidan todas las credenciales antiguas de la caché local del proxy.</li>
<li>El interceptor de autenticación busca primero los registros de la caché local. Si las credenciales de la caché no son correctas, se lanzará la llamada RPC para obtener el registro más actualizado del coord raíz. Y las credenciales en la caché local se actualizan en consecuencia.</li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/update_5af81a4173.jpeg" alt="credential_update_workflow" class="doc-image" id="credential_update_workflow" />
   </span> <span class="img-wrapper"> <span>credential_update_workflow (flujo de trabajo de actualización de credenciales)</span> </span></p>
<h4 id="How-to-manage-user-authentication-in-the-Milvus-vector-database" class="common-anchor-header">Cómo gestionar la autenticación de usuarios en la base de datos vectorial de Milvus</h4><p>Para habilitar la autenticación, primero debe establecer <code translate="no">common.security.authorizationEnabled</code> en <code translate="no">true</code> al configurar Milvus en el archivo <code translate="no">milvus.yaml</code>.</p>
<p>Una vez habilitada, se creará un usuario raíz para la instancia de Milvus. Este usuario raíz puede utilizar la contraseña inicial de <code translate="no">Milvus</code> para conectarse a la base de datos vectorial de Milvus.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> connections
connections.<span class="hljs-title function_">connect</span>(
    alias=<span class="hljs-string">&#x27;default&#x27;</span>,
    host=<span class="hljs-string">&#x27;localhost&#x27;</span>,
    port=<span class="hljs-string">&#x27;19530&#x27;</span>,
    user=<span class="hljs-string">&#x27;root_user&#x27;</span>,
    password=<span class="hljs-string">&#x27;Milvus&#x27;</span>,
)
<button class="copy-code-btn"></button></code></pre>
<p>Recomendamos encarecidamente cambiar la contraseña del usuario raíz al iniciar Milvus por primera vez.</p>
<p>A continuación, el usuario root puede crear más usuarios nuevos para el acceso autenticado ejecutando el siguiente comando para crear nuevos usuarios.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> utility
utility.<span class="hljs-title function_">create_credential</span>(<span class="hljs-string">&#x27;user&#x27;</span>, <span class="hljs-string">&#x27;password&#x27;</span>, <span class="hljs-keyword">using</span>=<span class="hljs-string">&#x27;default&#x27;</span>) 
<button class="copy-code-btn"></button></code></pre>
<p>Hay dos cosas que recordar al crear nuevos usuarios:</p>
<ol>
<li><p>En cuanto al nuevo nombre de usuario, no puede superar los 32 caracteres de longitud y debe empezar por una letra. Sólo se permiten guiones bajos, letras o números en el nombre de usuario. Por ejemplo, no se acepta un nombre de usuario "2abc".</p></li>
<li><p>En cuanto a la contraseña, su longitud debe ser de 6-256 caracteres.</p></li>
</ol>
<p>Una vez configurada la nueva credencial, el nuevo usuario puede conectarse a la instancia de Milvus con el nombre de usuario y la contraseña.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> connections
connections.<span class="hljs-title function_">connect</span>(
    alias=<span class="hljs-string">&#x27;default&#x27;</span>,
    host=<span class="hljs-string">&#x27;localhost&#x27;</span>,
    port=<span class="hljs-string">&#x27;19530&#x27;</span>,
    user=<span class="hljs-string">&#x27;user&#x27;</span>,
    password=<span class="hljs-string">&#x27;password&#x27;</span>,
)
<button class="copy-code-btn"></button></code></pre>
<p>Como en todos los procesos de autenticación, no debe preocuparse si olvida la contraseña. La contraseña de un usuario existente puede restablecerse con el siguiente comando.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> utility
utility.<span class="hljs-title function_">reset_password</span>(<span class="hljs-string">&#x27;user&#x27;</span>, <span class="hljs-string">&#x27;new_password&#x27;</span>, <span class="hljs-keyword">using</span>=<span class="hljs-string">&#x27;default&#x27;</span>)
<button class="copy-code-btn"></button></code></pre>
<p>Lea la <a href="https://milvus.io/docs/v2.1.x/authenticate.md">documentación de</a> Milvus para saber más sobre la autenticación de usuarios.</p>
<h3 id="TLS-connection" class="common-anchor-header">Conexión TLS</h3><p>La seguridad de la capa de transporte (TLS) es un tipo de protocolo de autenticación para proporcionar seguridad en las comunicaciones en una red informática. TLS utiliza certificados para proporcionar servicios de autenticación entre dos o más partes comunicantes.</p>
<h4 id="How-to-enable-TLS-in-the-Milvus-vector-database" class="common-anchor-header">Cómo habilitar TLS en la base de datos de vectores de Milvus</h4><p>Para habilitar TLS en Milvus, primero necesita ejecutar el siguiente comando para preparar dos archivos para generar el certificado: un archivo de configuración OpenSSL por defecto llamado <code translate="no">openssl.cnf</code> y un archivo llamado <code translate="no">gen.sh</code> utilizado para generar certificados relevantes.</p>
<pre><code translate="no"><span class="hljs-built_in">mkdir</span> cert &amp;&amp; <span class="hljs-built_in">cd</span> cert
<span class="hljs-built_in">touch</span> openssl.cnf gen.sh
<button class="copy-code-btn"></button></code></pre>
<p>A continuación, puede simplemente copiar y pegar la configuración que proporcionamos <a href="https://milvus.io/docs/v2.1.x/tls.md#Create-files">aquí</a> en los dos archivos. O también puedes hacer modificaciones basadas en nuestra configuración para adaptarla mejor a tu aplicación.</p>
<p>Cuando los dos archivos estén listos, puede ejecutar el archivo <code translate="no">gen.sh</code> para crear nueve archivos de certificado. Del mismo modo, también puedes modificar las configuraciones de los nueve archivos de certificado para adaptarlas a tus necesidades.</p>
<pre><code translate="no"><span class="hljs-built_in">chmod</span> +x gen.sh
./gen.sh
<button class="copy-code-btn"></button></code></pre>
<p>Hay un último paso antes de que pueda conectarse al servicio Milvus con TLS. Tiene que establecer <code translate="no">tlsEnabled</code> en <code translate="no">true</code> y configurar las rutas de archivos de <code translate="no">server.pem</code>, <code translate="no">server.key</code>, y <code translate="no">ca.pem</code> para el servidor en <code translate="no">config/milvus.yaml</code>. El siguiente código es un ejemplo.</p>
<pre><code translate="no">tls:
  serverPemPath: configs/cert/server.pem
  serverKeyPath: configs/cert/server.key
  caPemPath: configs/cert/ca.pem

common:
  security:
    tlsEnabled: <span class="hljs-literal">true</span>
<button class="copy-code-btn"></button></code></pre>
<p>Entonces ya está todo listo y puede conectarse al servicio Milvus con TLS siempre que especifique las rutas de archivo de <code translate="no">client.pem</code>, <code translate="no">client.key</code>, y <code translate="no">ca.pem</code> para el cliente cuando utilice el SDK de conexión de Milvus. El código siguiente es también un ejemplo.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> connections

_HOST = <span class="hljs-string">&#x27;127.0.0.1&#x27;</span>
_PORT = <span class="hljs-string">&#x27;19530&#x27;</span>

<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;\nCreate connection...&quot;</span>)
connections.connect(host=_HOST, port=_PORT, secure=<span class="hljs-literal">True</span>, client_pem_path=<span class="hljs-string">&quot;cert/client.pem&quot;</span>,
                        client_key_path=<span class="hljs-string">&quot;cert/client.key&quot;</span>,
                        ca_pem_path=<span class="hljs-string">&quot;cert/ca.pem&quot;</span>, server_name=<span class="hljs-string">&quot;localhost&quot;</span>)
<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;\nList connections:&quot;</span>)
<span class="hljs-built_in">print</span>(connections.list_connections())
<button class="copy-code-btn"></button></code></pre>
<h2 id="Whats-next" class="common-anchor-header">Próximos pasos<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Con el lanzamiento oficial de Milvus 2.1, hemos preparado una serie de blogs presentando las nuevas características. Lea más en esta serie de blogs:</p>
<ul>
<li><a href="https://milvus.io/blog/2022-08-08-How-to-use-string-data-to-empower-your-similarity-search-applications.md">Cómo utilizar datos de cadenas para potenciar sus aplicaciones de búsqueda por similitud</a></li>
<li><a href="https://milvus.io/blog/embedded-milvus.md">Uso de Milvus integrado para instalar y ejecutar Milvus con Python de forma instantánea</a></li>
<li><a href="https://milvus.io/blog/in-memory-replicas.md">Aumente el rendimiento de lectura de su base de datos vectorial con réplicas en memoria</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md">Comprender el nivel de consistencia en la base de datos vectorial Milvus</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database-2.md">Comprender el nivel de consistencia en la base de datos vectorial de Milvus (Parte II)</a></li>
<li><a href="https://milvus.io/blog/data-security.md">¿Cómo Garantiza la Seguridad de los Datos la Base de Datos Vectorial de Milvus?</a></li>
</ul>


¿Cómo garantiza la base de datos Milvus Vector la seguridad de los datos?

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1280_X1280_0e0d4bc107.png" alt="Cover_image" class="doc-image" id="cover_image" />
   </span> <span class="img-wrapper"> <span>Imagen_de_portada</span> </span></p>
<blockquote>
<p>Este artículo ha sido escrito por <a href="https://github.com/JackLCL">Chenglong Li</a> y transcrito por <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni</a>.</p>
</blockquote>
<p>¿Te has preguntado alguna vez por qué a veces los datos que has borrado de la base de datos vectorial de Mlivus siguen apareciendo en los resultados de búsqueda?</p>
<p>Una razón muy probable es que no haya configurado el nivel de consistencia adecuado para su aplicación. El nivel de consistencia en una base de datos vectorial distribuida es crítico, ya que determina en qué momento una escritura de datos concreta puede ser leída por el sistema.</p>
<p>Por lo tanto, este artículo pretende desmitificar el concepto de consistencia y profundizar en los niveles de consistencia soportados por la base de datos vectorial Milvus.</p>
<p><strong>Ir a:</strong></p>
<ul>
<li><a href="#What-is-consistency">Qué es la consistencia</a></li>
<li><a href="#Four-levels-of-consistency-in-the-Milvus-vector-database">Cuatro niveles de consistencia en la base de datos vectorial Milvus</a><ul>
<li><a href="#Strong">Fuerte</a></li>
<li><a href="#Bounded-staleness">Estancamiento limitado</a></li>
<li><a href="#Session">Sesión</a></li>
<li><a href="#Eventual">Eventual</a></li>
</ul></li>
</ul>
<h2 id="What-is-consistency" class="common-anchor-header">Qué es la consistencia<button data-href="#What-is-consistency" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Antes de empezar, es necesario aclarar la connotación de consistencia en este artículo, ya que la palabra "consistencia" es un término sobrecargado en la industria informática. La consistencia en una base de datos distribuida se refiere específicamente a la propiedad que asegura que cada nodo o réplica tiene la misma visión de los datos cuando escribe o lee datos en un momento dado. Por tanto, aquí hablamos de consistencia como en el <a href="https://en.wikipedia.org/wiki/CAP_theorem">teorema CAP</a>.</p>
<p>Para dar servicio a las grandes empresas en línea del mundo moderno, se suelen adoptar múltiples réplicas. Por ejemplo, el gigante del comercio electrónico Amazon replica los datos de sus pedidos o SKU en varios centros de datos, zonas o incluso países para garantizar una alta disponibilidad del sistema en caso de caída o fallo del mismo. Esto plantea un reto al sistema: la coherencia de los datos en las múltiples réplicas. Sin consistencia, es muy probable que el artículo eliminado de su cesta de Amazon reaparezca, lo que causaría una muy mala experiencia al usuario.</p>
<p>De ahí que necesitemos distintos niveles de coherencia de datos para distintas aplicaciones. Y por suerte, Milvus, una base de datos para IA, ofrece flexibilidad en el nivel de consistencia y puede establecer el nivel de consistencia que mejor se adapte a su aplicación.</p>
<h3 id="Consistency-in-the-Milvus-vector-database" class="common-anchor-header">Consistencia en la base de datos vectorial Milvus</h3><p>El concepto de nivel de consistencia se introdujo por primera vez con el lanzamiento de Milvus 2.0. La versión 1.0 de Milvus no era una base de datos vectorial distribuida, por lo que entonces no incluíamos niveles ajustables de consistencia. Milvus 1.0 vacía los datos cada segundo, lo que significa que los nuevos datos son visibles casi inmediatamente después de su inserción y Milvus lee la vista de datos más actualizada en el momento exacto en que llega una solicitud de búsqueda o consulta de similitud vectorial.</p>
<p>Sin embargo, Milvus fue refactorizado en su versión 2.0 y <a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">Milvus 2.0 es una base de datos vectorial distribuida</a> basada en un mecanismo pub-sub. El teorema <a href="https://en.wikipedia.org/wiki/PACELC_theorem">PACELC</a> señala que un sistema distribuido debe establecer un equilibrio entre consistencia, disponibilidad y latencia. Además, diferentes niveles de consistencia sirven para diferentes escenarios. Por lo tanto, el concepto de consistencia se introdujo en <a href="https://milvus.io/blog/2022-1-25-annoucing-general-availability-of-milvus-2-0.md">Milvus 2.0</a> y admite el ajuste de los niveles de consistencia.</p>
<h2 id="Four-levels-of-consistency-in-the-Milvus-vector-database" class="common-anchor-header">Cuatro niveles de consistencia en la base de datos vectorial Milvus<button data-href="#Four-levels-of-consistency-in-the-Milvus-vector-database" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus admite cuatro niveles de consistencia: fuerte, estancamiento limitado, sesión y eventual. Y un usuario de Milvus puede especificar el nivel de consistencia cuando <a href="https://milvus.io/docs/v2.1.x/create_collection.md">crea una colección</a> o realiza una <a href="https://milvus.io/docs/v2.1.x/search.md">búsqueda</a> o <a href="https://milvus.io/docs/v2.1.x/query.md">consulta</a> <a href="https://milvus.io/docs/v2.1.x/search.md">de similitud vectorial</a>. Esta sección continuará explicando en qué se diferencian estos cuatro niveles de consistencia y para qué escenario son los más adecuados.</p>
<h3 id="Strong" class="common-anchor-header">Fuerte</h3><p>Fuerte es el nivel de coherencia más alto y estricto. Garantiza que los usuarios puedan leer la última versión de los datos.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Consistency_Strong_5d791eb8b2.png" alt="Strong" class="doc-image" id="strong" />
   </span> <span class="img-wrapper"> <span>Fuerte</span> </span></p>
<p>Según el teorema PACELC, si el nivel de consistencia se establece en fuerte, la latencia aumentará. Por lo tanto, recomendamos elegir un nivel de consistencia fuerte durante las pruebas funcionales para garantizar la precisión de los resultados de las pruebas. Y la consistencia fuerte también es la más adecuada para aplicaciones que tienen una demanda estricta de consistencia de datos a costa de la velocidad de búsqueda. Un ejemplo puede ser un sistema financiero en línea que se ocupe del pago y la facturación de pedidos.</p>
<h3 id="Bounded-staleness" class="common-anchor-header">Estancamiento limitado</h3><p>El estancamiento limitado, como su nombre indica, permite la inconsistencia de los datos durante un cierto periodo de tiempo. Sin embargo, por lo general, los datos siempre son globalmente coherentes fuera de ese periodo de tiempo.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Consistency_Bounded_c034bc6e51.png" alt="Bounded_staleness" class="doc-image" id="bounded_staleness" />
   </span> <span class="img-wrapper"> <span>Estancamiento_limitado</span> </span></p>
<p>El estancamiento limitado es adecuado para escenarios que necesitan controlar la latencia de la búsqueda y pueden aceptar la invisibilidad esporádica de los datos. Por ejemplo, en sistemas de recomendación como los motores de recomendación de vídeo, la invisibilidad de datos de vez en cuando tiene un impacto realmente pequeño en la tasa de recuperación general, pero puede aumentar significativamente el rendimiento del sistema de recomendación. Un ejemplo puede ser una aplicación para seguir el estado de tus pedidos online.</p>
<h3 id="Session" class="common-anchor-header">Sesión</h3><p>La sesión garantiza que todas las escrituras de datos puedan percibirse inmediatamente en lecturas durante la misma sesión. En otras palabras, cuando se escriben datos a través de un cliente, los datos recién insertados se convierten instantáneamente en lecturas.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Consistency_Session_6dc4782212.png" alt="Session" class="doc-image" id="session" />
   </span> <span class="img-wrapper"> <span>Sesión</span> </span></p>
<p>Recomendamos elegir sesión como nivel de consistencia para aquellos escenarios en los que la demanda de consistencia de datos en la misma sesión es alta. Un ejemplo puede ser la eliminación de los datos de una entrada de libro del sistema de la biblioteca, y después de confirmar la eliminación y actualizar la página (una sesión diferente), el libro ya no debería ser visible en los resultados de búsqueda.</p>
<h3 id="Eventual" class="common-anchor-header">Eventual</h3><p>No hay un orden garantizado de lecturas y escrituras, y las réplicas convergen eventualmente al mismo estado dado que no se realizan más operaciones de escritura. Bajo consistencia eventual, las réplicas comienzan a trabajar en las peticiones de lectura con los últimos valores actualizados. La consistencia eventual es el nivel más débil de los cuatro.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Consistency_Eventual_7c66dd5b6f.png" alt="Eventual" class="doc-image" id="eventual" />
   </span> <span class="img-wrapper"> <span>Eventual</span> </span></p>
<p>Sin embargo, según el teorema PACELC, la latencia de búsqueda puede reducirse enormemente si se sacrifica la consistencia. Por lo tanto, la consistencia eventual es la más adecuada para situaciones en las que no hay una gran demanda de consistencia de datos, pero se requiere un rendimiento de búsqueda rapidísimo. Un ejemplo puede ser la recuperación de reseñas y valoraciones de productos de Amazon con consistencia eventual.</p>
<h2 id="Endnote" class="common-anchor-header">Nota final<button data-href="#Endnote" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Volviendo a la pregunta planteada al principio de este artículo, los datos borrados siguen apareciendo como resultados de búsqueda porque el usuario no ha elegido el nivel de consistencia adecuado. El valor por defecto para el nivel de consistencia es "bounded staleness" (<code translate="no">Bounded</code>) en la base de datos vectorial Milvus. Por lo tanto, la lectura de datos podría retrasarse y Milvus podría leer la vista de datos antes de que usted realizara operaciones de borrado durante una búsqueda o consulta de similitud. Sin embargo, este problema es sencillo de resolver. Todo lo que tiene que hacer es <a href="https://milvus.io/docs/v2.1.x/tune_consistency.md">ajustar el nivel de coherencia</a> al crear una colección o realizar una búsqueda o consulta de similitud vectorial. Muy sencillo.</p>
<p>En la próxima entrada, desvelaremos el mecanismo que hay detrás y explicaremos cómo la base de datos vectorial Milvus alcanza diferentes niveles de consistencia. Permanezca atento.</p>
<h2 id="Whats-next" class="common-anchor-header">Lo que viene a continuación<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Con el lanzamiento oficial de Milvus 2.1, hemos preparado una serie de blogs presentando las nuevas características. Lea más en esta serie de blogs:</p>
<ul>
<li><a href="https://milvus.io/blog/2022-08-08-How-to-use-string-data-to-empower-your-similarity-search-applications.md">Cómo utilizar datos de cadenas para potenciar sus aplicaciones de búsqueda por similitud</a></li>
<li><a href="https://milvus.io/blog/embedded-milvus.md">Uso de Milvus integrado para instalar y ejecutar Milvus con Python de forma instantánea</a></li>
<li><a href="https://milvus.io/blog/in-memory-replicas.md">Aumente el rendimiento de lectura de su base de datos vectorial con réplicas en memoria</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md">Comprender el nivel de consistencia en la base de datos vectorial Milvus</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database-2.md">Comprender el nivel de consistencia en la base de datos vectorial de Milvus (Parte II)</a></li>
<li><a href="https://milvus.io/blog/data-security.md">¿Cómo Garantiza la Seguridad de los Datos la Base de Datos Vectorial de Milvus?</a></li>
</ul>


Comprender el nivel de coherencia en la base de datos de vectores Milvus

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/in_memory_replica_af1fa21d61.png" alt="Cover_image" class="doc-image" id="cover_image" />
   </span> <span class="img-wrapper"> <span>Imagen_de_portada</span> </span></p>
<blockquote>
<p>Este artículo ha sido escrito por <a href="https://github.com/congqixia">Congqi Xia</a> y <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni</a>.</p>
</blockquote>
<p>Con su lanzamiento oficial, Milvus 2.1 viene con muchas características nuevas para proporcionar comodidad y una mejor experiencia de usuario. Aunque el concepto de réplica en memoria no es nada nuevo en el mundo de las bases de datos distribuidas, es una característica crítica que puede ayudarle a aumentar el rendimiento del sistema y mejorar la disponibilidad del sistema sin esfuerzo. Por lo tanto, este post se propone explicar qué es la réplica en memoria y por qué es importante, y luego presenta cómo habilitar esta nueva característica en Milvus, una base de datos vectorial para IA.</p>
<p><strong>Ir a:</strong></p>
<ul>
<li><p><a href="#Concepts-related-to-in-memory-replica">Conceptos relacionados con la réplica en memoria</a></p></li>
<li><p><a href="#What-is-in-memory-replica">¿Qué es la réplica en memoria?</a></p></li>
<li><p><a href="#Why-are-in-memory-replicas-important">¿Por qué son importantes las réplicas en memoria?</a></p></li>
<li><p><a href="#Enable-in-memory-replicas-in-the-Milvus-vector-database">Habilitar réplicas en memoria en la base de datos vectorial Milvus</a></p></li>
</ul>
<h2 id="Concepts-related-to-in-memory-replica" class="common-anchor-header">Conceptos relacionados con la réplica en memoria<button data-href="#Concepts-related-to-in-memory-replica" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Antes de saber qué es la réplica en memoria y por qué es importante, necesitamos entender primero algunos conceptos relevantes, incluyendo grupo de réplica, réplica de fragmento, réplica de flujo, réplica histórica y líder de fragmento. La siguiente imagen ilustra estos conceptos.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/diagram_1_525afc706a.jpg" alt="Replica_concepts" class="doc-image" id="replica_concepts" />
   </span> <span class="img-wrapper"> <span>Conceptos_de_réplica</span> </span></p>
<h3 id="Replica-group" class="common-anchor-header">Grupo de réplica</h3><p>Un grupo de réplica consiste en múltiples <a href="https://milvus.io/docs/v2.1.x/four_layers.md#Query-node">nodos de consulta</a> que son responsables de manejar datos históricos y réplicas.</p>
<h3 id="Shard-replica" class="common-anchor-header">Réplica de fragmentos</h3><p>Una réplica de fragmento consta de una réplica de flujo y una réplica histórica, ambas pertenecientes al mismo <a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md#Shard">fragmento</a> (es decir, canal DML). Varias réplicas de fragmentos forman un grupo de réplicas. El número exacto de réplicas de fragmentos de un grupo de réplicas viene determinado por el número de fragmentos de una colección específica.</p>
<h3 id="Streaming-replica" class="common-anchor-header">Réplica de flujo</h3><p>Una réplica de streaming contiene todos los <a href="https://milvus.io/docs/v2.1.x/glossary.md#Segment">segmentos crecientes</a> del mismo canal DML. Técnicamente hablando, una réplica de streaming debe ser servida por un único nodo de consulta en una réplica.</p>
<h3 id="Historical-replica" class="common-anchor-header">Réplica histórica</h3><p>Una réplica histórica contiene todos los segmentos sellados del mismo canal DML. Los segmentos sellados de una réplica histórica pueden distribuirse en varios nodos de consulta dentro del mismo grupo de réplica.</p>
<h3 id="Shard-leader" class="common-anchor-header">Líder de fragmentos</h3><p>Un líder de fragmento es el nodo de consulta que sirve la réplica de flujo en una réplica de fragmento.</p>
<h2 id="What-is-in-memory-replica" class="common-anchor-header">¿Qué es la réplica en memoria?<button data-href="#What-is-in-memory-replica" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Activar las réplicas en memoria le permite cargar los datos de una colección en varios nodos de consulta para que pueda aprovechar los recursos adicionales de CPU y memoria. Esta característica es muy útil si tiene un conjunto de datos relativamente pequeño pero desea aumentar el rendimiento de lectura y mejorar la utilización de los recursos de hardware.</p>
<p>Por ahora, la base de datos vectorial de Milvus mantiene una réplica para cada segmento en memoria. Sin embargo, con las réplicas en memoria, puede tener múltiples réplicas de un segmento en diferentes nodos de consulta. Esto significa que si un nodo de consulta está realizando una búsqueda en un segmento, una nueva solicitud de búsqueda entrante puede asignarse a otro nodo de consulta inactivo, ya que este nodo de consulta tiene una réplica de exactamente el mismo segmento.</p>
<p>Además, si disponemos de varias réplicas en memoria, podemos hacer frente mejor a la situación en la que un nodo de consulta se bloquea. Antes, teníamos que esperar a que se recargara el segmento para continuar y buscar en otro nodo de consulta. Sin embargo, con la replicación en memoria, la petición de búsqueda puede reenviarse a un nuevo nodo de consulta inmediatamente sin tener que volver a cargar los datos.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/replication_3_1_2c25513cb9.jpg" alt="Replication" class="doc-image" id="replication" />
   </span> <span class="img-wrapper"> <span>Replicación</span> </span></p>
<h2 id="Why-are-in-memory-replicas-important" class="common-anchor-header">¿Por qué son importantes las réplicas en memoria?<button data-href="#Why-are-in-memory-replicas-important" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Una de las ventajas más significativas de habilitar las réplicas en memoria es el aumento del QPS (consulta por segundo) y del rendimiento globales. Además, se pueden mantener múltiples réplicas de segmentos y el sistema es más resistente ante una conmutación por error.</p>
<h2 id="Enable-in-memory-replicas-in-the-Milvus-vector-database" class="common-anchor-header">Habilitar las réplicas en memoria en la base de datos vectorial Milvus<button data-href="#Enable-in-memory-replicas-in-the-Milvus-vector-database" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Habilitar la nueva función de réplicas en memoria no supone ningún esfuerzo en la base de datos vectorial Milvus. Todo lo que necesita hacer es simplemente especificar el número de réplicas que desea al cargar una colección (es decir, llamando a <code translate="no">collection.load()</code>).</p>
<p>En el siguiente tutorial de ejemplo, suponemos que ya ha <a href="https://milvus.io/docs/v2.1.x/create_collection.md">creado una colección</a> llamada "libro" y ha <a href="https://milvus.io/docs/v2.1.x/insert_data.md">insertado datos</a> en ella. Entonces puede ejecutar el siguiente comando para crear dos réplicas al <a href="https://milvus.io/docs/v2.1.x/load_collection.md">cargar</a> una colección de libros.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> Collection
collection = Collection(<span class="hljs-string">&quot;book&quot;</span>)      <span class="hljs-comment"># Get an existing collection.</span>
collection.load(replica_number=<span class="hljs-number">2</span>) <span class="hljs-comment"># load collection as 2 replicas</span>
<button class="copy-code-btn"></button></code></pre>
<p>Puede modificar de forma flexible el número de réplicas en el código de ejemplo anterior para que se adapte mejor al escenario de su aplicación. A continuación, puede realizar directamente una <a href="https://milvus.io/docs/v2.1.x/search.md">búsqueda</a> o <a href="https://milvus.io/docs/v2.1.x/query.md">consulta</a> de similitud vectorial en varias réplicas sin ejecutar ningún comando adicional. Sin embargo, debe tenerse en cuenta que el número máximo de réplicas permitido está limitado por la cantidad total de memoria utilizable para ejecutar los nodos de consulta. Si el número de réplicas especificado supera las limitaciones de memoria utilizable, se devolverá un error durante la carga de datos.</p>
<p>También puede comprobar la información de las réplicas en memoria que ha creado ejecutando <code translate="no">collection.get_replicas()</code>. Se devolverá la información de los grupos de réplica y los nodos de consulta y shards correspondientes. A continuación se muestra un ejemplo de la salida.</p>
<pre><code translate="no">Replica <span class="hljs-built_in">groups</span>:
- Group: &lt;group_id:435309823872729305&gt;, &lt;group_nodes:(21, 20)&gt;, &lt;shards:[Shard: &lt;channel_name:milvus-zong-rootcoord-dml_27_435367661874184193v0&gt;, &lt;shard_leader:21&gt;, &lt;shard_nodes:[21]&gt;, Shard: &lt;channel_name:milvus-zong-rootcoord-dml_28_435367661874184193v1&gt;, &lt;shard_leader:20&gt;, &lt;shard_nodes:[20, 21]&gt;]&gt;
- Group: &lt;group_id:435309823872729304&gt;, &lt;group_nodes:(25,)&gt;, &lt;shards:[Shard: &lt;channel_name:milvus-zong-rootcoord-dml_28_435367661874184193v1&gt;, &lt;shard_leader:25&gt;, &lt;shard_nodes:[25]&gt;, Shard: &lt;channel_name:milvus-zong-rootcoord-dml_27_435367661874184193v0&gt;, &lt;shard_leader:25&gt;, &lt;shard_nodes:[25]&gt;]&gt;
<button class="copy-code-btn"></button></code></pre>
<h2 id="Whats-next" class="common-anchor-header">Próximos pasos<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Con el lanzamiento oficial de Milvus 2.1, hemos preparado una serie de blogs presentando las nuevas características. Lea más en esta serie de blogs:</p>
<ul>
<li><a href="https://milvus.io/blog/2022-08-08-How-to-use-string-data-to-empower-your-similarity-search-applications.md">Cómo utilizar datos de cadenas para potenciar sus aplicaciones de búsqueda por similitud</a></li>
<li><a href="https://milvus.io/blog/embedded-milvus.md">Uso de Milvus integrado para instalar y ejecutar Milvus con Python de forma instantánea</a></li>
<li><a href="https://milvus.io/blog/in-memory-replicas.md">Aumente el rendimiento de lectura de su base de datos vectorial con réplicas en memoria</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md">Comprender el nivel de consistencia en la base de datos vectorial Milvus</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database-2.md">Comprender el nivel de consistencia en la base de datos vectorial de Milvus (Parte II)</a></li>
<li><a href="https://milvus.io/blog/data-security.md">¿Cómo Garantiza la Seguridad de los Datos la Base de Datos Vectorial de Milvus?</a></li>
</ul>


Aumente el rendimiento de lectura de su base de datos vectorial con réplicas en memoria

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Benchmark_Quick_Setup_58cc8eed5b.png" alt="Cover" class="doc-image" id="cover" />
   </span> <span class="img-wrapper"> <span>Portada</span> </span></p>
<p>Recientemente, hemos actualizado el <a href="https://milvus.io/docs/v2.1.x/benchmark.md">informe de referencia de Milvus 2.1</a>. Las pruebas con un conjunto de datos de 1 millón de vectores han demostrado que el QPS puede incrementarse drásticamente fusionando consultas de <a href="https://milvus.io/docs/v2.1.x/benchmark.md#Terminology">nq</a> pequeño.</p>
<p>A continuación le ofrecemos algunos scripts sencillos para que pueda reproducir fácilmente las pruebas.</p>
<h2 id="Procedures" class="common-anchor-header">Procedimientos<button data-href="#Procedures" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ol>
<li><p>Despliegue un Milvus independiente o en clúster. En este caso, la dirección IP del servidor Milvus es 10.100.31.105.</p></li>
<li><p>Despliegue un cliente. En este caso, utilizamos Ubuntu 18.04 y Python 3.8.13 para el despliegue. Ejecuta el siguiente código para instalar PyMilvus 2.1.1.</p></li>
</ol>
<pre><code translate="no">pip install pymilvus==2.1.1
<button class="copy-code-btn"></button></code></pre>
<ol start="3">
<li><p>Descarga y copia los siguientes archivos en el mismo directorio de trabajo que el cliente. En este caso, el directorio de trabajo es <code translate="no">/go_ben</code>.</p>
<ul>
<li><p><a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/collection_prepare.py"><code translate="no">collection_prepare.py</code></a></p></li>
<li><p><a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/go_benchmark.py"><code translate="no">go_benchmark.py</code></a></p></li>
<li><p><a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/benchmark"><code translate="no">benchmark</code></a> (para Ubuntu) o <a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/benchmark-mac"><code translate="no">benchmark-mac</code></a> (para macOS)</p></li>
</ul>
<p><strong>Nota:</strong></p>
<ul>
<li><p><code translate="no">benchmark</code> y <code translate="no">benchmark-mac</code> son archivos ejecutables desarrollados y compilados utilizando Go SDK 2.1.1. Sólo se utilizan para realizar una búsqueda concurrente.</p></li>
<li><p>Para los usuarios de Ubuntu, descargue <code translate="no">benchmark</code>; para los usuarios de macOS, descargue <code translate="no">benchmark-mac</code>.</p></li>
<li><p>Se requieren permisos de ejecutable para acceder a <code translate="no">benchmark</code> o <code translate="no">benchmark-mac</code>.</p></li>
<li><p>Los usuarios de Mac deben confiar en el archivo <code translate="no">benchmark-mac</code> configurando Seguridad y Privacidad en Preferencias del Sistema.</p></li>
<li><p>La configuración de la búsqueda concurrente puede encontrarse y modificarse en el código fuente de <code translate="no">go_benchmark.py</code>.</p></li>
</ul></li>
</ol>
<ol start="4">
<li>Cree una colección e inserte datos vectoriales.</li>
</ol>
<pre><code translate="no">root@milvus-pytest:/go_ben<span class="hljs-comment"># python collection_prepare.py 10.100.31.105 </span>
<button class="copy-code-btn"></button></code></pre>
<ol start="5">
<li>Abra <code translate="no">/tmp/collection_prepare.log</code> para comprobar el resultado en ejecución.</li>
</ol>
<pre><code translate="no">...
08/11/2022 17:33:34 PM - INFO - Build index costs 263.626
08/11/2022 17:33:54 PM - INFO - Collection prepared completed
<button class="copy-code-btn"></button></code></pre>
<ol start="6">
<li>Llame a <code translate="no">benchmark</code> (o <code translate="no">benchmark-mac</code> en macOS) para realizar una búsqueda concurrente.</li>
</ol>
<pre><code translate="no">root@milvus-pytest:/go_ben<span class="hljs-meta"># python go_benchmark.py 10.100.31.105 ./benchmark</span>
[<span class="hljs-meta">write_json_file</span>] <span class="hljs-function">Remove <span class="hljs-title">file</span>(<span class="hljs-params">search_vector_file.json</span>).
[write_json_file] Write json <span class="hljs-keyword">file</span>:search_vector_file.json done.
Params of go_benchmark: [&#x27;./benchmark&#x27;, &#x27;locust&#x27;, &#x27;-u&#x27;, &#x27;10.100.31.105:19530&#x27;, &#x27;-q&#x27;, &#x27;search_vector_file.json&#x27;, &#x27;-s&#x27;, &#x27;</span>{\n  <span class="hljs-string">&quot;collection_name&quot;</span>: <span class="hljs-string">&quot;random_1m&quot;</span>,\n  <span class="hljs-string">&quot;partition_names&quot;</span>: [],\n  <span class="hljs-string">&quot;fieldName&quot;</span>: <span class="hljs-string">&quot;embedding&quot;</span>,\n  <span class="hljs-string">&quot;index_type&quot;</span>: <span class="hljs-string">&quot;HNSW&quot;</span>,\n  <span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&quot;L2&quot;</span>,\n  <span class="hljs-string">&quot;params&quot;</span>: {\n    <span class="hljs-string">&quot;sp_value&quot;</span>: <span class="hljs-number">64</span>,\n    <span class="hljs-string">&quot;dim&quot;</span>: <span class="hljs-number">128</span>\n  },\n  <span class="hljs-string">&quot;limit&quot;</span>: <span class="hljs-number">1</span>,\n  <span class="hljs-string">&quot;expr&quot;</span>: <span class="hljs-literal">null</span>,\n  <span class="hljs-string">&quot;output_fields&quot;</span>: [],\n  <span class="hljs-string">&quot;timeout&quot;</span>: <span class="hljs-number">600</span>\n}<span class="hljs-string">&#x27;, &#x27;</span>-p<span class="hljs-string">&#x27;, &#x27;</span><span class="hljs-number">10&#x27;</span>, <span class="hljs-string">&#x27;-f&#x27;</span>, <span class="hljs-string">&#x27;json&#x27;</span>, <span class="hljs-string">&#x27;-t&#x27;</span>, <span class="hljs-string">&#x27;60&#x27;</span>, <span class="hljs-string">&#x27;-i&#x27;</span>, <span class="hljs-string">&#x27;20&#x27;</span>, <span class="hljs-string">&#x27;-l&#x27;</span>, <span class="hljs-string">&#x27;go_log_file.log&#x27;</span>]
[<span class="hljs-meta">2022-08-11 11:37:39.811</span>][    INFO] - Name      <span class="hljs-meta">#   reqs      # fails  |       Avg       Min       Max    Median  |     req/s  failures/s (benchmark_run.go:212:sample)</span>
[<span class="hljs-meta">2022-08-11 11:37:39.811</span>][    INFO] - go search     <span class="hljs-number">9665</span>     <span class="hljs-number">0</span>(<span class="hljs-number">0.00</span>%)  |    <span class="hljs-number">20.679</span>     <span class="hljs-number">6.499</span>    <span class="hljs-number">81.761</span>    <span class="hljs-number">12.810</span>  |    <span class="hljs-number">483.25</span>        <span class="hljs-number">0.00</span> (benchmark_run.go:<span class="hljs-number">213</span>:sample)
[<span class="hljs-meta">2022-08-11 11:37:59.811</span>][    INFO] - Name      <span class="hljs-meta">#   reqs      # fails  |       Avg       Min       Max    Median  |     req/s  failures/s (benchmark_run.go:212:sample)</span>
[<span class="hljs-meta">2022-08-11 11:37:59.811</span>][    INFO] - go search    <span class="hljs-number">19448</span>     <span class="hljs-number">0</span>(<span class="hljs-number">0.00</span>%)  |    <span class="hljs-number">20.443</span>     <span class="hljs-number">6.549</span>    <span class="hljs-number">78.121</span>    <span class="hljs-number">13.401</span>  |    <span class="hljs-number">489.22</span>        <span class="hljs-number">0.00</span> (benchmark_run.go:<span class="hljs-number">213</span>:sample)
[<span class="hljs-meta">2022-08-11 11:38:19.811</span>][    INFO] - Name      <span class="hljs-meta">#   reqs      # fails  |       Avg       Min       Max    Median  |     req/s  failures/s (benchmark_run.go:212:sample)</span>
[<span class="hljs-meta">2022-08-11 11:38:19.811</span>][    INFO] - go search    <span class="hljs-number">29170</span>     <span class="hljs-number">0</span>(<span class="hljs-number">0.00</span>%)  |    <span class="hljs-number">20.568</span>     <span class="hljs-number">6.398</span>    <span class="hljs-number">76.887</span>    <span class="hljs-number">12.828</span>  |    <span class="hljs-number">486.15</span>        <span class="hljs-number">0.00</span> (benchmark_run.go:<span class="hljs-number">213</span>:sample)
[<span class="hljs-meta">2022-08-11 11:38:19.811</span>][   DEBUG] - go search run finished, parallel: <span class="hljs-number">10</span>(benchmark_run.go:<span class="hljs-number">95</span>:benchmark)
[<span class="hljs-meta">2022-08-11 11:38:19.811</span>][    INFO] - Name      <span class="hljs-meta">#   reqs      # fails  |       Avg       Min       Max    Median  |     req/s  failures/s (benchmark_run.go:159:samplingLoop)</span>
[<span class="hljs-meta">2022-08-11 11:38:19.811</span>][    INFO] - go search    <span class="hljs-number">29180</span>     <span class="hljs-number">0</span>(<span class="hljs-number">0.00</span>%)  |    <span class="hljs-number">20.560</span>     <span class="hljs-number">6.398</span>    <span class="hljs-number">81.761</span>    <span class="hljs-number">13.014</span>  |    <span class="hljs-number">486.25</span>        <span class="hljs-number">0.00</span> (benchmark_run.go:<span class="hljs-number">160</span>:samplingLoop)
Result of go_benchmark: {<span class="hljs-string">&#x27;response&#x27;</span>: True, <span class="hljs-string">&#x27;err_code&#x27;</span>: <span class="hljs-number">0</span>, <span class="hljs-string">&#x27;err_message&#x27;</span>: <span class="hljs-string">&#x27;&#x27;</span>} 
<button class="copy-code-btn"></button></code></pre>
<ol start="7">
<li>Abra el archivo <code translate="no">go_log_file.log</code> en el directorio actual para comprobar el registro detallado de la búsqueda. La siguiente es la información de búsqueda que puede encontrar en el registro de búsqueda.<ul>
<li><p>reqs: número de peticiones de búsqueda desde el momento en que se produce la concurrencia hasta el momento actual (periodo de tiempo actual)</p></li>
<li><p>Fallos: número de peticiones fallidas como porcentaje de las peticiones en el periodo de tiempo actual.</p></li>
<li><p>Avg: tiempo medio de respuesta de las peticiones en el periodo de tiempo actual (unidad: milisegundos)</p></li>
<li><p>Mín: tiempo mínimo de respuesta de la solicitud en el intervalo de tiempo actual (unidad: milisegundos)</p></li>
<li><p>Max: tiempo máximo de respuesta de la solicitud en el intervalo de tiempo actual (unidad: milisegundos)</p></li>
<li><p>Mediana: tiempo medio de respuesta de la solicitud en el periodo de tiempo actual (unidad: milisegundos)</p></li>
<li><p>req/s: número de peticiones por segundo, es decir, QPS</p></li>
<li><p>failures/s: número medio de peticiones fallidas por segundo en el periodo de tiempo actual.</p></li>
</ul></li>
</ol>
<h2 id="Downloading-Scripts-and-Executable-Files" class="common-anchor-header">Descarga de scripts y archivos ejecutables<button data-href="#Downloading-Scripts-and-Executable-Files" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p><a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/collection_prepare.py">colección_prepare.py</a></p></li>
<li><p><a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/go_benchmark.py">go_benchmark.py</a></p></li>
<li><p><a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/benchmark">benchmark</a> para Ubuntu</p></li>
<li><p><a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/benchmark-mac">benchmark-mac</a> para macOS</p></li>
</ul>
<h2 id="Whats-next" class="common-anchor-header">Lo que viene a continuación<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Con el lanzamiento oficial de Milvus 2.1, hemos preparado una serie de blogs presentando las nuevas características. Lea más en esta serie de blogs:</p>
<ul>
<li><a href="https://milvus.io/blog/2022-08-08-How-to-use-string-data-to-empower-your-similarity-search-applications.md">Cómo utilizar datos de cadenas para potenciar sus aplicaciones de búsqueda por similitud</a></li>
<li><a href="https://milvus.io/blog/embedded-milvus.md">Uso de Milvus integrado para instalar y ejecutar Milvus con Python de forma instantánea</a></li>
<li><a href="https://milvus.io/blog/in-memory-replicas.md">Aumente el rendimiento de lectura de su base de datos vectorial con réplicas en memoria</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md">Comprender el nivel de consistencia en la base de datos vectorial Milvus</a></li>
<li><a href="https://milvus.io/blog/data-security.md">¿Cómo garantiza la base de datos vectorial de Milvus la seguridad de los datos?</a></li>
</ul>


Guía rápida para la evaluación comparativa de Milvus 2.1

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/embeddded_milvus_1_8132468cac.png" alt="Cover" class="doc-image" id="cover" />
   </span> <span class="img-wrapper"> <span>Portada</span> </span></p>
<blockquote>
<p>Este artículo ha sido escrito por <a href="https://github.com/soothing-rain/">Alex Gao</a> y <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni</a>.</p>
</blockquote>
<p>Milvus es una base de datos vectorial de código abierto para aplicaciones de IA. Ofrece una variedad de métodos de instalación, incluyendo la construcción desde el código fuente y la instalación de Milvus con Docker Compose/Helm/APT/YUM/Ansible. Los usuarios pueden elegir uno de los métodos de instalación en función de sus sistemas operativos y preferencias. Sin embargo, hay muchos científicos de datos e ingenieros de IA en la comunidad Milvus que trabajan con Python y anhelan un método de instalación mucho más simple que los disponibles actualmente.</p>
<p>Por lo tanto, lanzamos Milvus embebido, una versión de Python fácil de usar, junto con Milvus 2.1 para empoderar a más desarrolladores de Python en nuestra comunidad. Este artículo presenta qué es Milvus embebido y proporciona instrucciones sobre cómo instalarlo y utilizarlo.</p>
<p><strong>Ir a:</strong></p>
<ul>
<li><a href="#An-overview-of-embedded-Milvus">Una visión general de Milvus embebido</a><ul>
<li><a href="#When-to-use-embedded-Milvus">¿Cuándo utilizar Milvus incrustado?</a></li>
<li><a href="#A-comparison-of-different-modes-of-Milvus">Comparación de los distintos modos de Milvus</a></li>
</ul></li>
<li><a href="#How-to-install-embedded-Milvus">Cómo instalar Milvus integrado</a></li>
<li><a href="#Start-and-stop-embedded-Milvus">Iniciar y detener Milvus integrado</a></li>
</ul>
<h2 id="An-overview-of-embedded-Milvus" class="common-anchor-header">Visión general de Milvus integrado<button data-href="#An-overview-of-embedded-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus<a href="https://github.com/milvus-io/embd-milvus">incrustado</a> le permite instalar y utilizar rápidamente Milvus con Python. Puede crear rápidamente una instancia de Milvus y le permite iniciar y detener el servicio Milvus cuando lo desee. Todos los datos y registros se conservan incluso si detiene Milvus incrustado.</p>
<p>Milvus incrustado no tiene dependencias internas y no requiere preinstalar y ejecutar dependencias de terceros como etcd, MinIO, Pulsar, etc.</p>
<p>Todo lo que haga con Milvus embebido, y cada pieza de código que escriba para él se puede migrar con seguridad a otros modos de Milvus - independiente, clúster, versión en la nube, etc. Esto refleja una de las características más distintivas de Milvus embebido - <strong>"Escribir una vez, ejecutar en cualquier lugar".</strong></p>
<h3 id="When-to-use-embedded-Milvus" class="common-anchor-header">¿Cuándo utilizar Milvus embebido?</h3><p>Milvus embebido y <a href="https://milvus.io/docs/v2.1.x/install-pymilvus.md">PyMilvus</a> están construidos para diferentes propósitos. Puede considerar elegir Milvus embebido en los siguientes escenarios:</p>
<ul>
<li><p>Quiere usar Milvus sin instalar Milvus de ninguna de las formas que se proporcionan <a href="https://milvus.io/docs/v2.1.x/install_standalone-docker.md">aquí</a>.</p></li>
<li><p>Quiere utilizar Milvus sin mantener un proceso Milvus de larga duración en su máquina.</p></li>
<li><p>Quiere utilizar Milvus rápidamente sin iniciar un proceso Milvus separado y otros componentes necesarios como etcd, MinIO, Pulsar, etc.</p></li>
</ul>
<p>Se sugiere que <strong>NO</strong> utilice Milvus incrustado:</p>
<ul>
<li><p>En un entorno de producción.<em>(Para utilizar Milvus para producción, considere Milvus cluster o <a href="https://zilliz.com/cloud">Zilliz cloud</a>, un servicio Milvus totalmente gestionado</em>).</p></li>
<li><p>Si tiene una gran demanda de rendimiento.<em>(Comparativamente hablando, Milvus incrustado podría no proporcionar el mejor rendimiento</em>).</p></li>
</ul>
<h3 id="A-comparison-of-different-modes-of-Milvus" class="common-anchor-header">Comparación de los distintos modos de Milvus</h3><p>La siguiente tabla compara varios modos de Milvus: independiente, clúster, Milvus integrado y la Nube de Zilliz, un servicio Milvus totalmente gestionado.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/comparison_ebcd7c5b07.jpeg" alt="comparison" class="doc-image" id="comparison" />
   </span> <span class="img-wrapper"> <span>comparación</span> </span></p>
<h2 id="How-to-install-embedded-Milvus" class="common-anchor-header">¿Cómo instalar Milvus integrado?<button data-href="#How-to-install-embedded-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Antes de instalar Milvus embebido, debe asegurarse de que tiene instalado Python 3.6 o posterior. Embedded Milvus es compatible con los siguientes sistemas operativos:</p>
<ul>
<li><p>Ubuntu 18.04</p></li>
<li><p>Mac x86_64 &gt;= 10.4</p></li>
<li><p>Mac M1 &gt;= 11.0</p></li>
</ul>
<p>Si se cumplen los requisitos, puede ejecutar <code translate="no">$ python3 -m pip install milvus</code> para instalar Milvus embebido. También puede añadir la versión en el comando para instalar una versión específica de Milvus embebido. Por ejemplo, si desea instalar la versión 2.1.0, ejecute <code translate="no">$ python3 -m pip install milvus==2.1.0</code>. Y más tarde, cuando se publique una nueva versión de Milvus embebido, también puede ejecutar <code translate="no">$ python3 -m pip install --upgrade milvus</code> para actualizar Milvus embebido a la última versión.</p>
<p>Si usted es un antiguo usuario de Milvus que ya ha instalado PyMilvus anteriormente y desea instalar Milvus embebido, puede ejecutar <code translate="no">$ python3 -m pip install --no-deps milvus</code>.</p>
<p>Después de ejecutar el comando de instalación, necesita crear una carpeta de datos para Milvus embebido bajo <code translate="no">/var/bin/e-milvus</code> ejecutando el siguiente comando:</p>
<pre><code translate="no"><span class="hljs-built_in">sudo</span> <span class="hljs-built_in">mkdir</span> -p /var/bin/e-milvus
<span class="hljs-built_in">sudo</span> <span class="hljs-built_in">chmod</span> -R 777 /var/bin/e-milvus
<button class="copy-code-btn"></button></code></pre>
<h2 id="Start-and-stop-embedded-Milvus" class="common-anchor-header">Iniciar y detener Milvus incrustado<button data-href="#Start-and-stop-embedded-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Cuando la instalación se haya realizado correctamente, podrá iniciar el servicio.</p>
<p>Si es la primera vez que ejecuta Milvus incrustado, primero debe importar Milvus y configurar Milvus incrustado.</p>
<pre><code translate="no">$ python3
Python 3.9.10 (main, Jan 15 2022, 11:40:53)
[Clang 13.0.0 (clang-1300.0.29.3)] on darwin
Type <span class="hljs-string">&quot;help&quot;</span>, <span class="hljs-string">&quot;copyright&quot;</span>, <span class="hljs-string">&quot;credits&quot;</span> or <span class="hljs-string">&quot;license&quot;</span> <span class="hljs-keyword">for</span> more information.
&gt;&gt;&gt; import milvus
&gt;&gt;&gt; milvus.before()
please <span class="hljs-keyword">do</span> the following <span class="hljs-keyword">if</span> you have not already <span class="hljs-keyword">done</span> so:
1. install required dependencies: bash /var/bin/e-milvus/lib/install_deps.sh
2. <span class="hljs-built_in">export</span> LD_PRELOAD=/SOME_PATH/embd-milvus.so
3. <span class="hljs-built_in">export</span> LD_LIBRARY_PATH=<span class="hljs-variable">$LD_LIBRARY_PATH</span>:/usr/lib:/usr/local/lib:/var/bin/e-milvus/lib/
&gt;&gt;&gt;
<button class="copy-code-btn"></button></code></pre>
<p>Si ha iniciado con éxito Milvus incrustado antes y vuelve a reiniciarlo, puede ejecutar directamente <code translate="no">milvus.start()</code> después de importar Milvus.</p>
<pre><code translate="no">$ python3
Python <span class="hljs-number">3.9</span><span class="hljs-number">.10</span> (main, Jan <span class="hljs-number">15</span> <span class="hljs-number">2022</span>, <span class="hljs-number">11</span>:<span class="hljs-number">40</span>:<span class="hljs-number">53</span>)
[Clang <span class="hljs-number">13.0</span><span class="hljs-number">.0</span> (clang-<span class="hljs-number">1300.0</span><span class="hljs-number">.29</span><span class="hljs-number">.3</span>)] on darwinType <span class="hljs-string">&quot;help&quot;</span>, <span class="hljs-string">&quot;copyright&quot;</span>, <span class="hljs-string">&quot;credits&quot;</span> <span class="hljs-keyword">or</span> <span class="hljs-string">&quot;license&quot;</span> <span class="hljs-keyword">for</span> more information.
<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">import</span> milvus
<span class="hljs-meta">&gt;&gt;&gt; </span>milvus.start()
&gt;&gt;&gt;
<button class="copy-code-btn"></button></code></pre>
<p>Verá la siguiente salida si ha iniciado correctamente el servicio Milvus incrustado.</p>
<pre><code translate="no">---<span class="hljs-title class_">Milvus</span> <span class="hljs-title class_">Proxy</span> successfully initialized and ready to serve!---
<button class="copy-code-btn"></button></code></pre>
<p>Después de que se inicie el servicio, puede iniciar otra ventana de terminal y ejecutar el código de ejemplo de &quot;<a href="https://github.com/milvus-io/embd-milvus/blob/main/milvus/examples/hello_milvus.py">Hola Milvus</a>&quot; para jugar con Milvus embebido.</p>
<pre><code translate="no"><span class="hljs-comment"># Download hello_milvus script</span>
$ wget https://raw.githubusercontent.com/milvus-io/pymilvus/v2.1.0/examples/hello_milvus.py
<span class="hljs-comment"># Run Hello Milvus </span>
$ python3 hello_milvus.py
<button class="copy-code-btn"></button></code></pre>
<p>Cuando haya terminado de utilizar Milvus incrustado, le recomendamos que lo detenga y limpie las variables de entorno ejecutando el siguiente comando o pulsando Ctrl-D.</p>
<pre><code translate="no">&gt;&gt;&gt; milvus.stop()
<span class="hljs-keyword">if</span> you need to clean up the environment variables, run:
<span class="hljs-built_in">export</span> LD_PRELOAD=
<span class="hljs-built_in">export</span> LD_LIBRARY_PATH=
&gt;&gt;&gt;
&gt;&gt;&gt; <span class="hljs-built_in">exit</span>()
<button class="copy-code-btn"></button></code></pre>
<h2 id="Whats-next" class="common-anchor-header">Próximos pasos<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Con el lanzamiento oficial de Milvus 2.1, hemos preparado una serie de blogs presentando las nuevas características. Lea más en esta serie de blogs:</p>
<ul>
<li><a href="https://milvus.io/blog/2022-08-08-How-to-use-string-data-to-empower-your-similarity-search-applications.md">Cómo utilizar datos de cadenas para potenciar sus aplicaciones de búsqueda por similitud</a></li>
<li><a href="https://milvus.io/blog/embedded-milvus.md">Uso de Milvus integrado para instalar y ejecutar Milvus con Python de forma instantánea</a></li>
<li><a href="https://milvus.io/blog/in-memory-replicas.md">Aumente el rendimiento de lectura de su base de datos vectorial con réplicas en memoria</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md">Comprender el nivel de consistencia en la base de datos vectorial Milvus</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database-2.md">Comprender el nivel de consistencia en la base de datos vectorial de Milvus (Parte II)</a></li>
<li><a href="https://milvus.io/blog/data-security.md">¿Cómo Garantiza la Seguridad de los Datos la Base de Datos Vectorial de Milvus?</a></li>
</ul>


Uso de Milvus embebido para instalar y ejecutar instantáneamente Milvus con Python

Cómo utilizar los datos de cadenas para potenciar sus aplicaciones de búsqueda por similitud

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/What_s_New_in_2_1_2_a0660df2a5.png" alt="What's new in Milvus 2.1 - Towards simplicity and speed" class="doc-image" id="what's-new-in-milvus-2.1---towards-simplicity-and-speed" />
   </span> <span class="img-wrapper"> <span>Novedades de Milvus 2.1 - Hacia la simplicidad y la velocidad</span> </span></p>
<p>Estamos muy contentos de anunciar el<a href="https://milvus.io/docs/v2.1.x/release_notes.md">lanzamiento</a> de Milvus 2.1 después de seis meses de duro trabajo por parte de todos los colaboradores de nuestra comunidad Milvus. Esta importante iteración de la popular base de datos vectorial hace hincapié en el <strong>rendimiento</strong> y la <strong>facilidad de uso</strong>, dos de las palabras clave más importantes de nuestro enfoque. Hemos añadido soporte para cadenas, cola de mensajes Kafka y Milvus incrustado, así como una serie de mejoras en el rendimiento, la escalabilidad, la seguridad y la observabilidad. Milvus 2.1 es una actualización emocionante que tenderá un puente en la "última milla" desde el ordenador portátil del ingeniero de algoritmos hasta los servicios de búsqueda de similitud vectorial a nivel de producción.</p>
<custom-h1>Rendimiento - Más de 3,2 veces superior</custom-h1><h2 id="5ms-level-latency" class="common-anchor-header">Latencia de 5 ms<button data-href="#5ms-level-latency" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus ya admite la búsqueda aproximada del vecino más próximo (RNA), un salto sustancial respecto al método KNN tradicional. Sin embargo, los problemas de rendimiento y latencia siguen siendo un reto para los usuarios que necesitan enfrentarse a escenarios de recuperación de datos vectoriales a escala de miles de millones.</p>
<p>En Milvus 2.1, hay un nuevo protocolo de enrutamiento que ya no depende de las colas de mensajes en el enlace de recuperación, lo que reduce significativamente la latencia de recuperación para conjuntos de datos pequeños. Los resultados de nuestras pruebas muestran que Milvus reduce ahora su nivel de latencia a 5 ms, lo que satisface los requisitos de los enlaces en línea críticos, como la búsqueda de similitudes y la recomendación.</p>
<h2 id="Concurrency-control" class="common-anchor-header">Control de la concurrencia<button data-href="#Concurrency-control" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.1 perfecciona su modelo de concurrencia introduciendo un nuevo modelo de evaluación de costes y un programador de concurrencia. Ahora ofrece un control de la concurrencia que garantiza que no habrá un gran número de solicitudes concurrentes compitiendo por los recursos de la CPU y la caché, ni se infrautilizará la CPU porque no haya suficientes solicitudes. La nueva capa de programación inteligente de Milvus 2.1 también fusiona las consultas small-nq que tienen parámetros de solicitud coherentes, lo que proporciona un sorprendente aumento del rendimiento de 3,2 veces en escenarios con small-nq y alta concurrencia de consultas.</p>
<h2 id="In-memory-replicas" class="common-anchor-header">Réplicas en memoria<button data-href="#In-memory-replicas" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.1 incorpora réplicas en memoria que mejoran la escalabilidad y la disponibilidad para conjuntos de datos pequeños. Al igual que las réplicas de sólo lectura de las bases de datos tradicionales, las réplicas en memoria pueden escalarse horizontalmente añadiendo máquinas cuando el QPS de lectura es alto. En la recuperación de vectores para conjuntos de datos pequeños, un sistema de recomendación a menudo necesita proporcionar QPS que superen el límite de rendimiento de una sola máquina. Ahora bien, en estos escenarios, el rendimiento del sistema puede mejorarse significativamente cargando múltiples réplicas en la memoria. En el futuro, también introduciremos un mecanismo de lectura con cobertura basado en réplicas en memoria, que solicitará rápidamente otras copias funcionales en caso de que el sistema necesite recuperarse de fallos y haga pleno uso de la redundancia en memoria para mejorar la disponibilidad general del sistema.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/What_s_New_in_Milvus_2_1_Figure_1_excalidraw_1f7fe3c998.png" alt="In-memory replicas allow query services to be based on separate
copies of the same data." class="doc-image" id="in-memory-replicas-allow-query-services-to-be-based-on-separate-copies-of-the-same-data." />
   </span> <span class="img-wrapper"> <span>Las réplicas en memoria permiten que los servicios de consulta se basen en copias separadas de los mismos datos</span>. </span></p>
<h2 id="Faster-data-loading" class="common-anchor-header">Carga de datos más rápida<button data-href="#Faster-data-loading" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>La última mejora del rendimiento procede de la carga de datos. Milvus 2.1 comprime ahora <a href="https://milvus.io/docs/v2.1.x/glossary.md#Log-snapshot">los registros binarios</a> con Zstandard (zstd), lo que reduce significativamente el tamaño de los datos en los almacenes de objetos y mensajes, así como la sobrecarga de la red durante la carga de datos. Además, ahora se introducen grupos de goroutines para que Milvus pueda cargar segmentos simultáneamente con huellas de memoria controladas y minimizar el tiempo necesario para recuperarse de fallos y cargar datos.</p>
<p>Los resultados completos de Milvus 2.1 se publicarán próximamente en nuestro sitio web. Permanezca atento.</p>
<h2 id="String-and-scalar-index-support" class="common-anchor-header">Soporte de cadenas e índices escalares<button data-href="#String-and-scalar-index-support" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Con la versión 2.1, Milvus admite ahora cadenas de longitud variable (VARCHAR) como tipo de datos escalares. VARCHAR se puede utilizar como la clave primaria que se puede devolver como salida, y también puede actuar como filtros de atributos. <a href="https://milvus.io/docs/v2.1.x/hybridsearch.md">El filtrado de atributos</a> es una de las funciones más populares que necesitan los usuarios de Milvus. Si a menudo desea &quot;encontrar los productos más similares a un usuario en un rango de precios <span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mn>de</mn><mo>200-200</mo></mrow><annotation encoding="application/x-tex">-</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.7278em;vertical-align:-0.0833em;"></span><span class="mord">200-300</span></span></span></span>&quot;, o &quot;encontrar artículos que tengan la palabra clave 'base de datos vectorial' y estén relacionados con temas nativos de la nube&quot;, le encantará Milvus 2.1.</p>
<p>Milvus 2.1 también admite el índice escalar invertido para mejorar la velocidad de filtrado basado en<a href="https://github.com/s-yata/marisa-trie">MARISA-Tries</a><a href="https://www.cs.le.ac.uk/people/ond1/XMLcomp/confersWEA06_LOUDS.pdf">sucinta</a>como estructura de datos. Todos los datos pueden cargarse ahora en la memoria con una huella muy baja, lo que permite una comparación, filtrado y correspondencia de prefijos en cadenas mucho más rápidos. Los resultados de nuestras pruebas muestran que el requisito de memoria de MARISA-trie es sólo el 10% del de los diccionarios de Python para cargar todos los datos en memoria y proporcionar capacidades de consulta.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/What_s_new_in_Milvus_Figure_2_excalidraw_a1149aca96.png" alt="Milvus 2.1 combines MARISA-Trie with inverted index to significantly improve filtering speed." class="doc-image" id="milvus-2.1-combines-marisa-trie-with-inverted-index-to-significantly-improve-filtering-speed." />
   </span> <span class="img-wrapper"> <span>Milvus 2.1 combina MARISA-Trie con un índice invertido para mejorar significativamente la velocidad de filtrado.</span> </span></p>
<p>En el futuro, Milvus seguirá centrándose en los desarrollos relacionados con las consultas escalares, soportará más tipos de índices escalares y operadores de consulta, y proporcionará capacidades de consulta escalar basadas en disco, todo ello como parte de un esfuerzo continuo para reducir el almacenamiento y el coste de uso de los datos escalares.</p>
<custom-h1>Mejoras en la usabilidad</custom-h1><h2 id="Kafka-support" class="common-anchor-header">Compatibilidad con Kafka<button data-href="#Kafka-support" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Nuestra comunidad ha estado solicitando durante mucho tiempo soporte para <a href="https://kafka.apache.org">Apache Kafka</a> como <a href="https://milvus.io/docs/v2.1.x/deploy_pulsar.md">almacenamiento de mensajes</a> en Milvus. Milvus 2.1 le ofrece ahora la opción de utilizar<a href="https://pulsar.apache.org">Pulsar</a> o Kafka como almacenamiento de mensajes basándose en las configuraciones del usuario, gracias al diseño de abstracción y encapsulación de Milvus y al Go Kafka SDK aportado por Confluent.</p>
<h2 id="Production-ready-Java-SDK" class="common-anchor-header">SDK Java listo para producción<button data-href="#Production-ready-Java-SDK" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Con Milvus 2.1, nuestro <a href="https://github.com/milvus-io/milvus-sdk-java">Java SD</a> K ha sido lanzado oficialmente. El SDK de Java tiene exactamente las mismas capacidades que el SDK de Python, con un rendimiento de concurrencia incluso mejor. En el siguiente paso, los colaboradores de nuestra comunidad mejorarán gradualmente la documentación y los casos de uso del SDK de Java, y ayudarán a que los SDK de Go y RESTful también estén listos para la producción.</p>
<h2 id="Observability-and-maintainability" class="common-anchor-header">Observabilidad y mantenibilidad<button data-href="#Observability-and-maintainability" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.1 añade<a href="https://milvus.io/docs/v2.1.x/metrics_dashboard.md">métricas de</a> supervisión importantes como el recuento de inserción de vectores, latencia/rendimiento de búsqueda, sobrecarga de memoria de nodo y sobrecarga de CPU. Además, la nueva versión también optimiza significativamente el mantenimiento de registros ajustando los niveles de registro y reduciendo la impresión de registros inútiles.</p>
<h2 id="Embedded-Milvus" class="common-anchor-header">Milvus integrado<button data-href="#Embedded-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus ha simplificado enormemente el despliegue de servicios de recuperación de datos vectoriales masivos a gran escala, pero para los científicos que desean validar algoritmos a menor escala, Docker o K8s siguen siendo demasiado complicados sin necesidad. Con la introducción de Milvus <a href="https://github.com/milvus-io/embd-milvus">embebido</a>, ahora puede instalar Milvus utilizando pip, al igual que con Pyrocksb y Pysqlite. Embedded Milvus soporta todas las funcionalidades de las versiones cluster y standalone, permitiéndole cambiar fácilmente de su portátil a un entorno de producción distribuido sin cambiar una sola línea de código. Los ingenieros de algoritmos tendrán una experiencia mucho mejor cuando construyan un prototipo con Milvus.</p>
<custom-h1>Pruebe ahora la búsqueda vectorial lista para usar</custom-h1><p>Además, Milvus 2.1 también tiene algunas grandes mejoras en estabilidad y escalabilidad, y esperamos con interés su uso y comentarios.</p>
<h2 id="Whats-next" class="common-anchor-header">Novedades<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li>Consulte las <a href="https://milvus.io/docs/v2.1.x/release_notes.md">Notas de la versión</a> detalladas para conocer todos los cambios de Milvus 2.1</li>
<li><a href="https://milvus.io/docs/v2.1.x/install_standalone-docker.md">Instale</a>Milvus 2.1 y pruebe las nuevas características</li>
<li>Únase a nuestra <a href="https://slack.milvus.io/">comunidad de Slack</a> y discuta las nuevas funciones con miles de usuarios de Milvus de todo el mundo.</li>
<li>Síganos en <a href="https://twitter.com/milvusio">Twitter</a> y<a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn</a> para recibir actualizaciones una vez que se publiquen nuestros blogs sobre nuevas funciones específicas.</li>
</ul>
<blockquote>
<p>Editado por <a href="https://github.com/songxianj">Songxian Jiang</a></p>
</blockquote>


Novedades de Milvus 2.1 - Hacia la simplicidad y la rapidez

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Frame_1282_edc1fb7d99.png" alt="cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>imagen de portada</span> </span></p>
<p>Si busca un armario que encaje perfectamente en su dormitorio o vestidor, seguro que la mayoría piensa en los hechos a medida. Sin embargo, no todo el mundo dispone de tanto presupuesto. Entonces, ¿qué pasa con los ya hechos? El problema de este tipo de armarios es que probablemente no cumplan tus expectativas, ya que no son lo bastante flexibles como para adaptarse a tus necesidades específicas de almacenamiento. Además, al buscar en Internet, es bastante difícil resumir con palabras clave el tipo concreto de armario que está buscando. Es muy probable que la palabra clave que escriba en el cuadro de búsqueda (p. ej., Un armario con bandeja para joyas) sea muy diferente de cómo se define en el motor de búsqueda (p. ej., Un armario con <a href="https://www.ikea.com/us/en/p/komplement-pull-out-tray-with-insert-black-brown-s79249366/">bandeja extraíble con inserción</a>).</p>
<p>Pero gracias a las nuevas tecnologías, ¡hay una solución! IKEA, el conglomerado minorista de muebles, ofrece una popular herramienta de diseño de <a href="https://www.ikea.com/us/en/rooms/bedroom/how-to/how-to-design-your-perfect-pax-wardrobe-pub8b76dda0">armarios PAX</a> que permite a los usuarios elegir entre una serie de armarios ya hechos y personalizar el color, el tamaño y el diseño interior de los mismos. Tanto si necesita espacio para colgar, como múltiples estantes o cajones interiores, este sistema inteligente de personalización de armarios siempre puede satisfacer sus necesidades.</p>
<p>Para encontrar o construir su armario ideal utilizando este sistema inteligente de diseño de armarios, es necesario:</p>
<ol>
<li>Especificar los requisitos básicos: la forma (normal, en L o en U), la longitud y la profundidad del armario.</li>
<li>Especificar sus necesidades de almacenamiento y la organización interior del armario (por ejemplo, si necesita espacio para colgar, un pantalonero extraíble, etc.).</li>
<li>Añada o elimine partes del armario, como cajones o estantes.</li>
</ol>
<p>A continuación, su diseño se ha completado. Fácil y sencillo.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Pax_system_ff4c3fa182.png" alt="pax system" class="doc-image" id="pax-system" />
   </span> <span class="img-wrapper"> <span>sistema pax</span> </span></p>
<p>Un componente muy importante que hace posible este sistema de diseño de armarios es la <a href="https://zilliz.com/learn/what-is-vector-database">base de datos vectorial</a>. Por lo tanto, este artículo pretende presentar el flujo de trabajo y las soluciones de búsqueda de similitudes utilizadas para construir un sistema inteligente de personalización de armarios basado en la búsqueda de similitudes vectoriales.</p>
<p>Ir a:</p>
<ul>
<li><a href="#System-overview">Visión general del sistema</a></li>
<li><a href="#Data-flow">Flujo de datos</a></li>
<li><a href="#System-demo">Demostración del sistema</a></li>
</ul>
<h2 id="System-Overview" class="common-anchor-header">Visión general del sistema<button data-href="#System-Overview" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Para poder ofrecer una herramienta de personalización de armarios tan inteligente, primero tenemos que definir la lógica empresarial y comprender los atributos de los artículos y el recorrido del usuario. Los armarios y sus componentes, como cajones, bandejas y estanterías, son datos no estructurados. Por lo tanto, el segundo paso consiste en aprovechar los algoritmos y las reglas de la IA, los conocimientos previos, la descripción de los artículos, etc., para convertir esos datos no estructurados en un tipo de datos que puedan entender los ordenadores: ¡vectores!</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Customization_tool_overview_86d62e1730.png" alt="Customization tool overview" class="doc-image" id="customization-tool-overview" />
   </span> <span class="img-wrapper"> <span>Visión general de la herramienta de personalización</span> </span></p>
<p>Con los vectores generados, necesitamos potentes bases de datos vectoriales y motores de búsqueda para procesarlos.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/tool_architecutre_33fb646954.png" alt="tool architecture" class="doc-image" id="tool-architecture" />
   </span> <span class="img-wrapper"> <span>arquitectura de la herramienta</span> </span></p>
<p>La herramienta de personalización aprovecha algunos de los motores de búsqueda y bases de datos más populares: Elasticsearch, <a href="https://milvus.io/">Milvus</a> y PostgreSQL.</p>
<h3 id="Why-Milvus" class="common-anchor-header">¿Por qué Milvus?</h3><p>Un componente de vestuario contiene información muy compleja, como el color, la forma, la organización interior, etc. Sin embargo, la forma tradicional de guardar los datos del guardarropa en una base de datos relacional dista mucho de ser suficiente. Una forma muy extendida es utilizar técnicas de incrustación para convertir los vestuarios en vectores. Por tanto, hay que buscar un nuevo tipo de base de datos diseñada específicamente para el almacenamiento de vectores y la búsqueda de similitudes. Tras sondear varias soluciones populares, se selecciona la base de datos vectorial <a href="https://github.com/milvus-io/milvus">Milvus</a> por su excelente rendimiento, estabilidad, compatibilidad y facilidad de uso. El cuadro siguiente es una comparación de varias soluciones populares de búsqueda de vectores.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Solution_comparison_d96b8f1dd5.png" alt="solution comparison" class="doc-image" id="solution-comparison" />
   </span> <span class="img-wrapper"> <span>comparación de soluciones</span> </span></p>
<h3 id="System-workflow" class="common-anchor-header">Flujo de trabajo del sistema</h3><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/System_workflow_250c275ec1.png" alt="System workflow" class="doc-image" id="system-workflow" />
   </span> <span class="img-wrapper"> <span>Flujo de trabajo del sistema</span> </span></p>
<p>Elasticsearch se utiliza para un filtrado grueso por el tamaño del vestuario, el color, etc. A continuación, los resultados filtrados pasan por la base de datos vectorial Milvus para una búsqueda de similitud y los resultados se clasifican en función de su distancia/similitud con el vector de consulta. Por último, los resultados se consolidan y se afinan en función de la visión empresarial.</p>
<h2 id="Data-flow" class="common-anchor-header">Flujo de datos<button data-href="#Data-flow" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>El sistema de personalización de armarios es muy similar a los motores de búsqueda tradicionales y a los sistemas de recomendación. Consta de tres partes:</p>
<ul>
<li>Preparación de datos fuera de línea: definición y generación de datos.</li>
<li>Servicios en línea, que incluyen la recuperación y la clasificación.</li>
<li>Postprocesamiento de datos basado en la lógica empresarial.</li>
</ul>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/data_flow_d0d9fa0fca.png" alt="Data flow" class="doc-image" id="data-flow" />
   </span> <span class="img-wrapper"> <span>Flujo de datos</span> </span></p>
<h3 id="Offline-data-flow" class="common-anchor-header">Flujo de datos offline</h3><ol>
<li>Definir los datos utilizando el conocimiento del negocio.</li>
<li>Utilizar conocimientos previos para definir cómo combinar diferentes componentes y formarlos en un armario.</li>
<li>Reconocer las etiquetas de características de los armarios y codificar las características en datos de Elasticsearch en el archivo <code translate="no">.json</code>.</li>
<li>Preparar los datos recall codificando los datos no estructurados en vectores.</li>
<li>Utilizar la base de datos de vectores Milvus para clasificar los resultados recuperados obtenidos en el paso anterior.</li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/offline_data_flow_f91ac9cf4c.png" alt="offline data flow" class="doc-image" id="offline-data-flow" />
   </span> <span class="img-wrapper"> <span>flujo de datos offline</span> </span></p>
<h3 id="Online-data-flow" class="common-anchor-header">Flujo de datos en línea</h3><ol>
<li>Recibir solicitudes de consulta de los usuarios y recopilar sus perfiles.</li>
<li>Comprender la consulta del usuario identificando sus requisitos para el armario.</li>
<li>Búsqueda gruesa utilizando Elasticsearch.</li>
<li>Puntuar y clasificar los resultados obtenidos de la búsqueda gruesa basándose en el cálculo de la similitud vectorial en Milvus.</li>
<li>Post-procesar y organizar los resultados en la plataforma back-end para generar los resultados finales.</li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/online_data_flow_1f2af25cc3.png" alt="online data flow" class="doc-image" id="online-data-flow" />
   </span> <span class="img-wrapper"> <span>flujo de datos en línea</span> </span></p>
<h3 id="Data-post-processing" class="common-anchor-header">Post-procesamiento de datos</h3><p>La lógica empresarial varía de una empresa a otra. Puede añadir un toque final a los resultados aplicando la lógica empresarial de su empresa.</p>
<h2 id="System-demo" class="common-anchor-header">Demostración del sistema<button data-href="#System-demo" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Veamos ahora cómo funciona realmente el sistema que hemos construido.</p>
<p>La interfaz de usuario (UI) muestra la posibilidad de diferentes combinaciones de componentes del armario.</p>
<p>Cada componente se etiqueta por su característica (talla, color, etc.) y se almacena en Elasticsearch (ES). Al almacenar las etiquetas en ES, hay que rellenar cuatro campos de datos principales: ID, etiquetas, ruta de almacenamiento y otros campos de apoyo. ES y los datos etiquetados se utilizan para la recuperación granular y el filtrado de atributos.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/es_d5b0639610.png" alt="es" class="doc-image" id="es" />
   </span> <span class="img-wrapper"> <span>es</span> </span></p>
<p>A continuación, se utilizan distintos algoritmos de IA para codificar un armario en un conjunto de vectores. Los conjuntos de vectores se almacenan en Milvus para la búsqueda de similitudes y la clasificación. Este paso devuelve resultados más refinados y precisos.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Milvus_38dd93a439.jpeg" alt="Milvus" class="doc-image" id="milvus" />
   </span> <span class="img-wrapper"> <span>Milvus</span> </span></p>
<p>Elasticsearch, Milvus y otros componentes del sistema forman en conjunto la plataforma de diseño de personalización en su conjunto. Durante la recuperación, el lenguaje específico del dominio (DSL) en Elasticsearch y Milvus es el siguiente.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/dsl_df60097d23.png" alt="dsl" class="doc-image" id="dsl" />
   </span> <span class="img-wrapper"> <span>dsl</span> </span></p>
<h2 id="Looking-for-more-resources" class="common-anchor-header">¿Busca más recursos?<button data-href="#Looking-for-more-resources" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Descubra cómo la base de datos vectorial Milvus puede impulsar más aplicaciones de IA:</p>
<ul>
<li><a href="https://milvus.io/blog/2022-06-23-How-Short-video-Platform-Likee-Removes-Duplicate-Videos-with-Milvus.md">Cómo la plataforma de vídeos cortos Likee elimina los vídeos duplicados con Milvus</a></li>
<li><a href="https://milvus.io/blog/2022-06-20-Zhentu-the-Photo-Fraud-Detector-Based-on-Milvus.md">Zhentu - El detector de fraude fotográfico basado en Milvus</a></li>
</ul>


Creación de un sistema inteligente de personalización de vestuario basado en la base de datos vectorial Milvus

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/How_Short_video_Platform_Likee_Removes_Duplicate_Videos_with_Milvus_07bd75ec82.png" alt="Cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>Imagen de portada</span> </span></p>
<blockquote>
<p>Este artículo ha sido escrito por Xinyang Guo y Baoyu Han, ingenieros de BIGO, y traducido por <a href="https://www.linkedin.cn/incareer/in/rosie-zhang-694528149">Rosie Zhang</a>.</p>
</blockquote>
<p><a href="https://www.bigo.sg/">BIGO Technology</a> (BIGO) es una de las empresas tecnológicas de Singapur de más rápido crecimiento. Gracias a su tecnología de inteligencia artificial, los productos y servicios de vídeo de BIGO han ganado una inmensa popularidad en todo el mundo, con más de 400 millones de usuarios en más de 150 países. Entre ellos figuran <a href="https://www.bigo.tv/bigo_intro/en.html?hk=true">Bigo Live</a> (transmisión en directo) y <a href="https://likee.video/">Likee</a> (vídeo de corta duración).</p>
<p>Likee es una plataforma global de creación de vídeos cortos en la que los usuarios pueden compartir sus momentos, expresarse y conectar con el mundo. Para mejorar la experiencia de los usuarios y recomendarles contenidos de mayor calidad, Likee tiene que eliminar los vídeos duplicados de entre la enorme cantidad de vídeos que generan los usuarios cada día, lo cual no es una tarea sencilla.</p>
<p>Este blog presenta cómo BIGO utiliza <a href="https://milvus.io">Milvus</a>, una base de datos vectorial de código abierto, para eliminar eficazmente los vídeos duplicados.</p>
<p><strong>Ir a:</strong></p>
<ul>
<li><a href="#Overview">Visión general</a></li>
<li><a href="#Video-deduplication-workflow">Flujo de trabajo de la deduplicación de vídeos</a></li>
<li><a href="#System-architecture">Arquitectura del sistema</a></li>
<li><a href="#Using-Milvus-vector-database-to-power-similarity-search">Uso de Milvus para potenciar la búsqueda de similitudes</a></li>
</ul>
<custom-h1>Visión general</custom-h1><p>Milvus es una base de datos vectorial de código abierto que ofrece una búsqueda vectorial ultrarrápida. Gracias a Milvus, Likee es capaz de completar una búsqueda en 200 ms, garantizando al mismo tiempo una alta tasa de recuperación. Mientras tanto, al <a href="https://milvus.io/docs/v2.0.x/scaleout.md#Scale-a-Milvus-Cluster">escalar Milvus horizontalmente</a>, Likee aumenta con éxito el rendimiento de las consultas vectoriales, mejorando aún más su eficiencia.</p>
<custom-h1>Flujo de trabajo de la deduplicación de vídeos</custom-h1><p>¿Cómo identifica Likee los vídeos duplicados? Cada vez que se introduce un vídeo de consulta en el sistema Likee, se corta en 15-20 fotogramas y cada fotograma se convierte en un vector de características. A continuación, Likee busca en una base de datos de 700 millones de vectores los K vectores más similares. Cada uno de los K vectores principales corresponde a un vídeo de la base de datos. A continuación, Likee realiza búsquedas refinadas para obtener los resultados finales y determinar los vídeos que deben eliminarse.</p>
<custom-h1>Arquitectura del sistema</custom-h1><p>Veamos más de cerca cómo funciona el sistema de desduplicación de vídeos de Likee utilizando Milvus. Como se muestra en el diagrama siguiente, los nuevos vídeos subidos a Likee se escribirán en Kafka, un sistema de almacenamiento de datos, en tiempo real y serán consumidos por los consumidores de Kafka. Los vectores de características de estos vídeos se extraen mediante modelos de aprendizaje profundo, en los que los datos no estructurados (vídeo) se convierten en vectores de características. Estos vectores de características serán empaquetados por el sistema y enviados al auditor de similitud.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Likee_1_6f7ebcd8fc.png" alt="Architechure of Likee's video de-duplication system" class="doc-image" id="architechure-of-likee's-video-de-duplication-system" />
   </span> <span class="img-wrapper"> <span>Arquitectura del sistema de de-duplicación de vídeo de Likee</span> </span></p>
<p>Los vectores de características extraídos serán indexados por <a href="https://milvus.io/blog/deep-dive-5-real-time-query.md">Milvus</a> y almacenados en Ceph, antes de ser <a href="https://milvus.io/blog/deep-dive-5-real-time-query.md">cargados por el nodo de consulta de Milvus</a> para su posterior búsqueda. Los ID de vídeo correspondientes a estos vectores de características también se almacenarán simultáneamente en TiDB o Pika en función de las necesidades reales.</p>
<h3 id="Using-Milvus-vector-database-to-power-similarity-search" class="common-anchor-header">Utilización de la base de datos de vectores Milvus para potenciar la búsqueda de similitudes</h3><p>A la hora de buscar vectores similares, los miles de millones de datos existentes, junto con las grandes cantidades de datos nuevos que se generan cada día, plantean grandes retos a la funcionalidad del motor de búsqueda de vectores. Tras un análisis exhaustivo, Likee eligió finalmente Milvus, un motor de búsqueda vectorial distribuido de alto rendimiento y elevada tasa de recuperación, para llevar a cabo la búsqueda de similitudes vectoriales.</p>
<p>Como se muestra en el diagrama siguiente, el procedimiento de una búsqueda de similitudes es el siguiente:</p>
<ol>
<li><p>En primer lugar, Milvus realiza una búsqueda por lotes para recuperar los 100 mejores vectores similares para cada uno de los múltiples vectores de características extraídos de un nuevo vídeo. Cada vector similar se vincula a su correspondiente ID de vídeo.</p></li>
<li><p>En segundo lugar, al comparar los ID de los vídeos, Milvus elimina los vídeos duplicados y recupera los vectores de características de los vídeos restantes de TiDB o Pika.</p></li>
<li><p>Por último, Milvus calcula y puntúa la similitud entre cada conjunto de vectores de características recuperados y los vectores de características del vídeo de consulta. El ID del vídeo con la puntuación más alta se devuelve como resultado. Así concluye la búsqueda de similitudes de vídeo.</p></li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/02_a24d251c8f.png" alt="Procedure of a similarity search" class="doc-image" id="procedure-of-a-similarity-search" />
   </span> <span class="img-wrapper"> <span>Procedimiento de una búsqueda por similitud</span> </span></p>
<p>Como motor de búsqueda vectorial de alto rendimiento, Milvus ha realizado un trabajo extraordinario en el sistema de de-duplicación de vídeo de Likee, impulsando en gran medida el crecimiento del negocio de vídeos cortos de BIGO. En cuanto a los negocios de vídeo, hay muchos otros escenarios en los que Milvus puede aplicarse, como el bloqueo de contenidos ilegales o la recomendación personalizada de vídeos. Tanto BIGO como Milvus esperan cooperar en el futuro en más áreas.</p>


Cómo la plataforma de vídeos cortos Likee elimina los vídeos duplicados con Milvus

Búsqueda de similitudes escalable y rapidísima con la base de datos vectorial Milvus

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/zhentu_0ae11c98ee.png" alt="cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>imagen de portada</span> </span></p>
<blockquote>
<p>Este artículo ha sido escrito por Yan Shi y Minwei Tang, ingenieros superiores de algoritmos de BestPay, y traducido por <a href="https://www.linkedin.cn/incareer/in/rosie-zhang-694528149">Rosie Zhang</a>.</p>
</blockquote>
<p>En los últimos años, a medida que el comercio electrónico y las transacciones en línea se han convertido en algo habitual en todo el mundo, también ha florecido el fraude en el comercio electrónico. Mediante el uso de fotos generadas por ordenador en lugar de las reales para pasar la verificación de identidad en las plataformas de negocios en línea, los estafadores crean cuentas falsas masivas y se aprovechan de las ofertas especiales de las empresas (por ejemplo, regalos de membresía, cupones, fichas), lo que conlleva pérdidas irrecuperables tanto para los consumidores como para las empresas.</p>
<p>Los métodos tradicionales de control de riesgos ya no son eficaces ante la gran cantidad de datos. Para resolver el problema, <a href="https://www.bestpay.com.cn">BestPay</a> creó un detector de fraudes fotográficos, denominado Zhentu (que significa detectar imágenes en chino), basado en tecnologías de aprendizaje profundo (DL) y procesamiento digital de imágenes (DIP). Zhentu es aplicable a varios escenarios que implican el reconocimiento de imágenes, y una rama importante es la identificación de licencias comerciales falsas. Si la foto de la licencia comercial enviada por un usuario es muy similar a otra foto ya existente en la biblioteca de fotos de una plataforma, es probable que el usuario haya robado la foto en algún lugar o haya falsificado una licencia con fines fraudulentos.</p>
<p>Los algoritmos tradicionales para medir la similitud de imágenes, como <a href="https://en.wikipedia.org/wiki/Peak_signal-to-noise_ratio">PSNR</a> y ORB, son lentos e imprecisos, solo aplicables a tareas offline. El aprendizaje profundo, en cambio, es capaz de procesar datos de imágenes a gran escala en tiempo real y es el método definitivo para emparejar imágenes similares. Con los esfuerzos conjuntos del equipo de I+D de BestPay y <a href="https://milvus.io/">la comunidad Milvus</a>, se desarrolla un sistema de detección de fraudes fotográficos como parte de Zhentu. Funciona convirtiendo cantidades masivas de datos de imágenes en vectores de características mediante modelos de aprendizaje profundo e insertándolos en <a href="https://milvus.io/">Milvus</a>, un motor de búsqueda vectorial. Con Milvus, el sistema de detección es capaz de indexar billones de vectores y recuperar eficientemente fotos similares entre decenas de millones de imágenes.</p>
<p><strong>Ir a:</strong></p>
<ul>
<li><a href="#an-overview-of-zhentu">Visión general de Zhentu</a></li>
<li><a href="#system-structure">Estructura del sistema</a></li>
<li><a href="#deployment"><strong>Despliegue</strong></a></li>
<li><a href="#real-world-performance"><strong>Rendimiento en el mundo real</strong></a></li>
<li><a href="#reference"><strong>Referencia</strong></a></li>
<li><a href="#about-bestpay"><strong>Acerca de BestPay</strong></a></li>
</ul>
<h2 id="An-overview-of-Zhentu" class="common-anchor-header">Una visión general de Zhentu<button data-href="#An-overview-of-Zhentu" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Zhentu es un producto multimedia de control de riesgos visuales diseñado por BestPay y profundamente integrado con tecnologías de aprendizaje automático (ML) y de reconocimiento de imágenes mediante redes neuronales. Su algoritmo incorporado puede identificar con precisión a los defraudadores durante la autenticación del usuario y responder al nivel de milisegundos. Con su tecnología líder en el sector y su solución innovadora, Zhentu ha obtenido cinco patentes y dos derechos de autor de software. Actualmente se utiliza en varios bancos e instituciones financieras para ayudar a identificar con antelación posibles riesgos.</p>
<h2 id="System-structure" class="common-anchor-header">Estructura del sistema<button data-href="#System-structure" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>BestPay cuenta actualmente con más de 10 millones de fotos de licencias comerciales, y el volumen real sigue creciendo exponencialmente a medida que crece el negocio. Para recuperar rápidamente fotos similares de una base de datos tan grande, Zhentu ha elegido Milvus como motor de cálculo de similitud de vectores de características. La estructura general del sistema de detección de fraude fotográfico se muestra en el siguiente diagrama.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Structure_of_the_photo_fraud_detection_system_cf5d20d431.png" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<p>El procedimiento puede dividirse en cuatro pasos:</p>
<ol>
<li><p>Preprocesamiento de la imagen. El preprocesamiento, que incluye la reducción de ruido, la eliminación de ruido y la mejora del contraste, garantiza tanto la integridad de la información original como la eliminación de información inútil de la señal de la imagen.</p></li>
<li><p>Extracción de vectores de características. Se utiliza un modelo de aprendizaje profundo especialmente entrenado para extraer los vectores de características de la imagen. La conversión de las imágenes en vectores para la posterior búsqueda de similitudes es una operación rutinaria.</p></li>
<li><p>Normalización. La normalización de los vectores de características extraídos ayuda a mejorar la eficiencia del procesamiento posterior.</p></li>
<li><p>Búsqueda vectorial con Milvus. Inserción de los vectores de características normalizados en la base de datos Milvus para la búsqueda de similitud vectorial.</p></li>
</ol>
<h2 id="Deployment" class="common-anchor-header"><strong>Despliegue</strong><button data-href="#Deployment" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>A continuación se describe brevemente cómo se despliega el sistema de detección de fraude fotográfico de Zhentu.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/milvus_architecture_ea45a5ab53.png" alt="Milvus system architecture" class="doc-image" id="milvus-system-architecture" />
   </span> <span class="img-wrapper"> <span>Arquitectura del sistema Milvus</span> </span></p>
<p>Desplegamos nuestro <a href="https://milvus.io/docs/v2.0.x/install_cluster-helm.md">clúster Milvus en Kubernetes</a> para garantizar la alta disponibilidad y la sincronización en tiempo real de los servicios en la nube. Los pasos generales son los siguientes:</p>
<ol>
<li><p>Ver los recursos disponibles. Ejecute el comando <code translate="no">kubectl describe nodes</code> para ver los recursos que el clúster Kubernetes puede asignar a los casos creados.</p></li>
<li><p>Asignar recursos. Ejecute el comando <code translate="no">kubect`` -- apply xxx.yaml</code> para asignar recursos de memoria y CPU para los componentes del clúster Milvus utilizando Helm.</p></li>
<li><p>Aplique la nueva configuración. Ejecute el comando <code translate="no">helm upgrade my-release milvus/milvus --reuse-values -fresources.yaml</code>.</p></li>
<li><p>Aplique la nueva configuración al cluster Milvus. El clúster desplegado de esta forma no sólo nos permite ajustar la capacidad del sistema en función de las diferentes necesidades empresariales, sino que también satisface mejor los requisitos de alto rendimiento para la recuperación masiva de datos vectoriales.</p></li>
</ol>
<p>Puede <a href="https://milvus.io/docs/v2.0.x/configure-docker.md">configurar Milvus</a> para optimizar el rendimiento de la búsqueda para diferentes tipos de datos de diferentes escenarios empresariales, como se muestra en los dos ejemplos siguientes.</p>
<p>Al <a href="https://milvus.io/docs/v2.0.x/build_index.md">construir el índice vectorial</a>, parametrizamos el índice de acuerdo con el escenario real del sistema de la siguiente manera:</p>
<pre><code translate="no" class="language-Python">index = {<span class="hljs-string">&quot;index_type&quot;</span>: <span class="hljs-string">&quot;IVF_PQ&quot;</span>, <span class="hljs-string">&quot;params&quot;</span>: {<span class="hljs-string">&quot;nlist&quot;</span>: <span class="hljs-number">2048</span>}, <span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&quot;IP&quot;</span>}
<button class="copy-code-btn"></button></code></pre>
<p><a href="https://milvus.io/docs/v2.0.x/index.md#IVF_PQ">IVF_PQ</a> realiza la agrupación del índice IVF antes de cuantificar el producto de los vectores. Se caracteriza por una consulta de disco de alta velocidad y un consumo de memoria muy bajo, lo que satisface las necesidades de la aplicación real de Zhentu.</p>
<p>Además, establecemos los parámetros de búsqueda óptimos de la siguiente manera:</p>
<pre><code translate="no" class="language-Python">search_params = {<span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&quot;IP&quot;</span>, <span class="hljs-string">&quot;params&quot;</span>: {<span class="hljs-string">&quot;nprobe&quot;</span>: <span class="hljs-number">32</span>}}
<button class="copy-code-btn"></button></code></pre>
<p>Como los vectores ya están normalizados antes de introducirlos en Milvus, se elige el producto interior (PI) para calcular la distancia entre dos vectores. Los experimentos han demostrado que la tasa de recuperación aumenta en torno a un 15% utilizando el PI en lugar de la distancia euclídea (L2).</p>
<p>Los ejemplos anteriores demuestran que podemos probar y configurar los parámetros de Milvus en función de diferentes escenarios empresariales y requisitos de rendimiento.</p>
<p>Además, Milvus no sólo integra diferentes bibliotecas de índices, sino que también admite diferentes tipos de índices y métodos de cálculo de similitud. Milvus también proporciona SDK oficiales en varios idiomas y API enriquecidas para la inserción, consulta, etc., lo que permite a nuestros grupos de negocio front-end utilizar los SDK para llamar a la central de control de riesgos.</p>
<h2 id="Real-world-performance" class="common-anchor-header"><strong>Rendimiento en el mundo real</strong><button data-href="#Real-world-performance" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Hasta ahora, el sistema de detección de fraude fotográfico ha funcionado de manera constante, ayudando a las empresas a identificar a posibles defraudadores. En 2021, detectó más de 20.000 licencias falsas a lo largo del año. En términos de velocidad de consulta, una consulta de vector único entre decenas de millones de vectores tarda menos de 1 segundo, y el tiempo medio de consulta por lotes es inferior a 0,08 segundos. La búsqueda de alto rendimiento de Milvus satisface las necesidades de precisión y concurrencia de las empresas.</p>
<h2 id="Reference" class="common-anchor-header"><strong>Referencia</strong><button data-href="#Reference" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Aglave P, Kolkure V S. Implementation of High Performance Feature Extraction Method Using Oriented Fast and Rotated Brief Algorithm[J]. Int. J. Res. Eng. Technol, 2015, 4: 394-397.</p>
<h2 id="About-BestPay" class="common-anchor-header"><strong>Acerca de BestPay</strong><button data-href="#About-BestPay" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>China Telecom BestPay Co, Ltd es una filial de propiedad total de China Telecom. Opera los negocios de pago y finanzas. BestPay se compromete a utilizar tecnologías de vanguardia como big data, inteligencia artificial y computación en la nube para potenciar la innovación empresarial, proporcionando productos inteligentes, soluciones de control de riesgos y otros servicios. Hasta enero de 2016, la app llamada BestPay ha atraído a más de 200 millones de usuarios y se ha convertido en el tercer operador de plataformas de pago en China, siguiendo de cerca a Alipay y WeChat Payment.</p>


Zhentu: el detector de fraudes fotográficos basado en Milvus

¿Balsa o no? La mejor solución para la coherencia de datos en bases de datos nativas de la nube

¿Qué potencia la búsqueda de similitudes en la base de datos vectorial Milvus?

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Deep_Dive_7_baae830823.png" alt="Cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>Imagen de portada</span> </span></p>
<blockquote>
<p>Este artículo ha sido transcreado por <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni</a>.</p>
</blockquote>
<p>Una <a href="https://milvus.io/docs/v2.0.x/query.md">consulta vectorial</a> en Milvus es el proceso de recuperación de vectores mediante filtrado escalar basado en una expresión booleana. Con el filtrado escalar, los usuarios pueden limitar los resultados de sus consultas aplicando determinadas condiciones a los atributos de los datos. Por ejemplo, si un usuario busca películas estrenadas entre 1990 y 2010 con una puntuación superior a 8,5, sólo se mostrarán las películas cuyos atributos (año de estreno y puntuación) cumplan la condición.</p>
<p>Este artículo pretende examinar cómo se completa una consulta en Milvus desde la entrada de una expresión de consulta hasta la generación del plan de consulta y la ejecución de la consulta.</p>
<p><strong>Ir a:</strong></p>
<ul>
<li><a href="#Query-expression">Expresión de consulta</a></li>
<li><a href="#Plan-AST-generation">Generación del plan AST</a></li>
<li><a href="#Query-execution">Ejecución de la consulta</a></li>
</ul>
<h2 id="Query-expression" class="common-anchor-header">Expresión de consulta<button data-href="#Query-expression" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>La expresión de una consulta con filtrado de atributos en Milvus adopta la sintaxis EBNF (Extended Backus-Naur form). La siguiente imagen muestra las reglas de expresión en Milvus.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Expression_Syntax_966493a5be.png" alt="Expression Syntax" class="doc-image" id="expression-syntax" />
   </span> <span class="img-wrapper"> <span>Sintaxis de expresión</span> </span></p>
<p>Las expresiones lógicas pueden crearse utilizando la combinación de operadores lógicos binarios, operadores lógicos unarios, expresiones lógicas y expresiones simples. Dado que la sintaxis EBNF es en sí misma recursiva, una expresión lógica puede ser el resultado de la combinación o parte de una expresión lógica mayor. Una expresión lógica puede contener muchas sub-expresiones lógicas. La misma regla se aplica en Milvus. Si un usuario necesita filtrar los atributos de los resultados con muchas condiciones, puede crear su propio conjunto de condiciones de filtrado combinando diferentes operadores y expresiones lógicas.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Boolean_expression_1_dce12f8483.png" alt="Boolean expression" class="doc-image" id="boolean-expression" />
   </span> <span class="img-wrapper"> <span>Expresión booleana</span> </span></p>
<p>La imagen anterior muestra parte de las <a href="https://milvus.io/docs/v2.0.x/boolean.md">reglas de expresión booleana</a> en Milvus. Pueden añadirse operadores lógicos unarios a una expresión. Actualmente Milvus sólo admite el operador lógico unario &quot;not&quot;, que indica que el sistema necesita tomar los vectores cuyos valores de campo escalar no satisfacen los resultados del cálculo. Los operadores lógicos binarios incluyen &quot;and&quot; y &quot;or&quot;. Las expresiones simples incluyen expresiones de término y expresiones de comparación.</p>
<p>Milvus también admite cálculos aritméticos básicos como la suma, la resta, la multiplicación y la división durante una consulta. La siguiente imagen muestra la precedencia de las operaciones. Los operadores se enumeran de arriba a abajo en orden descendente de precedencia.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Precedence_b8cfbdf17b.png" alt="Precedence" class="doc-image" id="precedence" />
   </span> <span class="img-wrapper"> <span>Precedencia</span> </span></p>
<h3 id="How-a-query-expression-on-certain-films-is-processed-in-Milvus" class="common-anchor-header">¿Cómo se procesa en Milvus una expresión de consulta sobre determinadas películas?</h3><p>Supongamos que hay una gran cantidad de datos de películas almacenados en Milvus y que el usuario desea consultar determinadas películas. Por ejemplo, cada dato de película almacenado en Milvus tiene los cinco campos siguientes: ID de la película, año de estreno, tipo de película, puntuación y cartel. En este ejemplo, el tipo de datos del ID de la película y el año de estreno es int64, mientras que las puntuaciones de las películas son datos de coma flotante. Además, los carteles de las películas se almacenan en formato de vectores de coma flotante, y el tipo de película en formato de datos de cadena. Cabe destacar que la compatibilidad con los tipos de datos de cadena es una nueva característica de Milvus 2.1.</p>
<p>Por ejemplo, si un usuario desea consultar las películas con puntuaciones superiores a 8,5 puntos. Además, las películas deben estrenarse entre una década antes de 2000 y una década después de 2000, o ser de comedia o de acción, el usuario debe introducir la siguiente expresión predicada: <code translate="no">score &gt; 8.5 &amp;&amp; (2000 - 10 &lt; release_year &lt; 2000 + 10 || type in [comedy,action])</code>.</p>
<p>Al recibir la expresión de consulta, el sistema la ejecutará con la siguiente precedencia:</p>
<ol>
<li>Buscar películas con una puntuación superior a 8,5. El resultado de la consulta se denomina &quot;resultado1&quot;.</li>
<li>Calcular 2000 - 10 para obtener "resultado2" (1990).</li>
<li>Calcular 2000 + 10 para obtener "resultado3" (2010).</li>
<li>Buscar películas cuyo valor de <code translate="no">release_year</code> sea mayor que &quot;result2&quot; y menor que &quot;result3&quot;. Es decir, el sistema debe buscar las películas estrenadas entre 1990 y 2010. Los resultados de la consulta se denominan &quot;resultado4&quot;.</li>
<li>Buscar películas que sean comedias o películas de acción. Los resultados de la consulta se denominan &quot;resultado5&quot;.</li>
<li>Combine "resultado4" y "resultado5" para obtener películas estrenadas entre 1990 y 2010 o que pertenezcan a la categoría de comedia o película de acción. Los resultados se denominan &quot;resultado6&quot;.</li>
<li>Tome la parte común en "resultado1" y "resultado6" para obtener los resultados finales que satisfacen todas las condiciones.</li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Frame_1_16_00972a6e5d.png" alt="Film example" class="doc-image" id="film-example" />
   </span> <span class="img-wrapper"> <span>Ejemplo de película</span> </span></p>
<h2 id="Plan-AST-generation" class="common-anchor-header">Planificar la generación de AST<button data-href="#Plan-AST-generation" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus utiliza la herramienta de código abierto <a href="https://www.antlr.org/">ANTLR</a> (ANother Tool for Language Recognition) para la generación de planes AST (árbol de sintaxis abstracta). ANTLR es un potente generador de análisis sintáctico para leer, procesar, ejecutar o traducir texto estructurado o archivos binarios. Más concretamente, ANTLR puede generar un analizador sintáctico para construir y recorrer árboles de análisis sintáctico basados en sintaxis o reglas predefinidas. La siguiente imagen es un ejemplo en el que la expresión de entrada es &quot;SP=100;&quot;. LEXER, la funcionalidad de reconocimiento de lenguaje integrada en ANTLR, genera cuatro tokens para la expresión de entrada: &quot;SP&quot;, &quot;=&quot;, &quot;100&quot; y &quot;;&quot;. A continuación, la herramienta analiza los cuatro tokens para generar el correspondiente árbol de análisis sintáctico.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/parse_tree_b2c3fb0b36.png" alt="parse tree" class="doc-image" id="parse-tree" />
   </span> <span class="img-wrapper"> <span>árbol de análisis sintáctico</span> </span></p>
<p>El mecanismo de recorrido es una parte crucial de la herramienta ANTLR. Está diseñado para recorrer todos los árboles de análisis sintáctico con el fin de examinar si cada nodo obedece las reglas sintácticas, o para detectar ciertas palabras sensibles. En la siguiente imagen se enumeran algunas de las API relevantes. Dado que ANTLR comienza desde el nodo raíz y va descendiendo por cada subnodo hasta llegar al final, no es necesario diferenciar el orden de cómo recorrer el árbol de análisis sintáctico.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/parse_tree_walker_9a27942502.png" alt="parse tree walker" class="doc-image" id="parse-tree-walker" />
   </span> <span class="img-wrapper"> <span>caminador del árbol de análisis sintáctico</span> </span></p>
<p>Milvus genera el PlanAST para consulta de forma similar al ANTLR. Sin embargo, el uso de ANTLR requiere redefinir reglas sintácticas bastante complicadas. Por lo tanto, Milvus adopta una de las reglas más comunes, las reglas de expresión booleana, y depende del paquete <a href="https://github.com/antonmedv/expr">Expr</a> de código abierto en GitHub para consultar y analizar la sintaxis de las expresiones de consulta.</p>
<p>Durante una consulta con filtrado de atributos, Milvus generará un árbol de plan primitivo sin resolver utilizando ant-parser, el método de análisis sintáctico proporcionado por Expr, al recibir la expresión de consulta. El árbol del plan primitivo que obtendremos es un árbol binario simple. A continuación, Expr y el optimizador incorporado en Milvus afinan el árbol del plan. El optimizador de Milvus es bastante similar al mecanismo del caminante antes mencionado. Dado que la funcionalidad de optimización del árbol de planes proporcionada por Expr es bastante sofisticada, la carga del optimizador incorporado en Milvus se alivia en gran medida. En última instancia, el analizador analiza el árbol del plan optimizado de forma recursiva para generar un AST del plan en la estructura de <a href="https://developers.google.com/protocol-buffers">búferes de protocolo</a> (protobuf).</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/plan_AST_workflow_3e50b7a0d4.png" alt="plan AST workflow" class="doc-image" id="plan-ast-workflow" />
   </span> <span class="img-wrapper"> <span>Flujo de trabajo del plan AST</span> </span></p>
<h2 id="Query-execution" class="common-anchor-header">Ejecución de consultas<button data-href="#Query-execution" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>La ejecución de la consulta es, en esencia, la ejecución del plan AST generado en los pasos anteriores.</p>
<p>En Milvus, un plan AST se define en una estructura proto. La imagen de abajo es un mensaje con la estructura protobuf. Hay seis tipos de expresiones, entre las cuales la expresión binaria y la expresión unaria pueden tener además expresión lógica binaria y expresión lógica unaria.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Protobuf1_232132dcf2.png" alt="protobuf1" class="doc-image" id="protobuf1" />
   </span> <span class="img-wrapper"> <span>protobuf1</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/protobuf2_193f92f033.png" alt="protobuf2" class="doc-image" id="protobuf2" />
   </span> <span class="img-wrapper"> <span>protobuf2</span> </span></p>
<p>La imagen siguiente es una imagen UML de la expresión de consulta. Demuestra la clase básica y la clase derivada de cada expresión. Cada clase viene con un método para aceptar parámetros del visitante. Este es un patrón de diseño de visitante típico. Milvus utiliza este patrón para ejecutar el plan AST ya que su mayor ventaja es que los usuarios no tienen que hacer nada a las expresiones primitivas sino que pueden acceder directamente a uno de los métodos de los patrones para modificar cierta clase de expresión de consulta y los elementos relevantes.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/UML_1238bc30e1.png" alt="UML" class="doc-image" id="uml" />
   </span> <span class="img-wrapper"> <span>UML</span> </span></p>
<p>Al ejecutar un plan AST, Milvus recibe primero un nodo de plan de tipo proto. A continuación, se obtiene un nodo de plan de tipo segcore mediante el analizador sintáctico interno de proto de C++. Al obtener los dos tipos de nodos del plan, Milvus acepta una serie de accesos a clases y, a continuación, modifica y ejecuta en la estructura interna de los nodos del plan. Por último, Milvus busca en todos los nodos del plan de ejecución para obtener los resultados filtrados. Los resultados finales se obtienen en el formato de una máscara de bits. Una máscara de bits es una matriz de números de bits ("0" y "1"). Los datos que cumplen las condiciones del filtro se marcan como "1" en la máscara de bits, mientras que los que no las cumplen se marcan como "0" en la máscara de bits.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/execute_workflow_d89f1ee925.png" alt="execute workflow" class="doc-image" id="execute-workflow" />
   </span> <span class="img-wrapper"> <span>ejecutar flujo de trabajo</span> </span></p>
<h2 id="About-the-Deep-Dive-Series" class="common-anchor-header">Acerca de la serie Deep Dive<button data-href="#About-the-Deep-Dive-Series" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Con el <a href="https://milvus.io/blog/2022-1-25-annoucing-general-availability-of-milvus-2-0.md">anuncio oficial de la disponibilidad general</a> de Milvus 2.0, hemos orquestado esta serie de blogs Milvus Deep Dive para ofrecer una interpretación en profundidad de la arquitectura y el código fuente de Milvus. Los temas tratados en esta serie de blogs incluyen</p>
<ul>
<li><a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">Visión general de la arquitectura de Milvus</a></li>
<li><a href="https://milvus.io/blog/deep-dive-2-milvus-sdk-and-api.md">API y SDK de Python</a></li>
<li><a href="https://milvus.io/blog/deep-dive-3-data-processing.md">Procesamiento de datos</a></li>
<li><a href="https://milvus.io/blog/deep-dive-4-data-insertion-and-data-persistence.md">Gestión de datos</a></li>
<li><a href="https://milvus.io/blog/deep-dive-5-real-time-query.md">Consultas en tiempo real</a></li>
<li><a href="https://milvus.io/blog/deep-dive-7-query-expression.md">Motor de ejecución escalar</a></li>
<li><a href="https://milvus.io/blog/deep-dive-6-oss-qa.md">Sistema de control de calidad</a></li>
<li><a href="https://milvus.io/blog/deep-dive-8-knowhere.md">Motor de ejecución vectorial</a></li>
</ul>


¿Cómo entiende y ejecuta la base de datos su consulta?

Aseguramiento de la calidad del software de código abierto (OSS): estudio de caso de Milvus

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220516_163732_d40acac221.png" alt="Cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>Imagen de portada</span> </span></p>
<p>Recientemente hemos alcanzado un hito increíble en el viaje de la base de datos vectorial: más de 10.000 estrellas en el <a href="https://github.com/milvus-io/milvus">repositorio GitHub de Milvus</a>. Gracias a todos y cada uno de ustedes que nos han apoyado dándonos una estrella ⭐️.</p>
<p>Han sido unos maravillosos 2,5 años desde que Milvus se convirtió en un proyecto de código abierto. Cuando empezamos, muy poca gente entendía exactamente lo que era una base de datos vectorial, y mucho menos se hablaba de cómo permitiría y aceleraría la adopción de la IA en nuestra vida cotidiana. La base de datos vectorial Milvus lleva nuestra visión de definir y construir la base de datos de próxima generación para la IA. Combinamos algoritmos SOTA con tecnologías en la nube en el proyecto Milvus para que los desarrolladores puedan crear aplicaciones de IA fácilmente con la base de datos vectorial Milvus.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Milvus_0_10000_d50a914332.gif" alt="Gif2" class="doc-image" id="gif2" />
   </span> <span class="img-wrapper"> <span>Gif2</span> </span></p>
<div align="center">Haga clic <a href="https://www.youtube.com/watch?v=zIAX_oPI2Jk&ab_channel=Milvus-VectorDatabase">aquí</a> para ver el vídeo completo de la visualización del desarrollo del repositorio Milvus.</div>
<p><br/></p>
<p>Hay muchos <a href="https://github.com/milvus-io/milvus">proyectos brillantes</a> que sentaron las bases de Milvus, y estamos agradecidos de estar sobre los hombros de los gigantes. Sin ellos Milvus no habría existido.</p>
<p>También estamos increíblemente agradecidos a nuestra impresionante comunidad, que ha ayudado a abrir un capítulo emocionante para este nuevo tipo de base de datos. Antes de mirar hacia adelante, queremos tomarnos un momento para reflexionar sobre este viaje, contemplar nuestros hitos y reconocer y agradecer a nuestros desarrolladores:</p>
<ul>
<li>Nos unimos a la LF AI &amp; Data Foundation en el nivel de <a href="https://lfaidata.foundation/blog/2020/04/02/milvus-joins-lf-ai-as-new-incubation-project/">incubación</a>, encontrando nuestro hogar junto a muchos otros grandes proyectos de código abierto de IA y datos. Ahora Milvus ya es un <a href="https://lfaidata.foundation/blog/2021/06/23/lf-ai-data-foundation-announces-graduation-of-milvus-project/">proyecto de graduación</a>.</li>
<li>Hemos lanzado dos versiones importantes: <a href="https://milvus.io/docs/v1.0.0/announcement.md">Milvus 1.0</a> y <a href="https://milvus.io/docs/v2.0.x/comparison.md">Milvus 2.0</a>.</li>
<li>Se publicó un artículo en SIGMOD: <a href="https://dl.acm.org/doi/abs/10.1145/3448016.3457550">Milvus: A Purpose-Built Vector Data Management System</a>.</li>
<li>Actualmente, contamos con más de 10.000 miembros de la comunidad y más de 220 colaboradores en todo el mundo.</li>
<li>Hay más de <a href="https://milvus.io/">1000 usuarios empresariales</a> que han adoptado Milvus. Entre ellos, hay muchos líderes de la industria.</li>
</ul>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Milvus_10000_star_timeline_3sec_de1a7c906a.gif" alt="Timeline gif" class="doc-image" id="timeline-gif" />
   </span> <span class="img-wrapper"> <span>Línea de tiempo gif</span> </span></p>
<p>Todo esto sólo es posible gracias a cada una de las personas que contribuyen. Gracias por sus pull requests, informes de problemas, correos electrónicos, reuniones y por compartir sus conocimientos sobre Milvus. Todos ustedes desempeñan un valioso papel en el progreso de Milvus.</p>
<h2 id="Special-event" class="common-anchor-header">Evento especial<button data-href="#Special-event" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Para este hito especial, hemos preparado un pequeño regalo de agradecimiento - <a href="https://assets.zilliz.com/10_K_stars_2b2e0e0b36.png">un fondo de escritorio descargable</a>. Esperamos que lo disfrutes.</p>
<p>¡Estaría bien que nos ayudaras a <a href="https://twitter.com/milvusio">correr la voz</a>! ❤️</p>


Un pequeño paso para Milvus - 10.000 estrellas

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/deep_dive_5_5e9175c7f7.png" alt="Cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>Imagen de portada</span> </span></p>
<blockquote>
<p>Este artículo está escrito por <a href="https://github.com/xige-16">Xi Ge</a> y transcreado por <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni</a>.</p>
</blockquote>
<p>En el artículo anterior, hemos hablado de la <a href="https://milvus.io/blog/deep-dive-4-data-insertion-and-data-persistence.md">inserción y persistencia de datos</a> en Milvus. En este artículo, continuaremos explicando cómo <a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">los diferentes componentes</a> de Milvus interactúan entre sí para completar la consulta de datos en tiempo real.</p>
<p><em>A continuación se enumeran algunos recursos útiles antes de comenzar. Recomendamos leerlos primero para comprender mejor el tema de este post.</em></p>
<ul>
<li><a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">Profundización en la arquitectura de Milvus</a></li>
<li><a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md#Data-Model">Modelo de datos Milvus</a></li>
<li><a href="https://milvus.io/docs/v2.0.x/four_layers.md">El papel y la función de cada componente de Milvus</a></li>
<li><a href="https://milvus.io/blog/deep-dive-3-data-processing.md">Procesamiento de datos en Milvus</a></li>
<li><a href="https://milvus.io/blog/deep-dive-4-data-insertion-and-data-persistence.md">Inserción y persistencia de datos en Milvus</a></li>
</ul>
<h2 id="Load-data-to-query-node" class="common-anchor-header">Carga de datos en el nodo de consulta<button data-href="#Load-data-to-query-node" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Antes de ejecutar una consulta, los datos deben cargarse en los nodos de consulta.</p>
<p>Hay dos tipos de datos que se cargan en el nodo de consulta: datos en flujo desde <a href="https://milvus.io/docs/v2.0.x/four_layers.md#Log-broker">el corredor de registro</a> y datos históricos desde <a href="https://milvus.io/docs/v2.0.x/four_layers.md#Object-storage">el almacenamiento de objetos</a> (también denominado almacenamiento persistente más adelante).</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/flowchart_b1c51dfdaa.png" alt="Flowchart" class="doc-image" id="flowchart" />
   </span> <span class="img-wrapper"> <span>Diagrama de flujo</span> </span></p>
<p>El coordinador de datos se encarga de gestionar los datos en flujo que se insertan continuamente en Milvus. Cuando un usuario de Milvus llama a <code translate="no">collection.load()</code> para cargar una colección, el coordinador de consultas consultará al coordinador de datos para saber qué segmentos se han mantenido en el almacenamiento y sus correspondientes puntos de control. Un punto de control es una marca que indica que los segmentos almacenados antes del punto de control se consumen, mientras que los posteriores no.</p>
<p>A continuación, el coordinador de consultas genera una estrategia de asignación basada en la información del coordinador de datos: por segmento o por canal. El asignador de segmentos es responsable de asignar segmentos en el almacenamiento persistente (datos por lotes) a diferentes nodos de consulta. Por ejemplo, en la imagen anterior, el asignador de segmentos asigna los segmentos 1 y 3 (S1, S3) al nodo de consulta 1, y los segmentos 2 y 4 (S2, S4) al nodo de consulta 2. El asignador de canales asigna diferentes nodos de consulta para ver múltiples <a href="https://milvus.io/docs/v2.0.x/data_processing.md#Data-insertion">canales de</a> manipulación de datos (DMChannels) en el log broker. Por ejemplo, en la imagen anterior, el asignador de canales asigna al nodo de consulta 1 el canal 1 (Ch1) y al nodo de consulta 2 el canal 2 (Ch2).</p>
<p>Con la estrategia de asignación, cada nodo de consulta carga los datos del segmento y vigila los canales en consecuencia. En el nodo de consulta 1 de la imagen, los datos históricos (datos por lotes), se cargan a través de los S1 y S3 asignados desde el almacenamiento persistente. Mientras tanto, el nodo de consulta 1 carga datos incrementales (datos en streaming) suscribiéndose al canal 1 en el log broker.</p>
<h2 id="Data-management-in-query-node" class="common-anchor-header">Gestión de datos en el nodo de consulta<button data-href="#Data-management-in-query-node" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Un nodo de consulta necesita gestionar tanto datos históricos como incrementales. Los datos históricos se almacenan en <a href="https://milvus.io/blog/deep-dive-4-data-insertion-and-data-persistence.md#Sealed-segment">segmentos sellados</a> mientras que los datos incrementales se almacenan en <a href="https://milvus.io/blog/deep-dive-4-data-insertion-and-data-persistence.md#Growing-segment">segmentos crecientes</a>.</p>
<h3 id="Historical-data-management" class="common-anchor-header">Gestión de datos históricos</h3><p>Existen dos consideraciones principales para la gestión de datos históricos: el equilibrio de carga y la conmutación por error del nodo de consulta.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/load_balance_c77e22bb5c.png" alt="Load balance" class="doc-image" id="load-balance" />
   </span> <span class="img-wrapper"> <span>Balance de carga</span> </span></p>
<p>Por ejemplo, como se muestra en la ilustración, al nodo de consulta 4 se le han asignado más segmentos sellados que al resto de los nodos de consulta. Es muy probable que esto convierta al nodo de consulta 4 en el cuello de botella que ralentice todo el proceso de consulta. Para resolver este problema, el sistema debe asignar varios segmentos del nodo de consulta 4 a otros nodos de consulta. Esto se denomina equilibrio de carga.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Query_node_failover_3278c0e307.png" alt="Query node failover" class="doc-image" id="query-node-failover" />
   </span> <span class="img-wrapper"> <span>Conmutación por error del nodo de consulta</span> </span></p>
<p>En la imagen anterior se ilustra otra posible situación. Uno de los nodos, el nodo de consulta 4, se cae repentinamente. En este caso, la carga (segmentos asignados al nodo de consulta 4) debe transferirse a otros nodos de consulta en funcionamiento para garantizar la precisión de los resultados de la consulta.</p>
<h3 id="Incremental-data-management" class="common-anchor-header">Gestión incremental de datos</h3><p>El nodo de consulta vigila los DMChannels para recibir datos incrementales. En este proceso se introduce el diagrama de flujo. Primero filtra todos los mensajes de inserción de datos. Esto es para asegurar que sólo se cargan los datos en una partición especificada. Cada colección en Milvus tiene un canal correspondiente, que es compartido por todas las particiones en esa colección. Por lo tanto, se necesita un diagrama de flujo para filtrar los datos insertados si un usuario de Milvus sólo necesita cargar datos en una partición determinada. En caso contrario, los datos de todas las particiones de la colección se cargarán en el nodo de consulta.</p>
<p>Una vez filtrados, los datos incrementales se insertan en segmentos crecientes y se transmiten a los nodos temporales del servidor.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/flow_graph_dc58651367.png" alt="Flowgraph" class="doc-image" id="flowgraph" />
   </span> <span class="img-wrapper"> <span>Diagrama de flujo</span> </span></p>
<p>Durante la inserción de datos, a cada mensaje de inserción se le asigna una marca de tiempo. En el DMChannel de la imagen anterior, los datos se insertan en orden, de izquierda a derecha. La marca de tiempo del primer mensaje de inserción es 1; la del segundo, 2; y la del tercero, 6. El cuarto mensaje marcado en rojo no es un mensaje de inserción, sino un mensaje de marca de tiempo. Esto significa que los datos insertados cuyas marcas de tiempo son menores que esta marca de tiempo ya están en el corredor de registro. En otras palabras, los datos insertados después de este mensaje de marca de tiempo deben tener marcas de tiempo cuyos valores sean mayores que esta marca de tiempo. Por ejemplo, en la imagen anterior, cuando el nodo de consulta percibe que el timetick actual es 5, significa que todos los mensajes de inserción cuyo valor de timestamp es inferior a 5 se cargan en el nodo de consulta.</p>
<p>El nodo de tiempo del servidor proporciona un valor <code translate="no">tsafe</code> actualizado cada vez que recibe un timetick del nodo de inserción. <code translate="no">tsafe</code> significa tiempo de seguridad, y todos los datos insertados antes de este punto de tiempo pueden ser consultados. Por ejemplo, si <code translate="no">tsafe</code> = 9, todos los datos insertados con marcas de tiempo inferiores a 9 pueden consultarse.</p>
<h2 id="Real-time-query-in-Milvus" class="common-anchor-header">Consulta en tiempo real en Milvus<button data-href="#Real-time-query-in-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>La consulta en tiempo real en Milvus se realiza mediante mensajes de consulta. Los mensajes de consulta se insertan en el log broker mediante un proxy. A continuación, los nodos de consulta obtienen los mensajes de consulta observando el canal de consulta en el corredor de registros.</p>
<h3 id="Query-message" class="common-anchor-header">Mensaje de consulta</h3><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/query_message_4d57814f47.png" alt="Query message" class="doc-image" id="query-message" />
   </span> <span class="img-wrapper"> <span>Mensaje de consulta</span> </span></p>
<p>Un mensaje de consulta incluye la siguiente información crucial sobre una consulta:</p>
<ul>
<li><code translate="no">msgID</code>: ID de mensaje, el ID del mensaje de consulta asignado por el sistema.</li>
<li><code translate="no">collectionID</code>: El ID de la colección que se va a consultar (si lo especifica el usuario).</li>
<li><code translate="no">execPlan</code>: El plan de ejecución se utiliza principalmente para el filtrado de atributos en una consulta.</li>
<li><code translate="no">service_ts</code>: La fecha y hora del servicio se actualizará junto con <code translate="no">tsafe</code> mencionada anteriormente. La marca de tiempo del servicio indica en qué momento se encuentra el servicio. Todos los datos insertados antes de <code translate="no">service_ts</code> están disponibles para la consulta.</li>
<li><code translate="no">travel_ts</code>: Travel timestamp especifica un rango de tiempo en el pasado. Y la consulta se realizará sobre los datos existentes en el periodo de tiempo especificado por <code translate="no">travel_ts</code>.</li>
<li><code translate="no">guarantee_ts</code>: La marca de tiempo de garantía especifica un periodo de tiempo tras el cual debe realizarse la consulta. La consulta sólo se realizará cuando <code translate="no">service_ts</code> &gt; <code translate="no">guarantee_ts</code>.</li>
</ul>
<h3 id="Real-time-query" class="common-anchor-header">Consulta en tiempo real</h3><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/query_process_7f676972d8.png" alt="Query process" class="doc-image" id="query-process" />
   </span> <span class="img-wrapper"> <span>Proceso de consulta</span> </span></p>
<p>Cuando se recibe un mensaje de consulta, Milvus comprueba en primer lugar si el tiempo de servicio actual, <code translate="no">service_ts</code>, es mayor que la marca de tiempo de garantía, <code translate="no">guarantee_ts</code>, del mensaje de consulta. En caso afirmativo, se ejecuta la consulta. La consulta se realizará en paralelo tanto sobre los datos históricos como sobre los datos incrementales. Dado que puede haber un solapamiento de datos entre los datos históricos y los datos incrementales, se necesita una acción denominada "reducción local" para filtrar los resultados redundantes de la consulta.</p>
<p>Sin embargo, si el tiempo de servicio actual es inferior a la marca de tiempo de garantía en un mensaje de consulta recién insertado, el mensaje de consulta se convertirá en un mensaje no resuelto y esperará a ser procesado hasta que el tiempo de servicio sea superior a la marca de tiempo de garantía.</p>
<p>Los resultados de la consulta se envían finalmente al canal de resultados. El proxy obtiene los resultados de la consulta de ese canal. Asimismo, el proxy realizará una "reducción global", ya que recibe resultados de varios nodos de consulta y los resultados de la consulta pueden ser repetitivos.</p>
<p>Para garantizar que el proxy ha recibido todos los resultados de la consulta antes de devolverlos al SDK, el mensaje de resultados también mantendrá un registro de información que incluye los segmentos sellados buscados, los DMChannels buscados y los segmentos sellados globales (todos los segmentos en todos los nodos de consulta). El sistema puede concluir que el proxy ha recibido todos los resultados de la consulta sólo si se cumplen las dos condiciones siguientes:</p>
<ul>
<li>La unión de todos los segmentos sellados buscados registrados en todos los mensajes de resultados es mayor que los segmentos sellados globales,</li>
<li>Se han consultado todos los DMChannels de la colección.</li>
</ul>
<p>Por último, el proxy devuelve los resultados finales después de la "reducción global" al SDK de Milvus.</p>
<h2 id="About-the-Deep-Dive-Series" class="common-anchor-header">Acerca de la serie Deep Dive<button data-href="#About-the-Deep-Dive-Series" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Con el <a href="https://milvus.io/blog/2022-1-25-annoucing-general-availability-of-milvus-2-0.md">anuncio oficial de la disponibilidad general</a> de Milvus 2.0, orquestamos esta serie de blogs Milvus Deep Dive para ofrecer una interpretación en profundidad de la arquitectura y el código fuente de Milvus. Los temas tratados en esta serie de blogs incluyen</p>
<ul>
<li><a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">Visión general de la arquitectura de Milvus</a></li>
<li><a href="https://milvus.io/blog/deep-dive-2-milvus-sdk-and-api.md">API y SDK de Python</a></li>
<li><a href="https://milvus.io/blog/deep-dive-3-data-processing.md">Procesamiento de datos</a></li>
<li><a href="https://milvus.io/blog/deep-dive-4-data-insertion-and-data-persistence.md">Gestión de datos</a></li>
<li><a href="https://milvus.io/blog/deep-dive-5-real-time-query.md">Consultas en tiempo real</a></li>
<li><a href="https://milvus.io/blog/deep-dive-7-query-expression.md">Motor de ejecución escalar</a></li>
<li><a href="https://milvus.io/blog/deep-dive-6-oss-qa.md">Sistema de control de calidad</a></li>
<li><a href="https://milvus.io/blog/deep-dive-8-knowhere.md">Motor de ejecución vectorial</a></li>
</ul>


Utilización de la base de datos vectorial Milvus para consultas en tiempo real

Inserción y persistencia de datos en una base de datos vectorial

¿Cómo se procesan los datos en una base de datos vectorial?

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220322_175856_e8e7bea7dc.png" alt="Cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>Imagen de portada</span> </span></p>
<p>Por <a href="https://github.com/XuanYang-cn">Xuan Yang</a></p>
<h2 id="Background" class="common-anchor-header">Fondo<button data-href="#Background" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>La siguiente ilustración muestra la interacción entre los SDK y Milvus a través de gRPC. Imaginemos que Milvus es una caja negra. Los búferes de protocolo se utilizan para definir las interfaces del servidor y la estructura de la información que transportan. Por lo tanto, todas las operaciones en la caja negra Milvus están definidas por la API de Protocolo.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/SDK_10c9673111.png" alt="Interaction" class="doc-image" id="interaction" />
   </span> <span class="img-wrapper"> <span>Interacción</span> </span></p>
<h2 id="Milvus-Protocol-API" class="common-anchor-header">API de protocolo de Milvus<button data-href="#Milvus-Protocol-API" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>La API de Protocolo Milvus consiste en <code translate="no">milvus.proto</code>, <code translate="no">common.proto</code>, y <code translate="no">schema.proto</code>, que son archivos de Buffers de Protocolo con el sufijo <code translate="no">.proto</code>. Para garantizar un funcionamiento correcto, los SDKs deben interactuar con Milvus con estos archivos Protocol Buffers.</p>
<h3 id="milvusproto" class="common-anchor-header">milvus.proto</h3><p><code translate="no">milvus.proto</code> es el componente vital de la API de protocolo de Milvus porque define <code translate="no">MilvusService</code>, que a su vez define todas las interfaces RPC de Milvus.</p>
<p>El siguiente ejemplo de código muestra la interfaz <code translate="no">CreatePartitionRequest</code>. Tiene dos parámetros principales de tipo cadena <code translate="no">collection_name</code> y <code translate="no">partition_name</code>, en base a los cuales puede iniciar una petición de creación de partición.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/code_d5f034d58d.png" alt="CreatePartitionRequest" class="doc-image" id="createpartitionrequest" />
   </span> <span class="img-wrapper"> <span>CreatePartitionRequest</span> </span></p>
<p>Comprueba un ejemplo de Protocolo en <a href="https://github.com/milvus-io/milvus-proto/blob/44f59db22b27cc55e4168c8e53b6e781c010a713/proto/milvus.proto">PyMilvus GitHub Repository</a> en la línea 19.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/create_partition_938691f07f.png" alt="Example" class="doc-image" id="example" />
   </span> <span class="img-wrapper"> <span>Ejemplo</span> </span></p>
<p>Puedes encontrar la definición de <code translate="no">CreatePartitionRequest</code> aquí.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220321_112254_4ec4f35bd3.png" alt="Definition" class="doc-image" id="definition" />
   </span> <span class="img-wrapper"> <span>Definición</span> </span></p>
<p>Los contribuidores que deseen desarrollar una característica de Milvus o un SDK en un lenguaje de programación diferente son bienvenidos para encontrar todas las interfaces que Milvus ofrece vía RPC.</p>
<h3 id="commonproto" class="common-anchor-header">común.proto</h3><p><code translate="no">common.proto</code> define los tipos comunes de información, incluyendo <code translate="no">ErrorCode</code>, y <code translate="no">Status</code>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220321_112303_eaafc432a8.png" alt="common.proto" class="doc-image" id="common.proto" />
   </span> <span class="img-wrapper"> <span>common.proto</span> </span></p>
<h3 id="schemaproto" class="common-anchor-header">schema.proto</h3><p><code translate="no">schema.proto</code> define el esquema en los parámetros. La siguiente muestra de código es un ejemplo de <code translate="no">CollectionSchema</code>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220321_112313_df4ebe36e7.png" alt="schema.proto" class="doc-image" id="schema.proto" />
   </span> <span class="img-wrapper"> <span>schema.proto</span> </span></p>
<p><code translate="no">milvus.proto</code>, <code translate="no">common.proto</code>, y <code translate="no">schema.proto</code> juntos constituyen la API de Milvus, representando todas las operaciones que pueden ser llamadas vía RPC.</p>
<p>Si escarba en el código fuente y observa detenidamente, descubrirá que cuando se llama a interfaces como <code translate="no">create_index</code>, en realidad se llama a múltiples interfaces RPC como <code translate="no">describe_collection</code> y <code translate="no">describe_index</code>. Muchas de las interfaces externas de Milvus son una combinación de múltiples interfaces RPC.</p>
<p>Habiendo entendido los comportamientos de RPC, puede desarrollar nuevas características para Milvus a través de la combinación. Usted es más que bienvenido a usar su imaginación y creatividad y contribuir a la comunidad Milvus.</p>
<h2 id="PyMilvus-20" class="common-anchor-header">PyMilvus 2.0<button data-href="#PyMilvus-20" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="Object-relational-mapping-ORM" class="common-anchor-header">Mapeo objeto-relacional (ORM)</h3><p>Para decirlo en pocas palabras, el mapeo objeto-relacional (ORM) se refiere a que cuando se opera sobre un objeto local, tales operaciones afectarán al objeto correspondiente en el servidor. La API estilo ORM de PyMilvus presenta las siguientes características:</p>
<ol>
<li>Opera directamente sobre los objetos.</li>
<li>Aísla la lógica del servicio y los detalles de acceso a los datos.</li>
<li>Oculta la complejidad de la implementación, y puede ejecutar los mismos scripts a través de diferentes instancias Milvus independientemente de sus enfoques de despliegue o implementación.</li>
</ol>
<h3 id="ORM-style-API" class="common-anchor-header">API de estilo ORM</h3><p>Una de las esencias de la API de estilo ORM reside en el control de la conexión de Milvus. Por ejemplo, puede especificar alias para múltiples servidores Milvus, y conectarse o desconectarse de ellos simplemente con sus alias. Incluso puede eliminar la dirección del servidor local, y controlar ciertos objetos a través de una conexión específica precisamente.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220321_112320_d5ff08a582.png" alt="Control Connection" class="doc-image" id="control-connection" />
   </span> <span class="img-wrapper"> <span>Conexión de control</span> </span></p>
<p>Otra característica de la API de estilo ORM es que, tras la abstracción, todas las operaciones pueden realizarse directamente sobre los objetos, incluyendo la colección, la partición y el índice.</p>
<p>Puede abstraer un objeto de colección obteniendo uno existente o creando uno nuevo. También puede asignar una conexión Milvus a objetos específicos utilizando alias de conexión, de modo que pueda operar sobre estos objetos localmente.</p>
<p>Para crear un objeto partición, puede crearlo con su objeto colección padre, o puede hacerlo igual que cuando crea un objeto colección. Estos métodos también se pueden emplear en un objeto índice.</p>
<p>En el caso de que estos objetos partición o índice existan, puedes obtenerlos a través de su objeto colección padre.</p>
<h2 id="About-the-Deep-Dive-Series" class="common-anchor-header">Acerca de la serie Deep Dive<button data-href="#About-the-Deep-Dive-Series" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Con el <a href="https://milvus.io/blog/2022-1-25-annoucing-general-availability-of-milvus-2-0.md">anuncio oficial de la disponibilidad general</a> de Milvus 2.0, orquestamos esta serie de blogs Milvus Deep Dive para proporcionar una interpretación en profundidad de la arquitectura y el código fuente de Milvus. Los temas tratados en esta serie de blogs incluyen</p>
<ul>
<li><a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">Visión general de la arquitectura de Milvus</a></li>
<li><a href="https://milvus.io/blog/deep-dive-2-milvus-sdk-and-api.md">API y SDK de Python</a></li>
<li><a href="https://milvus.io/blog/deep-dive-3-data-processing.md">Procesamiento de datos</a></li>
<li><a href="https://milvus.io/blog/deep-dive-4-data-insertion-and-data-persistence.md">Gestión de datos</a></li>
<li><a href="https://milvus.io/blog/deep-dive-5-real-time-query.md">Consulta en tiempo real</a></li>
<li><a href="https://milvus.io/blog/deep-dive-7-query-expression.md">Motor de ejecución escalar</a></li>
<li><a href="https://milvus.io/blog/deep-dive-6-oss-qa.md">Sistema de control de calidad</a></li>
<li><a href="https://milvus.io/blog/deep-dive-8-knowhere.md">Motor de ejecución vectorial</a></li>
</ul>


Introducción a Milvus Python SDK y API

Creación de una base de datos vectorial para la búsqueda escalable de similitudes

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Attu_3ff9a76156.png" alt="Binlog Cover Image" class="doc-image" id="binlog-cover-image" />
   </span> <span class="img-wrapper"> <span>Binlog Imagen de portada</span> </span></p>
<p>Borrador de <a href="https://github.com/czhen-zilliz">Zhen Chen</a> y transcreación de <a href="https://github.com/LocoRichard">Lichen Wang</a>.</p>
<p style="font-size: 12px;color: #4c5a67">Haga clic <a href="https://zilliz.com/blog/manage-your-milvus-vector-database-with-one-click-simplicity">aquí</a> para consultar el post original.</p> 
<p>Ante el rápido crecimiento de la demanda de procesamiento de datos no estructurados, Milvus 2.0 destaca. Se trata de un sistema de base de datos vectorial orientado a la IA y diseñado para escenarios de producción masiva. Aparte de todos estos SDK de Milvus y de Milvus CLI, una interfaz de línea de comandos para Milvus, ¿existe alguna herramienta que permita a los usuarios manejar Milvus de forma más intuitiva? La respuesta es SÍ. Zilliz ha anunciado una interfaz gráfica de usuario - Attu - específica para Milvus. En este artículo, nos gustaría mostrarle paso a paso cómo realizar una búsqueda de similitud vectorial con Attu.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/map_aa1cda30d4.png" alt="Attu island" class="doc-image" id="attu-island" />
   </span> <span class="img-wrapper"> <span>La isla Attu</span> </span></p>
<p>En comparación con Milvus CLI, que aporta la máxima simplicidad de uso, Attu ofrece más:</p>
<ul>
<li>Instaladores para los sistemas operativos Windows, macOS y Linux;</li>
<li>GUI intuitiva para facilitar el uso de Milvus;</li>
<li>Cobertura de las principales funcionalidades de Milvus;</li>
<li>Plugins para ampliar las funcionalidades personalizadas;</li>
<li>Información completa sobre la topología del sistema para facilitar la comprensión y la administración de la instancia de Milvus.</li>
</ul>
<h2 id="Installation" class="common-anchor-header">Instalación<button data-href="#Installation" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Puede encontrar la versión más reciente de Attu en <a href="https://github.com/zilliztech/attu/releases">GitHub</a>. Attu ofrece instaladores ejecutables para diferentes sistemas operativos. Es un proyecto de código abierto y acepta contribuciones de todo el mundo.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/installation_bbe62873af.png" alt="Installation" class="doc-image" id="installation" />
   </span> <span class="img-wrapper"> <span>Instalación</span> </span></p>
<p>También puedes instalar Attu a través de Docker.</p>
<pre><code translate="no" class="language-shell">docker run -p <span class="hljs-number">8000</span>:<span class="hljs-number">3000</span> -e <span class="hljs-variable constant_">HOST_URL</span>=<span class="hljs-attr">http</span>:<span class="hljs-comment">//{ attu IP }:8000 -e MILVUS_URL={milvus server IP}:19530 zilliz/attu:latest</span>
<button class="copy-code-btn"></button></code></pre>
<p><code translate="no">attu IP</code> es la dirección IP del entorno donde se ejecuta Attu, y <code translate="no">milvus server IP</code> es la dirección IP del entorno donde se ejecuta Milvus.</p>
<p>Una vez instalado Attu correctamente, puede introducir la IP y el puerto de Milvus en la interfaz para iniciar Attu.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/connect_1fde46d9d5.png" alt="Connect Milvus with Attu" class="doc-image" id="connect-milvus-with-attu" />
   </span> <span class="img-wrapper"> <span>Conectar Milvus con Attu</span> </span></p>
<h2 id="Feature-overview" class="common-anchor-header">Resumen de características<button data-href="#Feature-overview" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/overview_591e230514.png" alt="Overview page" class="doc-image" id="overview-page" />
   </span> <span class="img-wrapper"> <span>Página general</span> </span></p>
<p>La interfaz de Attu se compone de la página de <strong>Visión General</strong>, la página de <strong>Colecciones</strong>, la página de <strong>Búsqueda de Vectores</strong> y la página de <strong>Vista del Sistema</strong>, que corresponden a los cuatro iconos del panel de navegación de la izquierda respectivamente.</p>
<p>La página <strong>Descripción general</strong> muestra las colecciones cargadas. Mientras que la página <strong>Colección</strong> enumera todas las colecciones e indica si están cargadas o liberadas.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/collection_42656fe308.png" alt="Collection page" class="doc-image" id="collection-page" />
   </span> <span class="img-wrapper"> <span>Página de colecciones</span> </span></p>
<p>Las páginas <strong>Búsqueda vectorial</strong> y <strong>Vista del sistema</strong> son plugins de Attu. Los conceptos y el uso de los plugins se introducirán en la parte final del blog.</p>
<p>Puede realizar una búsqueda de similitudes vectoriales en la página <strong>Búsqueda</strong> vectorial.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/vector_search_be7365687c.png" alt="Vector Search page" class="doc-image" id="vector-search-page" />
   </span> <span class="img-wrapper"> <span>Página de búsqueda de vectores</span> </span></p>
<p>En la página <strong>System View</strong>, puede comprobar la estructura topológica de Milvus.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/system_view_e1df15023d.png" alt="System View page" class="doc-image" id="system-view-page" />
   </span> <span class="img-wrapper"> <span>Página Vista del sistema</span> </span></p>
<p>También puede comprobar la información detallada de cada nodo haciendo clic en el nodo.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/node_view_5bbc25f9b2.png" alt="Node view" class="doc-image" id="node-view" />
   </span> <span class="img-wrapper"> <span>Vista de nodos</span> </span></p>
<h2 id="Demonstration" class="common-anchor-header">Demostración<button data-href="#Demonstration" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Exploremos Attu con un conjunto de datos de prueba.</p>
<p>Consulte nuestro <a href="https://github.com/zilliztech/attu/tree/main/examples">repositorio de GitHub</a> para obtener el conjunto de datos utilizado en la siguiente prueba.</p>
<p>En primer lugar, cree una colección llamada test con los siguientes cuatro campos:</p>
<ul>
<li>Nombre de campo: id, campo de clave primaria</li>
<li>Nombre de campo: vector, campo vectorial, vector flotante, Dimensión: 128</li>
<li>Nombre del campo: brand, campo escalar, Int64</li>
<li>Nombre de campo: color, campo escalar, Int64</li>
</ul>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/create_collection_95dfa15354.png" alt="Create a collection" class="doc-image" id="create-a-collection" />
   </span> <span class="img-wrapper"> <span>Crear una colección</span> </span></p>
<p>Cargue la colección para la búsqueda después de que se haya creado correctamente.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/load_collection_fec39171df.png" alt="Load the collection" class="doc-image" id="load-the-collection" />
   </span> <span class="img-wrapper"> <span>Cargar la colección</span> </span></p>
<p>Ahora puede comprobar la colección recién creada en la página <strong>Descripción general</strong>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/check_collection_163b05477e.png" alt="Check the collection" class="doc-image" id="check-the-collection" />
   </span> <span class="img-wrapper"> <span>Comprobar la colección</span> </span></p>
<p>Importe el conjunto de datos de prueba a Milvus.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/import_data_1_f73d71be85.png" alt="Import data" class="doc-image" id="import-data" />
   </span> <span class="img-wrapper"> <span>Importar datos</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/import_data_2_4b3c3c3c25.png" alt="Import data" class="doc-image" id="import-data" />
   </span> <span class="img-wrapper"> <span>Importar datos</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/import_data_3_0def4e8550.png" alt="Import data" class="doc-image" id="import-data" />
   </span> <span class="img-wrapper"> <span>Importar datos</span> </span></p>
<p>Haga clic en el nombre de la colección en la página Descripción general o Colección para acceder a la interfaz de consulta y comprobar los datos importados.</p>
<p>Añada un filtro, especifique la expresión <code translate="no">id != 0</code>, haga clic en <strong>Aplicar filtro</strong> y haga clic en <strong>Consulta</strong>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/query_data_24d9f71ccc.png" alt="Query data" class="doc-image" id="query-data" />
   </span> <span class="img-wrapper"> <span>Consultar datos</span> </span></p>
<p>Encontrará que las cincuenta entradas de entidades se han importado correctamente.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/query_result_bcbbd17084.png" alt="Query result" class="doc-image" id="query-result" />
   </span> <span class="img-wrapper"> <span>Resultado de la consulta</span> </span></p>
<p>Probemos la búsqueda por similitud vectorial.</p>
<p>Copie un vector de <code translate="no">search_vectors.csv</code> y péguelo en el campo <strong>Valor del vector</strong>. Elija la colección y el campo. Haga clic en <strong>Buscar</strong>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/search_data_5af3a1db53.png" alt="Search data" class="doc-image" id="search-data" />
   </span> <span class="img-wrapper"> <span>Buscar datos</span> </span></p>
<p>A continuación, puede comprobar el resultado de la búsqueda. Sin compilar ningún script, puede buscar con Milvus fácilmente.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/search_result_961886efab.png" alt="Search result" class="doc-image" id="search-result" />
   </span> <span class="img-wrapper"> <span>Resultado de la búsqueda</span> </span></p>
<p>Por último, comprobemos la página <strong>Vista del sistema</strong>.</p>
<p>Con la API de métricas encapsulada en Milvus Node.js SDK, puede comprobar el estado del sistema, las relaciones entre nodos y el estado de los nodos.</p>
<p>Como característica exclusiva de Attu, la página Vista del sistema incluye un gráfico topológico completo del sistema. Haciendo clic en cada nodo, puede comprobar su estado (actualización cada 10 segundos).</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/topological_graph_d0c5c17586.png" alt="Milvus node topological graph" class="doc-image" id="milvus-node-topological-graph" />
   </span> <span class="img-wrapper"> <span>Gráfico topológico de nodos Milvus</span> </span></p>
<p>Haga clic en cada nodo para acceder a la <strong>vista de lista de nodos</strong>. Puede comprobar todos los nodos hijos de un nodo coord. Clasificando, puede identificar rápidamente los nodos con alto uso de CPU o memoria, y localizar el problema del sistema.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/node_list_64fc610a8d.png" alt="Milvus node list" class="doc-image" id="milvus-node-list" />
   </span> <span class="img-wrapper"> <span>Lista de nodos Milvus</span> </span></p>
<h2 id="Whats-more" class="common-anchor-header">Y más<button data-href="#Whats-more" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Como se ha mencionado anteriormente, las páginas <strong>Búsqueda vectorial</strong> y <strong>Vista del sistema</strong> son plugins de Attu. Animamos a los usuarios a desarrollar sus propios plugins en Attu para adaptarse a sus escenarios de aplicación. En el código fuente, hay una carpeta creada específicamente para los códigos de los plugins.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/plugins_a2d98e4e5b.png" alt="Plugins" class="doc-image" id="plugins" />
   </span> <span class="img-wrapper"> <span>Plugins</span> </span></p>
<p>Puede consultar cualquiera de los plugins para aprender a crear un plugin. Estableciendo el siguiente archivo de configuración, puede añadir el plugin a Attu.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/add_plugins_e3ef53cc0d.png" alt="Add plugins to Attu" class="doc-image" id="add-plugins-to-attu" />
   </span> <span class="img-wrapper"> <span>Añadir plugins a Attu</span> </span></p>
<p>Puede consultar <a href="https://github.com/zilliztech/attu/tree/main/doc">Attu GitHub Repo</a> y <a href="https://milvus.io/docs/v2.0.x/attu.md">Milvus Technical Document</a> para obtener instrucciones detalladas.</p>
<p>Attu es un proyecto de código abierto. Todas las contribuciones son bienvenidas. También puede <a href="https://github.com/zilliztech/attu/issues">enviar una incidencia</a> si tiene algún problema con Attu.</p>
<p>Esperamos sinceramente que Attu pueda ofrecerle una mejor experiencia de usuario con Milvus. Y si te gusta Attu, o tienes alguna opinión sobre el uso, puedes completar esta <a href="https://wenjuan.feishu.cn/m/cfm?t=suw4QnODU1ui-ok7r">Encuesta de Usuario Attu</a> para ayudarnos a optimizar Attu para una mejor experiencia de usuario.</p>


Gestione su base de datos vectorial Milvus con un solo clic.

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Load_balance_b2f35a5577.png" alt="Binlog Cover Image" class="doc-image" id="binlog-cover-image" />
   </span> <span class="img-wrapper"> <span>Imagen de portada de Binlog</span> </span></p>
<p>Por <a href="https://github.com/xige-16">Xi Ge</a>.</p>
<p>En artículos anteriores del blog, hemos introducido sucesivamente las funciones Deletion, Bitset y Compaction en Milvus 2.0. Para culminar esta serie, nos gustaría compartir el diseño detrás de Load Balance, una función vital en el cluster distribuido de Milvus.</p>
<h2 id="Implementation" class="common-anchor-header">Implementación<button data-href="#Implementation" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Mientras que el número y el tamaño de los segmentos almacenados en los nodos de consulta difieren, el rendimiento de la búsqueda en los nodos de consulta también puede variar. El peor caso podría darse cuando unos pocos nodos de consulta se agotan buscando en una gran cantidad de datos, pero los nodos de consulta recién creados permanecen inactivos porque no se les distribuye ningún segmento, lo que provoca un desperdicio masivo de recursos de CPU y una enorme caída en el rendimiento de la búsqueda.</p>
<p>Para evitar estas circunstancias, el coordinador de consultas (query coord) está programado para distribuir segmentos uniformemente a cada nodo de consulta en función del uso de RAM de los nodos. De este modo, los recursos de la CPU se consumen por igual en todos los nodos, lo que mejora significativamente el rendimiento de la búsqueda.</p>
<h3 id="Trigger-automatic-load-balance" class="common-anchor-header">Activar el equilibrio de carga automático</h3><p>De acuerdo con el valor por defecto de la configuración <code translate="no">queryCoord.balanceIntervalSeconds</code>, la coordenada de consulta comprueba el uso de RAM (en porcentaje) de todos los nodos de consulta cada 60 segundos. Si se cumple alguna de las siguientes condiciones, el coordinador de consultas comienza a equilibrar la carga de las consultas entre los nodos de consulta:</p>
<ol>
<li>El uso de RAM de cualquier nodo de consulta del clúster es superior a <code translate="no">queryCoord.overloadedMemoryThresholdPercentage</code> (por defecto: 90);</li>
<li>O el valor absoluto de la diferencia de uso de RAM de dos nodos de consulta cualesquiera es superior a <code translate="no">queryCoord.memoryUsageMaxDifferencePercentage</code> (por defecto: 30).</li>
</ol>
<p>Una vez transferidos los segmentos del nodo de consulta de origen al nodo de consulta de destino, también deben cumplir las dos condiciones siguientes:</p>
<ol>
<li>El uso de RAM del nodo de consulta de destino no es mayor que <code translate="no">queryCoord.overloadedMemoryThresholdPercentage</code> (por defecto: 90);</li>
<li>El valor absoluto de la diferencia de uso de RAM de los nodos de consulta de origen y destino después del equilibrado de carga es menor que antes del equilibrado de carga.</li>
</ol>
<p>Si se cumplen estas condiciones, la coordinación de consultas procede a equilibrar la carga de consultas entre los nodos.</p>
<h2 id="Load-balance" class="common-anchor-header">Equilibrio de carga<button data-href="#Load-balance" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Cuando se activa el equilibrio de carga, el coordinador de consultas carga primero el segmento o segmentos de destino en el nodo de consulta de destino. En este punto, ambos nodos de consulta devuelven los resultados de búsqueda del segmento o segmentos de destino en cualquier solicitud de búsqueda para garantizar la integridad del resultado.</p>
<p>Después de que el nodo de consulta de destino cargue con éxito el segmento de destino, la coordenada de consulta publica un <code translate="no">sealedSegmentChangeInfo</code> en el Canal de Consulta. Como se muestra a continuación, <code translate="no">onlineNodeID</code> y <code translate="no">onlineSegmentIDs</code> indican el nodo de consulta que carga el segmento y el segmento cargado respectivamente, y <code translate="no">offlineNodeID</code> y <code translate="no">offlineSegmentIDs</code> indican el nodo de consulta que necesita liberar el segmento y el segmento a liberar respectivamente.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220228_145413_f253cec15b.png" alt="sealedSegmentChangeInfo" class="doc-image" id="sealedsegmentchangeinfo" />
   </span> <span class="img-wrapper"> <span>sealedSegmentChangeInfo</span> </span></p>
<p>Una vez recibido <code translate="no">sealedSegmentChangeInfo</code>, el nodo de consulta de origen libera el segmento de destino.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220228_145436_2604bc57a5.png" alt="Load Balance Workflow" class="doc-image" id="load-balance-workflow" />
   </span> <span class="img-wrapper"> <span>Flujo de trabajo de equilibrio de carga</span> </span></p>
<p>El proceso completo tiene éxito cuando el nodo de consulta de origen libera el segmento de destino. Al completar esto, la carga de la consulta se equilibra entre los nodos de consulta, lo que significa que el uso de RAM de todos los nodos de consulta no es mayor que <code translate="no">queryCoord.overloadedMemoryThresholdPercentage</code>, y el valor absoluto de la diferencia de uso de RAM de los nodos de consulta de origen y destino después del equilibrado de carga es menor que antes del equilibrado de carga.</p>
<h2 id="Whats-next" class="common-anchor-header">¿Y ahora qué?<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>En el blog de la serie de nuevas funciones 2.0, pretendemos explicar el diseño de las nuevas funciones. ¡Lea más en esta serie de blogs!</p>
<ul>
<li><a href="https://milvus.io/blog/2022-02-07-how-milvus-deletes-streaming-data-in-distributed-cluster.md">Cómo Milvus elimina los datos de streaming en un clúster distribuido</a></li>
<li><a href="https://milvus.io/blog/2022-2-21-compact.md">¿Cómo compactar datos en Milvus?</a></li>
<li><a href="https://milvus.io/blog/2022-02-28-how-milvus-balances-query-load-across-nodes.md">¿Cómo equilibra Milvus la carga de consultas entre nodos?</a></li>
<li><a href="https://milvus.io/blog/2022-2-14-bitset.md">Cómo Bitset permite la versatilidad de la búsqueda de similitud vectorial</a></li>
</ul>
<p>Este es el final de la serie de blogs sobre las nuevas características de Milvus 2.0. Después de esta serie, estamos planeando una nueva serie de Milvus <a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">Deep Dive</a>, que introduce la arquitectura básica de Milvus 2.0. Permanezca atento.</p>


¿Cómo equilibra Milvus la carga de consultas entre nodos?

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Compact_173a08ec1c.png" alt="Binlog Cover Image" class="doc-image" id="binlog-cover-image" />
   </span> <span class="img-wrapper"> <span>Imagen de portada de Binlog</span> </span></p>
<p>Por <a href="https://github.com/sunby">Bingyi Sun</a> y <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni</a>.</p>
<p>Con el <a href="https://milvus.io/blog/2022-1-25-annoucing-general-availability-of-milvus-2-0.md">lanzamiento oficial</a> de Milvus 2.0 GA, una lista de nuevas características son soportadas. Entre ellas, la compactación es una de las nuevas características que pueden ayudarle a ahorrar espacio de almacenamiento.</p>
<p>La compactación se refiere al proceso de fusionar segmentos pequeños en segmentos grandes y limpiar datos eliminados lógicamente. En otras palabras, la compactación reduce el uso de espacio en disco purgando las entidades eliminadas o caducadas en los binlogs. Se trata de una tarea en segundo plano desencadenada por <a href="https://milvus.io/docs/v2.0.x/four_layers.md#Data-coordinator-data-coord">la coordinación de datos</a> y ejecutada por <a href="https://milvus.io/docs/v2.0.x/four_layers.md#Data-node">el nodo de datos</a> en Milvus.</p>
<p>Este artículo disecciona el concepto y la implementación de la compactación en Milvus.</p>
<h2 id="What-is-compaction" class="common-anchor-header">¿Qué es la compactación?<button data-href="#What-is-compaction" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Antes de profundizar en los detalles de cómo implementar la compactación en Milvus 2.0, es fundamental averiguar qué es la compactación en Milvus.</p>
<p>A menudo, como usuario de Milvus, puede que le haya molestado el uso creciente de espacio en el disco duro. Otro problema es que un segmento con menos de 1.024 filas no se indexa y sólo admite la búsqueda de fuerza bruta para procesar consultas. Los segmentos pequeños causados por el auto-flush o el flush invocado por el usuario pueden dificultar la eficiencia de las consultas.</p>
<p>Por lo tanto, para resolver los dos problemas mencionados anteriormente y ayudar a reducir el uso del disco y mejorar la eficiencia de las consultas, Milvus soporta la compactación.</p>
<p>Bases de datos como <a href="https://github.com/google/leveldb">LevelDB</a> y <a href="http://rocksdb.org/">RocksDB</a> añaden datos a tablas de cadenas ordenadas (SSTables). La media de lecturas de disco por consulta aumenta con el número de SSTables, lo que da lugar a consultas ineficientes. Para reducir la amplificación de las lecturas y liberar espacio en el disco duro, estas bases de datos compactan las SSTables en una sola. Los procesos de compactación se ejecutan automáticamente en segundo plano.</p>
<p>Del mismo modo, Milvus añade los datos insertados y eliminados a <a href="https://github.com/milvus-io/milvus/blob/master/docs/developer_guides/chap08_binlog.md">los binlogs</a>. A medida que aumenta el número de binlogs, se utiliza más espacio del disco duro. Para liberar espacio en el disco duro, Milvus compacta los binlogs de datos borrados e insertados. Si se inserta una entidad pero luego se borra, deja de existir en los binlogs que registran la inserción o borrado de datos una vez compactados. Además, Milvus también compacta <a href="https://milvus.io/docs/v2.0.x/glossary.md#Segment">segmentos</a> - archivos de datos creados automáticamente por Milvus para contener datos insertados.</p>
<h2 id="How-to-configure-compaction" class="common-anchor-header">¿Cómo configurar la compactación?<button data-href="#How-to-configure-compaction" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>La configuración de la compactación en Milvus implica principalmente dos parámetros: <code translate="no">dataCoord.enableCompaction</code> y <code translate="no">common.retentionDuration</code>.</p>
<p><code translate="no">dataCoord.enableCompaction</code> especifica si se activa la compactación. Su valor por defecto es <code translate="no">true</code>.</p>
<p><code translate="no">common.retentionDuration</code> especifica un periodo en el que no se ejecuta la compactación. Su unidad es el segundo. Al compactar los datos, todas las entidades eliminadas dejarán de estar disponibles para la búsqueda con Time Travel. Por lo tanto, si planea buscar con Viaje en el Tiempo, tiene que especificar un período de tiempo durante el cual la compactación no se ejecute y no afecte a los datos eliminados. Para garantizar la exactitud de los resultados de las búsquedas con Viaje en el Tiempo, Milvus retiene los datos operados en un período especificado por <code translate="no">common.retentionDuration</code>. Es decir, los datos operados en este periodo no se compactarán. Para más detalles, véase <a href="https://milvus.io/docs/v2.0.x/timetravel.md">Búsqueda con Time Travel</a>.</p>
<p>La compactación está activada en Milvus por defecto. Si desactivó la compactación pero más tarde desea activarla manualmente, puede seguir los pasos que se indican a continuación:</p>
<ol>
<li>Llame al método <code translate="no">collection.compact()</code> para activar manualmente un proceso de compactación global. Sin embargo, tenga en cuenta que esta operación puede llevar mucho tiempo.</li>
<li>Después de llamar al método, se devuelve un ID de compactación. Consulta el estado de la compactación llamando al método <code translate="no">collection.get_compaction_state()</code>.</li>
</ol>
<p>Una vez activada la compactación, ésta se ejecuta automáticamente en segundo plano. Dado que el proceso de compactación puede llevar mucho tiempo, las solicitudes de compactación se procesan de forma asíncrona para ahorrar tiempo.</p>
<h2 id="How-to-implement-compaction" class="common-anchor-header">¿Cómo implementar la compactación?<button data-href="#How-to-implement-compaction" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>En Milvus, puede implementar la compactación manual o automáticamente.</p>
<p>La compactación manual de binlogs o segmentos no requiere el cumplimiento de ninguna condición de activación. Por lo tanto, si invoca la compactación manualmente, los binlogs o segmentos se compactarán pase lo que pase.</p>
<p>Sin embargo, si desea activar la compactación automática, es necesario que se cumplan determinadas condiciones de activación de la compactación para que el sistema compacte sus segmentos o binlogs.</p>
<p>Generalmente hay dos tipos de objetos que pueden ser compactados en Milvus: binlogs y segmentos.</p>
<h2 id="Binlog-compaction" class="common-anchor-header">Compactación de binlogs<button data-href="#Binlog-compaction" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Un binlog es un registro binario, o una unidad más pequeña en segmento, que registra y gestiona las actualizaciones y cambios realizados en los datos de la base de datos vectorial de Milvus. Los datos de un segmento se conservan en varios binlogs. La compactación de binlogs implica dos tipos de binlogs en Milvus: binlogs de inserción y binlogs delta.</p>
<p>Los binlogs delta se generan cuando se borran datos, mientras que los binlogs de inserción se generan en las tres circunstancias siguientes.</p>
<ul>
<li>Cuando se añaden datos insertados, el segmento alcanza el límite superior de tamaño y se vacía automáticamente en el disco.</li>
<li>DataCoord vacía automáticamente los segmentos que permanecen sin sellar durante mucho tiempo.</li>
<li>Algunas APIs como <code translate="no">collection.num_entities</code>, <code translate="no">collection.load()</code>, y más invocan automáticamente a flush para escribir segmentos en el disco.</li>
</ul>
<p>Por lo tanto, la compactación de binlogs, como su nombre indica, se refiere a la compactación de binlogs dentro de un segmento. Más concretamente, durante la compactación de binlogs, se compactan todos los binlogs delta y los binlogs de inserción que no se conservan.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/binlog_compaction_d7f8f910c8.png" alt="Binlog compaction" class="doc-image" id="binlog-compaction" />
   </span> <span class="img-wrapper"> <span>Compactación de binlogs</span> </span></p>
<p>Cuando un segmento se descarga en el disco, o cuando Milvus solicita la compactación global porque la compactación no se ha ejecutado durante mucho tiempo, debe cumplirse al menos una de las dos condiciones siguientes para activar la compactación automática:</p>
<ol>
<li>Las filas de los binlogs delta son más del 20% del total de filas.</li>
<li>El tamaño de los binlogs delta supera los 10 MB.</li>
</ol>
<h2 id="Segment-compaction" class="common-anchor-header">Compactación de segmentos<button data-href="#Segment-compaction" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Un <a href="https://milvus.io/docs/v2.0.x/glossary.md#Segment">segmento</a> es un archivo de datos creado automáticamente por Milvus para contener datos insertados. Hay dos tipos de segmentos en Milvus: segmento creciente y segmento sellado.</p>
<p>Un segmento creciente sigue recibiendo los nuevos datos insertados hasta que se sella. Un segmento sellado deja de recibir nuevos datos y se vacía en el almacenamiento de objetos, dejando nuevos datos que se insertarán en un segmento creciente recién creado.</p>
<p>Por lo tanto, la compactación de segmentos se refiere a la compactación de múltiples segmentos sellados. Más concretamente, durante la compactación de segmentos, los segmentos pequeños se compactan en segmentos más grandes.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/segment_compaction_92eecc0e55.jpeg" alt="Segment compaction" class="doc-image" id="segment-compaction" />
   </span> <span class="img-wrapper"> <span>Compactación de segmentos</span> </span></p>
<p>Cada segmento generado tras la compactación no puede superar el límite superior del tamaño de un segmento, que es de 512 MB por defecto. Lea <a href="https://milvus.io/docs/v2.0.x/system_configuration.md">las configuraciones del sistema</a> para saber cómo modificar el límite superior del tamaño de un segmento.</p>
<p>Cuando un segmento se descarga en el disco, o cuando Milvus solicita la compactación global porque la compactación no se ha ejecutado durante mucho tiempo, debe cumplirse la siguiente condición para activar la compactación automática:</p>
<ul>
<li>Segmentos inferiores a 0,5 * <code translate="no">MaxSegmentSize</code> es superior a 10.</li>
</ul>
<h2 id="Whats-next" class="common-anchor-header">¿Y ahora qué?<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>¿Qué sigue después de aprender los fundamentos de la compactación en Milvus? Actualmente, no todos los parámetros para configurar la compactación están en el archivo <code translate="no">milvus.yaml</code>, y las estrategias de generación de planes son relativamente básicas. Si estás interesado, ¡contribuye <a href="https://github.com/milvus-io">al proyecto de código abierto</a> Milvus!</p>
<p>Además, en el blog de la serie de nuevas funciones 2.0, pretendemos explicar el diseño de las nuevas funciones. ¡Lea más en esta serie de blogs!</p>
<ul>
<li><a href="https://milvus.io/blog/2022-02-07-how-milvus-deletes-streaming-data-in-distributed-cluster.md">Cómo Milvus elimina los datos en streaming en un clúster distribuido</a></li>
<li><a href="https://milvus.io/blog/2022-2-21-compact.md">¿Cómo compactar datos en Milvus?</a></li>
<li><a href="https://milvus.io/blog/2022-02-28-how-milvus-balances-query-load-across-nodes.md">¿Cómo equilibra Milvus la carga de consultas entre nodos?</a></li>
<li><a href="https://milvus.io/blog/2022-2-14-bitset.md">Cómo Bitset permite la versatilidad de la búsqueda de similitud vectorial</a></li>
</ul>
<h2 id="About-the-author" class="common-anchor-header">Sobre el autor<button data-href="#About-the-author" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Bingyi Sun, Ingeniero de Software Senior del proyecto Milvus, obtuvo su Máster en Ingeniería de Software en la Universidad Jiao Tong de Shanghai. Es el principal responsable del desarrollo de componentes relacionados con el almacenamiento en Milvus 2.0. Su área de interés son las bases de datos y los sistemas distribuidos. Es un gran aficionado a los proyectos de código abierto y un sibarita que disfruta jugando a videojuegos y leyendo en su tiempo libre.</p>


¿Cómo compactar datos en Milvus?

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Bitset_cd54487e7b.png" alt="Bitset Cover Image" class="doc-image" id="bitset-cover-image" />
   </span> <span class="img-wrapper"> <span>Imagen de portada de Bitset</span> </span></p>
<p>Por <a href="https://github.com/cydrain">Yudong Cai</a> y <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni</a>.</p>
<p>Con el <a href="https://milvus.io/blog/2022-1-25-annoucing-general-availability-of-milvus-2-0.md">lanzamiento</a> de Milvus 2.0 se proporcionan varias <a href="https://milvus.io/blog/2022-1-27-milvus-2-0-a-glimpse-at-new-features.md">nuevas características esenciales</a> de una base de datos vectorial. Entre las nuevas características, <a href="https://milvus.io/docs/v2.0.x/timetravel_ref.md">Time Travel</a>, el filtrado de atributos y las <a href="https://milvus.io/blog/2022-02-07-how-milvus-deletes-streaming-data-in-distributed-cluster.md">operaciones de eliminación</a> están correlacionadas, ya que estas tres características se logran mediante un mecanismo común: bitset.</p>
<p>Por lo tanto, este artículo pretende aclarar el concepto de bitset en Milvus y explicar cómo funciona para dar soporte a las operaciones de borrado, Time Travel y filtrado de atributos con tres ejemplos.</p>
<h2 id="What-is-bitset" class="common-anchor-header">¿Qué es un conjunto de bits?<button data-href="#What-is-bitset" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Un conjunto de bits es una matriz de números de bits ("0" y "1") que puede utilizarse para representar cierta información de datos. Con los conjuntos de bits, puedes almacenar ciertos tipos de datos de forma compacta y eficiente en lugar de almacenarlos en Ints, floats o chars. Los conjuntos de bits funcionan con <a href="https://milvus.io/docs/v2.0.x/boolean.md">lógica booleana</a>, según la cual el valor de una salida es válido o inválido, normalmente denotados por "1" y "0" respectivamente. "1" significa válido y "0", inválido. Dado que los conjuntos de bits son muy eficientes y pueden ahorrar almacenamiento, también se pueden utilizar para lograr muchas características como el filtrado de atributos, operaciones de borrado, Time Travel, etc.</p>
<p>A partir de la versión 0.7.0, el concepto de bitset se ha introducido en Milvus para habilitar la <a href="https://milvus.io/blog/deleting-data-in-milvus.md">función</a> de <a href="https://milvus.io/blog/deleting-data-in-milvus.md">borrado</a>. Más concretamente, el conjunto de bits se utiliza para marcar si cada fila del segmento está eliminada. Las entidades eliminadas se marcan con "1" en el conjunto de bits correspondiente y, como resultado, las entidades eliminadas no se computarán durante una búsqueda o consulta.</p>
<p>En la versión Milvus 2.0, la aplicación de bitset se amplía para permitir más funciones, como el filtrado de atributos y el Time Travel. El principio general de un bitset sigue siendo el mismo. Es decir, si una entidad está marcada con "1" en el bitset correspondiente, la entidad será ignorada durante una búsqueda o consulta. Los conjuntos de bits se utilizan para habilitar 3 características en Milvus:</p>
<ul>
<li>Filtrado de atributos</li>
<li>Eliminación de datos</li>
<li>Consulta con desplazamiento en el tiempo</li>
</ul>
<h2 id="How-does-bitset-work-in-Milvus" class="common-anchor-header">¿Cómo funciona el conjunto de bits en Milvus?<button data-href="#How-does-bitset-work-in-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Los ejemplos siguientes se utilizan para ilustrar cómo funciona bitset en Milvus.</p>
<h3 id="Prerequisites" class="common-anchor-header">Requisitos previos</h3><p>Supongamos que hay un segmento con ocho entidades y que se produce una serie de eventos de lenguaje de manipulación de datos (DML) en el orden que se muestra en la siguiente figura.</p>
<ul>
<li>Cuatro de las entidades, cuyo <code translate="no">primary_keys</code> son [1, 2, 3, 4] respectivamente, se insertan cuando la marca de tiempo <code translate="no">ts</code> es igual a 100.</li>
<li>Las cuatro entidades restantes, cuyas <code translate="no">primary_keys</code> son [5, 6, 7, 8], se insertan cuando la marca de tiempo <code translate="no">ts</code> es igual a 200.</li>
<li>Las entidades cuyo <code translate="no">primary_keys</code> es [7, 8] se eliminan cuando la marca de tiempo <code translate="no">ts</code> es igual a 300.</li>
<li>Sólo las entidades cuyo <code translate="no">primary_keys</code> es [1, 3, 5, 7] cumplen las condiciones del filtrado de atributos.</li>
</ul>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/UML_1_0a3605808c.jpg" alt="DML events" class="doc-image" id="dml-events" />
   </span> <span class="img-wrapper"> <span>Eventos DML</span> </span></p>
<h3 id="Case-one" class="common-anchor-header">Caso 1</h3><p>Supongamos que el valor que un usuario establece para <code translate="no">time_travel</code> es 150. En otras palabras, el usuario realiza una consulta sobre los datos almacenados en Milvus cuando <code translate="no">ts</code> = 150. La figura 1 ilustra el proceso de generación del conjunto de bits.</p>
<p>Durante la etapa de filtrado inicial, el resultado de <code translate="no">filter_bitset</code> debería ser [1, 0, 1, 0, 1, 0, 1, 0], ya que las entidades [1, 3, 5, 7] son resultados de filtrado válidos y están marcadas como "1" en el conjunto de bits. Sin embargo, las entidades [4, 5, 6, 7] ni siquiera se insertaron en la base de datos de vectores cuando <code translate="no">ts</code> es igual a 150. Por lo tanto, estas cuatro entidades deberían marcarse como "0" independientemente de la condición de filtrado. Ahora el resultado del conjunto de bits debería ser [1, 0, 1, 0, 0, 0, 0, 0]. Dado que en Milvus el principio general de la computación de conjuntos de bits es que las entidades marcadas con "1" en el conjunto de bits se ignoran durante una búsqueda o consulta, el resultado del conjunto de bits tras el viaje en el tiempo y el filtrado de atributos debe invertirse para combinarse con el mapa de bits de eliminación. El resultado volteado de <code translate="no">filter_bitset</code> debe ser [0, 1, 0, 1, 1, 1, 1].</p>
<p>En cuanto al conjunto de bits de borrado <code translate="no">del_bitset</code>, el valor inicial debe ser [0, 0, 0, 0, 0, 0, 1, 1]. Sin embargo, las entidades 7 y 8 no se borran hasta que <code translate="no">ts</code> es 300. Por lo tanto, cuando <code translate="no">ts</code> es 150, las entidades 7 y 8 siguen siendo válidas. Como resultado, el valor de <code translate="no">del_bitset</code> después del Viaje en el Tiempo debería ser [0, 0, 0, 0, 0, 0, 0, 0].</p>
<p>Ahora tenemos dos conjuntos de bits después del Viaje en el Tiempo y el filtrado de atributos: <code translate="no">filter_bitset</code> [0, 1, 0, 1, 1, 1, 1] y <code translate="no">del_bitset</code> [0, 0, 0, 0, 0, 0, 0, 0].  Combina estos dos conjuntos de bits con el operador lógico binario "OR". El valor final de <code translate="no">result_bitset</code> es [0, 1, 0, 1, 1, 1, 1]. Es decir, en la siguiente etapa de búsqueda o consulta sólo se computarán las entidades 1 y 3.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/bitset_figure1_1b5852f7a7.jpeg" alt="Figure 1" class="doc-image" id="figure-1" />
   </span> <span class="img-wrapper"> <span>Figura 1</span> </span></p>
<h3 id="Case-two" class="common-anchor-header">Caso 2</h3><p>Supongamos que el valor que el usuario establece para <code translate="no">time_travel</code> es 250. En otras palabras, el usuario realiza una consulta sobre los datos almacenados en Milvus cuando <code translate="no">ts</code> = 250. La figura 2 ilustra el proceso de generación del conjunto de bits.</p>
<p>Al igual que en el caso uno, la <code translate="no">filter_bitset</code> resultante de la etapa inicial de filtrado de atributos debe ser [1, 0, 1, 0, 1, 0, 1, 0].</p>
<p>Todas las entidades [1, 2, 3, 4, 5, 6, 7, 8] se insertan en la base de datos vectorial cuando <code translate="no">ts</code>= 250. Por lo tanto, el resultado anterior de <code translate="no">filter_bitset</code> sigue siendo el mismo. De nuevo, tenemos que voltear el resultado de <code translate="no">filter_bitset</code>, y obtendremos [0, 1, 0, 1, 0, 1, 0, 1].</p>
<p>En cuanto al conjunto de bits de borrado <code translate="no">del_bitset</code>, el valor inicial debería ser [0, 0, 0, 0, 0, 0, 1, 1]. Sin embargo, las entidades 7 y 8 no se borran hasta que <code translate="no">ts</code> es 300. Por lo tanto, cuando <code translate="no">ts</code> es 250, las entidades 7 y 8 siguen siendo válidas. Como resultado, el valor de <code translate="no">del_bitset</code> después del Viaje en el Tiempo debería ser [0, 0, 0, 0, 0, 0, 0, 0].</p>
<p>Ahora tenemos dos conjuntos de bits después del Viaje en el Tiempo y el filtrado de atributos: <code translate="no">filter_bitset</code> [0, 1, 0, 1, 0, 1, 0, 1] y <code translate="no">del_bitset</code> [0, 0, 0, 0, 0, 0, 0, 0, 0].  Combina estos dos conjuntos de bits con el operador lógico binario "OR". El valor final de <code translate="no">result_bitset</code> es [0, 1, 0, 1, 0, 1, 0, 1]. Es decir, en la siguiente etapa de búsqueda o consulta sólo se computarán las entidades [1, 3, 5, 7].</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/bitset_figure2_7cbaa7c719.jpeg" alt="Figure 2" class="doc-image" id="figure-2" />
   </span> <span class="img-wrapper"> <span>Figura 2</span> </span></p>
<h3 id="Case-three" class="common-anchor-header">Caso 3</h3><p>Supongamos que el valor que el usuario establece para <code translate="no">time_travel</code> es 350. En otras palabras, el usuario realiza una consulta sobre los datos almacenados en Milvus cuando <code translate="no">ts</code> = 350. El proceso de generación del conjunto de bits se ilustra en la figura 3.</p>
<p>Al igual que en los casos uno y dos, la <code translate="no">filter_bitset</code> resultante de la etapa inicial de filtrado de atributos es [0, 1, 0, 1, 0, 1, 0, 1].</p>
<p>Todas las entidades [1, 2, 3, 4, 5, 6, 7, 8] se insertan en la base de datos vectorial cuando <code translate="no">ts</code>= 350. Por lo tanto, el resultado final volteado de <code translate="no">filter_bitset</code> es [0, 1, 0, 1, 0, 1, 0, 1], igual que en el caso dos.</p>
<p>En cuanto al conjunto de bits de borrado <code translate="no">del_bitset</code>, puesto que las entidades 7 y 8 ya están borradas cuando <code translate="no">ts</code>=350, por lo tanto, el resultado de <code translate="no">del_bitset</code> debería ser [0, 0, 0, 0, 0, 0, 1, 1].</p>
<p>Ahora tenemos dos conjuntos de bits después del viaje en el tiempo y el filtrado de atributos: <code translate="no">filter_bitset</code> [0, 1, 0, 1, 0, 1, 0, 1] y <code translate="no">del_bitset</code> [0, 0, 0, 0, 0, 0, 1, 1].  Combina estos dos conjuntos de bits con el operador lógico binario "OR". El valor final de <code translate="no">result_bitset</code> es [0, 1, 0, 1, 0, 1, 1, 1]. Es decir, en la siguiente etapa de búsqueda o consulta sólo se computarán las entidades [1, 3, 5].</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/bitset_figure3_dd46a6aecf.jpeg" alt="Figure 3" class="doc-image" id="figure-3" />
   </span> <span class="img-wrapper"> <span>Figura 3</span> </span></p>
<h2 id="Whats-next" class="common-anchor-header">¿Y ahora qué?<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>En el blog de la serie de nuevas funciones 2.0, pretendemos explicar el diseño de las nuevas funciones. Lea más en esta serie de blogs</p>
<ul>
<li><a href="https://milvus.io/blog/2022-02-07-how-milvus-deletes-streaming-data-in-distributed-cluster.md">Cómo Milvus elimina los datos en streaming en un clúster distribuido</a></li>
<li><a href="https://milvus.io/blog/2022-2-21-compact.md">¿Cómo compactar datos en Milvus?</a></li>
<li><a href="https://milvus.io/blog/2022-02-28-how-milvus-balances-query-load-across-nodes.md">¿Cómo equilibra Milvus la carga de consultas entre nodos?</a></li>
<li><a href="https://milvus.io/blog/2022-2-14-bitset.md">Cómo Bitset permite la versatilidad de la búsqueda de similitud vectorial</a></li>
</ul>


Cómo Bitset hace posible la versatilidad de la búsqueda de similitud vectorial

<custom-h1>Cómo Milvus elimina datos de flujo en un clúster distribuido</custom-h1><p>Con un procesamiento unificado de lotes y flujos y una arquitectura nativa en la nube, Milvus 2.0 plantea un reto mayor que su predecesor durante el desarrollo de la función DELETE. Gracias a su avanzado diseño de desagregación almacenamiento-computación y al flexible mecanismo de publicación/suscripción, nos enorgullece anunciar que lo hemos conseguido. En Milvus 2.0, puede eliminar una entidad de una colección determinada con su clave primaria, de modo que la entidad eliminada ya no aparecerá en el resultado de una búsqueda o una consulta.</p>
<p>Tenga en cuenta que la operación DELETE en Milvus se refiere a la eliminación lógica, mientras que la limpieza física de datos se produce durante la compactación de datos. El borrado lógico no sólo aumenta enormemente el rendimiento de la búsqueda limitada por la velocidad de E/S, sino que también facilita la recuperación de datos. Los datos borrados lógicamente aún pueden recuperarse con la ayuda de la función Time Travel.</p>
<h2 id="Usage" class="common-anchor-header">Utilización<button data-href="#Usage" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Probemos primero la función DELETE en Milvus 2.0. (El siguiente ejemplo utiliza PyMilvus 2.0.0 en Milvus 2.0.0).</p>
<pre><code translate="no" class="language-python"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> connections, utility, Collection, DataType, FieldSchema, CollectionSchema
<span class="hljs-comment"># Connect to Milvus</span>
connections.connect(
    alias=<span class="hljs-string">&quot;default&quot;</span>, 
    host=<span class="hljs-string">&#x27;x.x.x.x&#x27;</span>, 
    port=<span class="hljs-string">&#x27;19530&#x27;</span>
)
<span class="hljs-comment"># Create a collection with Strong Consistency level</span>
pk_field = FieldSchema(
    name=<span class="hljs-string">&quot;id&quot;</span>, 
    dtype=DataType.INT64, 
    is_primary=<span class="hljs-literal">True</span>, 
)
vector_field = FieldSchema(
    name=<span class="hljs-string">&quot;vector&quot;</span>, 
    dtype=DataType.FLOAT_VECTOR, 
    dim=<span class="hljs-number">2</span>
)
schema = CollectionSchema(
    fields=[pk_field, vector_field], 
    description=<span class="hljs-string">&quot;Test delete&quot;</span>
)
collection_name = <span class="hljs-string">&quot;test_delete&quot;</span>
collection = Collection(
    name=collection_name, 
    schema=schema, 
    using=<span class="hljs-string">&#x27;default&#x27;</span>, 
    shards_num=<span class="hljs-number">2</span>,
    consistency_level=<span class="hljs-string">&quot;Strong&quot;</span>
)
<span class="hljs-comment"># Insert randomly generated vectors</span>
<span class="hljs-keyword">import</span> random
data = [
    [i <span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-number">100</span>)],
    [[random.random() <span class="hljs-keyword">for</span> _ <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-number">2</span>)] <span class="hljs-keyword">for</span> _ <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-number">100</span>)],
]
collection.insert(data)
<span class="hljs-comment"># Query to make sure the entities to delete exist</span>
collection.load()
expr = <span class="hljs-string">&quot;id in [2,4,6,8,10]&quot;</span>
pre_del_res = collection.query(
    expr,
    output_fields = [<span class="hljs-string">&quot;id&quot;</span>, <span class="hljs-string">&quot;vector&quot;</span>]
)
<span class="hljs-built_in">print</span>(pre_del_res)
<span class="hljs-comment"># Delete the entities with the previous expression</span>
collection.delete(expr)
<span class="hljs-comment"># Query again to check if the deleted entities exist</span>
post_del_res = collection.query(
    expr,
    output_fields = [<span class="hljs-string">&quot;id&quot;</span>, <span class="hljs-string">&quot;vector&quot;</span>]
)
<span class="hljs-built_in">print</span>(post_del_res)
<button class="copy-code-btn"></button></code></pre>
<h2 id="Implementation" class="common-anchor-header">Implementación<button data-href="#Implementation" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>En una instancia de Milvus, un nodo de datos es el principal responsable de empaquetar los datos de flujo (registros en el corredor de registros) como datos históricos (instantáneas de registros) y de volcarlos automáticamente al almacenamiento de objetos. Un nodo de consulta ejecuta las peticiones de búsqueda sobre los datos completos, es decir, tanto los datos de flujo como los históricos.</p>
<p>Para aprovechar al máximo la capacidad de escritura de datos de los nodos paralelos de un clúster, Milvus adopta una estrategia de fragmentación basada en hash de clave primaria para distribuir las operaciones de escritura uniformemente entre los distintos nodos de trabajo. Es decir, el proxy dirigirá los mensajes del Lenguaje de Manipulación de Datos (DML) (es decir, las solicitudes) de una entidad al mismo nodo de datos y nodo de consulta. Estos mensajes se publican a través del DML-Channel y son consumidos por el nodo de datos y el nodo de consulta por separado para proporcionar servicios de búsqueda y consulta conjuntamente.</p>
<h3 id="Data-node" class="common-anchor-header">Nodo de datos</h3><p>Una vez recibidos los mensajes INSERT de datos, el nodo de datos inserta los datos en un segmento creciente, que es un nuevo segmento creado para recibir datos de flujo en memoria. Si el recuento de filas de datos o la duración del segmento creciente alcanza el umbral, el nodo de datos lo sella para impedir la entrada de datos. A continuación, el nodo de datos vacía el segmento sellado, que contiene los datos históricos, en el almacenamiento de objetos. Mientras tanto, el nodo de datos genera un filtro bloom basado en las claves primarias de los nuevos datos, y lo descarga en el almacenamiento de objetos junto con el segmento sellado, guardando el filtro bloom como parte del registro binario de estadísticas (binlog), que contiene la información estadística del segmento.</p>
<blockquote>
<p>Un filtro bloom es una estructura de datos probabilística que consta de un vector binario largo y una serie de funciones de asignación aleatoria. Se puede utilizar para comprobar si un elemento es miembro de un conjunto, pero puede devolver falsos positivos.           -- Wikipedia</p>
</blockquote>
<p>Cuando llegan mensajes DELETE de datos, el nodo de datos almacena en la memoria intermedia todos los filtros bloom del fragmento correspondiente y los compara con las claves primarias proporcionadas en los mensajes para recuperar todos los segmentos (tanto de los crecientes como de los sellados) que posiblemente incluyan las entidades a eliminar. Una vez localizados los segmentos correspondientes, el nodo de datos los almacena en memoria para generar los binlogs Delta que registran las operaciones de borrado y, a continuación, los descarga junto con los segmentos en el almacén de objetos.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/data_node_2397ad70c3.png" alt="Data Node" class="doc-image" id="data-node" />
   </span> <span class="img-wrapper"> <span>Nodo de datos</span> </span></p>
<p>Dado que un fragmento sólo tiene asignado un canal DML, los nodos de consulta adicionales que se añadan al clúster no podrán suscribirse al canal DML. Para garantizar que todos los nodos de consulta puedan recibir los mensajes DELETE, los nodos de datos filtran los mensajes DELETE del DML-Channel y los reenvían al Delta-Channel para notificar las operaciones de eliminación a todos los nodos de consulta.</p>
<h3 id="Query-node" class="common-anchor-header">Nodo de consulta</h3><p>Al cargar una colección desde el almacenamiento de objetos, el nodo de consulta obtiene primero el punto de control de cada fragmento, que marca las operaciones DML desde la última operación de vaciado. Basándose en el punto de control, el nodo de consulta carga todos los segmentos sellados junto con sus filtros binlog y bloom Delta. Con todos los datos cargados, el nodo de consulta se suscribe a DML-Channel, Delta-Channel y Query-Channel.</p>
<p>Si llegan más mensajes INSERT de datos después de que la colección se haya cargado en memoria, el nodo de consulta señala primero los segmentos crecientes según los mensajes y actualiza los filtros bloom correspondientes en memoria sólo para fines de consulta. Estos filtros bloom dedicados a la consulta no se vaciarán en el almacenamiento de objetos una vez finalizada la consulta.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/query_node_a78b1d664f.png" alt="Query Node" class="doc-image" id="query-node" />
   </span> <span class="img-wrapper"> <span>Nodo de consulta</span> </span></p>
<p>Como se ha mencionado anteriormente, sólo un cierto número de nodos de consulta pueden recibir mensajes DELETE del canal DML, lo que significa que sólo ellos pueden ejecutar las peticiones DELETE en segmentos crecientes. Los nodos de consulta que se han suscrito al canal DML filtran primero los mensajes DELETE en los segmentos crecientes, localizan las entidades haciendo coincidir las claves primarias proporcionadas con los filtros bloom dedicados a la consulta de los segmentos crecientes y, a continuación, registran las operaciones de eliminación en los segmentos correspondientes.</p>
<p>Los nodos de consulta que no pueden suscribirse al canal DML sólo pueden procesar solicitudes de búsqueda o consulta en segmentos sellados, ya que sólo pueden suscribirse al canal Delta y recibir los mensajes DELETE enviados por los nodos de datos. Una vez recogidos todos los mensajes DELETE en los segmentos sellados del Delta-Channel, los nodos de consulta localizan las entidades haciendo coincidir las claves primarias proporcionadas con los filtros bloom de los segmentos sellados y, a continuación, registran las operaciones de eliminación en los segmentos correspondientes.</p>
<p>Finalmente, en una búsqueda o consulta, los nodos de consulta generan un conjunto de bits basado en los registros de borrado para omitir las entidades borradas, y buscan entre las entidades restantes de todos los segmentos, independientemente del estado del segmento. Por último, el nivel de coherencia afecta a la visibilidad de los datos eliminados. En el nivel de consistencia fuerte (como se muestra en el ejemplo de código anterior), las entidades eliminadas son invisibles inmediatamente después de la eliminación. Mientras se adopta el Nivel de Consistencia Limitado, habrá varios segundos de latencia antes de que las entidades borradas se vuelvan invisibles.</p>
<h2 id="Whats-next" class="common-anchor-header">¿Y ahora qué?<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>En el blog de la serie de nuevas funciones 2.0, pretendemos explicar el diseño de las nuevas funciones. Más información en esta serie de blogs</p>
<ul>
<li><a href="https://milvus.io/blog/2022-02-07-how-milvus-deletes-streaming-data-in-distributed-cluster.md">Cómo Milvus elimina los datos en streaming en un clúster distribuido</a></li>
<li><a href="https://milvus.io/blog/2022-2-21-compact.md">¿Cómo compactar datos en Milvus?</a></li>
<li><a href="https://milvus.io/blog/2022-02-28-how-milvus-balances-query-load-across-nodes.md">¿Cómo equilibra Milvus la carga de consultas entre nodos?</a></li>
<li><a href="https://milvus.io/blog/2022-2-14-bitset.md">Cómo Bitset permite la versatilidad de la búsqueda de similitud vectorial</a></li>
</ul>


Utilización

Milvus 2.0 - Un vistazo a las nuevas funciones

<p>Estimados miembros y amigos de la comunidad Milvus:</p>
<p>Hoy, seis meses después de que se hiciera pública la primera versión candidata (RC), estamos encantados de anunciar que Milvus 2.0 está <a href="https://milvus.io/docs/v2.0.x/release_notes.md#v200">disponible de forma general (GA)</a> y listo para la producción. Ha sido un largo viaje, y agradecemos a todos - colaboradores de la comunidad, usuarios, y la Fundación LF AI &amp; Data - a lo largo del camino que nos ayudaron a hacer esto posible.</p>
<p>Hoy en día, la capacidad de manejar miles de millones de datos de alta dimensionalidad es muy importante para los sistemas de IA, y por buenas razones:</p>
<ol>
<li>Los datos no estructurados ocupan volúmenes dominantes en comparación con los datos estructurados tradicionales.</li>
<li>La actualidad de los datos nunca ha sido tan importante. Los científicos de datos están ansiosos por soluciones de datos oportunas en lugar del compromiso tradicional T+1.</li>
<li>El coste y el rendimiento se han vuelto aún más críticos y, sin embargo, sigue existiendo una gran brecha entre las soluciones actuales y los casos de uso del mundo real. De ahí Milvus 2.0. Milvus es una base de datos que ayuda a manejar datos de alta dimensión a escala. Está diseñada para la nube con la capacidad de ejecutarse en cualquier lugar. Si ha estado siguiendo nuestras versiones RC, sabrá que hemos dedicado un gran esfuerzo a hacer que Milvus sea más estable y más fácil de implementar y mantener.</li>
</ol>
<h2 id="Milvus-20-GA-now-offers" class="common-anchor-header">Milvus 2.0 GA ahora ofrece<button data-href="#Milvus-20-GA-now-offers" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><strong>Eliminación de entidades</strong></p>
<p>Como base de datos, Milvus soporta ahora el borrado <a href="https://milvus.io/docs/v2.0.x/delete_data.md">de entidades por clave primaria</a> y soportará el borrado de entidades por expresión más adelante.</p>
<p><strong>Equilibrio de carga automático</strong></p>
<p>Milvus soporta ahora la política de equilibrio de carga plugin para equilibrar la carga de cada nodo de consulta y nodo de datos. Gracias a la desagregación de la computación y el almacenamiento, el equilibrio se realizará en sólo un par de minutos.</p>
<p><strong>Traspaso</strong></p>
<p>Una vez sellados los segmentos en crecimiento mediante la descarga, las tareas de traspaso sustituyen los segmentos en crecimiento por segmentos históricos indexados para mejorar el rendimiento de la búsqueda.</p>
<p><strong>Compactación de datos</strong></p>
<p>La compactación de datos es una tarea en segundo plano para fusionar segmentos pequeños en grandes y limpiar los datos lógicos eliminados.</p>
<p><strong>Compatibilidad con etcd integrado y almacenamiento de datos local</strong></p>
<p>En el modo autónomo de Milvus, podemos eliminar la dependencia de etcd/MinIO con unas pocas configuraciones. El almacenamiento local de datos también puede utilizarse como caché local para evitar cargar todos los datos en la memoria principal.</p>
<p><strong>SDKs multilenguaje</strong></p>
<p>Además de <a href="https://github.com/milvus-io/pymilvus">PyMilvus</a>, <a href="https://github.com/milvus-io/milvus-sdk-node">Node.js</a>, <a href="https://github.com/milvus-io/milvus-sdk-java">Java</a> y <a href="https://github.com/milvus-io/milvus-sdk-go">Go</a> SDKs están ahora listos para usar.</p>
<p><strong>Operador Milvus K8s</strong></p>
<p><a href="https://milvus.io/docs/v2.0.x/install_cluster-milvusoperator.md">Milvus Operator</a> proporciona una solución sencilla para desplegar y gestionar una pila de servicios Milvus completa, incluyendo tanto los componentes Milvus como sus dependencias relevantes (por ejemplo, etcd, Pulsar y MinIO), en los clústeres <a href="https://kubernetes.io/">Kubernetes</a> de destino de forma escalable y altamente disponible.</p>
<p><strong>Herramientas que ayudan a gestionar Milvus</strong></p>
<p>Tenemos que agradecer <a href="https://zilliz.com/">a Zilliz</a> la fantástica aportación de herramientas de gestión. Ahora tenemos <a href="https://milvus.io/docs/v2.0.x/attu.md">Attu</a>, que nos permite interactuar con Milvus a través de una GUI intuitiva, y <a href="https://milvus.io/docs/v2.0.x/cli_overview.md">Milvus_CLI</a>, una herramienta de línea de comandos para gestionar Milvus.</p>
<p>Gracias a los 212 colaboradores, la comunidad completó 6718 commits durante los últimos 6 meses, y se han cerrado toneladas de problemas de estabilidad y rendimiento. Abriremos nuestro informe de estabilidad y rendimiento poco después del lanzamiento de la versión 2.0 GA.</p>
<h2 id="Whats-next" class="common-anchor-header">¿Y ahora qué?<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><strong>Funcionalidad</strong></p>
<p>La compatibilidad con los tipos de cadenas será la próxima característica estrella de Milvus 2.1. También incorporaremos el mecanismo de tiempo de vida (TTL) y la gestión básica de ACL para satisfacer mejor las necesidades de los usuarios.</p>
<p><strong>Disponibilidad</strong></p>
<p>Estamos trabajando en la refactorización del mecanismo de programación de coordenadas de consulta para soportar múltiples réplicas de memoria para cada segmento. Con múltiples réplicas activas, Milvus puede soportar una conmutación por error y una ejecución especulativa más rápidas para reducir el tiempo de inactividad a un par de segundos.</p>
<p><strong>Rendimiento</strong></p>
<p>Los resultados de las pruebas de rendimiento se ofrecerán en breve en nuestros sitios web. Se prevé que en las siguientes versiones se produzca una impresionante mejora del rendimiento. Nuestro objetivo es reducir a la mitad la latencia de búsqueda en conjuntos de datos más pequeños y duplicar el rendimiento del sistema.</p>
<p><strong>Facilidad de uso</strong></p>
<p>Milvus está diseñado para funcionar en cualquier lugar. Daremos soporte a Milvus en MacOS (tanto M1 como X86) y en servidores ARM en las próximas pequeñas versiones. También ofreceremos PyMilvus embebido para que pueda simplemente <code translate="no">pip install</code> Milvus sin una configuración compleja del entorno.</p>
<p><strong>Gobierno de la comunidad</strong></p>
<p>Perfeccionaremos las normas de afiliación y aclararemos los requisitos y responsabilidades de las funciones de los colaboradores. También se está desarrollando un programa de mentores; para cualquiera que esté interesado en bases de datos nativas de la nube, búsqueda vectorial y/o gobierno de la comunidad, no dude en ponerse en contacto con nosotros.</p>
<p>Estamos muy entusiasmados con la última versión de Milvus GA. Como siempre, estamos encantados de escuchar sus comentarios. Si encuentra algún problema, no dude en ponerse en contacto con nosotros en <a href="https://github.com/milvus-io/milvus">GitHub</a> o a través de <a href="http://milvusio.slack.com/">Slack</a>.</p>
<p><br/></p>
<p>Saludos cordiales,</p>
<p>Xiaofan Luan</p>
<p>Mantenedor del proyecto Milvus</p>
<p><br/></p>
<blockquote>
<p><em>Editado por <a href="https://github.com/claireyuw">Claire Yu</a>.</em></p>
</blockquote>


Disponibilidad general de Milvus 2.0

<p>Este artículo ha sido traducido por <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni</a>.</p>
<p>La información está en todas partes en nuestras vidas. Meta (antes conocida como Facebook), Instagram, Twitter y otras plataformas de medios sociales hacen que los flujos de información sean cada vez más ubicuos. Por ello, los motores que gestionan estos flujos de información se han convertido en un elemento imprescindible en la arquitectura de la mayoría de los sistemas. Sin embargo, como usuario de plataformas de medios sociales y aplicaciones relevantes, apuesto a que te habrán molestado los artículos, noticias, memes y demás duplicados. La exposición a contenidos duplicados dificulta el proceso de recuperación de información y da lugar a una mala experiencia de usuario.</p>
<p>Para un producto que se ocupa de flujos de información, es prioritario que los desarrolladores encuentren un procesador de datos flexible que pueda integrarse perfectamente en la arquitectura del sistema para desduplicar noticias o anuncios idénticos.</p>
<p><a href="https://www.smartnews.com/en/">SmartNews</a>, valorada en <a href="https://techcrunch.com/2021/09/15/news-aggregator-smartnews-raises-230-million-valuing-its-business-at-2-billion/">2.000 millones de dólares</a>, es la empresa de aplicaciones de noticias más valorada de Estados Unidos. Cabe destacar que antes era usuaria de Milvus, una base de datos vectorial de código abierto, pero más tarde se transformó en colaboradora activa del proyecto Milvus.</p>
<p>Este artículo cuenta la historia de SmartNews y explica por qué decidió contribuir al proyecto Milvus.</p>
<h2 id="An-overview-of-SmartNews" class="common-anchor-header">Visión general de SmartNews<button data-href="#An-overview-of-SmartNews" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>SmartNews, fundada en 2012, tiene su sede en Tokio (Japón). La aplicación de noticias desarrollada por SmartNews ha sido siempre <a href="https://www.businessinsider.com/guides/smartnews-free-news-app-2018-9">la mejor valorada</a> en el mercado japonés. SmartNews es la app de noticias de <a href="https://about.smartnews.com/en/2019/06/12/smartnews-builds-global-momentum-with-over-500-us-growth-new-executives-and-three-new-offices/">más rápido crecimiento</a> y también cuenta con <a href="https://about.smartnews.com/en/2018/07/21/smartnews-reaches-more-than-10-million-monthly-active-users-in-the-united-states-and-japan/">una alta viscosidad de usuarios</a> en el mercado estadounidense. Según las estadísticas de <a href="https://www.appannie.com/en/">APP Annie</a>, la duración media mensual de las sesiones de SmartNews ocupaba el primer lugar entre todas las aplicaciones de noticias a finales de julio de 2021, por encima de la duración acumulada de las sesiones de AppleNews y Google News.</p>
<p>Con el rápido crecimiento de la base de usuarios y la viscosidad, SmartNews tiene que enfrentarse a más retos en términos de mecanismo de recomendación y algoritmo de IA. Dichos retos incluyen la utilización de características discretas masivas en el aprendizaje automático (ML) a gran escala, la aceleración de la consulta de datos no estructurados con la búsqueda de similitud vectorial, etc.</p>
<p>A principios de 2021, el equipo del algoritmo de anuncios dinámicos de SmartNews solicitó al equipo de infraestructura de IA que optimizara las funciones de recuperación y consulta de anuncios. Tras dos meses de investigación, el ingeniero de infraestructura de IA Shu decidió utilizar Milvus, una base de datos vectorial de código abierto que admite múltiples índices y métricas de similitud y actualizaciones de datos en línea. Más de mil organizaciones de todo el mundo confían en Milvus.</p>
<h2 id="Advertisement-recommendation-powered-by-vector-similarity-search" class="common-anchor-header">Recomendación de anuncios mediante búsqueda vectorial de similitudes<button data-href="#Advertisement-recommendation-powered-by-vector-similarity-search" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>La base de datos vectorial de código abierto Milvus se utiliza en el sistema SmartNews Ad para buscar y recomendar a los usuarios anuncios dinámicos a partir de un conjunto de datos a escala de 10 millones de millones. De este modo, SmartNews puede crear una relación de correspondencia entre dos conjuntos de datos previamente incomparables: los datos de los usuarios y los datos de los anuncios. En el segundo trimestre de 2021, Shu consiguió desplegar Milvus 1.0 en Kubernetes. Más información sobre cómo <a href="https://milvus.io/docs">desplegar</a> Milvus.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/image1_2a88ed162f.png" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<p>Tras el exitoso despliegue de Milvus 1.0, el primer proyecto en utilizar Milvus fue el proyecto de retirada de anuncios iniciado por el equipo de anuncios de SmartNews. Durante la fase inicial, el conjunto de datos de anuncios era a escala de un millón. Mientras tanto, la latencia P99 se controlaba estrictamente en menos de 10 milisegundos.</p>
<p>En junio de 2021, Shu y sus colegas del equipo de algoritmos aplicaron Milvus a más escenarios empresariales e intentaron la agregación de datos y la actualización de datos/índices en línea en tiempo real.</p>
<p>Por ahora, Milvus, la base de datos vectorial de código abierto, se ha utilizado en varios escenarios empresariales en SmartNews, incluida la recomendación de anuncios.</p>
<h2 id="From-a-user-to-an-active-contributor" class="common-anchor-header"><strong>De usuario a colaborador activo</strong><button data-href="#From-a-user-to-an-active-contributor" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Durante la integración de Milvus en la arquitectura de productos de Smartnews, Shu y otros desarrolladores solicitaron funciones como la recarga en caliente, el TTL (tiempo de vida) de los artículos, la actualización/sustitución de artículos, etc. Estas funciones también son deseadas por muchos usuarios. También son funciones deseadas por muchos usuarios de la comunidad Milvus. Por lo tanto, Dennis Zhao, jefe del equipo de infraestructura de IA en SmartNews decidió desarrollar y contribuir con la función de recarga en caliente a la comunidad. Dennis creía que "el equipo de SmartNews se ha beneficiado de la comunidad Milvus, por lo tanto, estamos más que dispuestos a contribuir si tenemos algo que compartir con la comunidad."</p>
<p>La recarga de datos permite editar el código mientras se ejecuta. Con la ayuda de la recarga de datos, los desarrolladores ya no necesitan detenerse en un punto de interrupción o reiniciar la aplicación. En su lugar, pueden editar el código directamente y ver el resultado en tiempo real.</p>
<p>A finales de julio, Yusup, ingeniero de SmartNews, propuso la idea de utilizar <a href="https://milvus.io/docs/v2.0.x/collection_alias.md#Collection-Alias">alias de colecciones</a> para lograr la recarga en caliente.</p>
<p>La creación de alias de colección se refiere a la especificación de nombres de alias para una colección. Una colección puede tener varios alias. Sin embargo, un alias corresponde como máximo a una colección. Basta con establecer una analogía entre una colección y una taquilla. Un casillero, al igual que una colección, tiene su propio número y posición, que siempre permanecerán invariables. Sin embargo, siempre puedes meter y sacar cosas diferentes de la taquilla. Del mismo modo, el nombre de la colección es fijo, pero los datos de la colección son dinámicos. Siempre puede insertar o eliminar vectores en una colección, ya que la eliminación de datos está soportada en la <a href="https://milvus.io/docs/v2.0.x/release_notes.md#v200-PreGA">versión</a> Milvus <a href="https://milvus.io/docs/v2.0.x/release_notes.md#v200-PreGA">pre-GA</a>.</p>
<p>En el caso del negocio publicitario SmartNews, se insertan o actualizan cerca de 100 millones de vectores a medida que se generan nuevos vectores publicitarios dinámicos. Existen varias soluciones al respecto:</p>
<ul>
<li>Solución 1: borrar primero los datos antiguos e insertar los nuevos.</li>
<li>Solución 2: crear una nueva colección para los nuevos datos.</li>
<li>Solución 3: utilizar alias de colecciones.</li>
</ul>
<p>En el caso de la solución 1, uno de los inconvenientes más evidentes es que requiere mucho tiempo, sobre todo cuando el conjunto de datos que hay que actualizar es enorme. Por lo general, se tardan horas en actualizar un conjunto de datos a escala de 100 millones.</p>
<p>En cuanto a la solución 2, el problema es que la nueva colección no está disponible inmediatamente para la búsqueda. Es decir, una colección no se puede buscar durante la carga. Además, Milvus no permite que dos colecciones utilicen el mismo nombre de colección. Cambiar a una nueva colección siempre requeriría que los usuarios modificaran manualmente el código del lado del cliente. Es decir, los usuarios tendrían que revisar el valor del parámetro <code translate="no">collection_name</code> cada vez que necesitaran cambiar de una colección a otra.</p>
<p>La solución 3 sería la solución milagrosa. Sólo tiene que insertar los nuevos datos en una nueva colección y utilizar el alias de colección. De este modo, sólo tendrá que cambiar el alias de la colección cada vez que necesite cambiar de colección para realizar la búsqueda. No es necesario realizar esfuerzos adicionales para revisar el código. Esta solución le ahorra los problemas mencionados en las dos soluciones anteriores.</p>
<p>Yusup partió de esta petición y ayudó a todo el equipo de SmartNews a comprender la arquitectura de Milvus. Al cabo de un mes y medio, el proyecto Milvus recibió de Yusup un PR sobre la recarga en caliente. Y más tarde, esta función está oficialmente disponible junto con el lanzamiento de Milvus 2.0.0-RC7.</p>
<p>Actualmente, el equipo de infraestructura de IA está tomando la iniciativa para desplegar Milvus 2.0 y migrar todos los datos gradualmente de Milvus 1.0 a 2.0.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/image2_96c064a627.png" alt="img_collection alias" class="doc-image" id="img_collection-alias" />
   </span> <span class="img-wrapper"> <span>img_collection alias</span> </span></p>
<p>La compatibilidad con el alias de colección puede mejorar enormemente la experiencia del usuario, especialmente para aquellas grandes empresas de Internet con grandes volúmenes de solicitudes de usuarios. Chenglong Li, ingeniero de datos de la comunidad Milvus, que ayudó a construir el puente entre Milvus y Smartnews, dijo: "La función de alias de colección surge de la petición real de negocio de SmartNews, un usuario de Milvus. Y SmartNews aportó el código a la comunidad Milvus. Este acto de reciprocidad es un gran ejemplo del espíritu del código abierto: de la comunidad y para la comunidad. Esperamos ver más colaboradores como SmartNews y construir conjuntamente una comunidad Milvus más próspera."</p>
<p>"Actualmente, parte del negocio publicitario está adoptando Milvus como base de datos vectorial offline. Se acerca el lanzamiento oficial de Mivus 2.0, y esperamos poder utilizar Milvus para construir sistemas más fiables y proporcionar servicios en tiempo real para más escenarios empresariales", dijo Dennis.</p>
<blockquote>
<p>Actualización: ¡Milvus 2.0 ya está disponible en general! <a href="/blog/es/2022-1-25-annoucing-general-availability-of-milvus-2-0.md">Más información</a></p>
</blockquote>


La historia de SmartNews: de usuario de Milvus a colaborador activo

<p>2021 fue un año increíble para Milvus como proyecto de código abierto. Quiero tomarme un momento para agradecer a todos los colaboradores y usuarios de Milvus, así como a los socios por contribuir a un año tan sobresaliente.</p>
<p><strong>Uno de los momentos más impresionantes de este año para mí es el lanzamiento de Milvus 2.0. Antes de iniciar este proyecto, sólo unos pocos miembros de la comunidad creían que podríamos ofrecer la base de datos vectorial más avanzada del mundo, pero ahora me enorgullece decir que Milvus 2.0 GA está lista para la producción.</strong></p>
<p>Ya estamos trabajando en un nuevo y emocionante conjunto de retos para 2022, pero pensé que sería divertido celebrar un par de los grandes pasos que dimos el año pasado. He aquí algunos de ellos:</p>
<h2 id="Community-Growth" class="common-anchor-header">Crecimiento de la comunidad<button data-href="#Community-Growth" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>En primer lugar, he aquí un resumen de las estadísticas de la comunidad de GitHub y Slack. A finales de diciembre de 2021</p>
<ul>
<li><p><strong>Los colaboradores</strong> han aumentado de 121 en diciembre de 2020 a 209 en diciembre de 2021 (un 172% más)</p></li>
<li><p><strong>Las estrellas</strong> han aumentado de 4828 en diciembre de 2020 a 9090 en diciembre de 2021 (un 188% más)</p></li>
<li><p><strong>Los tenedores</strong> han aumentado de 756 en diciembre de 2020 a 1383 en diciembre de 2021 (un 182% más)</p></li>
<li><p><strong>Los miembros de Slack</strong> han aumentado de 541 en diciembre de 2020 a 1233 en diciembre de 2021 (un 227% más)</p></li>
</ul>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_1_e94deb087f.png" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<h2 id="Community-Governance-and-Advocacy" class="common-anchor-header">Gobernanza y promoción de la comunidad<button data-href="#Community-Governance-and-Advocacy" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Cuando Milvus se convirtió en código abierto por primera vez en octubre de 2019, teníamos un equipo relativamente pequeño y una comunidad pequeña, por lo que naturalmente el proyecto estaba gobernado principalmente por unos pocos miembros del equipo central. Pero desde entonces la comunidad había crecido significativamente, nos dimos cuenta de que necesitábamos un mejor sistema para dirigir el proyecto para que pudiéramos dar la bienvenida a nuevos contribuyentes de manera más eficiente.</p>
<p>Como resultado, en 2021 hemos nombrado a 5 nuevos mantenedores para que lleven un seguimiento del trabajo en curso y de los problemas notificados y se aseguren de que se revisan y fusionan a su debido tiempo. Los ID de GitHub de los cinco mantenedores son @xiaofan-luan; @congqixia; @scsven; @czs007; @yanliang567. No dude en ponerse en contacto con ellos si necesita ayuda con sus relaciones públicas.</p>
<p>También hemos puesto en marcha el <a href="https://milvus.io/community/milvus_advocate.md">programa Milvus Advocate</a>, y damos la bienvenida a más gente para que se una a nosotros y comparta sus experiencias, ofrezca ayuda a los miembros de la comunidad y obtenga reconocimiento a cambio.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_2_835f379fb0.png" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<p>(Imagen: Milvus GitHub contributors, hecho con el <a href="https://github.com/dynamicwebpaige/nanowrimo-2021/blob/main/15_VS_Code_contributors.ipynb">proyecto</a> de dynamicwebpaige )</p>
<h2 id="Milvus-Project-Announcements-and-Milestones" class="common-anchor-header">Anuncios e hitos del proyecto Milvus<button data-href="#Milvus-Project-Announcements-and-Milestones" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ol>
<li><strong>Número de versiones publicadas：14</strong></li>
</ol>
<ul>
<li><a href="https://milvus.io/blog/Whats-Inside-Milvus-1.0.md">Versión Milvus 1.0</a></li>
<li><a href="https://milvus.io/blog/milvus2.0-redefining-vector-database.md">Versión Milvus 2.0 RC</a></li>
<li><a href="https://milvus.io/docs/v2.0.x/release_notes.md#v200-PreGA">Milvus 2.0 versión PreGA</a></li>
</ul>
<ol>
<li><strong>SDKs compatibles con Milvus v2.0.0 GA</strong></li>
</ol>
<ul>
<li><p>PyMilvus (Disponible)</p></li>
<li><p>Go SDK (Disponible)</p></li>
<li><p>Java SDK (Disponible)</p></li>
<li><p>Node.js SDK (Disponible)</p></li>
<li><p>C++ SDK (En desarrollo)</p></li>
</ul>
<ol start="3">
<li><strong>Lanzamiento de nuevas herramientas Milvus</strong></li>
</ol>
<ul>
<li><a href="https://github.com/zilliztech/milvus_cli#community">Milvus_CLI</a> (Línea de comandos de Milvus)</li>
<li><a href="https://github.com/zilliztech/attu">Attu</a> (GUI de gestión de Milvus)</li>
<li><a href="https://github.com/milvus-io/milvus-operator">Operador Milvus K8s</a></li>
</ul>
<ol start="4">
<li><p><strong><a href="https://lfaidata.foundation/blog/2021/06/23/lf-ai-data-foundation-announces-graduation-of-milvus-project/">Milvus se convirtió en un proyecto de graduación de la LF AI &amp; Data Foundation.</a></strong></p></li>
<li><p><strong><a href="https://www.cs.purdue.edu/homes/csjgwang/pubs/SIGMOD21_Milvus.pdf">Milvus: A Purpose-Built Vector Data Management System publicado en SIGMOD'2021</a>).</strong></p></li>
<li><p><strong><a href="https://discuss.milvus.io/">Lanzamiento del Foro de la Comunidad Milvus.</a></strong></p></li>
</ol>
<h2 id="Community-Events" class="common-anchor-header">Eventos comunitarios<button data-href="#Community-Events" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Hemos organizado y participado en muchos eventos este año para que los miembros de nuestra comunidad global puedan reunirse (sobre todo virtualmente) a pesar de la situación actual de Covid-19. En total, hemos asistido a 21 conferencias y hemos sido anfitriones de</p>
<ul>
<li>6 reuniones técnicas</li>
<li>7 Horas de oficina de Milvus</li>
<li>34 seminarios web</li>
<li>3 reuniones fuera de línea</li>
</ul>
<p>Estamos planeando más eventos para 2022. Si quieres unirte a los eventos cerca de ti, consulta la categoría <a href="https://discuss.milvus.io/c/events-and-meetups/13">Eventos y Meetups</a> en nuestro foro de la comunidad para ver los próximos eventos y sus ubicaciones. Si quieres ser nuestro ponente o anfitrión en futuros eventos, ponte en contacto con nosotros en <a href="mailto:community@milvus.io">community@milvus.io.</a></p>
<h2 id="Looking-Ahead-to-2022--Roadmap--Announcement" class="common-anchor-header">De cara a 2022: hoja de ruta y anuncio<button data-href="#Looking-Ahead-to-2022--Roadmap--Announcement" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><strong>Comunidad:</strong></p>
<ol>
<li>Mejorar la Membresía del Proyecto Milvus para atraer/elegir más mantenedores y committers para construir juntos la comunidad.</li>
<li>Lanzar un programa de tutoría para ofrecer más ayuda a los recién llegados que quieran unirse a la comunidad y contribuir.</li>
<li>Mejorar la gestión de los documentos de la comunidad, incluidos <strong>los documentos técnicos, las guías de usuario y los documentos de la comunidad</strong>. En 2022, esperamos que los miembros de nuestra comunidad puedan completar juntos un Manual de Milvus para que la gente pueda aprender a utilizar mejor Milvus.</li>
<li>Fortalecer la cooperación y la interacción con otras comunidades de código abierto, incluidas las comunidades de IA ascendentes y comunidades como Kubernetes, MinIO, etcd y Pulsar en las que se basa Milvus.</li>
<li>Estar más orientados a la comunidad celebrando más reuniones periódicas de SIG. Además del sig-pymilvus que funciona actualmente, nuestro plan es tener más SIG en 2022.</li>
</ol>
<p><strong>Proyecto Milvus:</strong></p>
<ol>
<li>Ajuste del rendimiento</li>
</ol>
<p>Un rendimiento excelente siempre ha sido una razón importante por la que los usuarios eligen Milvus. En 2022, tenemos previsto iniciar un proyecto de optimización del rendimiento para aumentar el rendimiento y el retardo al menos dos veces. También tenemos previsto introducir réplicas en memoria para mejorar el rendimiento y la estabilidad del sistema en conjuntos de datos pequeños, y admitir GPU para acelerar la creación de índices y el servicio en línea.</p>
<ol start="2">
<li>Funcionalidad</li>
</ol>
<p>Milvus 2.0 ya admite funcionalidades como la búsqueda híbrida vectorial/escalar, la eliminación de entidades y el viaje en el tiempo. Tenemos previsto incorporar las siguientes funciones en las dos próximas versiones principales:</p>
<ul>
<li>Soporte para tipos de datos más ricos: String, Blob, Geoespacial, etc.</li>
<li>Control de acceso basado en roles</li>
<li>Deduplicación de claves primarias</li>
<li>Soporte para búsqueda de rango en vectores (búsqueda donde la distancia &lt; 0,8)</li>
<li>Compatibilidad con Restful API y SDK de otros idiomas</li>
</ul>
<ol start="3">
<li>Facilidad de uso</li>
</ol>
<p>En el próximo año planeamos desarrollar varias herramientas para ayudar a desplegar y gestionar mejor Milvus.</p>
<ul>
<li><p>Milvus up:  Un componente de despliegue que ayuda a los usuarios a poner en marcha Milvus en un entorno offline sin cluster K8s. También ayuda a desplegar la monitorización, el rastreo y otros desarrollos de Milvus.</p></li>
<li><p>Attu: Seguiremos mejorando Attu como nuestro sistema de gestión de clústeres. Estamos planeando añadir funcionalidades como el diagnóstico de salud y la optimización de índices.</p></li>
<li><p>Milvus DM: Herramienta de migración de datos para migrar vectores desde otra base de datos o archivos a Milvus. Primero soportaremos FAISS, HNSW, Milvus 1.0/2.0, y después otras bases de datos como MySQL y Elasticsearch.</p></li>
</ul>
<h2 id="About-the-author" class="common-anchor-header">Sobre el autor<button data-href="#About-the-author" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Xiaofan Luan, socio y Director de Ingeniería de Zilliz, y miembro del Comité Asesor Técnico de LF AI &amp; Data Foundation. Trabajó sucesivamente en la sede estadounidense de Oracle y en Hedvig, una startup de almacenamiento definido por software. Se incorporó al equipo de Alibaba Cloud Database y se encargó del desarrollo de las bases de datos NoSQL HBase y Lindorm. Luan obtuvo su máster en Ingeniería Informática Electrónica en la Universidad de Cornell.</p>


Milvus en 2021 - Resumen del año

<p>En la era de la explosión de la información, no dejamos de producir voz, imágenes, vídeos y otros datos no estructurados. ¿Cómo analizar eficazmente esta cantidad masiva de datos? La aparición de las redes neuronales permite incorporar datos no estructurados en forma de vectores, y la base de datos Milvus es un software básico de servicio de datos, que ayuda a completar el almacenamiento, la búsqueda y el análisis de datos vectoriales.</p>
<p>Pero, ¿cómo podemos utilizar rápidamente la base de datos vectorial Milvus?</p>
<p>Algunos usuarios se han quejado de que las API son difíciles de memorizar y esperan que pueda haber líneas de comandos sencillas para manejar la base de datos Milvus.</p>
<p>Estamos encantados de presentar Milvus_CLI, una herramienta de línea de comandos dedicada a la base de datos vectorial Milvus.</p>
<p>Milvus_CLI es una cómoda CLI de base de datos para Milvus, que soporta la conexión a la base de datos, la importación de datos, la exportación de datos y el cálculo de vectores utilizando comandos interactivos en shells. La última versión de Milvus_CLI tiene las siguientes características.</p>
<ul>
<li><p>Soporta todas las plataformas, incluyendo Windows, Mac y Linux</p></li>
<li><p>Soporta la instalación en línea y fuera de línea con pip</p></li>
<li><p>Portátil, puede utilizarse en cualquier lugar</p></li>
<li><p>Basado en el SDK de Milvus para Python</p></li>
<li><p>Documentos de ayuda incluidos</p></li>
<li><p>Soporte de autocompletado</p></li>
</ul>
<h2 id="Installation" class="common-anchor-header">Instalación<button data-href="#Installation" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Puede instalar Milvus_CLI en línea o fuera de línea.</p>
<h3 id="Install-MilvusCLI-online" class="common-anchor-header">Instalar Milvus_CLI en línea</h3><p>Ejecute el siguiente comando para instalar Milvus_CLI en línea con pip. Se requiere Python 3.8 o posterior.</p>
<pre><code translate="no">pip install milvus-cli
<button class="copy-code-btn"></button></code></pre>
<h3 id="Install-MilvusCLI-offline" class="common-anchor-header">Instalar Milvus_CLI sin conexión</h3><p>Para instalar Milvus_CLI offline, <a href="https://github.com/milvus-io/milvus_cli/releases">descargue</a> primero el último tarball de la página de lanzamiento.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_af0e832119.png" alt="1.png" class="doc-image" id="1.png" />
   </span> <span class="img-wrapper"> <span>1.png</span> </span></p>
<p>Una vez descargado el tarball, ejecute el siguiente comando para instalar Milvus_CLI.</p>
<pre><code translate="no">pip install milvus_cli-&lt;version&gt;.tar.gz
<button class="copy-code-btn"></button></code></pre>
<p>Una vez instalado Milvus_CLI, ejecute <code translate="no">milvus_cli</code>. El prompt <code translate="no">milvus_cli &gt;</code> que aparece indica que la línea de comandos está lista.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/2_b50f5d2a5a.png" alt="2.png" class="doc-image" id="2.png" />
   </span> <span class="img-wrapper"> <span>2.png</span> </span></p>
<p>Si está utilizando un Mac con el chip M1 o un PC sin un entorno Python, puede optar por utilizar una aplicación portátil en su lugar. Para ello, <a href="https://github.com/milvus-io/milvus_cli/releases">descarga</a> un archivo en la página de versiones correspondiente a tu sistema operativo, ejecuta <code translate="no">chmod +x</code> en el archivo para hacerlo ejecutable y ejecuta <code translate="no">./</code> en el archivo para ejecutarlo.</p>
<h4 id="Example" class="common-anchor-header"><strong>Ejemplo</strong></h4><p>El siguiente ejemplo convierte <code translate="no">milvus_cli-v0.1.8-fix2-macOS</code> en ejecutable y lo ejecuta.</p>
<pre><code translate="no"><span class="hljs-built_in">sudo</span> <span class="hljs-built_in">chmod</span> +x milvus_cli-v0.1.8-fix2-macOS
./milvus_cli-v0.1.8-fix2-macOS
<button class="copy-code-btn"></button></code></pre>
<h2 id="Usage" class="common-anchor-header">Uso<button data-href="#Usage" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="Connect-to-Milvus" class="common-anchor-header">Conectarse a Milvus</h3><p>Antes de conectarse a Milvus, asegúrese de que Milvus está instalado en su servidor. Consulte <a href="https://milvus.io/docs/v2.0.x/install_standalone-docker.md">Instalar Milvus Standalone</a> o <a href="https://milvus.io/docs/v2.0.x/install_cluster-docker.md">Instalar Milvus Cluster</a> para más información.</p>
<p>Si Milvus está instalado en su localhost con el puerto por defecto, ejecute <code translate="no">connect</code>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/3_f950d3739a.png" alt="3.png" class="doc-image" id="3.png" />
   </span> <span class="img-wrapper"> <span>3.png</span> </span></p>
<p>De lo contrario, ejecute el siguiente comando con la dirección IP de su servidor Milvus. El siguiente ejemplo utiliza <code translate="no">172.16.20.3</code> como dirección IP y <code translate="no">19530</code> como número de puerto.</p>
<pre><code translate="no">connect -h 172.16.20.3
<button class="copy-code-btn"></button></code></pre>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/4_9ff2db9855.png" alt="4.png" class="doc-image" id="4.png" />
   </span> <span class="img-wrapper"> <span>4.png</span> </span></p>
<h3 id="Create-a-collection" class="common-anchor-header">Crear una colección</h3><p>Esta sección presenta cómo crear una colección.</p>
<p>Una colección consta de entidades y es similar a una tabla en RDBMS. Consulte <a href="https://milvus.io/docs/v2.0.x/glossary.md">el Glosario</a> para obtener más información.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/5_95a88c1cbf.png" alt="5.png" class="doc-image" id="5.png" />
   </span> <span class="img-wrapper"> <span>5.png</span> </span></p>
<h4 id="Example" class="common-anchor-header">Ejemplo</h4><p>El siguiente ejemplo crea una colección llamada <code translate="no">car</code>. La colección <code translate="no">car</code> tiene cuatro campos que son <code translate="no">id</code>, <code translate="no">vector</code>, <code translate="no">color</code>, y <code translate="no">brand</code>. El campo de clave principal es <code translate="no">id</code>. Para obtener más información, consulte <a href="https://milvus.io/docs/v2.0.x/cli_commands.md#create-collection">Crear colección</a>.</p>
<pre><code translate="no">create collection -c car -f <span class="hljs-built_in">id</span>:INT64:primary_field -f vector:FLOAT_VECTOR:<span class="hljs-number">128</span> -f color:INT64:color -f brand:INT64:brand -p <span class="hljs-built_in">id</span> -a -d <span class="hljs-string">&#x27;car_collection&#x27;</span>
<button class="copy-code-btn"></button></code></pre>
<h3 id="List-collections" class="common-anchor-header">Listar colecciones</h3><p>Ejecute el siguiente comando para listar todas las colecciones en esta instancia de Milvus.</p>
<pre><code translate="no">list collections
<button class="copy-code-btn"></button></code></pre>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/6_1331f4c8bc.png" alt="6.png" class="doc-image" id="6.png" />
   </span> <span class="img-wrapper"> <span>6.png</span> </span></p>
<p>Ejecute el siguiente comando para comprobar los detalles de la colección <code translate="no">car</code>.</p>
<pre><code translate="no">describe collection -c car 
<button class="copy-code-btn"></button></code></pre>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/7_1d70beee54.png" alt="7.png" class="doc-image" id="7.png" />
   </span> <span class="img-wrapper"> <span>7.png</span> </span></p>
<h3 id="Calculate-the-distance-between-two-vectors" class="common-anchor-header">Calcular la distancia entre dos vectores</h3><p>Ejecute el siguiente comando para importar datos a la colección <code translate="no">car</code>.</p>
<pre><code translate="no"><span class="hljs-keyword">import</span> -c car <span class="hljs-string">&#x27;https://raw.githubusercontent.com/zilliztech/milvus_cli/main/examples/import_csv/vectors.csv&#x27;</span>
<button class="copy-code-btn"></button></code></pre>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/8_7609a4359a.png" alt="8.png" class="doc-image" id="8.png" />
   </span> <span class="img-wrapper"> <span>8.png</span> </span></p>
<p>Ejecute <code translate="no">query</code> e introduzca <code translate="no">car</code> como nombre de la colección y <code translate="no">id&gt;0</code> como expresión de consulta cuando se le solicite. Los ID de las entidades que cumplen los criterios se devuelven como se muestra en la siguiente figura.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/9_f0755589f6.png" alt="9.png" class="doc-image" id="9.png" />
   </span> <span class="img-wrapper"> <span>9.png</span> </span></p>
<p>Ejecute <code translate="no">calc</code> e introduzca los valores apropiados cuando se le solicite para calcular las distancias entre matrices de vectores.</p>
<h3 id="Delete-a-collection" class="common-anchor-header">Borrar una colección</h3><p>Ejecute el siguiente comando para eliminar la colección <code translate="no">car</code>.</p>
<pre><code translate="no"><span class="hljs-keyword">delete</span> collection -c car
<button class="copy-code-btn"></button></code></pre>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/10_16b2b01935.png" alt="10.png" class="doc-image" id="10.png" />
   </span> <span class="img-wrapper"> <span>10.png</span> </span></p>
<h2 id="More" class="common-anchor-header">Más<button data-href="#More" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus_CLI no se limita a las funciones anteriores. Ejecute <code translate="no">help</code> para ver todos los comandos que incluye Milvus_CLI y sus respectivas descripciones. Ejecute <code translate="no">&lt;command&gt; --help</code> para ver los detalles de un comando especificado.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/11_5f31ccb1e8.png" alt="11.png" class="doc-image" id="11.png" />
   </span> <span class="img-wrapper"> <span>11.png</span> </span></p>
<p><strong>Véase también:</strong></p>
<p><a href="https://milvus.io/docs/v2.0.x/cli_commands.md">Referencia de comandos</a> de Milvus_CLI en Milvus Docs</p>
<p>Esperamos que Milvus_CLI pueda ayudarle a utilizar fácilmente la base de datos vectorial Milvus. Seguiremos optimizando Milvus_CLI y sus contribuciones son bienvenidas.</p>
<p>Si tiene alguna pregunta, no dude en <a href="https://github.com/zilliztech/milvus_cli/issues">presentar una incidencia</a> en GitHub.</p>


Empezar a utilizar Milvus_CLI

Evolución de la base de datos vectorial escalable en la nube Milvus

<p>En los últimos años, la cuestión de la protección de la propiedad intelectual se ha convertido en el centro de atención a medida que aumenta la concienciación de la gente sobre la infracción de la propiedad intelectual. En particular, el gigante multinacional de la tecnología Apple Inc. ha <a href="https://en.wikipedia.org/wiki/Apple_Inc._litigation">presentado</a> activamente <a href="https://en.wikipedia.org/wiki/Apple_Inc._litigation">demandas contra varias empresas por infracción de la propiedad intelectual</a>, incluida la infracción de marcas, patentes y diseños. Aparte de esos casos más notorios, Apple Inc. también <a href="https://www.smh.com.au/business/apple-bites-over-woolworths-logo-20091005-ghzr.html">impugnó</a> en 2009 <a href="https://www.smh.com.au/business/apple-bites-over-woolworths-logo-20091005-ghzr.html">una solicitud de marca de Woolworths Limited</a>, una cadena de supermercados australiana, por infracción de marca.  Apple. Inc argumentó que el logotipo de la marca australiana, una &quot;w&quot; estilizada, se parece a su propio logotipo de una manzana. Por ello, Apple Inc. se opuso a la gama de productos, incluidos aparatos electrónicos, que Woolworths solicitó vender con el logotipo. La historia termina con Woolworths modificando su logotipo y Apple retirando su oposición.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Logo_of_Woolworths_b04ece5b20.png" alt="Logo of Woolworths.png" class="doc-image" id="logo-of-woolworths.png" />
   </span> <span class="img-wrapper"> <span>Logotipo de Woolworths.png</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Logo_of_Apple_Inc_181e5bd5f8.png" alt="Logo of Apple Inc.png" class="doc-image" id="logo-of-apple-inc.png" />
   </span> <span class="img-wrapper"> <span>Logotipo de Apple Inc.png</span> </span></p>
<p>Con la creciente concienciación sobre la cultura de marca, las empresas vigilan más de cerca cualquier amenaza que perjudique sus derechos de propiedad intelectual (PI). La infracción de la PI incluye</p>
<ul>
<li>Infracción de los derechos de autor</li>
<li>Infracción de patentes</li>
<li>Infracción de marcas</li>
<li>Infracción de diseños</li>
<li>Ciberocupación</li>
</ul>
<p>El mencionado litigio entre Apple y Woolworths se debe principalmente a una infracción de marca, precisamente por la similitud entre las imágenes de marca de ambas entidades. Para evitar convertirse en otro Woolworths, una búsqueda exhaustiva de similitudes de marcas es un paso crucial para los solicitantes, tanto antes de la presentación como durante la revisión de las solicitudes de marca. El recurso más habitual es realizar una búsqueda en la <a href="https://tmsearch.uspto.gov/search/search-information">base de datos de la Oficina de Patentes y Marcas de los Estados Unidos (USPTO</a> ), que contiene todos los registros y solicitudes de marca activos e inactivos. A pesar de que la interfaz de usuario no es muy atractiva, este proceso de búsqueda también es muy defectuoso por su naturaleza basada en texto, ya que se basa en palabras y códigos de diseño de marcas (que son etiquetas de características de diseño anotadas a mano) para buscar imágenes.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/image_8_b2fff6ca11.png" alt="8.png" class="doc-image" id="8.png" />
   </span> <span class="img-wrapper"> <span>8.png</span> </span></p>
<p>Este artículo pretende mostrar cómo construir un sistema eficaz de búsqueda de similitudes de marcas basado en imágenes utilizando <a href="https://milvus.io">Milvus</a>, una base de datos vectorial de código abierto.</p>
<h2 id="A-vector-similarity-search-system-for-trademarks" class="common-anchor-header">Un sistema de búsqueda vectorial de marcas similares<button data-href="#A-vector-similarity-search-system-for-trademarks" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Para crear un sistema de búsqueda de similitudes vectoriales para marcas comerciales, es necesario seguir los siguientes pasos:</p>
<ol>
<li>Preparar un conjunto de datos masivo de logotipos. Es probable que el sistema pueda utilizar un conjunto de datos como <a href="https://developer.uspto.gov/product/trademark-24-hour-box-and-supplemental">éste</a>,).</li>
<li>Entrenar un modelo de extracción de características de imagen utilizando el conjunto de datos y modelos basados en datos o algoritmos de IA.</li>
<li>Convertir los logotipos en vectores utilizando el modelo o algoritmo entrenado en el paso 2.</li>
<li>Almacenar los vectores y realizar búsquedas de similitud de vectores en Milvus, la base de datos de vectores de código abierto.</li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/trademark_system_e9700df555.png" alt="Nike.png" class="doc-image" id="nike.png" />
   </span> <span class="img-wrapper"> <span>Nike.png</span> </span></p>
<p>En las siguientes secciones, vamos a examinar más de cerca los dos pasos principales en la construcción de un sistema de búsqueda de similitud vectorial para marcas: el uso de modelos de IA para la extracción de características de imagen, y el uso de Milvus para la búsqueda de similitud vectorial. En nuestro caso, utilizamos VGG16, una red neuronal convolucional (CNN), para extraer características de imagen y convertirlas en vectores de incrustación.</p>
<h3 id="Using-VGG16-for-image-feature-extraction" class="common-anchor-header">Uso de VGG16 para la extracción de características de imagen</h3><p><a href="https://medium.com/@mygreatlearning/what-is-vgg16-introduction-to-vgg16-f2d63849f615">VGG16</a> es una CNN diseñada para el reconocimiento de imágenes a gran escala. El modelo es rápido y preciso en el reconocimiento de imágenes y puede aplicarse a imágenes de todos los tamaños. A continuación se muestran dos ilustraciones de la arquitectura de VGG16.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/vgg16_layers_9e621f62cc.png" alt="9.png" class="doc-image" id="9.png" />
   </span> <span class="img-wrapper"> <span>9.png</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/vgg16_architecture_992614e882.png" alt="10.png" class="doc-image" id="10.png" />
   </span> <span class="img-wrapper"> <span>10.png</span> </span></p>
<p>El modelo VGG16, como su nombre indica, es una CNN con 16 capas. Todos los modelos VGG, incluidos VGG16 y VGG19, contienen 5 bloques VGG, con una o más capas convolucionales en cada bloque VGG. Y al final de cada bloque, se conecta una capa de agrupación máxima para reducir el tamaño de la imagen de entrada. El número de núcleos es equivalente en cada capa convolucional, pero se duplica en cada bloque VGG. Por lo tanto, el número de núcleos del modelo pasa de 64 en el primer bloque a 512 en el cuarto y quinto. Todos los kernels convolucionales<em>tienen un tamaño de 33, mientras que los kernels de agrupación tienen todos un tamaño de 22</em>. Esto favorece la conservación de los datos. Esto permite conservar más información sobre la imagen de entrada.</p>
<p>Por lo tanto, VGG16 es un modelo adecuado para el reconocimiento de imágenes de conjuntos de datos masivos en este caso. Puede utilizar Python, Tensorflow y Keras para entrenar un modelo de extracción de características de imagen basado en VGG16.</p>
<h3 id="Using-Milvus-for-vector-similarity-search" class="common-anchor-header">Uso de Milvus para la búsqueda de similitud vectorial</h3><p>Después de usar el modelo VGG16 para extraer características de imagen y convertir imágenes de logotipos en vectores de incrustación, necesita buscar vectores similares en un conjunto de datos masivo.</p>
<p>Milvus es una base de datos nativa de la nube que ofrece una gran escalabilidad y elasticidad. Además, como base de datos, puede garantizar la coherencia de los datos. Para un sistema de búsqueda de similitudes de marcas como este, los nuevos datos, como los últimos registros de marcas, se cargan en el sistema en tiempo real. Y estos datos recién cargados deben estar disponibles inmediatamente para la búsqueda. Por lo tanto, este artículo adopta Milvus, la base de datos vectorial de código abierto, para llevar a cabo la búsqueda de similitud vectorial.</p>
<p>Al insertar los vectores de logotipos, puede crear colecciones en Milvus para diferentes tipos de vectores de logotipos según la <a href="https://en.wikipedia.org/wiki/International_(Nice)_Classification_of_Goods_and_Services">Clasificación Internacional (de Niza) de Productos y Servicios</a>, un sistema de clasificación de productos y servicios para el registro de marcas. Por ejemplo, puede insertar un grupo de vectores de logotipos de marcas de ropa en una colección denominada &quot;ropa&quot; en Milvus e insertar otro grupo de vectores de logotipos de marcas tecnológicas en otra colección denominada &quot;tecnología&quot;. De este modo, puede aumentar enormemente la eficacia y la velocidad de su búsqueda de similitud vectorial.</p>
<p>Milvus no sólo admite múltiples índices para la búsqueda de similitud vectorial, sino que también proporciona API y herramientas enriquecidas para facilitar DevOps. El siguiente diagrama ilustra la <a href="https://milvus.io/docs/v2.0.x/architecture_overview.md">arquitectura de Milvus</a>. Puede obtener más información sobre Milvus leyendo su <a href="https://milvus.io/docs/v2.0.x/overview.md">introducción</a>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/milvus_architecture_ea45a5ab53.png" alt="11.png" class="doc-image" id="11.png" />
   </span> <span class="img-wrapper"> <span>11.png</span> </span></p>
<h2 id="Looking-for-more-resources" class="common-anchor-header">¿Busca más recursos?<button data-href="#Looking-for-more-resources" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p>Construya más sistemas de búsqueda de similitud vectorial para otros escenarios de aplicación con Milvus:</p>
<ul>
<li><a href="https://milvus.io/blog/dna-sequence-classification-based-on-milvus.md">Clasificación de secuencias de ADN basada en Milvus</a></li>
<li><a href="https://milvus.io/blog/audio-retrieval-based-on-milvus.md">Recuperación de audio basada en Milvus</a></li>
<li><a href="https://milvus.io/blog/building-video-search-system-with-milvus.md">4 pasos para crear un sistema de búsqueda de vídeo</a></li>
<li><a href="https://milvus.io/blog/building-intelligent-chatbot-with-nlp-and-milvus.md">Creación de un sistema inteligente de control de calidad con NLP y Milvus</a></li>
<li><a href="https://milvus.io/blog/molecular-structure-similarity-with-milvus.md">Acelerar el descubrimiento de nuevos fármacos</a></li>
</ul></li>
<li><p>Participe en nuestra comunidad de código abierto:</p>
<ul>
<li>Encuentre o contribuya a Milvus en <a href="https://bit.ly/307b7jC">GitHub</a>.</li>
<li>Interactúe con la comunidad a través <a href="https://bit.ly/3qiyTEk">del Foro</a>.</li>
<li>Conéctese con nosotros en <a href="https://bit.ly/3ob7kd8">Twitter</a>.</li>
</ul></li>
</ul>


Milvus en la protección de la PI：Creación de un sistema de búsqueda de similitud de marcas con Milvus

<p>Para ayudarle a empezar rápidamente con Milvus, la base de datos vectorial de código abierto, hemos publicado otro proyecto de código abierto afiliado, <a href="https://github.com/milvus-io/bootcamp">Milvus Bootcamp</a> en GitHub. Milvus Bootcamp no sólo proporciona scripts y datos para pruebas comparativas, sino que también incluye proyectos que utilizan Milvus para construir algunos MVP (productos mínimos viables), como un sistema de búsqueda inversa de imágenes, un sistema de análisis de vídeo, un chatbot de control de calidad o un sistema de recomendación. Puede aprender a aplicar la búsqueda de similitud vectorial en un mundo lleno de datos no estructurados y obtener experiencia práctica en Milvus Bootcamp.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/2_5b60157b4d.png" alt="2.png" class="doc-image" id="2.png" />
   </span> <span class="img-wrapper"> <span>2.png</span> </span></p>
<p>Proporcionamos servicios front-end y back-end para los proyectos de Milvus Bootcamp. Sin embargo, recientemente hemos tomado la decisión de cambiar el framework web adoptado de Flask a FastAPI.</p>
<p>Este artículo tiene como objetivo explicar nuestra motivación detrás de este cambio en el marco web adoptado para Milvus Bootcamp aclarando por qué elegimos FastAPI en lugar de Flask.</p>
<h2 id="Web-frameworks-for-Python" class="common-anchor-header">Frameworks web para Python<button data-href="#Web-frameworks-for-Python" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Un marco web se refiere a una colección de paquetes o módulos. Es un conjunto de arquitectura de software para el desarrollo web que le permite escribir aplicaciones o servicios web y le ahorra la molestia de manejar detalles de bajo nivel como protocolos, sockets o gestión de procesos/hilos. El uso de un framework web puede reducir significativamente la carga de trabajo que supone desarrollar aplicaciones web, ya que basta con "enchufar" el código al framework, sin necesidad de prestar más atención a la gestión de la caché de datos, el acceso a bases de datos y la verificación de la seguridad de los datos. Para más información sobre qué es un framework web para Python, consulta <a href="https://wiki.python.org/moin/WebFrameworks">Web Frameworks</a>.</p>
<p>Hay varios tipos de frameworks web para Python. Los principales incluyen Django, Flask, Tornado, y FastAPI.</p>
<h3 id="Flask" class="common-anchor-header">Flask</h3><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/3_1abd170939.png" alt="3.png" class="doc-image" id="3.png" />
   </span> <span class="img-wrapper"> <span>3.png</span> </span></p>
<p><a href="https://flask.palletsprojects.com/en/2.0.x/">Flask</a> es un microframework ligero diseñado para Python, con un núcleo sencillo y fácil de usar que te permite desarrollar tus propias aplicaciones web. Además, el núcleo de Flask también es extensible. Por lo tanto, Flask soporta la extensión bajo demanda de diferentes funciones para satisfacer sus necesidades personalizadas durante el desarrollo de aplicaciones web. Es decir, con una biblioteca de varios plug-ins en Flask, puede desarrollar potentes sitios web.</p>
<p>Flask tiene las siguientes características:</p>
<ol>
<li>Flask es un microframework que no depende de otras herramientas específicas o componentes de librerías de terceros para proporcionar funcionalidades compartidas. Flask no tiene una capa de abstracción de base de datos, y no requiere validación de formularios. Sin embargo, Flask es altamente extensible y soporta la adición de funcionalidades de aplicación de forma similar a las implementaciones dentro del propio Flask. Las extensiones relevantes incluyen mapeadores objeto-relacionales, validación de formularios, procesamiento de cargas, tecnologías de autenticación abierta y algunas herramientas comunes diseñadas para marcos web.</li>
<li>Flask es un marco de aplicaciones web basado en <a href="https://wsgi.readthedocs.io/">WSGI</a> (Web Server Gateway Interface). WSGI es una interfaz sencilla que conecta un servidor web con una aplicación o marco web definido para el lenguaje Python.</li>
<li>Flask incluye dos bibliotecas de funciones básicas, <a href="https://www.palletsprojects.com/p/werkzeug">Werkzeug</a> y <a href="https://www.palletsprojects.com/p/jinja">Jinja2</a>. Werkzeug es un conjunto de herramientas WSGI que implementa peticiones, objetos de respuesta y funciones prácticas, lo que permite construir frameworks web sobre él. Jinja2 es un popular motor de plantillas completo para Python. Tiene soporte completo para Unicode, con un entorno de ejecución sandbox integrado opcional pero ampliamente adoptado.</li>
</ol>
<h3 id="FastAPI" class="common-anchor-header">FastAPI</h3><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/4_05cb0dac4e.png" alt="4.png" class="doc-image" id="4.png" />
   </span> <span class="img-wrapper"> <span>4.png</span> </span></p>
<p><a href="https://fastapi.tiangolo.com/">FastAPI</a> es un moderno framework de aplicaciones web para Python que tiene el mismo nivel de alto rendimiento que Go y NodeJS. El núcleo de FastAPI se basa en <a href="https://www.starlette.io/">Starlette</a> y <a href="https://pydantic-docs.helpmanual.io/">Pydantic</a>. Starlette es un ligero conjunto de herramientas <a href="https://asgi.readthedocs.io/">ASGI</a>(Asynchronous Server Gateway Interface) para construir servicios <a href="https://docs.python.org/3/library/asyncio.html">Asyncio</a> de alto rendimiento. Pydantic es una biblioteca que define la validación, serialización y documentación de datos basándose en las sugerencias de tipos de Python.</p>
<p>FastAPI tiene las siguientes características:</p>
<ol>
<li>FastAPI es un framework de aplicaciones web basado en ASGI, una interfaz de protocolo de pasarela asíncrona que conecta servicios de protocolo de red y aplicaciones Python. FastAPI puede manejar una variedad de tipos de protocolos comunes, incluyendo HTTP, HTTP2 y WebSocket.</li>
<li>FastAPI se basa en Pydantic, que proporciona la función de verificación del tipo de datos de la interfaz. No es necesario verificar adicionalmente el parámetro de la interfaz, ni escribir código adicional para verificar si los parámetros están vacíos o si el tipo de datos es correcto. El uso de FastAPI puede evitar eficazmente errores humanos en el código y mejorar la eficiencia del desarrollo.</li>
<li>FastAPI admite documentos en dos formatos: <a href="https://swagger.io/specification/">OpenAPI</a> (antes Swagger) y <a href="https://www.redoc.com/">Redoc</a>. Por lo tanto, como usuario no es necesario gastar tiempo extra escribiendo documentos de interfaz adicionales. El documento OpenAPI proporcionado por FastAPI se muestra en la siguiente captura de pantalla.</li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/5_d91d34cb0f.png" alt="5.png" class="doc-image" id="5.png" />
   </span> <span class="img-wrapper"> <span>5.png</span> </span></p>
<h3 id="Flask-Vs-FastAPI" class="common-anchor-header">Flask vs. FastAPI</h3><p>La siguiente tabla muestra las diferencias entre Flask y FastAPI en varios aspectos.</p>
<table>
<thead>
<tr><th></th><th><strong>FastAPI</strong></th><th><strong>Flask</strong></th></tr>
</thead>
<tbody>
<tr><td><strong>Pasarela de interfaz</strong></td><td>ASGI</td><td>WSGI</td></tr>
<tr><td><strong>Marco de trabajo asíncrono</strong></td><td>✅</td><td>❌</td></tr>
<tr><td><strong>Rendimiento</strong></td><td>Más rápido</td><td>Más lento</td></tr>
<tr><td><strong>Documentos interactivos</strong></td><td>OpenAPI, Redoc</td><td>Ninguno</td></tr>
<tr><td><strong>Verificación de datos</strong></td><td>✅</td><td>❌</td></tr>
<tr><td><strong>Costes de desarrollo</strong></td><td>Más bajos</td><td>Mayores</td></tr>
<tr><td><strong>Facilidad de uso</strong></td><td>Menor</td><td>Mayor</td></tr>
<tr><td><strong>Flexibilidad</strong></td><td>Menos flexible</td><td>Más flexible</td></tr>
<tr><td><strong>Comunidad</strong></td><td>Más pequeña</td><td>Más activa</td></tr>
</tbody>
</table>
<h2 id="Why-FastAPI" class="common-anchor-header">¿Por qué FastAPI?<button data-href="#Why-FastAPI" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Antes de decidir qué marco de aplicaciones web Python elegir para los proyectos de Milvus Bootcamp, investigamos varios marcos principales como Django, Flask, FastAPI y Tornado, entre otros. Dado que los proyectos en Milvus Bootcamp sirven como referencia para usted, nuestra prioridad es adoptar un marco externo de máxima ligereza y destreza. De acuerdo con esta regla, redujimos nuestras opciones a Flask y FastAPI.</p>
<p>Puedes ver la comparación entre los dos frameworks web en la sección anterior. Lo que sigue es una explicación detallada de nuestra motivación para elegir FastAPI sobre Flask para los proyectos en Milvus Bootcamp. Hay varias razones:</p>
<h3 id="1-Performance" class="common-anchor-header">1. Rendimiento</h3><p>La mayoría de los proyectos en Milvus Bootcamp se construyen en torno a sistemas de búsqueda inversa de imágenes, chatbots de control de calidad, motores de búsqueda de texto, todos los cuales tienen altas demandas de procesamiento de datos en tiempo real. En consecuencia, necesitamos un marco de trabajo con un rendimiento excepcional, que es exactamente un punto destacado de FastAPI. Por lo tanto, desde la perspectiva del rendimiento del sistema, decidimos elegir FastAPI.</p>
<h3 id="2-Efficiency" class="common-anchor-header">2. Eficiencia</h3><p>Cuando se utiliza Flask, es necesario escribir código para la verificación del tipo de datos en cada una de las interfaces para que el sistema pueda determinar si los datos de entrada están vacíos o no. Sin embargo, al soportar la verificación automática del tipo de datos, FastAPI ayuda a evitar errores humanos en la codificación durante el desarrollo del sistema y puede aumentar enormemente la eficiencia del desarrollo. Bootcamp se posiciona como un tipo de recurso de formación. Esto significa que el código y los componentes que utilizamos deben ser intuitivos y muy eficientes. En este sentido, elegimos FastAPI para mejorar la eficiencia del sistema y mejorar la experiencia del usuario.</p>
<h3 id="3-Asynchronous-framework" class="common-anchor-header">3. Marco asíncrono</h3><p>FastAPI es inherentemente un framework asíncrono. Originalmente, lanzamos cuatro <a href="https://zilliz.com/milvus-demos?isZilliz=true">demos</a>, búsqueda inversa de imágenes, análisis de vídeo, chatbot de control de calidad y búsqueda de similitud molecular. En estas demos, puedes cargar conjuntos de datos y se te preguntará inmediatamente &quot;solicitud recibida&quot;. Y cuando los datos se hayan cargado en el sistema de demostración, recibirá otro mensaje: &quot;carga de datos correcta&quot;. Se trata de un proceso asíncrono que requiere un marco de trabajo compatible con esta función. FastAPI es en sí mismo un marco asíncrono. Para alinear todos los recursos de Milvus, decidimos adoptar un único conjunto de herramientas de desarrollo y software tanto para Milvus Bootcamp como para las demos de Milvus. Como resultado, cambiamos el framework de Flask a FastAPI.</p>
<h3 id="4-Automatic-interactive-documents" class="common-anchor-header">4. Documentos interactivos automáticos</h3><p>De forma tradicional, cuando terminas de escribir el código para el lado del servidor, tienes que escribir un documento adicional para crear una interfaz, y luego utilizar herramientas como <a href="https://www.postman.com/">Postman</a> para las pruebas y depuración de la API. Entonces, ¿qué pasa si sólo quiere empezar rápidamente con la parte de desarrollo del lado del servidor web de los proyectos en Milvus Bootcamp sin escribir código adicional para crear una interfaz? FastAPI es la solución. Al proporcionar un documento OpenAPI, FastAPI puede ahorrarle la molestia de probar o depurar las API y colaborar con los equipos de front-end para desarrollar una interfaz de usuario. Con FastAPI, aún puede probar rápidamente la aplicación construida con una interfaz automática pero intuitiva sin esfuerzos adicionales para la codificación.</p>
<h3 id="5-User-friendliness" class="common-anchor-header">5. Facilidad de uso</h3><p>FastAPI es más fácil de usar y desarrollar, lo que le permite prestar más atención a la implementación específica del proyecto en sí. Sin dedicar demasiado tiempo al desarrollo de frameworks web, puede centrarse más en la comprensión de los proyectos en Milvus Bootcamp.</p>
<h2 id="Recap" class="common-anchor-header">Recapitulemos<button data-href="#Recap" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Flask y FlastAPI tienen sus propios pros y contras. Como marco de aplicaciones web emergente, FlastAPI, en su núcleo, se basa en conjuntos de herramientas y bibliotecas maduras, Starlette y Pydantic. FastAPI es un framework asíncrono de alto rendimiento. Su destreza, extensibilidad y soporte para la verificación automática de tipos de datos, junto con muchas otras potentes características, nos impulsaron a adoptar FastAPI como el framework para los proyectos Milvus Bootcamp.</p>
<p>Tenga en cuenta que debe elegir el marco adecuado según el escenario de su aplicación si desea construir un sistema de búsqueda de similitud vectorial en producción.</p>
<h2 id="About-the-author" class="common-anchor-header">Sobre el autor<button data-href="#About-the-author" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Yunmei Li, ingeniera de datos de Zilliz, se licenció en informática por la Universidad de Ciencia y Tecnología de Huazhong. Desde que se unió a Zilliz, ha estado trabajando en la exploración de soluciones para el proyecto de código abierto Milvus y ayudando a los usuarios a aplicar Milvus en escenarios del mundo real. Su principal interés se centra en la PNL y los sistemas de recomendación, y le gustaría profundizar aún más en estas dos áreas. Le gusta pasar tiempo a solas y leer.</p>
<h2 id="Looking-for-more-resources" class="common-anchor-header">¿Buscas más recursos?<button data-href="#Looking-for-more-resources" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p>Comience a construir sistemas de IA con Milvus y obtenga más experiencia práctica leyendo nuestros tutoriales.</p>
<ul>
<li><a href="https://milvus.io/blog/2021-10-10-milvus-helps-analys-vedios.md">¿Qué es? ¿Quién es? Milvus ayuda a analizar vídeos de forma inteligente</a></li>
<li><a href="https://milvus.io/blog/2021-09-26-onnx.md">Combinar modelos de IA para la búsqueda de imágenes utilizando ONNX y Milvus</a></li>
<li><a href="https://milvus.io/blog/dna-sequence-classification-based-on-milvus.md">Clasificación de secuencias de ADN basada en Milvus</a></li>
<li><a href="https://milvus.io/blog/audio-retrieval-based-on-milvus.md">Recuperación de audio basada en Milvus</a></li>
<li><a href="https://milvus.io/blog/building-video-search-system-with-milvus.md">4 pasos para crear un sistema de búsqueda de vídeos</a></li>
<li><a href="https://milvus.io/blog/building-intelligent-chatbot-with-nlp-and-milvus.md">Creación de un sistema inteligente de control de calidad con NLP y Milvus</a></li>
<li><a href="https://milvus.io/blog/molecular-structure-similarity-with-milvus.md">Acelerar el descubrimiento de nuevos fármacos</a></li>
</ul></li>
<li><p>Participe en nuestra comunidad de código abierto:</p>
<ul>
<li>Encuentre o contribuya a Milvus en <a href="https://bit.ly/307b7jC">GitHub</a>.</li>
<li>Interactúe con la comunidad a través <a href="https://bit.ly/3qiyTEk">del Foro</a>.</li>
<li>Conéctese con nosotros en <a href="https://bit.ly/3ob7kd8">Twitter</a>.</li>
</ul></li>
</ul>


¿Por qué elegir FastAPI en lugar de Flask?

Aceleración de la generación de candidatos en sistemas de recomendación mediante Milvus emparejado con PaddlePaddle

<p>Este tutorial presenta cómo ejecutar Milvus 2.0 en Windows. Si quiere empezar con Milvus 2.0 usando Windows, o simplemente tiene que ejecutar Milvus en Windows debido a los límites del entorno, este tutorial puede ser una buena referencia. Este artículo fue escrito originalmente por <a href="https://github.com/matrixji">@matrixji</a>.</p>
<p>Hay dos maneras de ejecutar Milvus 2.0 en Windows:</p>
<ul>
<li><a href="#Compile-from-source-code">Compilar desde el código fuente</a></li>
<li><a href="#Install-from-the-binary-package">Instalar desde el paquete binario</a></li>
</ul>
<h2 id="Compile-from-source-code" class="common-anchor-header">Compilar desde el código fuente<button data-href="#Compile-from-source-code" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="Prerequisites" class="common-anchor-header">Requisitos previos</h3><p>Necesita instalar la cadena de herramientas MinGW64/MSYS antes de compilar Milvus 2.0 en Windows. Consulte la guía de instalación en <a href="https://www.msys2.org/">MSYS2</a>. La compilación en este tutorial se completa en el shell de MSYS2 MinGW 64-bit. Puede ejecutar <code translate="no">$ pacman -Su</code> para actualizar la cadena de herramientas.</p>
<p>También recomendamos que ejecute <code translate="no">$ pacman -S git</code> para instalar git.</p>
<h3 id="Step-1-Clone-code" class="common-anchor-header">Paso 1. Clonar el código Clonar código</h3><p>Ejecuta el siguiente comando para clonar el código de la rama <strong>windows-dev</strong> en el repositorio <strong>matrixji/milvus</strong>. Actualmente, todos los commits pueden ser rastreados en <strong>windows-dev</strong>, que renueva semanalmente los commits de la rama principal <a href="https://github.com/milvus-io/milvus"><strong>milvus-io/milvus</strong></a>.</p>
<pre><code translate="no" class="language-python">$ git <span class="hljs-built_in">clone</span> git@github.com:matrixji/milvus.git -b windows-dev
<button class="copy-code-btn"></button></code></pre>
<h3 id="Step-2-Compile-Milvus" class="common-anchor-header">Paso 2. Compilar Milvus Compilar Milvus</h3><h4 id="1-Install-dependencies-and-toolchain" class="common-anchor-header">1. Instale las dependencias y la cadena de herramientas</h4><p>Ejecute el siguiente comando para instalar las dependencias necesarias y la cadena de herramientas. Después de la instalación, es necesario reiniciar el shell MinGW/MYSY para asegurarse de que las configuraciones de algunas herramientas se aplican correctamente.</p>
<pre><code translate="no" class="language-python">$ <span class="hljs-built_in">cd</span> milvus
$ scripts/install_deps_msys.sh
<button class="copy-code-btn"></button></code></pre>
<h4 id="2-Compile-Milvus" class="common-anchor-header">2. Compilar Milvus</h4><p>Ejecute el siguiente comando para compilar y empaquetar Milvus.</p>
<pre><code translate="no" class="language-python">$ make
$ sh scripts/package_windows.sh
<button class="copy-code-btn"></button></code></pre>
<p>Si tiene éxito, encontrará un archivo zip en el subdirectorio de <code translate="no">windows_package</code>. El archivo zip contiene todos los archivos para ejecutar <code translate="no">milvus.exe</code>, incluyendo <code translate="no">minio.exe</code> y <code translate="no">etcd.exe</code>.</p>
<div class="alert note">
Milvus 2.0 está desarrollado en Go. Es posible que tenga que configurar <a href='https://goproxy.cn/'>Goproxy</a> para instalar módulos de terceros.</div>
<h2 id="Install-from-the-binary-package" class="common-anchor-header">Instalar desde el paquete binario<button data-href="#Install-from-the-binary-package" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>También puede descargar el paquete binario ya compilado desde <a href="https://github.com/matrixji/milvus/releases">Releases - matrixji/milvus</a>. Cada versión tiene <strong>windows-test-</strong> como prefijo, por ejemplo, <strong>windows-test-v8</strong>. Busque la versión que desee y descargue el paquete zip correspondiente.</p>
<h3 id="Step-1-Start-Milvus" class="common-anchor-header">Paso 1. Inicie Milvus Inicie Milvus</h3><h4 id="1-Unzip-the-package" class="common-anchor-header">1. Descomprima el paquete</h4><p>Descomprima el paquete y encontrará un directorio <code translate="no">milvus</code>, que contiene todos los archivos necesarios.</p>
<h4 id="2-Start-a-MinIO-service" class="common-anchor-header">2. 2. Inicie un servicio MinIO</h4><p>Haga doble clic en el archivo <code translate="no">run_minio.bat</code> para iniciar un servicio MinIO con las configuraciones predeterminadas. Los datos se almacenarán en el subdirectorio <code translate="no">s3data</code>.</p>
<h4 id="3-Start-an-etcd-service" class="common-anchor-header">3. 3. Iniciar un servicio etcd</h4><p>Haga doble clic en el archivo <code translate="no">run_etcd.bat</code> para iniciar un servicio etcd con las configuraciones predeterminadas.</p>
<h4 id="4-Start-Milvus-service" class="common-anchor-header">4. Iniciar el servicio Milvus</h4><p>Haga doble clic en el archivo <code translate="no">run_milvus.bat</code> para iniciar el servicio Milvus.</p>
<h3 id="Step-2-Run-hellomilvuspy" class="common-anchor-header">Paso 2. Ejecutar el servicio Milvus Ejecute <code translate="no">hello_milvus.py</code></h3><p>Tras iniciar el servicio Milvus, puede realizar una prueba ejecutando <code translate="no">hello_milvus.py</code>. Consulte <a href="https://milvus.io/docs/v2.0.x/example_code.md">Hello Milvus</a> para obtener más información.</p>
<h2 id="Engage-with-our-open-source-community" class="common-anchor-header">Participe en nuestra comunidad de código abierto:<button data-href="#Engage-with-our-open-source-community" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li>Encuentre o contribuya a Milvus en <a href="https://bit.ly/3khejQB">GitHub</a>.</li>
<li>Interactúe con la comunidad a través <a href="https://bit.ly/307HVsY">del Foro</a>.</li>
<li>Conéctese con nosotros en <a href="https://bit.ly/3wn5aek">Twitter</a>.</li>
</ul>


Ejecutar Milvus 2.0 en Windows

<custom-h1>Se acabó - Milvus Hacktoberfest 2021</custom-h1><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Blog_cover_a6ce8748d7.jpeg" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<p>El Hacktoberfest ha llegado a su fin, pero la contribución a los proyectos de código abierto no ha terminado.</p>
<p>A lo largo del mes de octubre, hemos recibido un total de <strong>44 pull requests</strong> (PRs) en nuestros repos de <strong>36 colaboradores</strong> (excluyendo a nuestro equipo central). Aunque es el primer año que la comunidad de Milvus se une al Hacktoberfest, el número de participantes que vimos superó nuestras expectativas, un indicio de la creciente concienciación sobre el espíritu del código abierto.</p>
<p>Esperamos que todos los que participaron en este evento adquirieran alguna experiencia práctica o conocimientos sobre el código abierto, la comunidad y habilidades técnicas útiles en el proceso.</p>
<p>En este post, nos gustaría invitarte a celebrar juntos nuestros logros y cómo seguir contribuyendo a Milvus después del Hacktoberfest.</p>
<h2 id="📣-Shout-out-to-our-contributors" class="common-anchor-header"><strong>📣 Un saludo a nuestros colaboradores:</strong><button data-href="#📣-Shout-out-to-our-contributors" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Durante el Hacktoberfest de este año, los repositorios del proyecto Milvus vieron <strong>¡44 pull requests fusionados</strong>! Esto es un gran logro para todos. ¡Buen trabajo a todos! 🎉</p>
<p><a href="https://github.com/parthiv11">parthiv11</a>, <a href="https://github.com/joremysh">joremysh</a>, <a href="https://github.com/noviicee">noviicee</a>, <a href="https://github.com/Biki-das">Biki-das</a>, <a href="https://github.com/Nadyamilona">Nadyamilona</a>, <a href="https://github.com/ashish4arora">ashish4arora</a>, <a href="https://github.com/Dhruvacube">Dhruvacube</a>, <a href="https://github.com/iamartyaa">iamartyaa</a>, <a href="https://github.com/RafaelDSS">RafaelDSS</a>, <a href="https://github.com/kartikcho">kartikcho</a>, <a href="https://github.com/GuyKh">GuyKh</a>, <a href="https://github.com/Deep1Shikha">Deep1Shikha</a>, <a href="https://github.com/shreemaan-abhishek">shreemaan-abhishek</a>, <a href="https://github.com/daniel-shuy">daniel-shuy</a>, <a href="https://github.com/Hard-Coder05">Hard-Coder05</a>, <a href="https://github.com/sapora1">sapora1</a>, <a href="https://github.com/Rutam21">Rutam21</a>, <a href="https://github.com/idivyanshbansal">idivyanshbansal</a>, <a href="https://github.com/Mihir501">Mihir501</a>, <a href="https://github.com/Ayushchaudhary-Github">YushChaudhary</a>, <a href="https://github.com/sreyan-ghosh">sreyan-ghosh</a>, <a href="https://github.com/chiaramistro">chiaramistro</a>, <a href="https://github.com/appledora">appledora</a>, <a href="https://github.com/luisAzcuaga">luisAzcuaga</a>, <a href="https://github.com/matteomessmer">matteomessmer</a>, <a href="https://github.com/Nadyamilona">Nadyamilona</a>, <a href="https://github.com/Tititesouris">Tititesouris</a>, <a href="https://github.com/amusfq">amusfq</a>, <a href="https://github.com/matrixji">matrixji</a> &amp; <a href="https://github.com/zamanmub">generalZman</a></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/_80b0d87746.png" alt="image-20211110180357460" class="doc-image" id="image-20211110180357460" />
   </span> <span class="img-wrapper"> <span>image-20211110180357460</span> </span></p>
<h3 id="Here-are-some-extraordinary-Milvus-Hacktoberfest-2021-contributions" class="common-anchor-header">Estas son algunas de las extraordinarias contribuciones del Milvus Hacktoberfest 2021:</h3><p><strong>⚙️ Nuevas características</strong></p>
<p><a href="https://github.com/milvus-io/milvus/issues/7706">Compilar y ejecutar Milvus en múltiples plataformas</a> por <a href="https://github.com/matrixji">matrixji</a></p>
<p><strong>(🏆 Top Contributor 🏆 )</strong></p>
<p><strong>📝 Documentación</strong></p>
<ul>
<li><a href="https://github.com/milvus-io/bootcamp/issues/720">Traducir Hello Milvus (example_code.md) a cualquier idioma</a> por <a href="https://github.com/chiaramistro">chiaramistro</a>, <a href="https://github.com/appledora">appledora</a>, <a href="https://github.com/luisAzcuaga">luisAzcuaga</a>, <a href="https://github.com/matteomessmer">matteomessmer</a>, <a href="https://github.com/Nadyamilona">Nadyamilona</a>, <a href="https://github.com/Tititesouris">Tititesouris</a> &amp; <a href="https://github.com/amusfq">amusfq</a></li>
<li><a href="https://github.com/milvus-io/bootcamp/issues/720">Añadir ejemplo NodeJS a example_code.md</a> por <a href="https://github.com/GuyKh">GuyKh</a></li>
<li><a href="https://github.com/milvus-io/milvus-docs/pull/921/files">translated upgrade.md</a> &amp; <a href="https://github.com/milvus-io/milvus-docs/pull/892">add and translate parameters in Guía del usuario a CN</a> by <a href="https://github.com/joremysh">joremysh</a></li>
<li><a href="https://github.com/milvus-io/milvus-docs/pull/752">Traducir</a><a href="https://github.com/milvus-io/milvus-docs/pull/753">tutorials/dna_sequence_classification.md a</a> <a href="https://github.com/milvus-io/milvus-docs/pull/752">CN</a> &amp; <a href="https://github.com/milvus-io/milvus-docs/pull/752">Traducir reference/schema/collection_schema.md a CN</a> por <a href="https://github.com/daniel-shuy">daniel-shuy</a></li>
</ul>
<p><strong>🚀 Bootcamp</strong></p>
<ul>
<li><a href="https://github.com/milvus-io/bootcamp/pull/858">Mejora Jupyter Notebook tutorial para la búsqueda de hash de imagen </a>por <a href="https://github.com/zamanmub">generalZman</a></li>
<li><a href="https://github.com/milvus-io/bootcamp/pull/792">arreglar el error TOPK de reverse_image_search</a> por <a href="https://github.com/RafaelDSS">RafaelDSS</a></li>
</ul>
<p><strong>🐍 PyMilvus</strong></p>
<ul>
<li><a href="https://github.com/milvus-io/pymilvus/issues/741">Actualizar los formularios de incidencias de GitHub </a>(múltiples repos) por <a href="https://github.com/Hard-Coder05">Hard-Coder05</a></li>
</ul>
<h3 id="Share-your-feedback-with-us" class="common-anchor-header">¡Comparte tus comentarios con nosotros!</h3><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/h3_412b0f649b.png" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<p>¡Eres más que bienvenido a compartir tu experiencia de Milvus Hacktoberfest 2021 con nosotros! Ya sea una entrada en el blog, un tweet (@milvusio) o simplemente un mensaje en nuestro <a href="https://discuss.milvus.io/c/hacktoberfest/9">foro</a>, ¡todo será muy apreciado!</p>
<h2 id="Whats-Next" class="common-anchor-header">Lo que viene a continuación？<button data-href="#Whats-Next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="👩‍💻-Code--Documentation" class="common-anchor-header"><strong>👩‍💻</strong> <strong>Código y documentación</strong></h3><p>Si tiene un conocimiento limitado de Milvus, puede familiarizarse primero con el funcionamiento de la comunidad contribuyendo a los repos <a href="https://github.com/milvus-io/pymilvus">pymilvus</a> o <a href="https://github.com/milvus-io/milvus-docs">docs</a>. También puede buscar etiquetas como <strong>#goodfirstissue</strong> o <strong>#helpwanted</strong>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/h4_f18c9b6c2c.png" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/h5_a4f90c24a8.png" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<p>Si tienes alguna duda sobre cómo contribuir, siempre puedes preguntar a la comunidad en la categoría <strong>Colaborador</strong> del Foro: https://discuss.milvus.io/t/things-you-need-to-know-before-you-get-started/64.</p>
<h3 id="🏆-Be-a-Milvus-Advocate" class="common-anchor-header">🏆 Sé un defensor de Milvus</h3><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/advocate_1052d8249a.jpg" alt="image-20211110180730866" class="doc-image" id="image-20211110180730866" />
   </span> <span class="img-wrapper"> <span>image-20211110180730866</span> </span></p>
<p>Comparte tu experiencia y las cosas que has aprendido con la comunidad；proponer ideas sobre cómo podemos mejorar; responder preguntas y ayudar a otros en el Foro Milvus, etc. Hay muchas maneras de participar en la comunidad, hemos enumerado algunos ejemplos a continuación, pero damos la bienvenida a cualquier forma de contribución:</p>
<ul>
<li><p><strong>Demostraciones y soluciones:</strong> Muestre a los usuarios de Milvus cómo aprovechar la plataforma en escenarios específicos (por ejemplo, un sistema de recomendación de música). Hay ejemplos disponibles en el <a href="https://github.com/milvus-io/bootcamp">Milvus Bootcamp</a>.</p></li>
<li><p><strong>Artículos de blog, historias de usuarios o libros blancos:</strong> Escriba contenido de alta calidad que explique con claridad y precisión los detalles técnicos de Milvus.</p></li>
<li><p><strong>Charlas técnicas/transmisiones en vivo:</strong> Dé charlas u organice transmisiones en vivo que ayuden a dar a conocer Milvus.</p></li>
<li><p><strong>Otros:</strong> Cualquier contenido que juegue un papel positivo en el desarrollo de Milvus y su comunidad de código abierto será considerado elegible.</p></li>
</ul>
<p>Para más detalles, lee: https://milvus.io/community/milvus_advocate.md</p>
<p>Por último, gracias de nuevo por participar en el Hacktoberfest de este año con nosotros y dejarnos ser vuestros mentores y alumnos. Gracias a <a href="https://hacktoberfest.digitalocean.com/">Digital Ocean</a> por acoger un año más este increíble evento. ¡Hasta la próxima!</p>
<p>¡Feliz programación!</p>
<p>Equipo de la Comunidad Milvus</p>


¡Se acabó! Milvus Hacktoberfest 2021

<p><em>Yufen Zong, ingeniera de desarrollo de pruebas de Zilliz, se licenció en tecnología informática por la Universidad de Ciencia y Tecnología de Huazhong. En la actualidad se dedica a garantizar la calidad de la base de datos vectorial Milvus, lo que incluye, entre otras cosas, pruebas de integración de interfaces, pruebas de SDK, pruebas de Benchmark, etc. Yufen es una entusiasta solucionadora de problemas en las pruebas y el desarrollo de Milvus, y una gran aficionada a la teoría de la ingeniería del caos y a la práctica de la perforación de fallos.</em></p>
<h2 id="Background" class="common-anchor-header">Antecedentes<button data-href="#Background" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Al utilizar la base de datos vectorial Milvus, necesitará modificar la configuración por defecto para satisfacer los requisitos de diferentes escenarios. Anteriormente, un usuario de Milvus compartió sobre <a href="/blog/es/2021-10-22-apply-configuration-changes-on-milvus-2.md">Cómo modificar la configuración de Milvus desplegado utilizando Docker Compose</a>. Y en este artículo, me gustaría compartir con ustedes cómo modificar la configuración de Milvus desplegado en Kubernetes.</p>
<h2 id="Modify-configuration-of-Milvus-on-Kubernetes" class="common-anchor-header">Modificar la configuración de Milvus en Kubernetes<button data-href="#Modify-configuration-of-Milvus-on-Kubernetes" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Puede elegir diferentes planes de modificación según los parámetros de configuración que desee modificar. Todos los archivos de configuración de Milvus se almacenan en <strong>milvus/configs</strong>. Al instalar Milvus en Kubernetes, se añadirá localmente un repositorio de Milvus Helm Chart. Ejecutando <code translate="no">helm show values milvus/milvus</code>, puede comprobar los parámetros modificables directamente con Chart. Para los parámetros modificables con Chart, puede pasar el parámetro utilizando <code translate="no">--values</code> o <code translate="no">--set</code>. Para más información, consulte <a href="https://artifacthub.io/packages/helm/milvus/milvus">Milvus Helm Chart</a> y <a href="https://helm.sh/docs/">Helm</a>.</p>
<p>Si los parámetros que espera modificar no están en la lista, puede seguir las siguientes instrucciones.</p>
<p>En los siguientes pasos, se modificará el parámetro <code translate="no">rootcoord.dmlChannelNum</code> en <strong>/milvus/configs/advanced/root_coord.yaml</strong> con fines de demostración. La gestión de archivos de configuración de Milvus en Kubernetes se implementa a través del objeto de recurso ConfigMap. Para cambiar el parámetro, primero debe actualizar el objeto ConfigMap de la versión Chart correspondiente y, a continuación, modificar los archivos de recursos de despliegue de los pods correspondientes.</p>
<p>Tenga en cuenta que este método sólo se aplica a la modificación de parámetros en la aplicación Milvus desplegada. Para modificar los parámetros en <strong>/milvus/configs/advanced/*.yaml</strong> antes del despliegue, tendrá que volver a desarrollar el Milvus Helm Chart.</p>
<h3 id="Modify-ConfigMap-YAML" class="common-anchor-header">Modificar ConfigMap YAML</h3><p>Como se muestra a continuación, su versión de Milvus que se ejecuta en Kubernetes corresponde a un objeto ConfigMap con el mismo nombre de la versión. La sección <code translate="no">data</code> del objeto ConfigMap solo incluye configuraciones en <strong>milvus.yaml</strong>. Para modificar <code translate="no">rootcoord.dmlChannelNum</code> en <strong>root_coord</strong> <strong>.yam</strong>l, debe añadir los parámetros de <strong>root_coord.yaml</strong> a la sección <code translate="no">data</code> en el YAML de ConfigMap y modificar el parámetro específico.</p>
<pre><code translate="no">kind: ConfigMap
apiVersion: v1
metadata:
  name: milvus-chaos
  ...
data:
  milvus.yaml: &gt;
    ......
  root_coord.yaml: |
    rootcoord:
      dmlChannelNum: 128
      maxPartitionNum: 4096
      minSegmentSizeToEnableIndex: 1024
      <span class="hljs-built_in">timeout</span>: 3600 <span class="hljs-comment"># time out, 5 seconds</span>
      timeTickInterval: 200 <span class="hljs-comment"># ms</span>
<button class="copy-code-btn"></button></code></pre>
<h3 id="Modify-Deployment-YAML" class="common-anchor-header">Modificación de YAML de despliegue</h3><p>Los datos almacenados en un ConfigMap pueden referenciarse en un volumen de tipo configMap y luego ser consumidos por las aplicaciones en contenedores que se ejecutan en un pod. Para dirigir los pods a los nuevos archivos de configuración, debe modificar las plantillas pod que necesitan cargar las configuraciones en <strong>root_coord.yaml</strong>. En concreto, debe añadir una declaración de montaje bajo la sección <code translate="no">spec.template.spec.containers.volumeMounts</code> en el YAML de despliegue.</p>
<p>Tomando como ejemplo el YAML de despliegue del pod rootcoord, en la sección <code translate="no">.spec.volumes</code> se especifica un volumen de tipo <code translate="no">configMap</code> denominado <strong>milvus-config</strong>. Y, en la sección <code translate="no">spec.template.spec.containers.volumeMounts</code>, el volumen se declara para montar <strong>milvus.yaml</strong> de su versión de Milvus en <strong>/milvus/configs/milvus.yaml</strong>. Del mismo modo, sólo tiene que añadir una declaración de montaje específica para el contenedor rootcoord para montar el <strong>root_coord.yam</strong> l en <strong>/milvus/configs/advanced/root_coord.yaml</strong>, y así el contenedor podrá acceder al nuevo archivo de configuración.</p>
<pre><code translate="no" class="language-yaml">spec:
  replicas: 1
  selector:
    ......
  template:
    metadata:
      ...
    spec:
      volumes:
        - name: milvus-config
          configMap:
            name: milvus-chaos
            defaultMode: 420
      containers:
        - name: rootcoord
          image: <span class="hljs-string">&#x27;milvusdb/milvus-dev:master-20210906-86afde4&#x27;</span>
          args:
            ...
          ports:
            ...
          resources: {}
          volumeMounts:
            - name: milvus-config
              readOnly: <span class="hljs-literal">true</span>
              mountPath: /milvus/configs/milvus.yaml
              subPath: milvus.yaml
            - name: milvus-config
              readOnly: <span class="hljs-literal">true</span>
              mountPath: /milvus/configs/advanced/`root_coord.yaml
              subPath: root_coord.yaml
          terminationMessagePath: /dev/termination-log
          terminationMessagePolicy: File
          imagePullPolicy: IfNotPresent
      restartPolicy: Always
      terminationGracePeriodSeconds: 30
      dnsPolicy: ClusterFirst
      securityContext: {}
      schedulerName: default-scheduler
<button class="copy-code-btn"></button></code></pre>
<h3 id="Verify-the-result" class="common-anchor-header">Verificar el resultado</h3><p>El kubelet comprueba si el ConfigMap montado es fresco en cada sincronización periódica. Cuando el ConfigMap consumido en el volumen se actualiza, las claves proyectadas también se actualizan automáticamente. Cuando el nuevo pod se está ejecutando de nuevo, puede verificar si la modificación se ha realizado correctamente en el pod. Los comandos para comprobar el parámetro <code translate="no">rootcoord.dmlChannelNum</code> se comparten a continuación.</p>
<pre><code translate="no" class="language-bash">$ kctl <span class="hljs-built_in">exec</span> -ti milvus-chaos-rootcoord-6f56794f5b-xp2zs -- sh
<span class="hljs-comment"># cd configs/advanced</span>
<span class="hljs-comment"># pwd</span>
/milvus/configs/advanced
<span class="hljs-comment"># ls</span>
channel.yaml  common.yaml  data_coord.yaml  data_node.yaml  etcd.yaml  proxy.yaml  query_node.yaml  root_coord.yaml
<span class="hljs-comment"># cat root_coord.yaml</span>
rootcoord:
  dmlChannelNum: 128
  maxPartitionNum: 4096
  minSegmentSizeToEnableIndex: 1024
  <span class="hljs-built_in">timeout</span>: 3600 <span class="hljs-comment"># time out, 5 seconds</span>
  timeTickInterval: 200 <span class="hljs-comment"># ms</span>
<span class="hljs-comment"># exit</span>
<button class="copy-code-btn"></button></code></pre>
<p>Arriba está el método para modificar las configuraciones avanzadas en Milvus desplegado en Kubernetes. La futura versión de Milvus integrará todas las configuraciones en un archivo, y soportará la actualización de la configuración a través de helm chart. Pero antes de eso, espero que este artículo pueda ayudarle como una solución temporal.</p>
<h2 id="Engage-with-our-open-source-community" class="common-anchor-header">Participe con nuestra comunidad de código abierto:<button data-href="#Engage-with-our-open-source-community" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p>Encuentre o contribuya a Milvus en <a href="https://bit.ly/307b7jC">GitHub</a>.</p></li>
<li><p>Interactúe con la comunidad a través <a href="https://bit.ly/3qiyTEk">del Foro</a>.</p></li>
<li><p>Conéctese con nosotros en <a href="https://bit.ly/3ob7kd8">Twitter</a>.</p></li>
</ul>


Cómo modificar las configuraciones avanzadas de Milvus

Introducción

<custom-h1>Compartición técnica: Aplicar cambios de configuración en Milvus 2.0 utilizando Docker Compose</custom-h1><p><em>Jingjing Jia, ingeniera de datos de Zilliz, se licenció en Informática por la Universidad Xi'an Jiaotong. Tras unirse a Zilliz, trabaja principalmente en el preprocesamiento de datos, el despliegue de modelos de IA, la investigación tecnológica relacionada con Milvus y la ayuda a los usuarios de la comunidad a implementar escenarios de aplicación. Es muy paciente, le gusta comunicarse con los socios de la comunidad y disfruta escuchando música y viendo anime.</em></p>
<p>Como usuaria habitual de Milvus, estaba muy ilusionada con la nueva versión Milvus 2.0 RC. Según la introducción en el sitio web oficial, Milvus 2.0 parece superar a sus predecesores por un amplio margen. Tenía muchas ganas de probarlo.</p>
<p>Y lo hice.  Sin embargo, cuando realmente tuve en mis manos Milvus 2.0, me di cuenta de que no era capaz de modificar el archivo de configuración en Milvus 2.0 tan fácilmente como lo hice con Milvus 1.1.1. No podía cambiar el archivo de configuración dentro del contenedor docker de Milvus 2.0 iniciado con Docker Compose, e incluso forzar el cambio no tendría efecto. Más tarde, me enteré de que Milvus 2.0 RC era incapaz de detectar los cambios en el archivo de configuración después de la instalación. Y la futura versión estable solucionará este problema.</p>
<p>Después de haber probado diferentes enfoques, he encontrado una manera fiable de aplicar cambios a los archivos de configuración para Milvus 2.0 standalone &amp; cluster, y aquí está cómo.</p>
<p>Tenga en cuenta que todos los cambios en la configuración deben hacerse antes de reiniciar Milvus utilizando Docker Compose.</p>
<h2 id="Modify-configuration-file-in-Milvus-standalone" class="common-anchor-header">Modificar el archivo de configuración en Milvus standalone<button data-href="#Modify-configuration-file-in-Milvus-standalone" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>En primer lugar, tendrá que <a href="https://github.com/milvus-io/milvus/blob/master/configs/milvus.yaml">descargar</a> una copia del archivo <strong>milvus.yaml</strong> a su dispositivo local.</p>
<p>A continuación, puede cambiar las configuraciones en el archivo. Por ejemplo, puede cambiar el formato del registro como <code translate="no">.json</code>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_1_ee4a16a3ee.png" alt="1.1.png" class="doc-image" id="1.1.png" />
   </span> <span class="img-wrapper"> <span>1.1.png</span> </span></p>
<p>Una vez modificado el archivo <strong>milvus</strong>.yaml, también tendrá que <a href="https://github.com/milvus-io/milvus/blob/master/deployments/docker/standalone/docker-compose.yml">descargar</a> y modificar en archivo <strong>docker-compose.yaml</strong> para standalone mapeando la ruta local a milvus.yaml en la correspondiente ruta del contenedor docker al archivo de configuración <code translate="no">/milvus/configs/milvus.yaml</code> en la sección <code translate="no">volumes</code>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_2_5e7c73708c.png" alt="1.2.png" class="doc-image" id="1.2.png" />
   </span> <span class="img-wrapper"> <span>1.2.png</span> </span></p>
<p>Por último, inicie Milvus standalone utilizando <code translate="no">docker-compose up -d</code> y compruebe si las modificaciones se han realizado correctamente. Por ejemplo, ejecute <code translate="no">docker logs</code> para comprobar el formato del registro.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_3_a0406df3ab.png" alt="1.3.png" class="doc-image" id="1.3.png" />
   </span> <span class="img-wrapper"> <span>1.3.png</span> </span></p>
<h2 id="Modify-configuration-file-in-Milvus-cluster" class="common-anchor-header">Modificar el archivo de configuración en el cluster Milvus<button data-href="#Modify-configuration-file-in-Milvus-cluster" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>En primer lugar, <a href="https://github.com/milvus-io/milvus/blob/master/configs/milvus.yaml">descargue</a> y modifique el archivo <strong>milvus.yaml</strong> para adaptarlo a sus necesidades.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_4_758b182846.png" alt="1.4.png" class="doc-image" id="1.4.png" />
   </span> <span class="img-wrapper"> <span>1.4.png</span> </span></p>
<p>A continuación, deberá <a href="https://github.com/milvus-io/milvus/blob/master/deployments/docker/cluster/docker-compose.yml">descargar</a> y modificar el archivo <strong>docker-compose.yml</strong> del clúster asignando la ruta local a <strong>milvus.yam</strong> l a la ruta correspondiente a los archivos de configuración de todos los componentes, es decir, coordenada raíz, coordenada de datos, nodo de datos, coordenada de consulta, nodo de consulta, coordenada de índice, nodo de índice y proxy.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_5_80e15811b8.png" alt="1.5.png" class="doc-image" id="1.5.png" />
   </span> <span class="img-wrapper"> <span>1.5.png</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_6_b2f3e4e47f.png" alt="1.6.png" class="doc-image" id="1.6.png" />
   </span> <span class="img-wrapper"> <span>1</span> </span>. <span class="img-wrapper"> <span>6.png</span> </span> <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_7_4d1eb5e1e5.png" alt="1.7.png" class="doc-image" id="1.7.png" /></span> <span class="img-wrapper">1 </span>. <span class="img-wrapper">7 <span>.png</span> </span></p>
<p>Por último, puede iniciar el clúster Milvus utilizando <code translate="no">docker-compose up -d</code> y comprobar si las modificaciones se han realizado correctamente.</p>
<h2 id="Change-log-file-path-in-configuration-file" class="common-anchor-header">Cambiar la ruta del archivo de registro en el archivo de configuración<button data-href="#Change-log-file-path-in-configuration-file" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>En primer lugar, <a href="https://github.com/milvus-io/milvus/blob/master/configs/milvus.yaml">descargue</a> el archivo <strong>milvus.yaml</strong> y cambie la sección <code translate="no">rootPath</code> como el directorio donde espera almacenar los archivos de registro en el contenedor Docker.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_8_e3bdc4843f.png" alt="1.8.png" class="doc-image" id="1.8.png" />
   </span> <span class="img-wrapper"> <span>1.8.png</span> </span></p>
<p>A continuación, descargue el archivo <strong>docker-compose.yml</strong> correspondiente para Milvus <a href="https://github.com/milvus-io/milvus/blob/master/deployments/docker/standalone/docker-compose.yml">standalone</a> o <a href="https://github.com/milvus-io/milvus/blob/master/deployments/docker/cluster/docker-compose.yml">cluster</a>.</p>
<p>Para el modo autónomo, deberá asignar la ruta local a <strong>milvus.yaml</strong> a la ruta correspondiente del contenedor Docker al archivo de configuración <code translate="no">/milvus/configs/milvus.yaml</code>, y asignar el directorio del archivo de registro local al directorio del contenedor Docker que creó anteriormente.</p>
<p>Para el cluster, necesitará mapear ambas rutas en cada componente.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_9_22d8929d92.png" alt="1.9.png" class="doc-image" id="1.9.png" />
   </span> <span class="img-wrapper"> <span>1.9.png</span> </span></p>
<p>Por último, inicie Milvus standalone o cluster utilizando <code translate="no">docker-compose up -d</code> y compruebe los archivos de registro para ver si la modificación se ha realizado correctamente.</p>


Technical Sharing:Aplicar cambios de configuración en Milvus 2.0 utilizando Docker Compose

<custom-h1>Creación de un sistema de análisis de vídeo con la base de datos vectorial Milvus</custom-h1><p><em>Shiyu Chen, ingeniera de datos de Zilliz, es licenciada en Informática por la Universidad de Xidian. Desde que se incorporó a Zilliz, ha estado explorando soluciones para Milvus en diversos campos, como el análisis de audio y vídeo, la recuperación de fórmulas de moléculas, etc., lo que ha enriquecido enormemente los escenarios de aplicación de la comunidad. Actualmente está explorando más soluciones interesantes. En su tiempo libre, le encantan los deportes y la lectura.</em></p>
<p>El fin de semana pasado, mientras veía <em>Free Guy</em>, tuve la sensación de haber visto antes en alguna parte al actor que interpreta a Buddy, el guardia de seguridad, pero no recordaba ninguno de sus trabajos. Mi cabeza se llenó de "¿quién es este tipo?". Estaba seguro de haber visto esa cara y me esforzaba por recordar su nombre. Un caso similar es que una vez vi al protagonista de un vídeo tomando una bebida que me gustaba mucho, pero acabé por no recordar el nombre de la marca.</p>
<p>Tenía la respuesta en la punta de la lengua, pero mi cerebro se sentía completamente atascado.</p>
<p>El fenómeno de la punta de la lengua (TOT) me vuelve loco cuando veo películas. Ojalá existiera un motor de búsqueda inversa de imágenes para vídeos que me permitiera encontrar vídeos y analizar su contenido. Antes, construí un <a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/reverse_image_search/quick_deploy">motor de búsqueda inversa de imágenes utilizando Milvus</a>. Teniendo en cuenta que el análisis de contenido de vídeo se parece en cierto modo al análisis de imágenes, decidí construir un motor de análisis de contenido de vídeo basado en Milvus.</p>
<h2 id="Object-detection" class="common-anchor-header">Detección de objetos<button data-href="#Object-detection" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="Overview" class="common-anchor-header">Visión general</h3><p>Antes de ser analizados, los objetos de un vídeo deben ser detectados. Detectar objetos en un vídeo de forma eficaz y precisa es el principal reto de la tarea. También es una tarea importante para aplicaciones como el piloto automático, los dispositivos wearables y el IoT.</p>
<p>Desarrollados a partir de algoritmos tradicionales de procesamiento de imágenes hasta redes neuronales profundas (DNN), los principales modelos actuales para la detección de objetos incluyen R-CNN, FRCNN, SSD y YOLO. El sistema de análisis de vídeo de aprendizaje profundo basado en Milvus que se presenta en este tema puede detectar objetos de forma inteligente y rápida.</p>
<h3 id="Implementation" class="common-anchor-header">Implementación</h3><p>Para detectar y reconocer objetos en un vídeo, el sistema debe extraer primero fotogramas de un vídeo y detectar objetos en las imágenes de fotogramas utilizando la detección de objetos, en segundo lugar, extraer vectores de características de los objetos detectados y, por último, analizar el objeto en función de los vectores de características.</p>
<ul>
<li>Extracción de fotogramas</li>
</ul>
<p>El análisis de vídeo se convierte en análisis de imagen mediante la extracción de fotogramas. Actualmente, la tecnología de extracción de fotogramas está muy madura. Programas como FFmpeg y OpenCV permiten extraer fotogramas a intervalos específicos. Este artículo presenta cómo extraer fotogramas de un vídeo cada segundo utilizando OpenCV.</p>
<ul>
<li>Detección de objetos</li>
</ul>
<p>La detección de objetos consiste en encontrar objetos en los fotogramas extraídos y extraer capturas de los objetos según su posición. Como se muestra en las siguientes figuras, se detectaron una bicicleta, un perro y un coche. Este tema presenta cómo detectar objetos utilizando YOLOv3, que se utiliza habitualmente para la detección de objetos.</p>
<ul>
<li>Extracción de características</li>
</ul>
<p>La extracción de características consiste en convertir datos no estructurados, difíciles de reconocer por las máquinas, en vectores de características. Por ejemplo, las imágenes se pueden convertir en vectores de características multidimensionales utilizando modelos de aprendizaje profundo. Actualmente, los modelos de IA de reconocimiento de imágenes más populares incluyen VGG, GNN y ResNet. Este tema presenta cómo extraer características de objetos detectados utilizando ResNet-50.</p>
<ul>
<li>Análisis de vectores</li>
</ul>
<p>Los vectores de características extraídos se comparan con vectores de biblioteca y se devuelve la información correspondiente a los vectores más similares. Para conjuntos de datos de vectores de características a gran escala, el cálculo es un gran reto. Este tema presenta cómo analizar vectores de características utilizando Milvus.</p>
<h2 id="Key-technologies" class="common-anchor-header">Tecnologías clave<button data-href="#Key-technologies" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="OpenCV" class="common-anchor-header">OpenCV</h3><p>Open Source Computer Vision Library (OpenCV) es una biblioteca de visión por ordenador multiplataforma, que proporciona muchos algoritmos universales para el procesamiento de imágenes y la visión por ordenador. OpenCV se utiliza habitualmente en el campo de la visión por ordenador.</p>
<p>El siguiente ejemplo muestra cómo capturar fotogramas de vídeo a intervalos especificados y guardarlos como imágenes utilizando OpenCV con Python.</p>
<pre><code translate="no" class="language-python"><span class="hljs-keyword">import</span> cv2 
<span class="hljs-built_in">cap</span> = cv2.VideoCapture(file_path)   
framerate = <span class="hljs-built_in">cap</span>.get(cv2.CAP_PROP_FPS)   
allframes = <span class="hljs-type">int</span>(cv2.VideoCapture.get(<span class="hljs-built_in">cap</span>, <span class="hljs-type">int</span>(cv2.CAP_PROP_FRAME_COUNT)))  
success, image = <span class="hljs-built_in">cap</span>.read() 
cv2.imwrite(file_name, image)
<button class="copy-code-btn"></button></code></pre>
<h3 id="YOLOv3" class="common-anchor-header">YOLOv3</h3><p>You Only Look Once, Version 3 (YOLOv3 [5]) es un algoritmo de detección de objetos de una etapa propuesto en los últimos años. Comparado con los algoritmos tradicionales de detección de objetos con la misma precisión, YOLOv3 es dos veces más rápido. YOLOv3 mencionado en este tema es la versión mejorada de PaddlePaddle [6]. Utiliza múltiples métodos de optimización con una mayor velocidad de inferencia.</p>
<h3 id="ResNet-50" class="common-anchor-header">ResNet-50</h3><p>ResNet [7] es el ganador de ILSVRC 2015 en clasificación de imágenes por su simplicidad y practicidad. Como base de muchos métodos de análisis de imágenes, ResNet demuestra ser un modelo popular especializado en detección, segmentación y reconocimiento de imágenes.</p>
<h3 id="Milvus" class="common-anchor-header">Milvus</h3><p><a href="https://milvus.io/">Milvus</a> es una base de datos vectorial de código abierto y nativa de la nube creada para gestionar vectores de incrustación generados por modelos de aprendizaje automático y redes neuronales. Se utiliza ampliamente en escenarios como la visión por ordenador, el procesamiento del lenguaje natural, la química computacional, los sistemas de recomendación personalizados, etc.</p>
<p>Los siguientes procedimientos describen el funcionamiento de Milvus.</p>
<ol>
<li>Los datos no estructurados se convierten en vectores de características utilizando modelos de aprendizaje profundo y se importan a Milvus.</li>
<li>Milvus almacena e indexa los vectores de características.</li>
<li>Milvus devuelve los vectores más similares al vector consultado por los usuarios.</li>
</ol>
<h2 id="Deployment" class="common-anchor-header">Despliegue<button data-href="#Deployment" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Ahora ya conoce los sistemas de análisis de vídeo basados en Milvus. El sistema consta principalmente de dos partes, como se muestra en la siguiente figura.</p>
<ul>
<li><p>Las flechas rojas indican el proceso de importación de datos. Utilice ResNet-50 para extraer vectores de características del conjunto de datos de imágenes e importe los vectores de características a Milvus.</p></li>
<li><p>Las flechas negras indican el proceso de análisis de vídeo. En primer lugar, se extraen fotogramas de un vídeo y se guardan como imágenes. En segundo lugar, se detectan y extraen objetos de las imágenes con YOLOv3. A continuación, se utiliza ResNet-50 para extraer vectores de características de las imágenes. Por último, Milvus busca y devuelve la información de los objetos con los vectores de características correspondientes.</p></li>
</ul>
<p>Para más información, consulte <a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/video_similarity_search/object_detection">Milvus Bootcamp: Sistema de detección de objetos de vídeo</a>.</p>
<p><strong>Importación de datos</strong></p>
<p>El proceso de importación de datos es sencillo. Convierta los datos en vectores de 2.048 dimensiones e importe los vectores a Milvus.</p>
<pre><code translate="no" class="language-python">vector = image_encoder.execute(filename)
entities = [vector]
collection.insert(data=entities)
<button class="copy-code-btn"></button></code></pre>
<p><strong>Análisis de vídeo</strong></p>
<p>Como se ha indicado anteriormente, el proceso de análisis de vídeo incluye la captura de fotogramas de vídeo, la detección de objetos en cada fotograma, la extracción de vectores de los objetos, el cálculo de la similitud de vectores con la métrica de distancia euclidiana (L2) y la búsqueda de resultados utilizando Milvus.</p>
<pre><code translate="no" class="language-python">images = extract_frame(filename, 1, prefix)   
detector = Detector()   
run(detector, DATA_PATH)       
vectors = get_object_vector(image_encoder, DATA_PATH)
search_params = {<span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&quot;L2&quot;</span>, <span class="hljs-string">&quot;params&quot;</span>: {<span class="hljs-string">&quot;nprobe&quot;</span>: 10}}
results = collection.search(vectors, param=search_params, <span class="hljs-built_in">limit</span>=10)
<button class="copy-code-btn"></button></code></pre>
<h2 id="Conclusion" class="common-anchor-header">Conclusión<button data-href="#Conclusion" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>En la actualidad, más del 80% de los datos no están estructurados. Con el rápido desarrollo de la IA, se ha desarrollado un número creciente de modelos de aprendizaje profundo para analizar datos no estructurados. Tecnologías como la detección de objetos y el procesamiento de imágenes han logrado grandes avances tanto en el mundo académico como en la industria. Potenciadas por estas tecnologías, cada vez más plataformas de IA han cumplido requisitos prácticos.</p>
<p>El sistema de análisis de vídeo analizado en este tema está construido con Milvus, que puede analizar rápidamente contenidos de vídeo.</p>
<p>Como base de datos vectorial de código abierto, Milvus admite vectores de características extraídos utilizando varios modelos de aprendizaje profundo. Integrado con bibliotecas como Faiss, NMSLIB y Annoy, Milvus proporciona un conjunto de API intuitivas, que permiten cambiar los tipos de índice según los escenarios. Además, Milvus admite el filtrado escalar, lo que aumenta la tasa de recuperación y la flexibilidad de búsqueda. Milvus se ha aplicado a muchos campos, como el procesamiento de imágenes, la visión por ordenador, el procesamiento del lenguaje natural, el reconocimiento del habla, los sistemas de recomendación y el descubrimiento de nuevos fármacos.</p>
<h2 id="References" class="common-anchor-header">Referencias<button data-href="#References" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>[1] A. D. Bagdanov, L. Ballan, M. Bertini, A. Del Bimbo. "Trademark matching and retrieval in sports video databases". Proceedings of the international workshop on Workshop on multimedia information retrieval, ACM, 2007. https://www.researchgate.net/publication/210113141_Trademark_matching_and_retrieval_in_sports_video_databases</p>
<p>[2] J. Kleban, X. Xie, W.-Y. Ma. "Spatial pyramid mining for logo detection in natural scenes". IEEE International Conference, 2008. https://ieeexplore.ieee.org/document/4607625</p>
<p>[3] R. Boia, C. Florea, L. Florea, R. Dogaru. "Localización y reconocimiento de logos en imágenes naturales usando grafos de clases homográficas". Machine Vision and Applications 27 (2), 2016. https://link.springer.com/article/10.1007/s00138-015-0741-7</p>
<p>[4] R. Boia, C. Florea, L. Florea. "Aglomeración elíptica asift en prototipo de clase para la detección de logotipos". BMVC, 2015. http://citeseerx.ist.psu.edu/viewdoc/download;jsessionid=5C87F52DE38AB0C90F8340DFEBB841F7?doi=10.1.1.707.9371&amp;rep=rep1&amp;type=pdf</p>
<p>[5] https://arxiv.org/abs/1804.02767</p>
<p>[6] https://paddlepaddle.org.cn/modelbasedetail/yolov3</p>
<p>[7] https://arxiv.org/abs/1512.03385</p>


Detección de objetos

<custom-h1>Milvus participará en el Hacktoberfest 2021</custom-h1><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Hacktoberfest_89c929cace.png" alt="hacktoberfestCover" class="doc-image" id="hacktoberfestcover" />
   </span> <span class="img-wrapper"> <span>hacktoberfestCubierta</span> </span></p>
<p><strong>¡Milvus, la base de datos vectorial que potencia las aplicaciones de IA, ha anunciado hoy su participación en el 8º evento anual Hacktoberfest patrocinado por DigitalOcean!</strong></p>
<p>En 2014, DigitalOcean inició <a href="https://hacktoberfest.digitalocean.com/">Hacktoberfest</a> con la idea de celebrar los proyectos de software de código abierto. A través de los años, el evento ha crecido de manera constante de decenas a miles de participantes.  Este año, el evento de un mes de duración espera superar los 200.000 participantes activos.</p>
<p>A partir del 1 de octubre, todo el mundo, desde desarrolladores experimentados a estudiantes, pasando por novatos en el código, redactores técnicos o diseñadores de UX, podrá contribuir a las comunidades de código abierto y desarrollar sus habilidades, con la ventaja de ganar botines de edición limitada y mucho más.</p>
<h2 id="Everyone-is-welcome" class="common-anchor-header">Todo el mundo es bienvenido<button data-href="#Everyone-is-welcome" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Hay muchas formas de contribuir al proyecto Milvus: no hace falta ser una superestrella del código para hacerlo. De hecho, ni siquiera necesitas una amplia experiencia o una larga lista de habilidades para ayudar. Si eres un gran escritor o editor, ¡genial!  Si te gusta crear gráficos o ilustraciones, ¡perfecto!  Aquí tienes algunas formas de contribuir durante el evento, junto con una lista de "temas" de GitHub para que los nuevos colaboradores se ocupen de ellos.</p>
<p>Consulta los detalles <a href="https://discuss.milvus.io/t/join-hacktoberfest-2021-with-us/72#how-to-participate-1">aquí</a>.</p>
<h2 id="Contribute-get-noticed--earn-swag" class="common-anchor-header">Contribuye, hazte notar y gana un botín<button data-href="#Contribute-get-noticed--earn-swag" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/swag_cae44023e8.png" alt="swag" class="doc-image" id="swag" />
   </span> <span class="img-wrapper"> <span>botín</span> </span></p>
<p>No cabe duda de que contribuir al código abierto, o al concepto de código abierto, es en sí mismo una muestra de altruismo. Tenemos pegatinas exclusivas, camisetas, teclados y un dron. Consulta los detalles en nuestra <a href="https://discuss.milvus.io/t/join-hacktoberfest-2021-with-us/72#prizes-8">página del foro</a>.</p>
<p>DigitalOcean también ofrece regalos a los participantes. Consulta las normas en el sitio web oficial del Hacktoberfest.</p>
<h2 id="Whats-next" class="common-anchor-header">Próximos eventos<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p>Recientemente hemos organizado una llamada virtual de preguntas y respuestas sobre el Hacktoberfest.  Puedes ver la grabación <a href="https://www.youtube.com/watch?v=cHjSTEHoiF8">aquí</a>.</p></li>
<li><p>Para participar en el evento, le recomendamos que empiece por nuestra página milvus.io Hacktoberfest y consulte la <a href="https://hacktoberfest.com/">Guía de inicio rápido</a>.</p></li>
<li><p>Echa un vistazo a nuestro <a href="https://github.com/milvus-io">repositorio de GitHub</a> (y danos una estrella).</p></li>
<li><p>Consulta nuestra lista de <a href="https://github.com/milvus-io/milvus/issues?q=is%3Aopen+is%3Aissue+label%3AHacktoberfest">"temas"</a> para los participantes que pueden ayudarte a convertirte en una estrella del rock.</p></li>
</ul>
<h2 id="Helpful-links" class="common-anchor-header">Enlaces útiles<button data-href="#Helpful-links" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p><a href="https://hacktoberfest.com/"><strong>Página del evento Milvus x Hactoberfest</strong></a></p></li>
<li><p><a href="https://discuss.milvus.io/c/hacktoberfest/9"><strong>Foro de discusión de Milvus</strong></a> - Únase a nuestro foro de Milvus para mantenerse al día sobre los lanzamientos de Milvus, interactuar con otros usuarios y hacer preguntas durante el evento.</p></li>
<li><p><strong>Síguenos en <a href="https://twitter.com/milvusio">Twitter</a></strong> y si tu contribución es destacada durante el evento, ¡podrás ganar un botín especial!</p></li>
</ul>


Todo el mundo es bienvenido

<custom-h1>Combinar modelos de IA para la búsqueda de imágenes utilizando ONNX y Milvus</custom-h1><p>Open Neural Network Exchange (ONNX) es un formato abierto creado para representar modelos de aprendizaje automático. Desde que se abrió en 2017, ONNX se ha convertido en un estándar para la IA, proporcionando bloques de construcción para el aprendizaje automático y los modelos de aprendizaje profundo. ONNX define un formato de archivo común para permitir a los desarrolladores de IA utilizar modelos con varios marcos, herramientas, tiempos de ejecución y compiladores, y ayuda a aumentar la velocidad de innovación en la comunidad de inteligencia artificial.</p>
<p>Milvus es una base de datos vectorial de código abierto muy flexible, fiable y rapidísima. Permite añadir, eliminar, actualizar y buscar vectores casi en tiempo real. Milvus cuenta con un amplio conjunto de API intuitivas y es compatible con múltiples bibliotecas de índices ampliamente adoptadas (por ejemplo, Faiss, NMSLIB y Annoy), lo que simplifica la selección de índices para un escenario determinado. Milvus es fácil de usar, y se ha utilizado en cientos de organizaciones e instituciones de todo el mundo, incluyendo búsqueda de imágenes, audio y vídeo, recomendación, chatbot, búsqueda de nuevos medicamentos, etc.</p>
<p>Este artículo le mostrará cómo utilizar múltiples modelos para la búsqueda de imágenes basándose en ONNX y Milvus. Toma los modelos VGG16 y ResNet50 como ejemplos, utiliza ONNX para ejecutar diferentes modelos de IA para generar vectores de características y, finalmente, realiza la recuperación de vectores de características en Milvus para devolver imágenes similares.</p>
<h2 id="Process-Models-with-ONNX" class="common-anchor-header">Procesar modelos con ONNX<button data-href="#Process-Models-with-ONNX" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>El formato ONNX puede intercambiarse fácilmente entre modelos de IA. Por ejemplo, el modelo TensorFlow puede convertirse al formato ONNX y ejecutarse en el entorno Caffe. En este ejemplo, convertimos el modelo ResNet50 preentrenado en el marco Keras al formato ONNX, y luego llamamos al modelo VGG16 en formato ONNX para analizar diferentes modelos.</p>
<pre><code translate="no" class="language-python"><span class="hljs-keyword">from</span> keras.applications.resnet50 <span class="hljs-keyword">import</span> ResNet50
<span class="hljs-keyword">import</span> tensorflow <span class="hljs-keyword">as</span> tf

<span class="hljs-comment"># load keras-resnet50 model and save as a floder</span>
model_resnet50 = ResNet50(include_top=<span class="hljs-literal">False</span>, pooling=<span class="hljs-string">&#x27;max&#x27;</span>, weights=<span class="hljs-string">&#x27;imagenet&#x27;</span>)
tf.saved_model.save(model_resnet50, <span class="hljs-string">&quot;keras_resnet50_model&quot;</span>)

<span class="hljs-comment"># convert resnet50 model to onnx</span>
! python -m tf2onnx.convert --saved-model <span class="hljs-string">&quot;keras_resnet50_model&quot;</span> --output <span class="hljs-string">&quot;onnx_resnet50.onnx&quot;</span>
<button class="copy-code-btn"></button></code></pre>
<p>Nota: Cuando utilizamos la interfaz <code translate="no">keras2onnx.convert_keras(model, model.name)</code> para convertir el modelo, nos devolverá el error <code translate="no">AttributeError:'KerasTensor' object has no attribute'graph'</code>. Entonces podemos utilizar el comando Bash de Python para convertir de acuerdo con la solución en Stack Overflow.</p>
<h2 id="Extract-Feature-Vectors-using-Models" class="common-anchor-header">Extraer vectores de características utilizando modelos<button data-href="#Extract-Feature-Vectors-using-Models" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Después de convertir el modelo ResNet50 al formato ONNX, puede extraer el vector de características de la imagen directamente a través de la inferencia. Nota: Los vectores de características deben normalizarse después de la extracción.</p>
<pre><code translate="no" class="language-python"><span class="hljs-comment"># get the image vectors with onnx model</span>
<span class="hljs-keyword">def</span> <span class="hljs-title function_">get_onnx_vectors</span>(<span class="hljs-params">onnx_model, img_path</span>):
    img = image.load_img(img_path, target_size=(<span class="hljs-number">224</span>, <span class="hljs-number">224</span>))
    x = image.img_to_array(img)
    x = np.expand_dims(x, axis=<span class="hljs-number">0</span>)
    x = preprocess_input(x)
    
    sess = onnxruntime.InferenceSession(onnx_model)
    x = x <span class="hljs-keyword">if</span> <span class="hljs-built_in">isinstance</span>(x, <span class="hljs-built_in">list</span>) <span class="hljs-keyword">else</span> [x]
    feed = <span class="hljs-built_in">dict</span>([(<span class="hljs-built_in">input</span>.name, x[n]) <span class="hljs-keyword">for</span> n, <span class="hljs-built_in">input</span> <span class="hljs-keyword">in</span> <span class="hljs-built_in">enumerate</span>(sess.get_inputs())])
    feat = sess.run(<span class="hljs-literal">None</span>, feed)[<span class="hljs-number">0</span>]
    
    norm_feat = feat[<span class="hljs-number">0</span>] / LA.norm(feat[<span class="hljs-number">0</span>])
    norm_feat = [i.item() <span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> norm_feat]
    <span class="hljs-keyword">return</span> norm_feat
<button class="copy-code-btn"></button></code></pre>
<p>Utilice el modelo VGG16 en formato ONNX para procesar los datos de la imagen:</p>
<pre><code translate="no" class="language-python"><span class="hljs-comment"># generate vectors with ResNet50 and VGG16 ONNX model</span>
2vec_resnet = get_onnx_vectors(<span class="hljs-string">&quot;onnx_resnet50.onnx&quot;</span>, <span class="hljs-string">&quot;./pic/example.jpg&quot;</span>)
3vec_vgg = get_onnx_vectors(<span class="hljs-string">&quot;onnx_vgg16.onnx&quot;</span>, <span class="hljs-string">&quot;./pic/example.jpg&quot;</span>)
<button class="copy-code-btn"></button></code></pre>
<h2 id="Store-Vector-Data" class="common-anchor-header">Almacenar datos vectoriales<button data-href="#Store-Vector-Data" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Los datos no estructurados, como las imágenes, no pueden ser procesados directamente por un ordenador, pero pueden ser convertidos en vectores a través de un modelo de IA y luego analizados por un ordenador. La base de datos vectorial Milvus está diseñada para el análisis masivo de datos no estructurados. Puede almacenar datos vectoriales y realizar análisis casi en tiempo real. En primer lugar, cree una colección del modelo correspondiente en Milvus y, a continuación, inserte los vectores de imagen.</p>
<pre><code translate="no" class="language-python"><span class="hljs-keyword">from</span> milvus <span class="hljs-keyword">import</span> *

<span class="hljs-comment"># create collections in Milvus</span>
milvus.create_collection(resnet_collection_param)
milvus.create_collection(vgg_collection_param)

<span class="hljs-comment"># insert data to Milvus and return ids</span>
status, resnet_ids = milvus.insert(resnet_collection_name, resnet_vectors)
status, vgg_ids = milvus.insert(vgg_collection_name, vgg_vectors)
<button class="copy-code-btn"></button></code></pre>
<p>Después de insertar los datos correctamente, Milvus devolverá el ID correspondiente al vector, y entonces podremos encontrar la imagen por ID. Dado que Milvus 1.1 utilizado en este caso no soporta el filtrado escalar (que Milvus 2.0 soporta ahora), se utiliza Redis para almacenar el ID del vector y la clave-valor de la ruta de la imagen.</p>
<pre><code translate="no" class="language-python"><span class="hljs-keyword">import</span> redis
<span class="hljs-keyword">def</span> <span class="hljs-title function_">img_ids_to_redis</span>(<span class="hljs-params">img_directory, res_ids</span>):
  <span class="hljs-keyword">for</span> img, ids <span class="hljs-keyword">in</span> <span class="hljs-built_in">zip</span>(images, res_ids):
    redis.<span class="hljs-built_in">set</span>(ids, img)
<button class="copy-code-btn"></button></code></pre>
<h2 id="Search-for-Similar-Images" class="common-anchor-header">Búsqueda de imágenes similares<button data-href="#Search-for-Similar-Images" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Después de almacenar los datos, podemos recuperar el vector. Milvus soporta múltiples métodos de cálculo de distancias, incluyendo la distancia euclidiana, el producto interior y la distancia Hamming. La búsqueda de imágenes similares en este artículo adopta el cálculo de la distancia euclídea entre los vectores en Milvus, devuelve el ID del vector similar y, a continuación, encuentra la imagen correspondiente al ID en Redis.</p>
<pre><code translate="no" class="language-python"><span class="hljs-comment"># search in Milvus and return the similarly results with ids</span>
<span class="hljs-keyword">def</span> <span class="hljs-title function_">search_in_milvus</span>(<span class="hljs-params">collection_name, search_vector</span>):
    status, results = milvus.search(collection_name, TOP_K, [search_vector])
    <span class="hljs-built_in">print</span>(status)
    re_ids = [x.<span class="hljs-built_in">id</span> <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> results[<span class="hljs-number">0</span>]]
    re_distance = [x.distance <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> results[<span class="hljs-number">0</span>]]
    <span class="hljs-keyword">return</span> re_ids, re_distance
    
<span class="hljs-comment"># get the images according the result ids</span>
<span class="hljs-keyword">def</span> <span class="hljs-title function_">get_sim_imgs</span>(<span class="hljs-params">collection_name, search_vector</span>):
    ids, distance = search_in_milvus(collection_name, search_vector)
    img = [red.get(i).decode(<span class="hljs-string">&quot;utf-8&quot;</span>) <span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> ids]
    <span class="hljs-keyword">return</span> ids, distance, img
<button class="copy-code-btn"></button></code></pre>
<p>Tomando como ejemplo los modelos VGG16 y ResNet50, este artículo muestra el procesamiento de múltiples modelos a través de ONNX y la combinación de múltiples modelos con Milvus para la recuperación de vectores similares para obtener imágenes similares. Los dos modelos anteriores se basan en el framework Keras, que puede extraer rápidamente vectores de características. Puede verse en el Cuaderno que, aunque los resultados de la búsqueda de Milvus de imágenes en el conjunto de datos COCO basados en estos dos modelos son similares, sus distancias euclidianas no son las mismas. También puede intentar comparar los resultados de búsqueda de los dos modelos utilizando otros conjuntos de datos.</p>
<p>Milvus es una base de datos vectorial de alto rendimiento y alta disponibilidad que puede utilizarse para procesar vectores de características generados a partir de datos masivos no estructurados. Para obtener más soluciones, puede consultar <a href="https://github.com/milvus-io/bootcamp">Milvus bootcamp</a>.</p>
<h2 id="References" class="common-anchor-header">Referencias<button data-href="#References" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ol>
<li>https://github.com/onnx/onnx</li>
<li>https://onnx.ai/</li>
<li>https://milvus.io/cn/</li>
<li>https://github.com/milvus-io/bootcamp</li>
</ol>
<h3 id="About-author" class="common-anchor-header">Sobre el autor</h3><p>Shiyu Chen, ingeniero de datos en Zilliz, se licenció en Informática por la Universidad de Xidian. Desde que se unió a Zilliz, ha estado explorando soluciones para Milvus en varios campos, como el análisis de audio y vídeo, la recuperación de fórmulas de moléculas, etc., lo que ha enriquecido enormemente los escenarios de aplicación de la comunidad. Actualmente está explorando más soluciones interesantes. En su tiempo libre, le encantan los deportes y la lectura.</p>


Procesar modelos con ONNX

DiskANN, una solución ANNS basada en disco con alta recuperación y alto QPS en un conjunto de datos a escala de miles de millones.

Visión general

<custom-h1>Clasificación de secuencias de ADN basada en Milvus</custom-h1><blockquote>
<p>Autor: Mengjia Gu, ingeniera de datos en Zilliz, es licenciada en Estudios de la Información por la Universidad McGill. Sus intereses incluyen las aplicaciones de IA y la búsqueda de similitudes con bases de datos vectoriales. Como miembro de la comunidad del proyecto de código abierto Milvus, ha proporcionado y mejorado varias soluciones, como el sistema de recomendación y el modelo de clasificación de secuencias de ADN. Le gustan los retos y nunca se rinde.</p>
</blockquote>
<custom-h1>Introducción</custom-h1><p>La secuencia de ADN es un concepto popular tanto en la investigación académica como en aplicaciones prácticas, como la trazabilidad de genes, la identificación de especies y el diagnóstico de enfermedades. Mientras que todas las industrias están hambrientas de un método de investigación más inteligente y eficiente, la inteligencia artificial ha atraído mucha atención, especialmente desde el ámbito biológico y médico. Cada vez son más los científicos e investigadores que contribuyen al aprendizaje automático y al aprendizaje profundo en bioinformática. Para que los resultados experimentales sean más convincentes, una opción común es aumentar el tamaño de la muestra. La colaboración con big data en genómica también aporta más posibilidades de casos de uso en la realidad. Sin embargo, la alineación de secuencias tradicional tiene limitaciones que la hacen <a href="https://www.frontiersin.org/articles/10.3389/fbioe.2020.01032/full#h5">inadecuada para datos de gran tamaño</a>. Con el fin de hacer menos concesiones en la realidad, la vectorización es una buena opción para un gran conjunto de datos de secuencias de ADN.</p>
<p>La base de datos vectorial de código abierto <a href="https://milvus.io/docs/v2.0.x/overview.md">Milvus</a> es adecuada para datos masivos. Es capaz de almacenar vectores de secuencias de ácidos nucleicos y realizar una recuperación de alta eficiencia. También puede ayudar a reducir el coste de producción o investigación. El sistema de clasificación de secuencias de ADN basado en Milvus sólo tarda milisegundos en realizar la clasificación de genes. Además, muestra una mayor precisión que otros clasificadores comunes en el aprendizaje automático.</p>
<custom-h1>Procesamiento de datos</custom-h1><p>Un gen que codifica información genética está formado por una pequeña sección de secuencias de ADN, que consta de 4 bases nucleotídicas [A, C, G, T]. En el genoma humano hay unos 30.000 genes, casi 3.000 millones de pares de bases de ADN, y cada par de bases tiene 2 bases correspondientes. Para permitir diversos usos, las secuencias de ADN pueden clasificarse en varias categorías. Para reducir el coste y facilitar el uso de datos de secuencias de ADN largas, se introduce <a href="https://en.wikipedia.org/wiki/K-mer#:~:text=Usually%2C%20the%20term%20k%2Dmer,total%20possible%20k%2Dmers%2C%20where">k-mer </a>en el preprocesamiento de datos. Al mismo tiempo, hace que los datos de secuencias de ADN se parezcan más a un texto sin formato. Además, los datos vectorizados pueden acelerar el cálculo en el análisis de datos o el aprendizaje automático.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_a7469e9eac.png" alt="1.png" class="doc-image" id="1.png" />
   </span> <span class="img-wrapper"> <span>1.png</span> </span></p>
<p><strong>k-mer</strong></p>
<p>El método k-mer se utiliza habitualmente en el preprocesamiento de secuencias de ADN. Extrae una pequeña sección de longitud k a partir de cada base de la secuencia original, convirtiendo así una secuencia larga de longitud s en (s-k+1) secuencias cortas de longitud k. Ajustar el valor de k mejorará el rendimiento del modelo. Las listas de secuencias cortas son más fáciles de leer, extraer y vectorizar.</p>
<p><strong>Vectorización</strong></p>
<p>Las secuencias de ADN se vectorizan en forma de texto. Una secuencia transformada por k-mer se convierte en una lista de secuencias cortas, que se parece a una lista de palabras individuales en una frase. Por lo tanto, la mayoría de los modelos de procesamiento del lenguaje natural deberían funcionar también para los datos de secuencias de ADN. Se pueden aplicar metodologías similares a la formación de modelos, la extracción de características y la codificación. Dado que cada modelo tiene sus propias ventajas e inconvenientes, la selección de modelos depende de la característica de los datos y del objetivo de la investigación. Por ejemplo, CountVectorizer, un modelo de bolsa de palabras, realiza la extracción de características mediante una simple tokenización. No pone límite a la longitud de los datos, pero el resultado obtenido es menos obvio en términos de comparación de similitudes.</p>
<custom-h1>Demostración de Milvus</custom-h1><p>Milvus puede gestionar fácilmente datos no estructurados y recuperar los resultados más similares entre billones de vectores en un plazo medio de milisegundos. Su búsqueda de similitudes se basa en el algoritmo de búsqueda del vecino más próximo aproximado (RNA). Estas características hacen de Milvus una gran opción para gestionar vectores de secuencias de ADN y, por tanto, para promover el desarrollo y las aplicaciones de la bioinformática.</p>
<p>A continuación se muestra una demostración de cómo construir un sistema de clasificación de secuencias de ADN con Milvus. El <a href="https://www.kaggle.com/nageshsingh/dna-sequence-dataset">conjunto de datos experimentales </a>incluye 3 organismos y 7 familias de genes. Todos los datos se convierten en listas de secuencias cortas mediante k-mers. Con un modelo CountVectorizer preentrenado, el sistema codifica entonces los datos de secuencia en vectores. El diagrama de flujo que figura a continuación muestra la estructura del sistema y los procesos de inserción y búsqueda.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_ebd89660f6.png" alt="1.png" class="doc-image" id="1.png" />
   </span> <span class="img-wrapper"> <span>1.png</span> </span></p>
<p>Pruebe esta demostración en <a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/dna_sequence_classification">el Milvus bootcamp</a>.</p>
<p>En Milvus, el sistema crea una colección e inserta los vectores correspondientes de secuencias de ADN en la colección (o partición si está activada). Al recibir una solicitud de consulta, Milvus devolverá las distancias entre el vector de la secuencia de ADN de entrada y los resultados más similares de la base de datos. La clase de la secuencia de entrada y la similitud entre las secuencias de ADN pueden determinarse mediante las distancias vectoriales en los resultados.</p>
<pre><code translate="no"><span class="hljs-comment"># Insert vectors to Milvus collection (partition &quot;human&quot;)</span>
DNA_human = collection.insert([human_ids, human_vectors], partition_name=<span class="hljs-string">&#x27;human&#x27;</span>)
<span class="hljs-comment"># Search topK results (in partition &quot;human&quot;) for test vectors</span>
res = collection.search(test_vectors, <span class="hljs-string">&quot;vector_field&quot;</span>, search_params, limit=topK, partition_names=[<span class="hljs-string">&#x27;human&#x27;</span>])
<span class="hljs-keyword">for</span> results <span class="hljs-keyword">in</span> res:
    res_ids = results.ids <span class="hljs-comment"># primary keys of topK results</span>
    res_distances = results.distances <span class="hljs-comment"># distances between topK results &amp; search input</span>
<button class="copy-code-btn"></button></code></pre>
<p><strong>Clasificación de secuencias</strong>de ADN La búsqueda de secuencias de ADN más similares en Milvus podría implicar la familia de genes de una muestra desconocida, y así conocer su posible funcionalidad.<a href="https://www.nature.com/scitable/topicpage/gpcr-14047471/"> Si una secuencia se clasifica como GPCRs, entonces probablemente tiene influencia en las funciones corporales. </a>En esta demostración, Milvus ha permitido con éxito al sistema identificar las familias de genes de las secuencias de ADN humano buscadas.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/3_1616da5bb0.png" alt="3.png" class="doc-image" id="3.png" />
   </span> <span class="img-wrapper"> <span>3.png</span> </span> <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/4_d719b22fc7.png" alt="4.png" class="doc-image" id="4.png" /><span>4.png</span> </span></p>
<p><strong>Similitud genética</strong></p>
<p>La similitud media de secuencias de ADN entre organismos ilustra la proximidad entre sus genomas. La demo busca en los datos humanos las secuencias de ADN más similares a las del chimpancé y el perro respectivamente. A continuación, calcula y compara las distancias medias del producto interno (0,97 para el chimpancé y 0,70 para el perro), lo que demuestra que el chimpancé comparte más genes similares con el ser humano que el perro. Con datos más complejos y el diseño del sistema, Milvus es capaz de apoyar la investigación genética incluso a un nivel superior.</p>
<pre><code translate="no">search_params = {<span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&quot;IP&quot;</span>, <span class="hljs-string">&quot;params&quot;</span>: {<span class="hljs-string">&quot;nprobe&quot;</span>: <span class="hljs-number">20</span>}}
<button class="copy-code-btn"></button></code></pre>
<p><strong>Rendimiento</strong></p>
<p>La demostración entrena el modelo de clasificación con un 80% de datos de muestras humanas (3629 en total) y utiliza el resto como datos de prueba. Compara el rendimiento del modelo de clasificación de secuencias de ADN que utiliza Milvus con el basado en Mysql y 5 clasificadores populares de aprendizaje automático. El modelo basado en Milvus supera a sus homólogos en precisión.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> sklearn.<span class="hljs-property">model_selection</span> <span class="hljs-keyword">import</span> train_test_split
X, y = human_sequence_kmers, human_labels
X_train, X_test, y_train, y_test = <span class="hljs-title function_">train_test_split</span>(X, y, test_size=<span class="hljs-number">0.2</span>, random_state=<span class="hljs-number">42</span>)
<button class="copy-code-btn"></button></code></pre>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_6541a7dec6.png" alt="1.png" class="doc-image" id="1.png" />
   </span> <span class="img-wrapper"> <span>1.png</span> </span></p>
<custom-h1>Exploración adicional</custom-h1><p>Con el desarrollo de la tecnología de big data, la vectorización de la secuencia de ADN desempeñará un papel más importante en la investigación y la práctica genéticas. Combinado con el conocimiento profesional en bioinformática, los estudios relacionados pueden beneficiarse aún más de la participación de la vectorización de secuencias de ADN. Por lo tanto, Milvus puede presentar mejores resultados en la práctica. Según los diferentes escenarios y necesidades de los usuarios, la búsqueda de similitudes y el cálculo de distancias impulsados por Milvus muestran un gran potencial y muchas posibilidades.</p>
<ul>
<li><strong>Estudio de secuencias desconocidas</strong>: <a href="https://iopscience.iop.org/article/10.1088/1742-6596/1453/1/012071/pdf">Según algunos investigadores, la vectorización puede comprimir los datos de secuencias de ADN.</a> Al mismo tiempo, requiere menos esfuerzo para estudiar la estructura, función y evolución de secuencias de ADN desconocidas. Milvus puede almacenar y recuperar un gran número de vectores de secuencias de ADN sin perder precisión.</li>
<li><strong>Adaptar dispositivos</strong>: Limitada por los algoritmos tradicionales de alineación de secuencias, la búsqueda de similitudes apenas puede beneficiarse de la mejora de los dispositivos<a href="https://www.ncbi.nlm.nih.gov/pmc/articles/PMC7884812/">(</a><a href="https://mjeer.journals.ekb.eg/article_146090.html">CPU/GPU</a>). Milvus, que admite tanto el cálculo normal en CPU como la aceleración en GPU, resuelve este problema con el algoritmo aproximado del vecino más próximo.</li>
<li><strong>Detección de virus y rastreo de orígenes</strong>: <a href="https://www.nature.com/articles/s41586-020-2012-7?fbclid=IwAR2hxnXb9nLWgA8xexEoNrCNH8WHqvHhhbN38aSm48AaH6fTzGMB1BLljf4">Los científicos han comparado secuencias genómicas y han informado de que el virus COVID19, de probable origen murciélago, pertenece al SARS-COV</a>. Basándose en esta conclusión, los investigadores pueden ampliar el tamaño de la muestra para obtener más pruebas y patrones.</li>
<li><strong>Diagnosticar enfermedades</strong>: Clínicamente, los médicos podrían comparar secuencias de ADN entre pacientes y grupos sanos para identificar genes variantes causantes de enfermedades. Es posible extraer características y codificar estos datos utilizando algoritmos adecuados. Milvus es capaz de devolver distancias entre vectores, que pueden relacionarse con datos de enfermedades. Además de ayudar al diagnóstico de enfermedades, esta aplicación también puede contribuir a inspirar el estudio de <a href="https://www.frontiersin.org/articles/10.3389/fgene.2021.680117/full">terapias dirigidas</a>.</li>
</ul>
<custom-h1>Más información sobre Milvus</custom-h1><p>Milvus es una potente herramienta capaz de impulsar una amplia gama de aplicaciones de inteligencia artificial y búsqueda de similitudes vectoriales. Para saber más sobre el proyecto, consulte los siguientes recursos:</p>
<ul>
<li>Lea nuestro <a href="https://milvus.io/blog">blog</a>.</li>
<li>Interactúe con nuestra comunidad de código abierto en <a href="https://milvusio.slack.com/join/shared_invite/zt-e0u4qu3k-bI2GDNys3ZqX1YCJ9OM~GQ#/shared-invite/email">Slack</a>.</li>
<li>Utilice o contribuya a la base de datos vectorial más popular del mundo en <a href="https://github.com/milvus-io/milvus/">GitHub</a>.</li>
<li>Pruebe y despliegue rápidamente aplicaciones de IA con nuestro nuevo <a href="https://github.com/milvus-io/bootcamp">bootcamp</a>.</li>
</ul>


Clasificación de secuencias de ADN basada en Milvus

Lectura del artículo｜HM-ANN Cuando la ANNS se encuentra con la memoria heterogénea

Milvus 2.0 Redefinición de la base de datos vectorial

<custom-h1>Creación de un sistema personalizado de recomendación de productos con Vipshop y Milvus</custom-h1><p>Con el crecimiento explosivo de la escala de datos de Internet, la cantidad de productos, así como la categoría en la actual plataforma de comercio electrónico dominante aumentan por un lado, la dificultad de los usuarios para encontrar los productos que necesitan aumenta por otro.</p>
<p><a href="https://www.vip.com/">Vipshop</a> es un minorista de descuentos en línea líder en marcas en China. La empresa ofrece productos de marca populares y de alta calidad a consumidores de toda China con importantes descuentos respecto a los precios de venta al público. Para optimizar la experiencia de compra de sus clientes, la empresa decidió crear un sistema de recomendación de búsqueda personalizado basado en las palabras clave de la consulta y los retratos de los usuarios.</p>
<p>La función principal del sistema de recomendación de búsqueda de comercio electrónico es recuperar productos adecuados de entre un gran número de productos y mostrárselos a los usuarios según su intención de búsqueda y sus preferencias. En este proceso, el sistema tiene que calcular la similitud entre los productos y la intención de búsqueda y las preferencias de los usuarios, y recomienda los productos TopK con mayor similitud a los usuarios.</p>
<p>La información sobre los productos, la intención de búsqueda y las preferencias de los usuarios son datos no estructurados. Intentamos calcular la similitud de estos datos utilizando CosineSimilarity(7.x) del motor de búsqueda Elasticsearch (ES), pero este método presenta los siguientes inconvenientes.</p>
<ul>
<li><p>Largo tiempo de respuesta computacional - la latencia media para recuperar resultados TopK de millones de elementos es de unos 300 ms.</p></li>
<li><p>Alto coste de mantenimiento de los índices de ES - se utiliza el mismo conjunto de índices tanto para los vectores de características de los productos básicos como para otros datos relacionados, lo que apenas facilita la construcción de índices, pero produce una cantidad masiva de datos.</p></li>
</ul>
<p>Intentamos desarrollar nuestro propio complemento hash localmente sensible para acelerar el cálculo de CosineSimilarity de ES. Aunque el rendimiento y la producción mejoraron significativamente tras la aceleración, la latencia de más de 100 ms seguía siendo difícil de satisfacer para los requisitos reales de recuperación de productos en línea.</p>
<p>Después de una investigación exhaustiva, decidimos utilizar Milvus, una base de datos vectorial de código abierto, que cuenta con la ventaja de ser compatible con el despliegue distribuido, SDK multilingüe, separación de lectura/escritura, etc., en comparación con la comúnmente utilizada Faiss independiente.</p>
<p>Utilizando varios modelos de aprendizaje profundo, convertimos datos masivos no estructurados en vectores de características e importamos los vectores a Milvus. Con el excelente rendimiento de Milvus, nuestro sistema de recomendación de búsqueda de comercio electrónico puede consultar eficientemente los vectores TopK que son similares a los vectores objetivo.</p>
<h2 id="Overall-Architecture" class="common-anchor-header">Arquitectura general<button data-href="#Overall-Architecture" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Arquitectura](https://assets.zilliz.com/1_01551e7b2b.jpg &quot;Arquitectura&quot;.) Como se muestra en el diagrama, la arquitectura general del sistema consta de dos partes principales.</p>
<ul>
<li><p>Proceso de escritura: los vectores de características de artículos (en lo sucesivo, vectores de artículos) generados por el modelo de aprendizaje profundo se normalizan y se escriben en MySQL. A continuación, MySQL lee los vectores de características de elementos procesados mediante la herramienta de sincronización de datos (ETL) y los importa a la base de datos de vectores Milvus.</p></li>
<li><p>Proceso de lectura: El servicio de búsqueda obtiene los vectores de características de preferencia del usuario (en lo sucesivo, vectores de usuario) basándose en las palabras clave de consulta del usuario y en los retratos del usuario, consulta vectores similares en Milvus y recupera vectores de artículos TopK.</p></li>
</ul>
<p>Milvus admite tanto la actualización incremental de datos como la actualización completa de datos. Cada actualización incremental tiene que eliminar el vector de elementos existente e insertar un nuevo vector de elementos, lo que significa que cada colección recién actualizada se volverá a indexar. Se adapta mejor a un escenario con más lecturas y menos escrituras. Por lo tanto, elegimos el método de actualización de datos completos. Además, sólo se tarda unos minutos en escribir todos los datos en lotes de varias particiones, lo que equivale a actualizaciones casi en tiempo real.</p>
<p>Los nodos de escritura de Milvus realizan todas las operaciones de escritura, incluyendo la creación de colecciones de datos, la construcción de índices, la inserción de vectores, etc., y proporcionan servicios al público con nombres de dominio de escritura. Los nodos de lectura de Milvus realizan todas las operaciones de lectura y proporcionan servicios al público con nombres de dominio de sólo lectura.</p>
<p>Mientras que la versión actual de Milvus no admite el cambio de alias de colecciones, introducimos Redis para cambiar sin problemas de alias entre varias colecciones de datos completas.</p>
<p>El nodo de lectura sólo necesita leer la información de metadatos existente y los datos vectoriales o índices de MySQL, Milvus y el sistema de archivos distribuido GlusterFS, por lo que la capacidad de lectura puede ampliarse horizontalmente desplegando múltiples instancias.</p>
<h2 id="Implementation-Details" class="common-anchor-header">Detalles de implementación<button data-href="#Implementation-Details" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="Data-Update" class="common-anchor-header">Actualización de datos</h3><p>El servicio de actualización de datos incluye no sólo la escritura de datos vectoriales, sino también la detección del volumen de datos de los vectores, la construcción de índices, la precarga de índices, el control de alias, etc. El proceso global es el siguiente. <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/2_6052b01334.jpg" alt="Process" class="doc-image" id="process" /><span>Proceso</span> </span></p>
<ol>
<li><p>Supongamos que antes de construir los datos completos, la ColecciónA proporciona el servicio de datos al público, y los datos completos que se utilizan se dirigen a la ColecciónA (<code translate="no">redis key1 = CollectionA</code>). El objetivo de la construcción de datos completos es crear una nueva colección ColecciónB.</p></li>
<li><p>Comprobación de datos de materias primas: compruebe el número de posición de los datos de materias primas en la tabla MySQL, compare los datos de materias primas con los datos existentes en la colecciónA. La alerta puede establecerse en función de la cantidad o del porcentaje. Si no se alcanza la cantidad (porcentaje) establecida, no se crearán todos los datos y se considerará un fallo de esta operación de creación, activando la alerta; una vez alcanzada la cantidad (porcentaje) establecida, se inicia el proceso de creación de todos los datos.</p></li>
<li><p>Comienza la construcción de los datos completos - inicializa el alias de los datos completos que se están construyendo, y actualiza Redis. Después de la actualización, el alias de los datos completos que se están construyendo se dirige a CollectionB (<code translate="no">redis key2 = CollectionB</code>).</p></li>
<li><p>Crear una nueva colección completa - determinar si CollectionB existe. Si existe, elimínela antes de crear una nueva.</p></li>
<li><p>Escritura de datos por lotes - calcule el ID de partición de cada dato de producto con su propio ID utilizando la operación módulo, y escriba los datos en múltiples particiones a la colección recién creada por lotes.</p></li>
<li><p>Construir y precargar índice - Crear índice (<code translate="no">createIndex()</code>) para la nueva colección. El archivo de índice se almacena en el servidor de almacenamiento distribuido GlusterFS. El sistema simula automáticamente la consulta en la nueva colección y precarga el índice para el calentamiento de la consulta.</p></li>
<li><p>Comprobación de los datos de la colección: comprueba el número de elementos de los datos de la nueva colección, compara los datos con los de la colección existente y establece alarmas en función de la cantidad y el porcentaje. Si no se alcanza el número establecido (porcentaje), la colección no se conmutará y el proceso de construcción se considerará un fallo, activando la alerta.</p></li>
<li><p>Cambio de colección - Control de alias. Tras actualizar Redis, todo el alias de datos que se está utilizando se dirige a la colecciónB (<code translate="no">redis key1 = CollectionB</code>), se elimina la clave original de Redis2 y finaliza el proceso de construcción.</p></li>
</ol>
<h3 id="Data-Recall" class="common-anchor-header">Recuperación de datos</h3><p>Los datos de partición de Milvus se llaman varias veces para calcular la similitud entre los vectores de usuario, obtenidos a partir de las palabras clave de la consulta del usuario y el retrato del usuario, y el vector de artículo, y los vectores de artículo TopK se devuelven después de la fusión. El esquema general del flujo de trabajo es el siguiente: <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/3_93518602b1.jpg" alt="workflow" class="doc-image" id="workflow" /><span>flujo de trabajo</span>En la </span>tabla siguiente se enumeran los principales servicios que intervienen en este proceso. Se puede observar que la latencia media para recuperar los vectores TopK es de unos 30 ms.</p>
<table>
<thead>
<tr><th><strong>Servicio</strong></th><th><strong>Función</strong></th><th><strong>Parámetros de entrada</strong></th><th><strong>Parámetros de salida</strong></th><th><strong>Latencia de respuesta</strong></th></tr>
</thead>
<tbody>
<tr><td>Obtención de vectores de usuario</td><td>Obtención de vectores de usuario</td><td>información del usuario + consulta</td><td>vector usuario</td><td>10 ms</td></tr>
<tr><td>Búsqueda Milvus</td><td>Calcular la similitud vectorial y devolver los resultados TopK</td><td>vector usuario</td><td>vector elemento</td><td>10 ms</td></tr>
<tr><td>Lógica de programación</td><td>Recuperación y fusión simultáneas de resultados</td><td>Vectores de elementos recuperados multicanal y puntuación de similitud</td><td>TopK artículos</td><td>10 ms</td></tr>
</tbody>
</table>
<p><strong>Proceso de implementación:</strong></p>
<ol>
<li>Basado en las palabras clave de consulta del usuario y el retrato del usuario, el vector de usuario es calculado por el modelo de aprendizaje profundo.</li>
<li>Se obtiene el alias de la colección de todos los datos que se están utilizando de Redis currentInUseKeyRef y se obtiene Milvus CollectionName. Este proceso es un servicio de sincronización de datos, es decir, cambia el alias a Redis después de la actualización de todos los datos.</li>
<li>Milvus se llama de forma concurrente y asíncrona con el vector de usuario para obtener datos de diferentes particiones de la misma colección, y Milvus calcula la similitud entre el vector de usuario y el vector de elementos, y devuelve los TopK vectores de elementos similares en cada partición.</li>
<li>Fusiona los vectores de artículos TopK devueltos de cada partición y clasifica los resultados en orden inverso a la distancia de similitud, que se calcula utilizando el producto interior IP (cuanto mayor es la distancia entre los vectores, más similares son). Se obtienen los vectores de elementos TopK finales.</li>
</ol>
<h2 id="Looking-Ahead" class="common-anchor-header">De cara al futuro<button data-href="#Looking-Ahead" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>En la actualidad, la búsqueda vectorial basada en Milvus puede utilizarse de forma constante en la búsqueda de escenarios de recomendación, y su alto rendimiento nos da más margen para jugar en la dimensionalidad del modelo y la selección del algoritmo.</p>
<p>Milvus desempeñará un papel crucial como middleware para más escenarios, entre los que se incluyen la recuperación de la búsqueda en el sitio principal y las recomendaciones en todos los escenarios.</p>
<p>Las tres características más esperadas de Milvus en el futuro son las siguientes.</p>
<ul>
<li>Lógica para el cambio de alias de colecciones: coordina el cambio entre colecciones sin componentes externos.</li>
<li>Mecanismo de filtrado - Milvus v0.11.0 sólo soporta el mecanismo de filtrado ES DSL en la versión independiente. La nueva versión Milvus 2.0 soporta filtrado escalar y separación de lectura/escritura.</li>
<li>Soporte de almacenamiento para Hadoop Distributed File System (HDFS) - Milvus v0.10.6 que estamos utilizando sólo soporta la interfaz de archivos POSIX, y hemos desplegado GlusterFS con soporte FUSE como backend de almacenamiento. Sin embargo, HDFS es una mejor opción en términos de rendimiento y facilidad de escalado.</li>
</ul>
<h2 id="Lessons-Learned-and-Best-Practices" class="common-anchor-header">Lecciones aprendidas y mejores prácticas<button data-href="#Lessons-Learned-and-Best-Practices" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ol>
<li>Para aplicaciones en las que las operaciones de lectura son el objetivo principal, una implementación de separación de lectura-escritura puede aumentar significativamente la potencia de procesamiento y mejorar el rendimiento.</li>
<li>El cliente Java de Milvus carece de un mecanismo de reconexión porque el cliente Milvus utilizado por el servicio de recuperación es residente en memoria. Tenemos que construir nuestro propio pool de conexiones para garantizar la disponibilidad de la conexión entre el cliente Java y el servidor mediante la prueba heartbeat.</li>
<li>Ocasionalmente se producen consultas lentas en Milvus. Esto se debe a un calentamiento insuficiente de la nueva colección. Al simular la consulta en la nueva colección, el archivo de índice se carga en la memoria para lograr el calentamiento del índice.</li>
<li>nlist es el parámetro de construcción del índice y nprobe es el parámetro de consulta. Es necesario obtener un valor umbral razonable de acuerdo con el escenario de su negocio mediante experimentos de pruebas de presión para equilibrar el rendimiento y la precisión de la recuperación.</li>
<li>Para un escenario de datos estáticos, es más eficiente importar todos los datos a la colección primero y construir los índices después.</li>
</ol>


Arquitectura general

<custom-h1>Recuperación de audio basada en Milvus</custom-h1><p>El sonido es un tipo de datos con gran densidad de información. Aunque pueda parecer anticuado en la era de los contenidos de vídeo, el audio sigue siendo una fuente de información primaria para muchas personas. A pesar de la disminución a largo plazo de los oyentes, el 83% de los estadounidenses de 12 años o más escucharon la radio terrestre (AM / FM) en una semana determinada en 2020 (por debajo del 89% en 2019). Por el contrario, el audio en línea ha experimentado un aumento constante de oyentes en las últimas dos décadas, con el 62% de los estadounidenses escuchando alguna forma de él semanalmente, según el mismo <a href="https://www.journalism.org/fact-sheet/audio-and-podcasting/">estudio del Pew Research Center</a>.</p>
<p>Como onda, el sonido incluye cuatro propiedades: frecuencia, amplitud, forma de onda y duración. En terminología musical, se denominan tono, dinámica, sonido y duración. Los sonidos también ayudan a los humanos y a otros animales a percibir y comprender nuestro entorno, proporcionando pistas contextuales sobre la ubicación y el movimiento de los objetos que nos rodean.</p>
<p>Como portador de información, el audio puede clasificarse en tres categorías:</p>
<ol>
<li><strong>El habla:</strong> Medio de comunicación compuesto por palabras y gramática. Los algoritmos de reconocimiento del habla permiten convertirla en texto.</li>
<li><strong>Música:</strong> Sonidos vocales y/o instrumentales combinados para producir una composición compuesta de melodía, armonía, ritmo y timbre. La música puede representarse mediante una partitura.</li>
<li><strong>Forma de onda:</strong> Señal de audio digital obtenida mediante la digitalización de sonidos analógicos. Las formas de onda pueden representar voz, música y sonidos naturales o sintetizados.</li>
</ol>
<p>La recuperación de audio puede utilizarse para buscar y supervisar medios en línea en tiempo real con el fin de reprimir la infracción de los derechos de propiedad intelectual. También desempeña un papel importante en la clasificación y el análisis estadístico de datos de audio.</p>
<h2 id="Processing-Technologies" class="common-anchor-header">Tecnologías de procesamiento<button data-href="#Processing-Technologies" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>El habla, la música y otros sonidos genéricos tienen características únicas y exigen distintos métodos de procesamiento. Normalmente, el audio se separa en grupos que contienen habla y grupos que no la contienen:</p>
<ul>
<li>El audio hablado se procesa mediante reconocimiento automático del habla.</li>
<li>El audio que no contiene habla, como el musical, los efectos de sonido y las señales de voz digitalizadas, se procesa mediante sistemas de recuperación de audio.</li>
</ul>
<p>Este artículo se centra en cómo utilizar un sistema de recuperación de audio para procesar datos de audio no vocal. En este artículo no se trata el reconocimiento de voz.</p>
<h3 id="Audio-feature-extraction" class="common-anchor-header">Extracción de características de audio</h3><p>La extracción de características es la tecnología más importante en los sistemas de recuperación de audio, ya que permite la búsqueda de similitudes de audio. Los métodos de extracción de características de audio se dividen en dos categorías:</p>
<ul>
<li>Modelos tradicionales de extracción de características de audio, como los modelos de mezcla gaussiana (GMM) y los modelos de Markov ocultos (HMM);</li>
<li>Modelos de extracción de características de audio basados en el aprendizaje profundo, como redes neuronales recurrentes (RNN), redes de memoria a corto plazo (LSTM), marcos de codificación y descodificación, mecanismos de atención, etc.</li>
</ul>
<p>Los modelos basados en aprendizaje profundo tienen una tasa de error que es un orden de magnitud menor que los modelos tradicionales, y por lo tanto están ganando impulso como tecnología central en el campo del procesamiento de señales de audio.</p>
<p>Los datos de audio suelen estar representados por las características de audio extraídas. El proceso de recuperación busca y compara estas características y atributos en lugar de los propios datos de audio. Por lo tanto, la eficacia de la recuperación de similitudes de audio depende en gran medida de la calidad de la extracción de características.</p>
<p>En este artículo, se utilizan <a href="https://github.com/qiuqiangkong/audioset_tagging_cnn">redes neuronales de audio preentrenadas a gran escala para el reconocimiento de patrones de audio (PANN)</a> con el fin de extraer vectores de características para su precisión media media (mAP) de 0,439 (Hershey et al., 2017).</p>
<p>Después de extraer los vectores de características de los datos de audio, podemos implementar un análisis de vectores de características de alto rendimiento utilizando Milvus.</p>
<h3 id="Vector-similarity-search" class="common-anchor-header">Búsqueda de similitud de vectores</h3><p><a href="https://milvus.io/">Milvus</a> es una base de datos de vectores nativa de la nube y de código abierto construida para gestionar vectores de incrustación generados por modelos de aprendizaje automático y redes neuronales. Se utiliza ampliamente en escenarios como la visión por ordenador, el procesamiento del lenguaje natural, la química computacional, los sistemas de recomendación personalizados, etc.</p>
<p>El siguiente diagrama muestra el proceso general de búsqueda de similitudes utilizando Milvus: <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/how_does_milvus_work_6926180543.png" alt="how-does-milvus-work.png" class="doc-image" id="how-does-milvus-work.png" /><span>how-does-milvus-work.png</span> </span></p>
<ol>
<li>Los datos no estructurados se convierten en vectores de características mediante modelos de aprendizaje profundo y se insertan en Milvus.</li>
<li>Milvus almacena e indexa estos vectores de características.</li>
<li>A petición, Milvus busca y devuelve los vectores más similares al vector de consulta.</li>
</ol>
<h2 id="System-overview" class="common-anchor-header">Visión general del sistema<button data-href="#System-overview" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>El sistema de recuperación de audio consta principalmente de dos partes: inserción (línea negra) y búsqueda (línea roja).</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/audio_retrieval_system_663a911c95.png" alt="audio-retrieval-system.png" class="doc-image" id="audio-retrieval-system.png" />
   </span> <span class="img-wrapper"> <span>audio-retrieval-system.png</span> </span></p>
<p>El conjunto de datos de muestra utilizado en este proyecto contiene sonidos de juegos de código abierto, y el código se detalla en el <a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/audio_similarity_search">Milvus bootcamp</a>.</p>
<h3 id="Step-1-Insert-data" class="common-anchor-header">Paso 1: Insertar datos</h3><p>A continuación se muestra el código de ejemplo para generar incrustaciones de audio con el modelo PANNs-inference preentrenado e insertarlas en Milvus, que asigna un ID único a cada incrustación vectorial.</p>
<pre><code translate="no"><span class="hljs-number">1</span> wav_name, vectors_audio = get_audio_embedding(audio_path)  
<span class="hljs-number">2</span> <span class="hljs-keyword">if</span> vectors_audio:    
<span class="hljs-number">3</span>     embeddings.<span class="hljs-built_in">append</span>(vectors_audio)  
<span class="hljs-number">4</span>     wav_names.<span class="hljs-built_in">append</span>(wav_name)  
<span class="hljs-number">5</span> ids_milvus = insert_vectors(milvus_client, table_name, embeddings)  
<span class="hljs-number">6</span> 
<button class="copy-code-btn"></button></code></pre>
<p>A continuación, los <strong>ids_milvus</strong> devueltos se almacenan junto con otra información relevante (por ejemplo, <strong>wav_name</strong>) para los datos de audio almacenados en una base de datos MySQL para su posterior procesamiento.</p>
<pre><code translate="no">1 get_ids_correlation(ids_milvus, wav_name)  
2 load_data_to_mysql(conn, cursor, table_name)    
3  
<button class="copy-code-btn"></button></code></pre>
<h3 id="Step-2-Audio-search" class="common-anchor-header">Paso 2: Búsqueda de audio</h3><p>Milvus calcula la distancia del producto interior entre los vectores de características prealmacenados y los vectores de características de entrada, extraídos de los datos de audio de la consulta utilizando el modelo de inferencia PANNs, y devuelve los <strong>ids_milvus</strong> de vectores de características similares, que corresponden a los datos de audio buscados.</p>
<pre><code translate="no"><span class="hljs-number">1</span> _, vectors_audio = get_audio_embedding(audio_filename)    
<span class="hljs-number">2</span> results = search_vectors(milvus_client, table_name, [vectors_audio], METRIC_TYPE, TOP_K)  
<span class="hljs-number">3</span> ids_milvus = [x.<span class="hljs-built_in">id</span> <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> results[<span class="hljs-number">0</span>]]  
<span class="hljs-number">4</span> audio_name = search_by_milvus_ids(conn, cursor, ids_milvus, table_name)    
<span class="hljs-number">5</span>
<button class="copy-code-btn"></button></code></pre>
<h2 id="API-reference-and-demo" class="common-anchor-header">Referencia de la API y demostración<button data-href="#API-reference-and-demo" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="API" class="common-anchor-header">API</h3><p>Este sistema de recuperación de audio está construido con código abierto. Sus principales características son la inserción y eliminación de datos de audio. Todas las API pueden consultarse escribiendo <strong>127.0.0.1:<port></strong> /docs en el navegador.</p>
<h3 id="Demo" class="common-anchor-header">Demo</h3><p>Tenemos en línea una <a href="https://zilliz.com/solutions">demostración en vivo</a> del sistema de recuperación de audio basado en Milvus que puede probar con sus propios datos de audio.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/audio_search_demo_cae60625db.png" alt="audio-search-demo.png" class="doc-image" id="audio-search-demo.png" />
   </span> <span class="img-wrapper"> <span>audio-search-demo.png</span> </span></p>
<h2 id="Conclusion" class="common-anchor-header">Conclusión<button data-href="#Conclusion" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>En la era de los macrodatos, la vida de las personas está repleta de todo tipo de información. Para entenderla mejor, la recuperación de texto tradicional ya no es suficiente. La tecnología actual de recuperación de información necesita urgentemente recuperar diversos tipos de datos no estructurados, como vídeos, imágenes y audio.</p>
<p>Los datos no estructurados, difíciles de procesar por los ordenadores, pueden convertirse en vectores de características mediante modelos de aprendizaje profundo. Estos datos convertidos pueden ser procesados fácilmente por máquinas, lo que nos permite analizar datos no estructurados de formas que nuestros predecesores nunca pudieron. Milvus, una base de datos de vectores de código abierto, puede procesar eficientemente los vectores de características extraídos por modelos de IA y proporciona una variedad de cálculos comunes de similitud de vectores.</p>
<h2 id="References" class="common-anchor-header">Referencias<button data-href="#References" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Hershey, S., Chaudhuri, S., Ellis, D.P., Gemmeke, J.F., Jansen, A., Moore, R.C., Plakal, M., Platt, D., Saurous, R.A., Seybold, B. y Slaney, M., 2017, marzo. Arquitecturas CNN para clasificación de audio a gran escala. En 2017 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 131-135, 2017.</p>
<h2 id="Dont-be-a-stranger" class="common-anchor-header">No sea un extraño<button data-href="#Dont-be-a-stranger" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p>Encuentra o contribuye a Milvus en <a href="https://github.com/milvus-io/milvus/">GitHub</a>.</p></li>
<li><p>Interactúa con la comunidad a través de <a href="https://join.slack.com/t/milvusio/shared_invite/zt-e0u4qu3k-bI2GDNys3ZqX1YCJ9OM~GQ">Slack</a>.</p></li>
<li><p>Conecta con nosotros en <a href="https://twitter.com/milvusio">Twitter</a>.</p></li>
</ul>


Tecnologías de procesamiento

<custom-h1>MilMil: Un chatbot de preguntas frecuentes sobre Milvus que responde a preguntas sobre Milvus</custom-h1><p>ha creado recientemente MilMil, un chatbot de preguntas frecuentes sobre Milvus creado por y para los usuarios de Milvus. MilMil está disponible 24/7 en <a href="https://milvus.io/">Milvus.io</a> para responder a preguntas comunes sobre Milvus, la base de datos vectorial de código abierto más avanzada del mundo.</p>
<p>Este sistema de respuesta a preguntas no sólo ayuda a resolver con mayor rapidez los problemas comunes que encuentran los usuarios de Milvus, sino que identifica nuevos problemas basándose en los envíos de los usuarios. La base de datos de MilMil incluye preguntas que los usuarios han hecho desde que el proyecto se lanzó por primera vez bajo una licencia de código abierto en 2019. Las preguntas se almacenan en dos colecciones, una para Milvus 1.x y anteriores y otra para Milvus 2.0.</p>
<p>Actualmente MilMil solo está disponible en inglés.</p>
<h2 id="How-does-MilMil-work" class="common-anchor-header">¿Cómo funciona MilMil?<button data-href="#How-does-MilMil-work" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>MilMil se basa en el modelo <em>sentence-transformers/paraphrase-mpnet-base-v2</em> para obtener representaciones vectoriales de la base de datos de preguntas frecuentes, después se utiliza Milvus para la recuperación de similitud vectorial para devolver preguntas semánticamente similares.</p>
<p>En primer lugar, los datos de las FAQ se convierten en vectores semánticos mediante BERT, un modelo de procesamiento del lenguaje natural (PLN). A continuación, los vectores se insertan en Milvus y se asigna a cada uno un identificador único. Por último, las preguntas y respuestas se insertan en PostgreSQL, una base de datos relacional, junto con sus ID vectoriales.</p>
<p>Cuando los usuarios envían una pregunta, el sistema la convierte en un vector de características mediante BERT. A continuación, busca en Milvus los cinco vectores más similares al vector de la consulta y recupera sus ID. Por último, se devuelven al usuario las preguntas y respuestas que corresponden a los ID de los vectores recuperados.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/system_process_dca67a80a6.png" alt="system-process.png" class="doc-image" id="system-process.png" />
   </span> <span class="img-wrapper"> <span>sistema-proceso.png</span> </span></p>
<p>Vea el proyecto <a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/question_answering_system">del sistema de respuesta a preguntas</a> en el Milvus bootcamp para explorar el código utilizado para construir chatbots de IA.</p>
<h2 id="Ask-MilMil-about-Milvus" class="common-anchor-header">Pregunte a MilMil sobre Milvus<button data-href="#Ask-MilMil-about-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Para chatear con MilMil, vaya a cualquier página de <a href="https://milvus.io/">Milvus.io</a> y haga clic en el icono del pájaro de la esquina inferior derecha. Escriba su pregunta en el cuadro de entrada de texto y pulse enviar. MilMil le responderá en milisegundos. Además, la lista desplegable de la esquina superior izquierda puede utilizarse para cambiar entre la documentación técnica de las distintas versiones de Milvus.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/milvus_chatbot_icon_f3c25708ca.png" alt="milvus-chatbot-icon.png" class="doc-image" id="milvus-chatbot-icon.png" />
   </span> <span class="img-wrapper"> <span>milvus-chatbot-icon.png</span> </span></p>
<p>Después de enviar una pregunta, el bot devuelve inmediatamente tres preguntas que son semánticamente similares a la pregunta de consulta. Puede hacer clic en "Ver respuesta" para examinar las posibles respuestas a su pregunta, o en "Ver más" para ver más preguntas relacionadas con su búsqueda. Si no encuentra una respuesta adecuada, haga clic en "Escriba aquí sus comentarios" para formular su pregunta junto con una dirección de correo electrónico. ¡La ayuda de la comunidad Milvus llegará en breve!</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/chatbot_UI_0f4a7655d4.png" alt="chatbot_UI.png" class="doc-image" id="chatbot_ui.png" />
   </span> <span class="img-wrapper"> <span>chatbot_UI.png</span> </span></p>
<p>Pruebe MilMil y díganos qué le parece. Todas las preguntas, comentarios o cualquier forma de feedback son bienvenidos.</p>
<h2 id="Dont-be-a-stranger" class="common-anchor-header">No seas un extraño<button data-href="#Dont-be-a-stranger" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li>Encuentra o contribuye a Milvus en <a href="https://github.com/milvus-io/milvus/">GitHub</a>.</li>
<li>Interactúa con la comunidad a través de <a href="https://join.slack.com/t/milvusio/shared_invite/zt-e0u4qu3k-bI2GDNys3ZqX1YCJ9OM~GQ">Slack</a>.</li>
<li>Conéctese con nosotros en <a href="https://twitter.com/milvusio">Twitter</a>.</li>
</ul>


MilMil Un chatbot de preguntas frecuentes impulsado por Milvus que responde a preguntas sobre Milvus

<custom-h1>Pruebe e implante rápidamente soluciones de búsqueda vectorial con el Milvus 2.0 Bootcamp</custom-h1><p>Con el lanzamiento de Milvus 2.0, el equipo ha renovado el Milvus <a href="https://github.com/milvus-io/bootcamp">bootcamp</a>. El nuevo y mejorado bootcamp ofrece guías actualizadas y ejemplos de código más fáciles de seguir para una variedad de casos de uso e implementaciones. Además, esta nueva versión está actualizada para <a href="https://milvus.io/blog/milvus2.0-redefining-vector-database.md">Milvus 2.0</a>, una versión reimaginada de la base de datos vectorial más avanzada del mundo.</p>
<h3 id="Stress-test-your-system-against-1M-and-100M-dataset-benchmarks" class="common-anchor-header">Pruebas de estrés de su sistema con conjuntos de datos de referencia de 1M y 100M</h3><p>El <a href="https://github.com/milvus-io/bootcamp/tree/master/benchmark_test">directorio de pruebas comparativas</a> contiene pruebas comparativas de vectores de 1 millón y 100 millones que indican cómo reaccionará su sistema ante conjuntos de datos de diferentes tamaños.</p>
<p><br/></p>
<h3 id="Explore-and-build-popular-vector-similarity-search-solutions" class="common-anchor-header">Explore y cree soluciones populares de búsqueda de similitud vectorial</h3><p>El <a href="https://github.com/milvus-io/bootcamp/tree/master/solutions">directorio de soluciones</a> incluye los casos de uso más populares de búsqueda de similitud vectorial. Cada caso de uso contiene una solución de bloc de notas y una solución desplegable en Docker. Los casos de uso incluyen:</p>
<ul>
<li><a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/reverse_image_search">Búsqueda de similitud de imágenes</a></li>
<li><a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/video_similarity_search">Búsqueda de similitudes en vídeo</a></li>
<li><a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/audio_similarity_search">Búsqueda de similitudes de audio</a></li>
<li><a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/recommendation_system">Sistema de recomendación</a></li>
<li><a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/molecular_similarity_search">Búsqueda molecular</a></li>
<li><a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/question_answering_system">Sistema de respuesta a preguntas</a></li>
</ul>
<p><br/></p>
<h3 id="Quickly-deploy-a-fully-built-application-on-any-system" class="common-anchor-header">Despliegue rápido de aplicaciones completas en cualquier sistema</h3><p>Las soluciones de despliegue rápido son soluciones dockerizadas que permiten a los usuarios desplegar aplicaciones completamente construidas en cualquier sistema. Estas soluciones son ideales para demostraciones breves, pero requieren un trabajo adicional de personalización y comprensión en comparación con los blocs de notas.</p>
<p><br/></p>
<h3 id="Use-scenario-specific-notebooks-to-easily-deploy-pre-configured-applications" class="common-anchor-header">Utilice cuadernos de escenarios específicos para desplegar fácilmente aplicaciones preconfiguradas.</h3><p>Los cuadernos contienen un ejemplo sencillo de despliegue de Milvus para resolver el problema en un caso de uso determinado. Cada uno de los ejemplos puede ejecutarse de principio a fin sin necesidad de gestionar archivos o configuraciones. Además, cada cuaderno es fácil de seguir y modificable, lo que los convierte en archivos base ideales para otros proyectos.</p>
<p><br/></p>
<h3 id="Image-similarity-search-notebook-example" class="common-anchor-header">Ejemplo de cuaderno de búsqueda de similitud de imágenes</h3><p>La búsqueda por similitud de imágenes es una de las ideas centrales que subyacen a muchas tecnologías diferentes, incluidos los coches autónomos que reconocen objetos. Este ejemplo explica cómo construir fácilmente programas de visión por ordenador con Milvus.</p>
<p>Este cuaderno gira en torno a tres cosas:</p>
<ul>
<li>Servidor Milvus</li>
<li>Servidor Redis (para almacenamiento de metadatos)</li>
<li>Modelo preentrenado Resnet-18.</li>
</ul>
<h4 id="Step-1-Download-required-packages" class="common-anchor-header">Paso 1: Descargar los paquetes necesarios</h4><p>Comience descargando todos los paquetes necesarios para este proyecto. Este cuaderno incluye una tabla con la lista de paquetes a utilizar.</p>
<pre><code translate="no">pip install -r requirements.txt
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-2-Server-startup" class="common-anchor-header">Paso 2: Arranque del servidor</h4><p>Una vez instalados los paquetes, inicie los servidores y asegúrese de que ambos funcionan correctamente. Asegúrese de seguir las instrucciones correctas para iniciar los servidores <a href="https://milvus.io/docs/v2.0.x/install_standalone-docker.md">Milvus</a> y <a href="https://hub.docker.com/_/redis">Redis</a>.</p>
<h4 id="Step-3-Download-project-data" class="common-anchor-header">Paso 3: Descargar datos del proyecto</h4><p>Por defecto, este cuaderno extrae un fragmento de los datos de VOCImage para utilizarlo como ejemplo, pero cualquier directorio con imágenes debería funcionar siempre que siga la estructura de archivos que puede verse en la parte superior del cuaderno.</p>
<pre><code translate="no">! gdown <span class="hljs-string">&quot;https://drive.google.com/u/1/uc?id=1jdudBiUu41kL-U5lhH3ari_WBRXyedWo&amp;export=download&quot;</span>
! tar -xf <span class="hljs-string">&#x27;VOCdevkit.zip&#x27;</span>
! <span class="hljs-built_in">rm</span> <span class="hljs-string">&#x27;VOCdevkit.zip&#x27;</span>
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-4-Connect-to-the-servers" class="common-anchor-header">Paso 4: Conectarse a los servidores</h4><p>En este ejemplo, los servidores se ejecutan en los puertos por defecto en el localhost.</p>
<pre><code translate="no">connections.<span class="hljs-title function_">connect</span>(host=<span class="hljs-string">&quot;127.0.0.1&quot;</span>, port=<span class="hljs-number">19537</span>)
red = redis.<span class="hljs-title class_">Redis</span>(host = <span class="hljs-string">&#x27;127.0.0.1&#x27;</span>, port=<span class="hljs-number">6379</span>, db=<span class="hljs-number">0</span>)
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-5-Create-a-collection" class="common-anchor-header">Paso 5: Crear una colección</h4><p>Después de iniciar los servidores, cree una colección en Milvus para almacenar todos los vectores. En este ejemplo, el tamaño de dimensión se establece en 512, el tamaño de la salida de resnet-18, y la métrica de similitud se establece en la distancia euclidiana (L2). Milvus soporta una variedad de <a href="https://milvus.io/docs/v2.0.x/metric.md">métricas de similitud</a> diferentes.</p>
<pre><code translate="no">collection_name = <span class="hljs-string">&quot;image_similarity_search&quot;</span>
dim = <span class="hljs-number">512</span>
default_fields = [
    schema.FieldSchema(name=<span class="hljs-string">&quot;id&quot;</span>, dtype=DataType.INT64, is_primary=<span class="hljs-literal">True</span>, auto_id=<span class="hljs-literal">True</span>),
    schema.FieldSchema(name=<span class="hljs-string">&quot;vector&quot;</span>, dtype=DataType.FLOAT_VECTOR, dim=dim)
]
default_schema = schema.CollectionSchema(fields=default_fields, description=<span class="hljs-string">&quot;Image test collection&quot;</span>)
collection = Collection(name=collection_name, schema=default_schema)
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-6-Build-an-index-for-the-collection" class="common-anchor-header">Paso 6: Construir un índice para la colección</h4><p>Una vez hecha la colección, construya un índice para ella. En este caso, se utiliza el índice IVF_SQ8. Este índice requiere el parámetro 'nlist', que le dice a Milvus cuántos clusters hacer dentro de cada archivo de datos (segmento). Diferentes <a href="https://milvus.io/docs/v2.0.x/index.md">índices</a> requieren diferentes parámetros.</p>
<pre><code translate="no">default_index = {<span class="hljs-string">&quot;index_type&quot;</span>: <span class="hljs-string">&quot;IVF_SQ8&quot;</span>, <span class="hljs-string">&quot;params&quot;</span>: {<span class="hljs-string">&quot;nlist&quot;</span>: <span class="hljs-number">2048</span>}, <span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&quot;L2&quot;</span>}
collection.<span class="hljs-title function_">create_index</span>(field_name=<span class="hljs-string">&quot;vector&quot;</span>, index_params=default_index)
collection.<span class="hljs-title function_">load</span>()
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-7-Set-up-model-and-data-loader" class="common-anchor-header">Paso 7: Configurar el modelo y el cargador de datos</h4><p>Una vez construido el índice IVF_SQ8, configure la red neuronal y el cargador de datos. La red neuronal preentrenada pytorch resnet-18 utilizada en este ejemplo carece de su última capa, que comprime los vectores para la clasificación y puede perder información valiosa.</p>
<pre><code translate="no">model = torch.hub.load(<span class="hljs-string">&#x27;pytorch/vision:v0.9.0&#x27;</span>, <span class="hljs-string">&#x27;resnet18&#x27;</span>, pretrained=<span class="hljs-literal">True</span>)
encoder = torch.nn.Sequential(*(<span class="hljs-built_in">list</span>(model.children())[:-<span class="hljs-number">1</span>]))
<button class="copy-code-btn"></button></code></pre>
<p>Es necesario modificar el conjunto de datos y el cargador de datos para que sean capaces de preprocesar y procesar por lotes las imágenes y, al mismo tiempo, proporcionar las rutas de los archivos de las imágenes. Esto puede hacerse con un cargador de datos Torchvision ligeramente modificado. Para el preprocesamiento, las imágenes deben ser recortadas y normalizadas debido a que el modelo resnet-18 ha sido entrenado en un tamaño y rango de valores específicos.</p>
<pre><code translate="no">dataset = ImageFolderWithPaths(data_dir, transform=transforms.Compose([
                                                transforms.Resize(256),
                                                transforms.CenterCrop(224),
                                                transforms.ToTensor(),
                                                transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])]))

dataloader = torch.utils.data.DataLoader(dataset, num_workers=0, batch_si
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-8-Insert-vectors-into-the-collection" class="common-anchor-header">Paso 8: Insertar vectores en la colección</h4><p>Una vez configurada la colección, las imágenes pueden procesarse y cargarse en la colección creada. En primer lugar, el cargador de datos extrae las imágenes y las ejecuta a través del modelo resnet-18. Los vectores resultantes se incrustan en la colección. Los vectores resultantes se insertan en Milvus, que devuelve un ID único para cada vector. A continuación, los ID de los vectores y las rutas de los archivos de imagen se insertan como pares clave-valor en el servidor Redis.</p>
<pre><code translate="no">steps = <span class="hljs-built_in">len</span>(dataloader)
step = <span class="hljs-number">0</span>
<span class="hljs-keyword">for</span> inputs, labels, paths <span class="hljs-keyword">in</span> dataloader:
    <span class="hljs-keyword">with</span> torch.no_grad():
        output = encoder(inputs).squeeze()
        output = output.numpy()

    mr = collection.insert([output.tolist()])
    ids = mr.primary_keys
    <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-built_in">len</span>(ids)):
        red.<span class="hljs-built_in">set</span>(<span class="hljs-built_in">str</span>(ids[x]), paths[x])
    <span class="hljs-keyword">if</span> step%<span class="hljs-number">5</span> == <span class="hljs-number">0</span>:
        <span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Insert Step: &quot;</span> + <span class="hljs-built_in">str</span>(step) + <span class="hljs-string">&quot;/&quot;</span> + <span class="hljs-built_in">str</span>(steps))
    step += <span class="hljs-number">1</span>
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-9-Conduct-a-vector-similarity-search" class="common-anchor-header">Paso 9: Realizar una búsqueda de similitud de vectores</h4><p>Una vez insertados todos los datos en Milvus y Redis, se puede realizar la búsqueda de similitud de vectores. En este ejemplo, se extraen del servidor Redis tres imágenes seleccionadas al azar para realizar una búsqueda de similitud vectorial.</p>
<pre><code translate="no">random_ids = [<span class="hljs-built_in">int</span>(red.randomkey()) <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-number">3</span>)]
search_images = [x.decode(<span class="hljs-string">&quot;utf-8&quot;</span>) <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> red.mget(random_ids)]
<button class="copy-code-btn"></button></code></pre>
<p>Estas imágenes pasan primero por el mismo preprocesamiento que se encuentra en el Paso 7 y luego son empujadas a través del modelo resnet-18.</p>
<pre><code translate="no">transform_ops = transforms.Compose([
                transforms.Resize(<span class="hljs-number">256</span>),
                transforms.CenterCrop(<span class="hljs-number">224</span>),
                transforms.ToTensor(),
                transforms.Normalize(mean=[<span class="hljs-number">0.485</span>, <span class="hljs-number">0.456</span>, <span class="hljs-number">0.406</span>], std=[<span class="hljs-number">0.229</span>, <span class="hljs-number">0.224</span>, <span class="hljs-number">0.225</span>])])

embeddings = [transform_ops(Image.<span class="hljs-built_in">open</span>(x)) <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> search_images]
embeddings = torch.stack(embeddings, dim=<span class="hljs-number">0</span>)

<span class="hljs-keyword">with</span> torch.no_grad():
    embeddings = encoder(embeddings).squeeze().numpy()
<button class="copy-code-btn"></button></code></pre>
<p>A continuación, las incrustaciones vectoriales resultantes se utilizan para realizar una búsqueda. Primero, establezca los parámetros de búsqueda, incluyendo el nombre de la colección a buscar, nprobe (el número de clusters a buscar), y top_k (el número de vectores devueltos). En este ejemplo, la búsqueda debería ser muy rápida.</p>
<pre><code translate="no">search_params = {<span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&quot;L2&quot;</span>, <span class="hljs-string">&quot;params&quot;</span>: {<span class="hljs-string">&quot;nprobe&quot;</span>: 32}}
start = time.time()
results = collection.search(embeddings, <span class="hljs-string">&quot;vector&quot;</span>, param=search_params, <span class="hljs-built_in">limit</span>=3, <span class="hljs-built_in">expr</span>=None)
end = time.time() - start
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-10-Image-search-results" class="common-anchor-header">Paso 10: Resultados de la búsqueda de imágenes</h4><p>Los ID de los vectores devueltos por las consultas se utilizan para encontrar las imágenes correspondientes. A continuación, se utiliza Matplotlib para mostrar los resultados de la búsqueda de imágenes.<br/></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/pic1_c8652c7fae.png" alt="pic1.png" class="doc-image" id="pic1.png" />
   </span> <span class="img-wrapper"> <span>pic1.png</span> </span> <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/pic2_355b054161.png" alt="pic2.png" class="doc-image" id="pic2.png" /><span>pic2.png</span> </span> <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/pic3_01780c6aac.png" alt="pic3.png" class="doc-image" id="pic3.png" /><span>pic3.png</span> </span></p>
<p><br/></p>
<h3 id="Learn-how-to-deploy-Milvus-in-different-enviroments" class="common-anchor-header">Aprenda a desplegar Milvus en diferentes entornos</h3><p>La <a href="https://github.com/milvus-io/bootcamp/tree/master/deployments">sección de despliegue</a> del nuevo bootcamp contiene toda la información para utilizar Milvus en diferentes entornos y configuraciones. Incluye el despliegue de Mishards, el uso de Kubernetes con Milvus, el balanceo de carga y más. Cada entorno tiene una guía detallada paso a paso que explica cómo hacer que Milvus funcione en él.</p>
<p><br/></p>
<h3 id="Dont-be-a-stranger" class="common-anchor-header">No sea un extraño</h3><ul>
<li>Lee nuestro <a href="https://zilliz.com/blog">blog</a>.</li>
<li>Interactúe con nuestra comunidad de código abierto en <a href="https://join.slack.com/t/milvusio/shared_invite/zt-e0u4qu3k-bI2GDNys3ZqX1YCJ9OM~GQ">Slack</a>.</li>
<li>Utilice o contribuya a Milvus, la base de datos vectorial más popular del mundo, en <a href="https://github.com/milvus-io/milvus">Github</a>.</li>
</ul>


Pruebe e implante rápidamente soluciones de búsqueda vectorial con el Milvus 2.0 Bootcamp

<custom-h1>Creación de una aplicación de planificación de vestuario y atuendos con Milvus</custom-h1><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/stylepedia_1_5f239a8d48.png" alt="stylepedia-1.png" class="doc-image" id="stylepedia-1.png" />
   </span> <span class="img-wrapper"> <span>stylepedia-1.png</span> </span></p>
<p>Fundada en 2003, <a href="http://www.mozat.com/home">Mozat</a> es una empresa emergente con sede en Singapur y oficinas en China y Arabia Saudí. La empresa está especializada en la creación de aplicaciones para redes sociales, comunicación y estilo de vida. <a href="https://stylepedia.com/">Stylepedia</a> es una aplicación de vestuario creada por Mozat que ayuda a los usuarios a descubrir nuevos estilos y a conectar con otros apasionados de la moda. Sus principales características son la posibilidad de crear un armario digital, recomendaciones de estilo personalizadas, funciones de redes sociales y una herramienta de búsqueda de imágenes para encontrar artículos similares a los que se ven en Internet o en la vida real.</p>
<p>El sistema de búsqueda de imágenes de Stylepedia se basa en<a href="https://milvus.io">Milvus</a>. La aplicación maneja tres tipos de imágenes: imágenes de usuario, imágenes de producto y fotografías de moda. Cada imagen puede incluir uno o más elementos, lo que complica aún más cada consulta. Para ser útil, un sistema de búsqueda de imágenes debe ser preciso, rápido y estable, características que sientan una sólida base técnica para añadir nuevas funcionalidades a la aplicación, como sugerencias de atuendos y recomendaciones de contenidos de moda.</p>
<h2 id="System-overview" class="common-anchor-header">Visión general del sistema<button data-href="#System-overview" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/stylepedia_system_process_8e7e2ab3e4.png" alt="stylepedia-system-process.png" class="doc-image" id="stylepedia-system-process.png" />
   </span> <span class="img-wrapper"> <span>stylepedia-sistema-proceso.png</span> </span></p>
<p>El sistema de búsqueda de imágenes se divide en componentes offline y online.</p>
<p>Fuera de línea, las imágenes se vectorizan y se insertan en una base de datos vectorial (Milvus). En el flujo de trabajo de datos, las imágenes de productos y fotografías de moda relevantes se convierten en vectores de características de 512 dimensiones mediante modelos de detección de objetos y extracción de características. A continuación, los datos vectoriales se indexan y se añaden a la base de datos vectorial.</p>
<p>En línea, se consulta la base de datos de imágenes y se devuelven al usuario imágenes similares. Al igual que en el componente fuera de línea, una imagen consultada se procesa mediante modelos de detección de objetos y extracción de características para obtener un vector de características. A partir del vector de características, Milvus busca vectores similares TopK y obtiene sus correspondientes ID de imagen. Por último, tras el posprocesamiento (filtrado, clasificación, etc.), se obtiene una colección de imágenes similares a la imagen de consulta.</p>
<h2 id="Implementation" class="common-anchor-header">Implementación<button data-href="#Implementation" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>La aplicación se divide en cuatro módulos:</p>
<ol>
<li>Detección de prendas</li>
<li>Extracción de características</li>
<li>Búsqueda de vectores de similitud</li>
<li>Tratamiento posterior</li>
</ol>
<h3 id="Garment-detection" class="common-anchor-header">Detección de prendas</h3><p>En el módulo de detección de prendas, se utiliza <a href="https://pytorch.org/hub/ultralytics_yolov5/">YOLOv5</a>, un marco de detección de objetivos de una etapa basado en anclajes, como modelo de detección de objetos por su pequeño tamaño y su inferencia en tiempo real. Ofrece cuatro tamaños de modelo (YOLOv5s/m/l/x), y cada tamaño específico tiene pros y contras. Los modelos más grandes ofrecen mejores resultados (mayor precisión), pero requieren mucha más potencia de cálculo y son más lentos. Como en este caso los objetos son relativamente grandes y fáciles de detectar, basta con el modelo más pequeño, YOLOv5s.</p>
<p>Las prendas de ropa de cada imagen se reconocen y recortan para que sirvan como entradas del modelo de extracción de características utilizado en el procesamiento posterior. Simultáneamente, el modelo de detección de objetos también predice la clasificación de las prendas según clases predefinidas (tops, prendas exteriores, pantalones, faldas, vestidos y peleles).</p>
<h3 id="Feature-extraction" class="common-anchor-header">Extracción de características</h3><p>La clave de la búsqueda de similitudes es el modelo de extracción de características. Las imágenes de prendas recortadas se incrustan en vectores de coma flotante de 512 dimensiones que representan sus atributos en un formato de datos numéricos legibles por máquina. Se adopta la metodología de <a href="https://github.com/Joon-Park92/Survey_of_Deep_Metric_Learning">aprendizaje métrico profundo (DML</a> ) con <a href="https://arxiv.org/abs/1905.11946">EfficientNet</a> como modelo troncal.</p>
<p>El aprendizaje métrico tiene como objetivo entrenar un módulo de extracción de características no lineal basado en CNN (o un codificador) para reducir la distancia entre los vectores de características correspondientes a la misma clase de muestras, y aumentar la distancia entre los vectores de características correspondientes a diferentes clases de muestras. En este escenario, la misma clase de muestras se refiere a la misma prenda de ropa.</p>
<p>EfficientNet tiene en cuenta tanto la velocidad como la precisión a la hora de escalar uniformemente la anchura, la profundidad y la resolución de la red. EfficientNet-B4 se utiliza como red de extracción de características, y la salida de la última capa totalmente conectada son las características de imagen necesarias para realizar la búsqueda de similitud vectorial.</p>
<h3 id="Vector-similarity-search" class="common-anchor-header">Búsqueda de similitudes vectoriales</h3><p>Milvus es una base de datos vectorial de código abierto que admite operaciones de creación, lectura, actualización y eliminación (CRUD), así como búsquedas casi en tiempo real en conjuntos de datos de billones de bytes. En Stylepedia, se utiliza para la búsqueda de similitudes vectoriales a gran escala porque es altamente elástica, estable, fiable y rapidísima. Milvus amplía las capacidades de bibliotecas de índices vectoriales ampliamente utilizadas (Faiss, NMSLIB, Annoy, etc.) y proporciona un conjunto de API sencillas e intuitivas que permiten a los usuarios seleccionar el tipo de índice ideal para un escenario determinado.</p>
<p>Dados los requisitos del escenario y la escala de los datos, los desarrolladores de Stylepedia utilizaron la distribución de Milvus sólo para CPU emparejada con el índice HNSW. Se han creado dos colecciones indexadas, una para productos y otra para fotografías de moda, para alimentar diferentes funcionalidades de la aplicación. Cada colección se divide a su vez en seis particiones basadas en los resultados de detección y clasificación para reducir el alcance de la búsqueda. Milvus realiza búsquedas en decenas de millones de vectores en milisegundos, proporcionando un rendimiento óptimo al tiempo que mantiene bajos los costes de desarrollo y minimiza el consumo de recursos.</p>
<h3 id="Post-processing" class="common-anchor-header">Postprocesamiento</h3><p>Para mejorar la similitud entre los resultados de la recuperación de imágenes y la imagen de consulta, utilizamos el filtrado por colores y el filtrado por etiquetas clave (longitud de las mangas, longitud de la ropa, estilo del cuello, etc.) para filtrar las imágenes no aptas. Además, se utiliza un algoritmo de evaluación de la calidad de la imagen para asegurarse de que las imágenes de mayor calidad se presentan primero a los usuarios.</p>
<h2 id="Application" class="common-anchor-header">Aplicación<button data-href="#Application" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="User-uploads-and-image-search" class="common-anchor-header">Subida de imágenes por el usuario y búsqueda</h3><p>Los usuarios pueden hacer fotos de su propia ropa y subirlas a su armario digital de Stylepedia para, a continuación, recuperar las imágenes de productos más parecidas a las que han subido.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/stylepedia_search_results_0568e20dc0.png" alt="stylepedia-search-results.png" class="doc-image" id="stylepedia-search-results.png" />
   </span> <span class="img-wrapper"> <span>stylepedia-búsqueda-resultados.png</span> </span></p>
<h3 id="Outfit-suggestions" class="common-anchor-header">Sugerencias de conjuntos</h3><p>Al realizar una búsqueda de similitudes en la base de datos de Stylepedia, los usuarios pueden encontrar fotografías de moda que contengan un artículo de moda específico. Puede tratarse de una prenda nueva que alguien esté pensando en comprar o de algo de su propia colección que podría llevarse o combinarse de forma diferente. A continuación, mediante la agrupación de las prendas con las que suele combinarse, se generan sugerencias de conjuntos. Por ejemplo, una chaqueta negra de motorista puede combinar con una gran variedad de prendas, como unos vaqueros pitillo negros. A continuación, los usuarios pueden consultar fotografías de moda relevantes en las que se produzca esta combinación en la fórmula seleccionada.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/stylepedia_jacket_outfit_e84914da9e.png" alt="stylepedia-jacket-outfit.png" class="doc-image" id="stylepedia-jacket-outfit.png" />
   </span> <span class="img-wrapper"> <span>stylepedia-chaqueta-outfit.png</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/stylepedia_jacket_snapshot_25f53cc09b.png" alt="stylepedia-jacket-snapshot.png" class="doc-image" id="stylepedia-jacket-snapshot.png" />
   </span> <span class="img-wrapper"> <span>stylepedia-chaqueta-snapshot.png</span> </span></p>
<h3 id="Fashion-photograph-recommendations" class="common-anchor-header">Recomendaciones de fotografías de moda</h3><p>Basándose en el historial de navegación de un usuario, sus gustos y el contenido de su armario digital, el sistema calcula la similitud y ofrece recomendaciones personalizadas de fotografías de moda que pueden ser de su interés.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/stylepedia_user_wardrobe_6770c856b9.png" alt="stylepedia-user-wardrobe.png" class="doc-image" id="stylepedia-user-wardrobe.png" />
   </span> <span class="img-wrapper"> <span>stylepedia-usuario-armario.png</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/stylepedia_streetsnap_rec_901601a34d.png" alt="stylepedia-streetsnap-rec.png" class="doc-image" id="stylepedia-streetsnap-rec.png" />
   </span> <span class="img-wrapper"> <span>stylepedia-streetsnap-rec.png</span> </span></p>
<p>Mediante la combinación de metodologías de aprendizaje profundo y visión por ordenador, Mozat fue capaz de construir un sistema de búsqueda de similitud de imágenes rápido, estable y preciso utilizando Milvus para potenciar varias funciones de la app Stylepedia.</p>
<h2 id="Dont-be-a-stranger" class="common-anchor-header">No sea un extraño<button data-href="#Dont-be-a-stranger" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li>Encuentre o contribuya a Milvus en <a href="https://github.com/milvus-io/milvus/">GitHub</a>.</li>
<li>Interactúe con la comunidad a través de <a href="https://join.slack.com/t/milvusio/shared_invite/zt-e0u4qu3k-bI2GDNys3ZqX1YCJ9OM~GQ">Slack</a>.</li>
<li>Conéctese con nosotros en <a href="https://twitter.com/milvusio">Twitter</a>.</li>
</ul>


Visión general del sistema

<custom-h1>Creación de un clúster Milvus basado en JuiceFS</custom-h1><p>Las colaboraciones entre comunidades de código abierto son algo mágico. Los voluntarios apasionados, inteligentes y creativos no sólo mantienen innovadoras las soluciones de código abierto, sino que también trabajan para unir diferentes herramientas de formas interesantes y útiles. <a href="https://milvus.io/">Milvus</a>, la base de datos vectorial más popular del mundo, y <a href="https://github.com/juicedata/juicefs">JuiceFS</a>, un sistema de archivos compartido diseñado para entornos nativos en la nube, fueron unidos con este espíritu por sus respectivas comunidades de código abierto. Este artículo explica qué es JuiceFS, cómo construir un clúster Milvus basado en el almacenamiento de archivos compartidos JuiceFS y el rendimiento que los usuarios pueden esperar utilizando esta solución.</p>
<h2 id="What-is-JuiceFS" class="common-anchor-header"><strong>¿Qué es JuiceFS?</strong><button data-href="#What-is-JuiceFS" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>JuiceFS es un sistema de archivos POSIX distribuido de código abierto y alto rendimiento, que puede construirse sobre Redis y S3. Fue diseñado para entornos nativos de la nube y admite la gestión, el análisis, el archivo y la copia de seguridad de datos de cualquier tipo. JuiceFS se utiliza habitualmente para resolver retos de big data, crear aplicaciones de inteligencia artificial (IA) y recopilar registros. El sistema también permite compartir datos entre varios clientes y puede utilizarse directamente como almacenamiento compartido en Milvus.</p>
<p>Después de que los datos, y sus metadatos correspondientes, persistan en el almacenamiento de objetos y <a href="https://redis.io/">Redis</a> respectivamente, JuiceFS sirve como un middleware sin estado. La compartición de datos se realiza permitiendo que diferentes aplicaciones se acoplen entre sí sin problemas a través de una interfaz de sistema de archivos estándar. JuiceFS se basa en Redis, un almacén de datos en memoria de código abierto, para el almacenamiento de metadatos. Se utiliza Redis porque garantiza la atomicidad y proporciona operaciones de metadatos de alto rendimiento. Todos los datos se almacenan en un almacén de objetos a través del cliente JuiceFS. El diagrama de arquitectura es el siguiente</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/juicefs_architecture_2023b37a4e.png" alt="juicefs-architecture.png" class="doc-image" id="juicefs-architecture.png" />
   </span> <span class="img-wrapper"> <span>juicefs-arquitectura.png</span> </span></p>
<h2 id="Build-a-Milvus-cluster-based-on-JuiceFS" class="common-anchor-header"><strong>Construir un cluster Milvus basado en JuiceFS</strong><button data-href="#Build-a-Milvus-cluster-based-on-JuiceFS" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Un clúster Milvus construido con JuiceFS (véase el diagrama de arquitectura más abajo) funciona dividiendo las peticiones ascendentes utilizando Mishards, un middleware de fragmentación de clústeres, para enviar en cascada las peticiones a sus submódulos. Al insertar datos, Mishards asigna las solicitudes ascendentes al nodo de escritura Milvus, que almacena los datos recién insertados en JuiceFS. Al leer datos, Mishards carga los datos desde JuiceFS a través de un nodo de lectura Milvus a la memoria para su procesamiento y, a continuación, recoge y devuelve los resultados de los sub-servicios aguas arriba.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/milvus_cluster_built_with_juicefs_3a43cd262c.png" alt="milvus-cluster-built-with-juicefs.png" class="doc-image" id="milvus-cluster-built-with-juicefs.png" />
   </span> <span class="img-wrapper"> <span>milvus-cluster-construido-con-juicefs.png</span> </span></p>
<h3 id="Step-1-Launch-MySQL-service" class="common-anchor-header"><strong>Paso 1: Iniciar el servicio MySQL</strong></h3><p>Inicie el servicio MySQL en <strong>cualquier</strong> nodo del cluster. Para obtener más información, consulte <a href="https://milvus.io/docs/v1.1.0/data_manage.md">Gestionar metadatos con MySQL</a>.</p>
<h3 id="Step-2-Create-a-JuiceFS-file-system" class="common-anchor-header"><strong>Paso 2: Crear un sistema de archivos JuiceFS</strong></h3><p>Para fines de demostración, se utiliza el programa binario precompilado JuiceFS. Descargue el <a href="https://github.com/juicedata/juicefs/releases">paquete de instalación</a> correcto para su sistema y siga la <a href="https://github.com/juicedata/juicefs-quickstart">Guía de inicio rápido de</a> JuiceFS para obtener instrucciones de instalación detalladas. Para crear un sistema de archivos JuiceFS, primero configure una base de datos Redis para el almacenamiento de metadatos. Se recomienda alojar el servicio Redis en la misma nube que la aplicación para las implantaciones en nubes públicas. Además, configure el almacenamiento de objetos para JuiceFS. En este ejemplo, se utiliza Azure Blob Storage; sin embargo, JuiceFS admite casi todos los servicios de objetos. Seleccione el servicio de almacenamiento de objetos que mejor se adapte a las exigencias de su escenario.</p>
<p>Después de configurar el servicio Redis y el almacenamiento de objetos, formatea un nuevo sistema de archivos y monta JuiceFS en el directorio local:</p>
<pre><code translate="no">1 $  <span class="hljs-built_in">export</span> AZURE_STORAGE_CONNECTION_STRING=<span class="hljs-string">&quot;DefaultEndpointsProtocol=https;AccountName=XXX;AccountKey=XXX;EndpointSuffix=core.windows.net&quot;</span>
2 $ ./juicefs format \
3     --storage wasb \
4     --bucket https://&lt;container&gt; \
5     ... \
6     localhost <span class="hljs-built_in">test</span> <span class="hljs-comment">#format</span>
7 $ ./juicefs mount -d localhost ~/jfs  <span class="hljs-comment">#mount</span>
8
<button class="copy-code-btn"></button></code></pre>
<blockquote>
<p>Si el servidor Redis no se ejecuta localmente, sustituya localhost por la siguiente dirección: <code translate="no">redis://&lt;user:password&gt;@host:6379/1</code>.</p>
</blockquote>
<p>Cuando la instalación tiene éxito, JuiceFS devuelve la página de almacenamiento compartido <strong>/root/jfs</strong>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/installation_success_9d05279ecd.png" alt="installation-success.png" class="doc-image" id="installation-success.png" />
   </span> <span class="img-wrapper"> <span>installation-success.png</span> </span></p>
<h3 id="Step-3-Start-Milvus" class="common-anchor-header"><strong>Paso 3: Iniciar Milvus</strong></h3><p>Todos los nodos del cluster deben tener Milvus instalado, y cada nodo Milvus debe estar configurado con permiso de lectura o escritura. Sólo un nodo Milvus puede configurarse como nodo de escritura, y el resto deben ser nodos de lectura. En primer lugar, configure los parámetros de las secciones <code translate="no">cluster</code> y <code translate="no">general</code> en el fichero de configuración del sistema Milvus <strong>server_config.yaml</strong>:</p>
<p><strong>Sección</strong> <code translate="no">cluster</code></p>
<table>
<thead>
<tr><th style="text-align:left"><strong>Parámetro</strong></th><th style="text-align:left"><strong>Descripción</strong></th><th style="text-align:left"><strong>Configuración</strong></th></tr>
</thead>
<tbody>
<tr><td style="text-align:left"><code translate="no">enable</code></td><td style="text-align:left">Si se habilita el modo cluster</td><td style="text-align:left"><code translate="no">true</code></td></tr>
<tr><td style="text-align:left"><code translate="no">role</code></td><td style="text-align:left">Función de despliegue de Milvus</td><td style="text-align:left"><code translate="no">rw</code>/<code translate="no">ro</code></td></tr>
</tbody>
</table>
<p><strong>Sección</strong> <code translate="no">general</code></p>
<pre><code translate="no"><span class="hljs-comment"># meta_uri is the URI for metadata storage, using MySQL (for Milvus Cluster). Format: mysql://&lt;username:password&gt;@host:port/database</span>
general:
  timezone: UTC+8
  meta_uri: mysql://root:milvusroot@host:3306/milvus
<button class="copy-code-btn"></button></code></pre>
<p>Durante la instalación, la ruta de almacenamiento compartido JuiceFS configurada se establece como <strong>/root/jfs/milvus/db</strong>.</p>
<pre><code translate="no">1 <span class="hljs-built_in">sudo</span> docker run -d --name milvus_gpu_1.0.0 --gpus all \
2 -p 19530:19530 \
3 -p 19121:19121 \
4 -v /root/jfs/milvus/db:/var/lib/milvus/db \  <span class="hljs-comment">#/root/jfs/milvus/db is the shared storage path</span>
5 -v /home/<span class="hljs-variable">$USER</span>/milvus/conf:/var/lib/milvus/conf \
6 -v /home/<span class="hljs-variable">$USER</span>/milvus/logs:/var/lib/milvus/logs \
7 -v /home/<span class="hljs-variable">$USER</span>/milvus/wal:/var/lib/milvus/wal \
8 milvusdb/milvus:1.0.0-gpu-d030521-1ea92e
9
<button class="copy-code-btn"></button></code></pre>
<p>Una vez finalizada la instalación, inicie Milvus y confirme que se ha iniciado correctamente. Por último, inicie el servicio Mishards en <strong>cualquiera</strong> de los nodos del clúster. La siguiente imagen muestra el inicio correcto de Mishards. Para más información, consulte el <a href="https://github.com/milvus-io/bootcamp/tree/new-bootcamp/deployments/juicefs">tutorial</a> de GitHub.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/mishards_launch_success_921695d3a8.png" alt="mishards-launch-success.png" class="doc-image" id="mishards-launch-success.png" />
   </span> <span class="img-wrapper"> <span>mishards-lanzamiento-éxito.png</span> </span></p>
<h2 id="Performance-benchmarks" class="common-anchor-header"><strong>Parámetros de rendimiento</strong><button data-href="#Performance-benchmarks" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Las soluciones de almacenamiento compartido suelen implementarse mediante sistemas de almacenamiento conectados a la red (NAS). Entre los tipos de sistemas NAS más utilizados se encuentran Network File System (NFS) y Server Message Block (SMB). Las plataformas de nube pública suelen ofrecer servicios de almacenamiento gestionado compatibles con estos protocolos, como Amazon Elastic File System (EFS).</p>
<p>A diferencia de los sistemas NAS tradicionales, JuiceFS se implementa basándose en Filesystem in Userspace (FUSE), donde toda la lectura y escritura de datos tiene lugar directamente en el lado de la aplicación, lo que reduce aún más la latencia de acceso. JuiceFS también cuenta con funciones exclusivas que no se encuentran en otros sistemas NAS, como la compresión de datos y el almacenamiento en caché.</p>
<p>Las pruebas comparativas revelan que JuiceFS ofrece grandes ventajas sobre EFS. En la prueba de metadatos (Figura 1), JuiceFS registra operaciones de E/S por segundo (IOPS) hasta diez veces superiores a EFS. Además, la prueba de rendimiento de E/S (Figura 2) muestra que JuiceFS supera a EFS en escenarios de una y varias tareas.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/performance_benchmark_1_b7fcbb4439.png" alt="performance-benchmark-1.png" class="doc-image" id="performance-benchmark-1.png" />
   </span> <span class="img-wrapper"> <span>performance-benchmark-1.png</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/performance_benchmark_2_e311098123.png" alt="performance-benchmark-2.png" class="doc-image" id="performance-benchmark-2.png" />
   </span> <span class="img-wrapper"> <span>rendimiento-benchmark-2.png</span> </span></p>
<p>Además, las pruebas comparativas muestran que el tiempo de recuperación de la primera consulta, o tiempo para cargar datos recién insertados del disco a la memoria, para el clúster Milvus basado en JuiceFS es de sólo 0,032 segundos de media, lo que indica que los datos se cargan del disco a la memoria casi instantáneamente. Para esta prueba, el tiempo de recuperación de la primera consulta se mide utilizando un millón de filas de datos vectoriales de 128 dimensiones insertados en lotes de 100k a intervalos de 1 a 8 segundos.</p>
<p>JuiceFS es un sistema de almacenamiento de archivos compartidos estable y fiable, y el clúster Milvus construido sobre JuiceFS ofrece tanto un alto rendimiento como una capacidad de almacenamiento flexible.</p>
<h2 id="Learn-more-about-Milvus" class="common-anchor-header"><strong>Más información sobre Milvus</strong><button data-href="#Learn-more-about-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus es una potente herramienta capaz de alimentar una amplia gama de aplicaciones de inteligencia artificial y búsqueda vectorial de similitudes. Para obtener más información sobre el proyecto, consulte los siguientes recursos:</p>
<ul>
<li>Lea nuestro <a href="https://zilliz.com/blog">blog</a>.</li>
<li>Interactúe con nuestra comunidad de código abierto en <a href="https://join.slack.com/t/milvusio/shared_invite/zt-e0u4qu3k-bI2GDNys3ZqX1YCJ9OM~GQ">Slack</a>.</li>
<li>Utilice o contribuya a la base de datos vectorial más popular del mundo en <a href="https://github.com/milvus-io/milvus/">GitHub</a>.</li>
<li>Pruebe y despliegue rápidamente aplicaciones de IA con nuestro nuevo <a href="https://github.com/milvus-io/bootcamp">bootcamp</a>.</li>
</ul>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/writer_bio_changjian_gao_68018f7716.png" alt="writer bio-changjian gao.png" class="doc-image" id="writer-bio-changjian-gao.png" />
   </span> <span class="img-wrapper"> <span>writer bio-changjian gao.png</span> </span> <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/writer_bio_jingjing_jia_a85d1c2e3b.png" alt="writer bio-jingjing jia.png" class="doc-image" id="writer-bio-jingjing-jia.png" /><span>writer bio-jingjing jia.png</span> </span></p>


¿Qué es JuiceFS?

<custom-h1>Creación de un sistema inteligente de recomendación de noticias en la aplicación Sohu News</custom-h1><p>El <a href="https://www.socialmediatoday.com/news/new-research-shows-that-71-of-americans-now-get-news-content-via-social-pl/593255/">71% de los estadounidenses</a> obtienen sus recomendaciones de noticias de las plataformas sociales, por lo que el contenido personalizado se ha convertido rápidamente en la forma de descubrir los nuevos medios. Tanto si se buscan temas específicos como si se interactúa con contenidos recomendados, todo lo que ven los usuarios se optimiza mediante algoritmos para mejorar el porcentaje de clics, la participación y la relevancia. Sohu es un grupo chino de medios de comunicación, vídeo, búsquedas y juegos en línea que cotiza en el NASDAQ. Aprovechó <a href="https://milvus.io/">Milvus</a>, una base de datos vectorial de código abierto creada por <a href="https://zilliz.com/">Zilliz</a>, para construir un motor de búsqueda semántica vectorial dentro de su aplicación de noticias. En este artículo se explica cómo la empresa utilizó los perfiles de los usuarios para afinar las recomendaciones de contenidos personalizadas a lo largo del tiempo, mejorando la experiencia y la participación de los usuarios.</p>
<h2 id="Recommending-content-using-semantic-vector-search" class="common-anchor-header">Recomendación de contenidos mediante búsqueda semántica vectorial<button data-href="#Recommending-content-using-semantic-vector-search" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Los perfiles de usuario de Sohu News se construyen a partir del historial de navegación y se ajustan a medida que los usuarios buscan contenidos de noticias e interactúan con ellos. El sistema de recomendación de Sohu utiliza la búsqueda vectorial semántica para encontrar artículos de noticias relevantes. El sistema identifica un conjunto de etiquetas que se espera sean de interés para cada usuario basándose en su historial de navegación. A continuación, busca rápidamente los artículos pertinentes y ordena los resultados por popularidad (medida por el CTR medio), antes de servirlos a los usuarios.</p>
<p>Sólo el New York Times publica <a href="https://www.theatlantic.com/technology/archive/2016/05/how-many-stories-do-newspapers-publish-per-day/483845/">230 contenidos</a> al día, lo que da una idea de la magnitud de los nuevos contenidos que debe ser capaz de procesar un sistema de recomendación eficaz. La ingestión de grandes volúmenes de noticias exige una búsqueda de similitudes en milisegundos y una correspondencia cada hora de las etiquetas con los nuevos contenidos. Sohu eligió Milvus porque procesa conjuntos de datos masivos con eficacia y precisión, reduce el uso de memoria durante la búsqueda y admite implementaciones de alto rendimiento.</p>
<h2 id="Understanding-a-news-recommendation-system-workflow" class="common-anchor-header">Comprender el flujo de trabajo de un sistema de recomendación de noticias<button data-href="#Understanding-a-news-recommendation-system-workflow" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>La recomendación de contenidos basada en la búsqueda vectorial semántica de Sohu se basa en el Modelo Semántico Estructurado Profundo (DSSM), que utiliza dos redes neuronales para representar las consultas de los usuarios y los artículos de noticias como vectores. El modelo calcula la similitud coseno de los dos vectores semánticos y, a continuación, el lote de noticias más similar se envía al grupo de candidatos a recomendación. A continuación, los artículos de noticias se clasifican en función de su CTR estimado y se muestran a los usuarios aquellos con el mayor porcentaje de clics previsto.</p>
<h3 id="Encoding-news-articles-into-semantic-vectors-with-BERT-as-service" class="common-anchor-header">Codificación de noticias en vectores semánticos con BERT-as-service</h3><p>Para codificar las noticias en vectores semánticos, el sistema utiliza la herramienta <a href="https://github.com/hanxiao/bert-as-service.git">BERT-as-service</a>. Si el número de palabras de un contenido supera las 512, se produce una pérdida de información durante el proceso de incrustación. Para evitarlo, el sistema extrae primero un resumen y lo codifica en un vector semántico de 768 dimensiones. A continuación, se extraen los dos temas más relevantes de cada noticia y se identifican los correspondientes vectores temáticos preentrenados (200 dimensiones) a partir del ID del tema. A continuación, los vectores temáticos se unen al vector semántico de 768 dimensiones extraído del resumen del artículo, formando un vector semántico de 968 dimensiones.</p>
<p>Los nuevos contenidos llegan continuamente a través de Kafta y se convierten en vectores semánticos antes de ser insertados en la base de datos Milvus.</p>
<h3 id="Extracting-semantically-similar-tags-from-user-profiles-with-BERT-as-service" class="common-anchor-header">Extracción de etiquetas semánticamente similares de perfiles de usuario con BERT-as-service</h3><p>La otra red neuronal del modelo es el vector semántico del usuario. Las etiquetas semánticamente similares (por ejemplo, coronavirus, covid, COVID-19, pandemia, nueva cepa, neumonía) se extraen de los perfiles de los usuarios en función de sus intereses, consultas de búsqueda e historial de navegación. La lista de etiquetas adquiridas se ordena por peso, y las 200 primeras se dividen en diferentes grupos semánticos. Las permutaciones de las etiquetas dentro de cada grupo semántico se utilizan para generar nuevas frases de etiquetas, que luego se codifican en vectores semánticos mediante BERT-as-service.</p>
<p>Para cada perfil de usuario, los conjuntos de frases de etiquetas tienen un <a href="https://github.com/baidu/Familia">conjunto correspondiente de temas</a> que se marcan con un peso que indica el nivel de interés del usuario. El modelo de aprendizaje automático (ML) selecciona los dos temas más relevantes y los codifica para incorporarlos al vector semántico de etiquetas correspondiente, formando un vector semántico de usuario de 968 dimensiones. Aunque el sistema genere las mismas etiquetas para distintos usuarios, las distintas ponderaciones de las etiquetas y sus temas correspondientes, así como la varianza explícita entre los vectores temáticos de cada usuario, garantizan que las recomendaciones sean únicas.</p>
<p>El sistema es capaz de hacer recomendaciones de noticias personalizadas calculando la similitud coseno de los vectores semánticos extraídos tanto de los perfiles de usuario como de los artículos de noticias.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Sohu01_1e466fe0c3.jpg" alt="Sohu01.jpg" class="doc-image" id="sohu01.jpg" />
   </span> <span class="img-wrapper"> <span>Sohu01.jpg</span> </span></p>
<h3 id="Computing-new-semantic-user-profile-vectors-and-inserting-them-to-Milvus" class="common-anchor-header">Cálculo de nuevos vectores semánticos de perfil de usuario e inserción de los mismos en Milvus</h3><p>Los vectores semánticos de los perfiles de los usuarios se calculan diariamente, con los datos del periodo de 24 horas anterior procesados la noche siguiente. Los vectores se insertan individualmente en Milvus y se someten al proceso de consulta para ofrecer a los usuarios resultados de noticias relevantes. El contenido de las noticias es intrínsecamente actual, lo que requiere que el cálculo se ejecute cada hora para generar una fuente de noticias actual que contenga contenido con un alto índice de clics previsto y que sea relevante para los usuarios. El contenido de las noticias también se clasifica en particiones por fecha, y las noticias antiguas se eliminan a diario.</p>
<h3 id="Decreasing-semantic-vector-extraction-time-from-days-to-hours" class="common-anchor-header">Reducción del tiempo de extracción de vectores semánticos de días a horas</h3><p>La recuperación de contenidos mediante vectores semánticos requiere convertir cada día decenas de millones de frases de etiquetas en vectores semánticos. Se trata de un proceso lento que tardaría días en completarse incluso cuando se ejecuta en unidades de procesamiento gráfico (GPU), que aceleran este tipo de cálculo. Para superar este problema técnico, los vectores semánticos de la incrustación anterior deben optimizarse para que, cuando aparezcan frases con etiquetas similares, se recuperen directamente los vectores semánticos correspondientes.</p>
<p>El vector semántico del conjunto existente de frases con etiquetas se almacena, y un nuevo conjunto de frases con etiquetas que se genera diariamente se codifica en vectores MinHash. La distancia de <a href="https://milvus.io/docs/v1.1.1/metric.md">Jaccard</a> se utiliza para calcular la similitud entre el vector MinHash de la nueva frase con etiqueta y el vector de frases con etiqueta guardado. Si la distancia de Jaccard supera un umbral predefinido, los dos conjuntos se consideran similares. Si se alcanza el umbral de similitud, las nuevas frases pueden aprovechar la información semántica de las incrustaciones anteriores. Las pruebas sugieren que una distancia superior a 0,8 debería garantizar una precisión suficiente para la mayoría de las situaciones.</p>
<p>Gracias a este proceso, la conversión diaria de las decenas de millones de vectores antes mencionados se reduce de días a unas dos horas. Aunque otros métodos de almacenamiento de vectores semánticos podrían ser más apropiados en función de los requisitos específicos de cada proyecto, el cálculo de la similitud entre dos frases de etiquetas mediante la distancia de Jaccard en una base de datos Milvus sigue siendo un método eficaz y preciso en una amplia variedad de escenarios.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Sohu02_d50fccc538.jpg" alt="Sohu02.jpg" class="doc-image" id="sohu02.jpg" />
   </span> <span class="img-wrapper"> <span>Sohu02.jpg</span> </span></p>
<h2 id="Overcoming-bad-cases-of-short-text-classification" class="common-anchor-header">Superar los "casos malos" de la clasificación de textos breves<button data-href="#Overcoming-bad-cases-of-short-text-classification" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>A la hora de clasificar textos de noticias, los artículos breves tienen menos características para extraer que los largos. Por este motivo, los algoritmos de clasificación fallan cuando el contenido de distintas longitudes pasa por el mismo clasificador. Milvus ayuda a resolver este problema buscando varias piezas de información de clasificación de texto largo con semántica similar y puntuaciones fiables, y utilizando después un mecanismo de votación para modificar la clasificación del texto corto.</p>
<h3 id="Identifying-and-resolving-misclassified-short-text" class="common-anchor-header">Identificación y resolución de textos cortos mal clasificados</h3><p>La clasificación precisa de cada artículo de noticias es crucial para ofrecer recomendaciones de contenido útiles. Dado que los artículos de noticias breves tienen menos características, aplicar el mismo clasificador a noticias de distinta longitud da lugar a una mayor tasa de error en la clasificación de textos breves. El etiquetado humano es demasiado lento e impreciso para esta tarea, por lo que BERT-as-service y Milvus se utilizan para identificar rápidamente los textos breves mal clasificados en lotes, reclasificarlos correctamente y, a continuación, utilizar los lotes de datos como corpus para el entrenamiento contra este problema.</p>
<p>BERT-as-service se utiliza para codificar en vectores semánticos un total de cinco millones de artículos largos de noticias con una puntuación del clasificador superior a 0,9. Tras insertar los artículos de texto largo en Milvus, las noticias de texto corto se codifican en vectores semánticos. Cada vector semántico de noticias cortas se utiliza para consultar la base de datos Milvus y obtener los 20 primeros artículos de noticias largas con la mayor similitud coseno con la noticia corta objetivo. Si 18 de las 20 noticias largas con mayor similitud semántica aparecen en la misma clasificación y ésta difiere de la de la noticia corta consultada, la clasificación de la noticia corta se considera incorrecta y debe ajustarse para alinearse con los 18 artículos de noticias largas.</p>
<p>Este proceso identifica y corrige rápidamente las clasificaciones inexactas de textos cortos. Las estadísticas de muestreo aleatorio muestran que, una vez corregidas las clasificaciones de textos cortos, la precisión global de la clasificación de textos supera el 95%. Al aprovechar la clasificación del texto largo de alta confianza para corregir la clasificación del texto corto, la mayoría de los casos de clasificación errónea se corrigen en poco tiempo. Esto también ofrece un buen corpus para entrenar un clasificador de texto corto.</p>
<p>Sohu03.jpg](https://assets.zilliz.com/Sohu03_a43074cf5f.jpg "Diagrama de flujo del descubrimiento de "casos malos" de clasificación de texto corto").</p>
<h2 id="Milvus-can-power-real-time-news-content-recommendation-and-more" class="common-anchor-header">Milvus puede potenciar la recomendación de contenidos de noticias en tiempo real y mucho más<button data-href="#Milvus-can-power-real-time-news-content-recommendation-and-more" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus ha mejorado enormemente el rendimiento en tiempo real del sistema de recomendación de noticias de Sohu y también ha reforzado la eficacia de la identificación de textos cortos mal clasificados. Si está interesado en saber más sobre Milvus y sus diversas aplicaciones:</p>
<ul>
<li>Lea nuestro <a href="https://zilliz.com/blog">blog</a>.</li>
<li>Interactúe con nuestra comunidad de código abierto en <a href="https://join.slack.com/t/milvusio/shared_invite/zt-e0u4qu3k-bI2GDNys3ZqX1YCJ9OM~GQ">Slack</a>.</li>
<li>Utilice o contribuya a la base de datos vectorial más popular del mundo en <a href="https://github.com/milvus-io/milvus/">GitHub</a>.</li>
<li>Pruebe y despliegue rápidamente aplicaciones de IA con nuestro nuevo <a href="https://github.com/milvus-io/bootcamp">bootcamp</a>.</li>
</ul>


Recomendación de contenidos mediante búsqueda semántica vectorial

<custom-h1>Acelerar la compilación 2,5 veces con la desvinculación de dependencias y la contenedorización de pruebas</custom-h1><p>El tiempo de compilación puede verse agravado por complejas dependencias internas y externas que evolucionan a lo largo del proceso de desarrollo, así como por cambios en los entornos de compilación, como el sistema operativo o las arquitecturas de hardware. A continuación se enumeran los problemas más comunes que pueden surgir al trabajar en proyectos de IA o MLOps a gran escala:</p>
<p><strong>Compilación prohibitivamente larga</strong> - La integración de código se realiza cientos de veces al día. Con cientos de miles de líneas de código, incluso un pequeño cambio podría dar lugar a una compilación completa que suele durar una o más horas.</p>
<p><strong>Entorno de compilación complejo</strong> - El código del proyecto debe compilarse en diferentes entornos, que implican diferentes sistemas operativos, como CentOS y Ubuntu, dependencias subyacentes, como GCC, LLVM y CUDA, y arquitecturas de hardware. Y la compilación en un entorno específico normalmente puede no funcionar en un entorno diferente.</p>
<p><strong>Dependencias complejas</strong> - La compilación de proyectos implica más de 30 dependencias entre componentes y de terceros. El desarrollo del proyecto a menudo conlleva cambios en las dependencias, lo que inevitablemente provoca conflictos de dependencias. El control de versiones entre dependencias es tan complejo que la actualización de la versión de las dependencias afectará fácilmente a otros componentes.</p>
<p><strong>La descarga de dependencias de terceros es lenta o falla</strong> - Los retrasos en la red o la inestabilidad de las bibliotecas de dependencias de terceros provocan descargas lentas de recursos o fallos de acceso, lo que afecta gravemente a la integración del código.</p>
<p>Al desacoplar las dependencias e implementar la contenedorización de pruebas, conseguimos reducir el tiempo medio de compilación en un 60% mientras trabajábamos en el proyecto de código abierto de búsqueda de similitudes de incrustaciones <a href="https://milvus.io/">Milvus</a>.</p>
<p><br/></p>
<h3 id="Decouple-the-dependencies-of-the-project" class="common-anchor-header">Desacoplar las dependencias del proyecto</h3><p>La compilación de proyectos suele implicar un gran número de dependencias de componentes internos y externos. Cuantas más dependencias tiene un proyecto, más complejo resulta gestionarlas. A medida que el software crece, se hace más difícil y costoso cambiar o eliminar dependencias, así como identificar los efectos de hacerlo. Es necesario un mantenimiento regular a lo largo del proceso de desarrollo para garantizar que las dependencias funcionan correctamente. Un mantenimiento deficiente, dependencias complejas o dependencias defectuosas pueden causar conflictos que ralenticen o paralicen el desarrollo. En la práctica, esto puede suponer retrasos en la descarga de recursos, fallos de acceso que repercuten negativamente en la integración del código, etc. Desacoplar las dependencias del proyecto puede mitigar los defectos y reducir el tiempo de compilación, acelerando las pruebas del sistema y evitando un lastre innecesario en el desarrollo del software.</p>
<p>Por lo tanto, recomendamos desacoplar las dependencias de su proyecto:</p>
<ul>
<li>Dividir los componentes con dependencias complejas</li>
<li>Utilizar diferentes repositorios para la gestión de versiones.</li>
<li>Utilizar archivos de configuración para gestionar la información de versiones, opciones de compilación, dependencias, etc.</li>
<li>Añada los archivos de configuración a las bibliotecas de componentes para que se actualicen a medida que el proyecto itera.</li>
</ul>
<p><strong>Optimización de la compilación entre componentes</strong> - Extraiga y compile el componente pertinente según las dependencias y las opciones de compilación registradas en los archivos de configuración. Etiquete y empaquete los resultados de la compilación binaria y los archivos de manifiesto correspondientes y, a continuación, súbalos a su repositorio privado. Si no se realiza ningún cambio en un componente o en los componentes de los que depende, reproduzca sus resultados de compilación de acuerdo con los archivos de manifiesto. Para problemas como retrasos en la red o bibliotecas de dependencias de terceros inestables, pruebe a crear un repositorio interno o a utilizar repositorios duplicados.</p>
<p>Para optimizar la compilación entre componentes</p>
<p>1.Cree un gráfico de relación de dependencia: utilice los archivos de configuración de las bibliotecas de componentes para crear un gráfico de relación de dependencia. Utilice la relación de dependencia para recuperar la información de la versión (Git Branch, Tag y Git commit ID) y las opciones de compilación y más de los componentes dependientes tanto aguas arriba como aguas abajo.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_949dffec32.png" alt="1.png" class="doc-image" id="1.png" />
   </span> <span class="img-wrapper"> <span>1.png</span> </span></p>
<p>2<strong>.Comprobación de dependencias</strong> - Genera alertas para dependencias circulares, conflictos de versión y otros problemas que surjan entre componentes.</p>
<p>3<strong>.Aplanar dependencias</strong> - Ordena las dependencias mediante la búsqueda por profundidad (DFS) y fusiona componentes con dependencias duplicadas para formar un gráfico de dependencias.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/2_45130c55e4.png" alt="2.png" class="doc-image" id="2.png" />
   </span> <span class="img-wrapper"> <span>2.png</span> </span></p>
<p>4.Utilizar el algoritmo MerkleTree para generar un hash (Root Hash) que contenga las dependencias de cada componente basándose en la información de la versión, las opciones de compilación y más. Combinado con información como el nombre del componente, el algoritmo forma una etiqueta única para cada componente.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/3_6a4fcdf4e3.png" alt="3.png" class="doc-image" id="3.png" />
   </span> <span class="img-wrapper"> <span>3.png</span> </span></p>
<p>5.Basándose en la información de la etiqueta única del componente, comprueba si existe un archivo de compilación correspondiente en el repositorio privado. Si se recupera un archivo de compilación, descomprímalo para obtener el archivo de manifiesto para la reproducción; si no, compile el componente, marque los archivos objeto de compilación generados y el archivo de manifiesto, y cárguelos en el repositorio privado.</p>
<p><br/></p>
<p><strong>Implemente optimizaciones de compilación en los componentes</strong>: elija una herramienta de caché de compilación específica del lenguaje para almacenar en caché los archivos objeto compilados, y cárguelos y almacénelos en su repositorio privado. Para la compilación de C/C++, elija una herramienta de caché de compilación como CCache para almacenar en caché los archivos intermedios de compilación de C/C++ y, a continuación, archive la caché local de CCache tras la compilación. Estas herramientas de caché de compilación simplemente almacenan en caché los archivos de código modificados uno a uno después de la compilación, y copian los componentes compilados del archivo de código no modificado para que puedan participar directamente en la compilación final. La optimización de la compilación dentro de los componentes incluye los siguientes pasos:</p>
<ol>
<li>Añadir las dependencias de compilación necesarias a Dockerfile. Utilizar Hadolint para realizar comprobaciones de conformidad en Dockerfile para garantizar que la imagen se ajusta a las mejores prácticas de Docker.</li>
<li>Duplique el entorno de compilación de acuerdo con la versión del proyecto sprint (versión + compilación), el sistema operativo y otra información.</li>
<li>Ejecute el contenedor del entorno de compilación duplicado y transfiera el ID de la imagen al contenedor como variable de entorno. He aquí un comando de ejemplo para obtener el ID de imagen: "docker inspect ' - type=image' - format '{{.ID}}' repository/build-env:v0.1-centos7".</li>
<li>Elija la herramienta de caché de compilación adecuada: Introduce tu contenedor para integrar y compilar tus códigos y comprueba en tu repositorio privado si existe una caché de compilación apropiada. En caso afirmativo, descárgala y extráela al directorio especificado. Una vez compilados todos los componentes, la caché generada por la herramienta de caché de compilación se empaqueta y se carga en su repositorio privado en función de la versión del proyecto y el ID de imagen.</li>
</ol>
<p><br/></p>
<h3 id="Further-compilation-optimization" class="common-anchor-header">Mayor optimización de la compilación</h3><p>Como nuestra compilación inicial ocupa demasiado espacio en disco y ancho de banda de red, y tarda mucho en desplegarse, tomamos las siguientes medidas:</p>
<ol>
<li>Elegir la imagen base más ligera para reducir el tamaño de la imagen, por ejemplo, alpine, busybox, etc.</li>
<li>Reducir el número de capas de la imagen. Reutilizar las dependencias en la medida de lo posible. Fusione varios comandos con "&amp;&amp;".</li>
<li>Limpie los productos intermedios durante la construcción de la imagen.</li>
<li>Utilizar la caché de imagen para construir la imagen tanto como sea posible.</li>
</ol>
<p>A medida que nuestro proyecto avanzaba, el uso de disco y de recursos de red comenzó a dispararse a medida que aumentaba la caché de compilación, mientras que algunas de las cachés de compilación estaban infrautilizadas. Entonces hicimos los siguientes ajustes:</p>
<p>Limpiar<strong>regularmente los</strong> archivos de caché - Comprobar regularmente el repositorio privado (utilizando scripts por ejemplo), y limpiar los archivos de caché que no han cambiado durante un tiempo o que no se han descargado mucho.</p>
<p><strong>Almacenamiento selectivo de compilaciones en caché</strong>: almacene en caché únicamente las compilaciones que requieran muchos recursos y omita las compilaciones que no requieran muchos recursos.</p>
<p><br/></p>
<h3 id="Leveraging-containerized-testing-to-reduce-errors-improve-stability-and-reliability" class="common-anchor-header">Aprovechamiento de las pruebas en contenedores para reducir los errores y mejorar la estabilidad y la fiabilidad</h3><p>Los códigos tienen que compilarse en diferentes entornos, que implican una variedad de sistemas operativos (por ejemplo, CentOS y Ubuntu), dependencias subyacentes (por ejemplo, GCC, LLVM y CUDA) y arquitecturas de hardware específicas. El código que se compila con éxito en un entorno específico falla en un entorno diferente. Al ejecutar las pruebas dentro de contenedores, el proceso de pruebas se vuelve más rápido y preciso.</p>
<p>La contenedorización garantiza que el entorno de pruebas sea coherente y que la aplicación funcione como se espera. El enfoque de pruebas en contenedores empaqueta las pruebas como contenedores de imágenes y crea un entorno de pruebas realmente aislado. Nuestros probadores encontraron este enfoque bastante útil, que acabó reduciendo los tiempos de compilación hasta en un 60%.</p>
<p><strong>Garantizar un entorno de compilación coherente</strong> - Como los productos compilados son sensibles a los cambios en el entorno del sistema, pueden producirse errores desconocidos en distintos sistemas operativos. Tenemos que etiquetar y archivar la caché de productos compilados en función de los cambios en el entorno de compilación, pero son difíciles de clasificar. Por ello, introdujimos la tecnología de contenedorización para unificar el entorno de compilación y resolver estos problemas.</p>
<p><br/></p>
<h3 id="Conclusion" class="common-anchor-header">Conclusión</h3><p>Mediante el análisis de las dependencias del proyecto, este artículo introduce diferentes métodos para la optimización de la compilación entre y dentro de los componentes, proporcionando ideas y mejores prácticas para construir una integración de código continua estable y eficiente. Estos métodos ayudaron a resolver la lenta integración de código causada por dependencias complejas, unificar las operaciones dentro del contenedor para asegurar la consistencia del entorno, y mejorar la eficiencia de la compilación a través de la reproducción de los resultados de la compilación y el uso de herramientas de caché de compilación para almacenar en caché los resultados intermedios de la compilación.</p>
<p>Las prácticas mencionadas han reducido el tiempo de compilación del proyecto en un 60% de media, mejorando enormemente la eficiencia global de la integración del código. En el futuro, seguiremos paralelizando la compilación entre y dentro de los componentes para reducir aún más los tiempos de compilación.</p>
<p><br/></p>
<p><em>Para este artículo se han utilizado las siguientes fuentes</em></p>
<ul>
<li>"Desacoplamiento de árboles de código fuente en componentes de nivel de compilación"</li>
<li>"<a href="https://dev.to/brpaz/factors-to-consider-when-adding-third-party-dependencies-to-a-project-46hf">Factores a tener en cuenta al añadir dependencias de terceros a un proyecto</a>"</li>
<li>"<a href="https://queue.acm.org/detail.cfm?id=3344149">Sobrevivir a las dependencias de software</a>"</li>
<li>"<a href="https://www.cc.gatech.edu/~beki/t1.pdf">Comprender las dependencias: Un estudio de los retos de coordinación en el desarrollo de software</a>"</li>
</ul>
<p><br/></p>
<h3 id="About-the-author" class="common-anchor-header">Sobre el autor</h3><p>Zhifeng Zhang es un ingeniero senior de DevOps en Zilliz.com que trabaja en Milvus, una base de datos vectorial de código abierto, e instructor autorizado de la universidad de software de código abierto LF en China. Obtuvo su licenciatura en Internet de las Cosas (IOT) en el Instituto de Ingeniería de Software de Guangzhou. Dedica su carrera a participar y dirigir proyectos en el área de CI/CD, DevOps, gestión de infraestructuras de TI, conjunto de herramientas Cloud-Native, contenerización y optimización de procesos de compilación.</p>


Búsqueda semántica multimodal con imágenes y texto