<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Multimodal_Semantic_Search_with_Images_and_Text_180d89d5aa.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>En tant qu'êtres humains, nous interprétons le monde à travers nos sens. Nous entendons des sons, nous voyons des images, des vidéos et des textes, souvent superposés. Nous comprenons le monde grâce à ces multiples modalités et à la relation qui existe entre elles. Pour que l'intelligence artificielle puisse réellement égaler ou dépasser les capacités humaines, elle doit développer cette même capacité à comprendre le monde à travers plusieurs lentilles simultanément.</p>
<p>Dans ce billet, dans la vidéo qui l'accompagne (à venir) et dans le bloc-notes, nous présenterons les récentes avancées dans les modèles capables de traiter à la fois le texte et les images. Nous le démontrerons en construisant une application de recherche sémantique qui va au-delà de la simple correspondance de mots clés - elle comprend la relation entre ce que les utilisateurs demandent et le contenu visuel qu'ils recherchent.</p>
<p>Ce qui rend ce projet particulièrement intéressant, c'est qu'il est entièrement construit avec des outils open-source : la base de données vectorielles Milvus, les bibliothèques d'apprentissage automatique de HuggingFace et un ensemble de données d'avis de clients d'Amazon. Il est remarquable de penser qu'il y a à peine dix ans, la construction d'un tel projet aurait nécessité d'importantes ressources propriétaires. Aujourd'hui, ces puissants composants sont disponibles gratuitement et peuvent être combinés de manière innovante par toute personne ayant la curiosité d'expérimenter.</p>
<custom-h1>Vue d'ensemble</custom-h1><p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/overview_97a124bc9a.jpg" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Notre application de recherche multimodale est du type <em>"récupération et classement".</em> Si vous êtes familier avec la méthode RAG ( <em>retrieval-augmented-generation</em> ), elle est très similaire, à ceci près que le résultat final est une liste d'images qui ont été reclassées par un grand modèle de vision linguistique (LLVM). La requête de l'utilisateur contient à la fois du texte et une image, et la cible est un ensemble d'images indexées dans une base de données vectorielle. L'architecture comporte trois étapes - l'<em>indexation</em>, la <em>récupération</em> et le <em>reclassement</em> (proche de la "génération") - que nous résumons à tour de rôle.</p>
<h2 id="Indexing" class="common-anchor-header">Indexation<button data-href="#Indexing" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Notre application de recherche doit avoir quelque chose à rechercher. Dans notre cas, nous utilisons un petit sous-ensemble de l'ensemble de données "Amazon Reviews 2023", qui contient à la fois du texte et des images provenant d'avis de clients d'Amazon sur tous les types de produits. Vous pouvez imaginer qu'une recherche sémantique comme celle que nous sommes en train de construire puisse être un complément utile à un site web de commerce électronique. Nous utilisons 900 images et écartons le texte, tout en observant que ce bloc-notes peut atteindre la taille de production avec la bonne base de données et les déploiements d'inférence.</p>
<p>Le premier élément "magique" de notre pipeline est le choix du modèle d'intégration. Nous utilisons un modèle multimodal récemment développé appelé <a href="https://huggingface.co/BAAI/bge-visualized">Visualized BGE</a> qui est capable d'intégrer du texte et des images conjointement, ou séparément, dans le même espace avec un modèle unique où les points qui sont proches sont sémantiquement similaires. D'autres modèles de ce type ont été développés récemment, par exemple <a href="https://github.com/google-deepmind/magiclens">MagicLens</a>.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/indexing_1937241be5.jpg" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>La figure ci-dessus illustre le fait que l'intégration de [l'image d'un lion de profil] avec le texte "vue de face" est proche de l'intégration de [l'image d'un lion de face] sans texte. Le même modèle est utilisé à la fois pour les entrées texte et image et pour les entrées image seule (ainsi que pour les entrées texte seul). <em>De cette manière, le modèle est capable de comprendre l'intention de l'utilisateur en ce qui concerne la relation entre le texte de la requête et l'image de la requête.</em></p>
<p>Nous intégrons nos 900 images de produits sans le texte correspondant et nous stockons les intégrations dans une base de données vectorielle à l'aide de <a href="https://milvus.io/docs">Milvus</a>.</p>
<h2 id="Retrieval" class="common-anchor-header">Récupération<button data-href="#Retrieval" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Maintenant que notre base de données est construite, nous pouvons répondre à la requête d'un utilisateur. Imaginons qu'un utilisateur vienne avec la requête suivante : "un étui de téléphone avec ceci" et "un étui de téléphone avec cela" : "un étui de téléphone avec ceci" plus [une image d'un léopard]. En d'autres termes, il recherche des étuis de téléphone avec des motifs de léopard.</p>
<p>Notez que le texte de la requête de l'utilisateur dit "ceci" plutôt que "une peau de léopard". Notre modèle d'intégration doit être capable de relier "ceci" à ce à quoi il fait référence, ce qui est un exploit impressionnant étant donné que les itérations précédentes de modèles n'étaient pas en mesure de traiter des instructions aussi ouvertes. L'<a href="https://arxiv.org/abs/2403.19651">article sur MagicLens</a> donne d'autres exemples.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Retrieval_ad64f48e49.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Nous intégrons conjointement le texte et l'image de la requête et effectuons une recherche de similarité dans notre base de données vectorielle, en renvoyant les neuf premiers résultats. Les résultats sont présentés dans la figure ci-dessus, avec l'image du léopard. Il apparaît que le premier résultat n'est pas le plus pertinent par rapport à la requête. Le septième résultat semble être le plus pertinent - il s'agit d'une housse de téléphone avec une impression de peau de léopard.</p>
<h2 id="Generation" class="common-anchor-header">Génération<button data-href="#Generation" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Il semble que notre recherche ait échoué car le premier résultat n'est pas le plus pertinent. Nous pouvons toutefois y remédier en procédant à un reclassement. Vous savez peut-être que le reranking des éléments récupérés est une étape importante dans de nombreux pipelines RAG. Nous utilisons <a href="https://huggingface.co/microsoft/Phi-3-vision-128k-instruct">Phi-3 Vision</a> comme modèle de reclassement.</p>
<p>Nous demandons d'abord à un LLVM de générer une légende pour l'image de la requête. Le LLVM produit un résultat :</p>
<p><em>"L'image montre un gros plan du visage d'un léopard avec un accent sur sa fourrure tachetée et ses yeux verts".</em></p>
<p>Nous introduisons ensuite cette légende, une image unique avec les neuf résultats et l'image de la requête, et nous construisons une invite textuelle demandant au modèle de reclasser les résultats, en donnant la réponse sous forme de liste et en fournissant une raison pour le choix de la meilleure correspondance.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Generation_b016a6c26a.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Le résultat est illustré dans la figure ci-dessus - l'élément le plus pertinent est maintenant le premier résultat - et la raison donnée est la suivante :</p>
<p><em>"L'élément le plus approprié est celui avec le thème du léopard, qui correspond à l'instruction de la requête de l'utilisateur pour un étui de téléphone avec un thème similaire."</em></p>
<p>Notre reclasseur LLVM a été en mesure de comprendre les images et le texte et d'améliorer la pertinence des résultats de la recherche. <em>Un artefact intéressant est que le reclassement n'a donné que huit résultats et en a abandonné un, ce qui souligne le besoin de garde-fous et de résultats structurés.</em></p>
<h2 id="Summary" class="common-anchor-header">Résumé<button data-href="#Summary" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Dans ce billet, la vidéo (à venir) et le <a href="https://github.com/milvus-io/bootcamp/blob/master/bootcamp/tutorials/quickstart/multimodal_retrieval_amazon_reviews.ipynb">carnet de notes</a> qui l'accompagnent, nous avons construit une application pour la recherche sémantique multimodale à travers le texte et les images. Le modèle d'intégration est capable d'intégrer du texte et des images conjointement ou séparément dans le même espace, et le modèle de base est capable de saisir du texte et des images tout en générant du texte en réponse. <em>Il est important de noter que le modèle d'intégration a été capable de relier l'intention de l'utilisateur d'une instruction ouverte à l'image de la requête et de spécifier ainsi comment l'utilisateur voulait que les résultats soient liés à l'image d'entrée.</em></p>
<p>Ce n'est qu'un avant-goût de ce qui nous attend dans un avenir proche. Nous verrons de nombreuses applications de recherche multimodale, de compréhension et de raisonnement multimodaux, etc. dans diverses modalités : image, vidéo, audio, molécules, réseaux sociaux, données tabulaires, séries temporelles, le potentiel est illimité.</p>
<p>Au cœur de ces systèmes se trouve une base de données vectorielle qui constitue la "mémoire" externe du système. Milvus est un excellent choix à cette fin. Il s'agit d'un logiciel libre, doté de nombreuses fonctionnalités (voir <a href="https://milvus.io/blog/get-started-with-hybrid-semantic-full-text-search-with-milvus-2-5.md">cet article sur la recherche plein texte dans Milvus 2.5</a>) et qui s'adapte efficacement à des milliards de vecteurs avec un trafic à l'échelle du web et une latence inférieure à 100 ms. Pour en savoir plus, consultez la <a href="https://milvus.io/docs">documentation de Milvus</a>, rejoignez notre communauté <a href="https://milvus.io/discord">Discord</a>, et nous espérons vous voir à notre prochain <a href="https://lu.ma/unstructured-data-meetup">meetingup sur les données non structurées</a>. D'ici là !</p>
<h2 id="Resources" class="common-anchor-header">Ressources<button data-href="#Resources" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p>Carnet de notes : " <a href="https://github.com/milvus-io/bootcamp/blob/master/bootcamp/tutorials/quickstart/multimodal_retrieval_amazon_reviews.ipynb">Recherche multimodale avec Amazon Reviews et LLVM Reranking</a>"</p></li>
<li><p>Vidéo Youtube AWS Developers (bientôt disponible)</p></li>
<li><p><a href="https://milvus.io/docs">Documentation Milvus</a></p></li>
<li><p><a href="https://lu.ma/unstructured-data-meetup">Réunion sur les données non structurées</a></p></li>
<li><p>Modèle d'intégration : <a href="https://huggingface.co/BAAI/bge-visualized">Carte modèle BGE visualisée</a></p></li>
<li><p>Modèle d'intégration alt : <a href="https://github.com/google-deepmind/magiclens">Repo du modèle MagicLens</a></p></li>
<li><p>LLVM : <a href="https://huggingface.co/microsoft/Phi-3-vision-128k-instruct">Carte modèle Phi-3 Vision</a></p></li>
<li><p>Article : "<a href="https://arxiv.org/abs/2403.19651">MagicLens : Self-Supervised Image Retrieval with Open-Ended Instructions (Récupération d'images auto-supervisée avec des instructions ouvertes</a>)</p></li>
<li><p>Jeu de données : <a href="https://amazon-reviews-2023.github.io/">Amazon Reviews 2023</a></p></li>
</ul>


Recherche sémantique multimodale avec des images et du texte

Comment démarrer avec Milvus

<p>Tout le monde sait désormais que la recherche hybride a amélioré la qualité de la recherche <a href="https://zilliz.com/learn/Retrieval-Augmented-Generation">RAG</a> (Retrieval-Augmented Generation). Bien que la recherche par <a href="https://zilliz.com/learn/sparse-and-dense-embeddings">intégration dense</a> ait montré des capacités impressionnantes à capturer des relations sémantiques profondes entre les requêtes et les documents, elle présente encore des limites notables. Il s'agit notamment d'un manque d'explicabilité et d'une performance sous-optimale pour les requêtes à longue traîne et les termes rares.</p>
<p>De nombreuses applications RAG se heurtent au fait que les modèles pré-entraînés manquent souvent de connaissances spécifiques au domaine. Dans certains scénarios, la simple correspondance de mots-clés BM25 est plus performante que ces modèles sophistiqués. C'est là que la recherche hybride comble le fossé, en combinant la compréhension sémantique de la recherche vectorielle dense avec la précision de la recherche par mot-clé.</p>
<h2 id="Why-Hybrid-Search-is-Complex-in-Production" class="common-anchor-header">Pourquoi la recherche hybride est complexe en production<button data-href="#Why-Hybrid-Search-is-Complex-in-Production" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Si des frameworks comme <a href="https://zilliz.com/learn/LangChain">LangChain</a> ou <a href="https://zilliz.com/learn/getting-started-with-llamaindex">LlamaIndex</a> facilitent la construction d'un récupérateur hybride de démonstration, le passage à la production avec des ensembles de données massifs est un défi. Les architectures traditionnelles nécessitent des bases de données vectorielles et des moteurs de recherche distincts, ce qui pose plusieurs problèmes majeurs :</p>
<ul>
<li><p>Coûts élevés de maintenance de l'infrastructure et complexité opérationnelle</p></li>
<li><p>Redondance des données entre plusieurs systèmes</p></li>
<li><p>Gestion difficile de la cohérence des données</p></li>
<li><p>Sécurité et contrôle d'accès complexes entre les systèmes</p></li>
</ul>
<p>Le marché a besoin d'une solution unifiée qui prenne en charge la recherche lexicale et sémantique tout en réduisant la complexité et le coût du système.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/elasticsearch_vs_milvus_5be6e2b69e.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<h2 id="The-Pain-Points-of-Elasticsearch" class="common-anchor-header">Les points sensibles d'Elasticsearch<button data-href="#The-Pain-Points-of-Elasticsearch" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Elasticsearch est l'un des projets de recherche open-source les plus influents de la dernière décennie. Basé sur Apache Lucene, il a gagné en popularité grâce à ses hautes performances, son évolutivité et son architecture distribuée. Bien qu'il ait ajouté la recherche vectorielle ANN dans la version 8.0, les déploiements en production sont confrontés à plusieurs défis majeurs :</p>
<p><strong>Coûts élevés de mise à jour et d'indexation :</strong> L'architecture d'Elasticsearch ne découple pas totalement les opérations d'écriture, la construction d'index et les requêtes. Cela entraîne une surcharge importante du processeur et des E/S lors des opérations d'écriture, en particulier lors des mises à jour en masse. Les conflits de ressources entre l'indexation et l'interrogation ont un impact sur les performances, créant un goulot d'étranglement majeur pour les scénarios de mise à jour à haute fréquence.</p>
<p><strong>Mauvaises performances en temps réel :</strong> En tant que moteur de recherche "quasi temps réel", Elasticsearch introduit une latence notable dans la visibilité des données. Cette latence devient particulièrement problématique pour les applications d'IA, telles que les systèmes d'agents, où les interactions à haute fréquence et la prise de décision dynamique nécessitent un accès immédiat aux données.</p>
<p><strong>Une gestion difficile des nuages de points (Shard Management) :</strong> Bien qu'Elasticsearch utilise le sharding pour l'architecture distribuée, la gestion des shards pose des problèmes importants. L'absence de prise en charge du sharding dynamique crée un dilemme : un trop grand nombre de shards dans de petits ensembles de données entraîne des performances médiocres, tandis qu'un nombre insuffisant de shards dans de grands ensembles de données limite l'évolutivité et entraîne une distribution inégale des données.</p>
<p><strong>Architecture non cloud-native :</strong> Développée avant la généralisation des architectures cloud-natives, la conception d'Elasticsearch associe étroitement le stockage et le calcul, ce qui limite son intégration avec les infrastructures modernes telles que les clouds publics et Kubernetes. La mise à l'échelle des ressources nécessite des augmentations simultanées du stockage et du calcul, ce qui réduit la flexibilité. Dans les scénarios multirépliqués, chaque shard doit construire son index indépendamment, ce qui augmente les coûts de calcul et réduit l'efficacité des ressources.</p>
<p><strong>Mauvaises performances de la recherche vectorielle :</strong> Bien qu'Elasticsearch 8.0 ait introduit la recherche vectorielle ANN, ses performances sont nettement inférieures à celles des moteurs vectoriels dédiés comme Milvus. Basée sur le noyau Lucene, sa structure d'index s'avère inefficace pour les données à haute dimension, et se heurte à des exigences de recherche vectorielle à grande échelle. Les performances deviennent particulièrement instables dans les scénarios complexes impliquant le filtrage scalaire et la multi-location, ce qui rend difficile la prise en charge d'une charge élevée ou de besoins commerciaux diversifiés.</p>
<p><strong>Consommation excessive de ressources :</strong> Elasticsearch sollicite énormément la mémoire et l'unité centrale, en particulier lors du traitement de données à grande échelle. Sa dépendance vis-à-vis de la JVM nécessite de fréquents ajustements de la taille du tas et des réglages du ramassage des ordures, ce qui a un impact considérable sur l'efficacité de la mémoire. Les opérations de recherche vectorielle nécessitent des calculs intensifs optimisés SIMD, pour lesquels l'environnement JVM est loin d'être idéal.</p>
<p>Ces limitations fondamentales deviennent de plus en plus problématiques au fur et à mesure que les entreprises font évoluer leur infrastructure d'intelligence artificielle, ce qui rend Elasticsearch particulièrement difficile pour les applications d'intelligence artificielle modernes nécessitant des performances et une fiabilité élevées.</p>
<h2 id="Introducing-Sparse-BM25-Reimagining-Lexical-Search" class="common-anchor-header">Introduction de Sparse-BM25 : Réimagination de la recherche lexicale<button data-href="#Introducing-Sparse-BM25-Reimagining-Lexical-Search" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><a href="https://milvus.io/blog/introduce-milvus-2-5-full-text-search-powerful-metadata-filtering-and-more.md">Milvus 2.5</a> introduit la prise en charge native de la recherche lexicale via Sparse-BM25, en s'appuyant sur les capacités de recherche hybride introduites dans la version 2.4. Cette approche innovante comprend les composants clés suivants :</p>
<ul>
<li><p>Une tokénisation et un prétraitement avancés via Tantivy</p></li>
<li><p>Gestion distribuée du vocabulaire et de la fréquence des termes</p></li>
<li><p>Génération de vecteurs épars à l'aide du TF du corpus et du TF-IDF de la requête</p></li>
<li><p>Prise en charge de l'index inversé avec l'algorithme WAND (Block-Max WAND et prise en charge de l'index graphique en cours de développement).</p></li>
</ul>
<p>Par rapport à Elasticsearch, Milvus offre des avantages significatifs en termes de flexibilité algorithmique. Son calcul de similarité basé sur la distance vectorielle permet une mise en correspondance plus sophistiquée, y compris la mise en œuvre de TW-BERT (Term Weighting BERT) basée sur la recherche "End-to-End Query Term Weighting" (pondération des termes de la requête de bout en bout). Cette approche a démontré des performances supérieures dans les tests in-domain et out-domain.</p>
<p>Un autre avantage crucial est le rapport coût-efficacité. En tirant parti de la compression de l'index inversé et de l'intégration dense, Milvus multiplie par cinq les performances avec une dégradation du rappel inférieure à 1 %. Grâce à l'élagage des termes de queue et à la quantification des vecteurs, l'utilisation de la mémoire a été réduite de plus de 50 %.</p>
<p>L'optimisation des requêtes longues est un point fort. Alors que les algorithmes WAND traditionnels ont du mal à traiter les requêtes longues, Milvus excelle en combinant des encastrements épars avec des indices de graphe, ce qui permet de multiplier par dix les performances dans les scénarios de recherche de vecteurs épars en haute dimension.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/document_in_and_out_b84771bec4.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<h2 id="Milvus-The-Ultimate-Vector-Database-for-RAG" class="common-anchor-header">Milvus : la base de données vectorielles ultime pour RAG<button data-href="#Milvus-The-Ultimate-Vector-Database-for-RAG" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus est le premier choix pour les applications RAG grâce à son ensemble complet de fonctionnalités. Ses principaux avantages sont les suivants</p>
<ul>
<li><p>Prise en charge de métadonnées riches avec des capacités de schémas dynamiques et des options de filtrage puissantes.</p></li>
<li><p>Une multi-location de niveau entreprise avec une isolation flexible par le biais de collections, de partitions et de clés de partition.</p></li>
<li><p>Prise en charge de l'index vectoriel sur disque, une première dans l'industrie, avec un stockage à plusieurs niveaux, de la mémoire à S3</p></li>
<li><p>Évolutivité native dans le nuage permettant une mise à l'échelle transparente de 10 millions à plus de 1 milliard de vecteurs</p></li>
<li><p>Capacités de recherche complètes, y compris le regroupement, l'étendue et la recherche hybride</p></li>
<li><p>Intégration approfondie de l'écosystème avec LangChain, LlamaIndex, Dify et d'autres outils d'intelligence artificielle.</p></li>
</ul>
<p>Les diverses capacités de recherche du système englobent les méthodologies de regroupement, d'étendue et de recherche hybride. L'intégration approfondie avec des outils tels que LangChain, LlamaIndex et Dify, ainsi que la prise en charge de nombreux produits d'IA, placent Milvus au centre de l'écosystème de l'infrastructure d'IA moderne.</p>
<h2 id="Looking-Forward" class="common-anchor-header">Perspectives d'avenir<button data-href="#Looking-Forward" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Alors que l'IA passe du POC à la production, Milvus continue d'évoluer. Nous nous efforçons de rendre la recherche vectorielle plus accessible et plus rentable tout en améliorant la qualité de la recherche. Que vous soyez une startup ou une entreprise, Milvus réduit les obstacles techniques au développement d'applications d'IA.</p>
<p>Cet engagement en faveur de l'accessibilité et de l'innovation nous a permis de franchir une nouvelle étape importante. Alors que notre solution open-source continue de servir de base à des milliers d'applications dans le monde entier, nous reconnaissons que de nombreuses organisations ont besoin d'une solution entièrement gérée qui élimine les frais généraux d'exploitation.</p>
<h2 id="Zilliz-Cloud-The-Managed-Solution" class="common-anchor-header">Zilliz Cloud : La solution gérée<button data-href="#Zilliz-Cloud-The-Managed-Solution" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Au cours des trois dernières années, nous avons développé <a href="https://zilliz.com/cloud">Zilliz Cloud</a>, un service de base de données vectorielles entièrement géré basé sur Milvus. Grâce à une réimplémentation cloud du protocole Milvus, ce service offre une convivialité, une rentabilité et une sécurité accrues.</p>
<p>S'appuyant sur notre expérience de la maintenance des plus grands clusters de recherche vectorielle au monde et du soutien de milliers de développeurs d'applications d'IA, Zilliz Cloud réduit considérablement les frais généraux et les coûts d'exploitation par rapport aux solutions auto-hébergées.</p>
<p>Prêt à découvrir le futur de la recherche vectorielle ? Commencez votre essai gratuit dès aujourd'hui avec jusqu'à 200 $ de crédits, sans carte de crédit.</p>


Elasticsearch est mort, vive la recherche lexicale !

Démarrer avec la recherche hybride sémantique / plein texte avec Milvus 2.5

Présentation de Milvus 2.5 : recherche plein texte, filtrage plus puissant des métadonnées et améliorations de la convivialité !

Recherche sémantique vs. recherche en texte intégral : Que dois-je choisir dans Milvus 2.5 ?

Conception de RAG multi-tenant avec Milvus : Meilleures pratiques pour des bases de connaissances d'entreprise évolutives

Comment contribuer à Milvus : une introduction rapide pour les développeurs

Getting Started with HNSWlib

Premiers pas avec HNSWlib

<p>Nous sommes ravis d'introduire des heures de bureau hebdomadaires pour les utilisateurs de Milvus afin d'obtenir une assistance pratique pour leurs projets de <a href="https://zilliz.com/learn/what-is-vector-database">bases de données vectorielles</a>! Rejoignez notre équipe d'experts pour une session individuelle de 20 minutes afin d'obtenir des informations, des conseils et des réponses à vos questions. Que vous débutiez ou que vous ayez besoin d'aide pour un problème spécifique, nous sommes là pour vous aider à tirer le meilleur parti de Milvus.</p>
<p><strong>Réservez votre session aux heures de bureau ici<a href="https://meetings.hubspot.com/chloe-williams1/milvus-office-hours">: https://meetings.hubspot.com/chloe-williams1/milvus-office-hours</a></strong></p>
<h2 id="Why-Book-a-Session" class="common-anchor-header">Pourquoi réserver une session ?<button data-href="#Why-Book-a-Session" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Voici quelques bonnes raisons de réserver une session pendant nos heures de bureau :</p>
<ul>
<li><p><strong>Optimisation des performances de Milvus :</strong> Obtenez des conseils sur le réglage des configurations afin d'améliorer les performances de la base de données.</p></li>
<li><p><strong>Conseils sur la conception des schémas de données :</strong> Apprenez les meilleures pratiques pour les schémas de données et les types d'index afin de répondre au mieux à votre cas d'utilisation.</p></li>
<li><p><strong>Évolution de votre déploiement Milvus :</strong> Obtenez des conseils sur la gestion et la mise à l'échelle de Milvus pour des volumes de données plus importants.</p></li>
<li><p><strong>Résolution de problèmes spécifiques :</strong> Vous êtes confronté à une erreur ou à un comportement inhabituel ? Nous pouvons vous aider à le dépanner et à le résoudre.</p></li>
<li><p><strong>Assistance à l'intégration :</strong> Besoin de conseils sur l'utilisation de Milvus avec d'autres frameworks intégrés tels que LangChain, LlamaIndex, Spark ou vos pipelines de traitement de données ?</p></li>
<li><p><strong>Apprentissage des nouvelles fonctionnalités :</strong> Restez informé des dernières fonctionnalités de Milvus et de la manière dont elles peuvent bénéficier à votre projet.</p></li>
</ul>
<p>Ne manquez pas cette occasion d'améliorer votre mise en œuvre de Milvus grâce aux conseils d'un expert.</p>
<p>Si vous ne pouvez pas vous joindre à nous en direct, ne vous inquiétez pas : il existe encore de nombreux moyens d'obtenir de l'aide ! La communauté Milvus est active et prête à vous aider sur <a href="https://discord.com/invite/8uyFbECzPX">Discord</a> et<a href="https://github.com/search?q=milvus&amp;type=discussions"> GitHub Discussions</a>. Que vous préfériez le chat en direct ou les discussions asynchrones, ces plateformes sont l'endroit idéal pour poser des questions, partager des connaissances et entrer en contact avec d'autres utilisateurs et contributeurs de Milvus.</p>


Rejoignez les heures de bureau de Milvus pour bénéficier de l'assistance des experts de Vector DB !

What are Matryoshka Embeddings?

Emboîtements Matryoshka : Détail à plusieurs échelles

Comment utiliser l'outil de sauvegarde Milvus : Un guide étape par étape

Déploiement de Milvus sur Kubernetes : Un guide pas à pas pour les utilisateurs de Kubernetes

Comment déployer la base de données vectorielle Open-Source Milvus sur Amazon EKS

<p><a href="https://milvus.io/intro">Milvus</a> est une base de données vectorielles open-source conçue spécifiquement pour les applications d'IA. Que vous travailliez sur l'apprentissage automatique, l'apprentissage profond ou tout autre projet lié à l'IA, Milvus offre un moyen robuste et efficace de traiter des données vectorielles à grande échelle.</p>
<p>Désormais, grâce à l'<a href="https://milvus.io/docs/embeddings.md">intégration du module de modèle</a> dans PyMilvus, le SDK Python pour Milvus, il est encore plus facile d'ajouter des modèles d'Embedding et de Reranking. Cette intégration simplifie la transformation de vos données en vecteurs consultables ou le reclassement des résultats pour des résultats plus précis, comme dans <a href="https://zilliz.com/learn/Retrieval-Augmented-Generation">Retrieval Augmented Generation (RAG)</a>.</p>
<p>Dans ce blog, nous passerons en revue les modèles d'intégration dense, les modèles d'intégration clairsemée et les modèles de reclassement et nous montrerons comment les utiliser en pratique à l'aide de <a href="https://milvus.io/blog/introducing-milvus-lite.md">Milvus Lite</a>, une version légère de Milvus qui peut être exécutée localement dans vos applications Python.</p>
<h2 id="Dense-vs-Sparse-Embeddings" class="common-anchor-header">Encastrements denses et épars<button data-href="#Dense-vs-Sparse-Embeddings" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Avant de vous expliquer comment utiliser nos intégrations, examinons les deux principales catégories d'encastrements vectoriels.</p>
<p>Les<a href="https://zilliz.com/glossary/vector-embeddings">encastrements vectoriels</a> se répartissent généralement en deux catégories principales : Les <a href="https://zilliz.com/learn/sparse-and-dense-embeddings"><strong>encastrements denses</strong> et les <strong>encastrements épars</strong></a>.</p>
<ul>
<li><p>Les embeddings denses sont des vecteurs à haute dimension dans lesquels la plupart ou tous les éléments sont non nuls, ce qui les rend idéaux pour encoder la sémantique d'un texte ou une signification floue.</p></li>
<li><p>Les embeddings épars sont des vecteurs à haute dimension dont de nombreux éléments sont nuls, ce qui les rend plus adaptés à l'encodage de concepts exacts ou adjacents.</p></li>
</ul>
<p>Milvus prend en charge les deux types d'intégration et propose une recherche hybride. La <a href="https://zilliz.com/blog/hybrid-search-with-milvus">recherche hybride</a> vous permet d'effectuer des recherches dans différents champs vectoriels au sein d'une même collection. Ces vecteurs peuvent représenter différentes facettes des données, utiliser divers modèles d'intégration ou employer des méthodes de traitement des données distinctes, en combinant les résultats à l'aide de reclasseurs.</p>
<h2 id="How-to-Use-Our-Embedding-and-Reranking-Integrations" class="common-anchor-header">Comment utiliser nos intégrations d'intégration et de reclassement ?<button data-href="#How-to-Use-Our-Embedding-and-Reranking-Integrations" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Dans les sections suivantes, nous présentons trois exemples pratiques d'utilisation de nos intégrations pour générer des embeddings et effectuer des recherches vectorielles.</p>
<h3 id="Example-1-Use-the-Default-Embedding-Function-to-Generate-Dense-Vectors" class="common-anchor-header">Exemple 1 : Utilisation de la fonction d'intégration par défaut pour générer des vecteurs denses</h3><p>Vous devez installer le client <code translate="no">pymilvus</code> avec le package <code translate="no">model</code> pour utiliser les fonctions d'intégration et de reranking avec Milvus.</p>
<pre><code translate="no">pip install <span class="hljs-string">&quot;pymilvus[model]&quot;</span>
<button class="copy-code-btn"></button></code></pre>
<p>Cette étape installe <a href="https://milvus.io/docs/quickstart.md">Milvus Lite</a>, qui vous permet d'exécuter Milvus localement dans votre application Python. Elle inclut également le sous-paquet modèle, qui comprend tous les utilitaires pour l'incorporation et le reranking.</p>
<p>Le sous-paquetage de modèle prend en charge divers modèles d'intégration, y compris ceux d'OpenAI, <a href="https://zilliz.com/learn/Sentence-Transformers-for-Long-Form-Text">Sentence Transformers</a>, <a href="https://zilliz.com/learn/bge-m3-and-splade-two-machine-learning-models-for-generating-sparse-embeddings">BGE-M3</a>, BM25, <a href="https://zilliz.com/learn/bge-m3-and-splade-two-machine-learning-models-for-generating-sparse-embeddings">SPLADE</a> et les modèles pré-entraînés de Jina AI.</p>
<p>Cet exemple utilise le modèle <code translate="no">DefaultEmbeddingFunction</code>, basé sur le modèle <code translate="no">all-MiniLM-L6-v2</code> Sentence Transformer pour plus de simplicité. Le modèle pèse environ 70 Mo et sera téléchargé lors de la première utilisation :</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> model

<span class="hljs-comment"># This will download &quot;all-MiniLM-L6-v2&quot;, a lightweight model.</span>
ef = model.DefaultEmbeddingFunction()

<span class="hljs-comment"># Data from which embeddings are to be generated</span>
docs = [
   <span class="hljs-string">&quot;Artificial intelligence was founded as an academic discipline in 1956.&quot;</span>,
   <span class="hljs-string">&quot;Alan Turing was the first person to conduct substantial research in AI.&quot;</span>,
   <span class="hljs-string">&quot;Born in Maida Vale, London, Turing was raised in southern England.&quot;</span>,
]

embeddings = ef.encode_documents(docs)

<span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Embeddings:&quot;</span>, embeddings)
<span class="hljs-comment"># Print dimension and shape of embeddings</span>
<span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Dim:&quot;</span>, ef.dim, embeddings[<span class="hljs-number">0</span>].shape)
<button class="copy-code-btn"></button></code></pre>
<p>Le résultat attendu devrait ressembler à ce qui suit :</p>
<pre><code translate="no">Embeddings: [array([<span class="hljs-number">-3.09392996e-02</span>, <span class="hljs-number">-1.80662833e-02</span>,  <span class="hljs-number">1.34775648e-02</span>,  <span class="hljs-number">2.77156215e-02</span>,
      <span class="hljs-number">-4.86349640e-03</span>, <span class="hljs-number">-3.12581174e-02</span>, <span class="hljs-number">-3.55921760e-02</span>,  <span class="hljs-number">5.76934684e-03</span>,
       <span class="hljs-number">2.80773244e-03</span>,  <span class="hljs-number">1.35783911e-01</span>,  <span class="hljs-number">3.59678417e-02</span>,  <span class="hljs-number">6.17732145e-02</span>,
...
      <span class="hljs-number">-4.61330153e-02</span>, <span class="hljs-number">-4.85207550e-02</span>,  <span class="hljs-number">3.13997865e-02</span>,  <span class="hljs-number">7.82178566e-02</span>,
      <span class="hljs-number">-4.75336798e-02</span>,  <span class="hljs-number">5.21207601e-02</span>,  <span class="hljs-number">9.04406682e-02</span>, <span class="hljs-number">-5.36676683e-02</span>],
     dtype=<span class="hljs-type">float32</span>)]
Dim: <span class="hljs-number">384</span> (<span class="hljs-number">384</span>,)
<button class="copy-code-btn"></button></code></pre>
<h3 id="Example-2-Generate-Sparse-Vectors-Using-The-BM25-Model" class="common-anchor-header">Exemple 2 : Générer des vecteurs épars à l'aide du modèle BM25</h3><p>BM25 est une méthode bien connue qui utilise les fréquences d'occurrence des mots pour déterminer la pertinence entre les requêtes et les documents. Dans cet exemple, nous allons montrer comment utiliser <code translate="no">BM25EmbeddingFunction</code> pour générer des embeddings épars pour les requêtes et les documents.</p>
<p>Dans BM25, il est important de calculer les statistiques de vos documents pour obtenir l'IDF (Inverse Document Frequency), qui peut représenter les modèles dans vos documents. L'IDF mesure la quantité d'informations fournies par un mot, qu'il soit courant ou rare dans tous les documents.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus.model.sparse <span class="hljs-keyword">import</span> BM25EmbeddingFunction

<span class="hljs-comment"># 1. Prepare a small corpus to search</span>
docs = [
   <span class="hljs-string">&quot;Artificial intelligence was founded as an academic discipline in 1956.&quot;</span>,
   <span class="hljs-string">&quot;Alan Turing was the first person to conduct substantial research in AI.&quot;</span>,
   <span class="hljs-string">&quot;Born in Maida Vale, London, Turing was raised in southern England.&quot;</span>,
]
query = <span class="hljs-string">&quot;Where was Turing born?&quot;</span>
bm25_ef = BM25EmbeddingFunction()

<span class="hljs-comment"># 2. Fit the corpus to get BM25 model parameters on your documents.</span>
bm25_ef.fit(docs)

<span class="hljs-comment"># 3. Store the fitted parameters to expedite future processing.</span>
bm25_ef.save(<span class="hljs-string">&quot;bm25_params.json&quot;</span>)

<span class="hljs-comment"># 4. Load the saved params</span>
new_bm25_ef = BM25EmbeddingFunction()
new_bm25_ef.load(<span class="hljs-string">&quot;bm25_params.json&quot;</span>)

docs_embeddings = new_bm25_ef.encode_documents(docs)
query_embeddings = new_bm25_ef.encode_queries([query])
<span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Dim:&quot;</span>, new_bm25_ef.dim, <span class="hljs-built_in">list</span>(docs_embeddings)[<span class="hljs-number">0</span>].shape)
<button class="copy-code-btn"></button></code></pre>
<h3 id="Example-3-Using-a-ReRanker" class="common-anchor-header">Exemple 3 : Utilisation d'un ReRanker</h3><p>Un système de recherche vise à trouver les résultats les plus pertinents rapidement et efficacement. Traditionnellement, des méthodes telles que BM25 ou TF-IDF ont été utilisées pour classer les résultats de recherche sur la base de la correspondance des mots-clés. Les méthodes récentes, telles que la similarité cosinus basée sur l'intégration, sont simples mais peuvent parfois manquer les subtilités de la langue et, surtout, l'interaction entre les documents et l'intention d'une requête.</p>
<p>C'est là que l'utilisation d'un <a href="https://zilliz.com/learn/optimize-rag-with-rerankers-the-role-and-tradeoffs">reclasseur</a> peut s'avérer utile. Un reclasseur est un modèle d'IA avancé qui prend l'ensemble initial de résultats d'une recherche - souvent fourni par une recherche basée sur les embeddings/tokens - et les réévalue pour s'assurer qu'ils correspondent mieux à l'intention de l'utilisateur. Il va au-delà de la correspondance superficielle des termes pour prendre en compte l'interaction plus profonde entre la requête de recherche et le contenu des documents.</p>
<p>Pour cet exemple, nous utiliserons le <a href="https://milvus.io/docs/integrate_with_jina.md">Jina AI Reranker</a>.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus.model.reranker <span class="hljs-keyword">import</span> JinaRerankFunction

jina_api_key = <span class="hljs-string">&quot;&lt;YOUR_JINA_API_KEY&gt;&quot;</span>

rf = JinaRerankFunction(<span class="hljs-string">&quot;jina-reranker-v1-base-en&quot;</span>, jina_api_key)

query = <span class="hljs-string">&quot;What event in 1956 marked the official birth of artificial intelligence as a discipline?&quot;</span>

documents = [
   <span class="hljs-string">&quot;In 1950, Alan Turing published his seminal paper, &#x27;Computing Machinery and Intelligence,&#x27; proposing the Turing Test as a criterion of intelligence, a foundational concept in the philosophy and development of artificial intelligence.&quot;</span>,
   <span class="hljs-string">&quot;The Dartmouth Conference in 1956 is considered the birthplace of artificial intelligence as a field; here, John McCarthy and others coined the term &#x27;artificial intelligence&#x27; and laid out its basic goals.&quot;</span>,
   <span class="hljs-string">&quot;In 1951, British mathematician and computer scientist Alan Turing also developed the first program designed to play chess, demonstrating an early example of AI in game strategy.&quot;</span>,
   <span class="hljs-string">&quot;The invention of the Logic Theorist by Allen Newell, Herbert A. Simon, and Cliff Shaw in 1955 marked the creation of the first true AI program, which was capable of solving logic problems, akin to proving mathematical theorems.&quot;</span>
]

results = rf(query, documents)

<span class="hljs-keyword">for</span> result <span class="hljs-keyword">in</span> results:
   <span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;Index: <span class="hljs-subst">{result.index}</span>&quot;</span>)
   <span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;Score: <span class="hljs-subst">{result.score:<span class="hljs-number">.6</span>f}</span>&quot;</span>)
   <span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;Text: <span class="hljs-subst">{result.text}</span>\n&quot;</span>)
<button class="copy-code-btn"></button></code></pre>
<p>Le résultat attendu est similaire à ce qui suit :</p>
<pre><code translate="no">Index: <span class="hljs-number">1</span>
Score: <span class="hljs-number">0.937096</span>
Text: The Dartmouth Conference <span class="hljs-keyword">in</span> <span class="hljs-number">1956</span> <span class="hljs-keyword">is</span> considered the birthplace of artificial intelligence <span class="hljs-keyword">as</span> a field; here, John McCarthy <span class="hljs-keyword">and</span> others coined the term <span class="hljs-string">&#x27;artificial intelligence&#x27;</span> <span class="hljs-keyword">and</span> laid <span class="hljs-keyword">out</span> its basic goals.

Index: <span class="hljs-number">3</span>
Score: <span class="hljs-number">0.354210</span>
Text: The invention of the Logic Theorist <span class="hljs-keyword">by</span> Allen Newell, Herbert A. Simon, <span class="hljs-keyword">and</span> Cliff Shaw <span class="hljs-keyword">in</span> <span class="hljs-number">1955</span> marked the creation of the first <span class="hljs-literal">true</span> AI program, which was capable of solving logic problems, akin to proving mathematical theorems.

Index: <span class="hljs-number">0</span>
Score: <span class="hljs-number">0.349866</span>
Text: In <span class="hljs-number">1950</span>, Alan Turing published his seminal paper, <span class="hljs-string">&#x27;Computing Machinery and Intelligence,&#x27;</span> proposing the Turing Test <span class="hljs-keyword">as</span> a criterion of intelligence, a foundational concept <span class="hljs-keyword">in</span> the philosophy <span class="hljs-keyword">and</span> development of artificial intelligence.

Index: <span class="hljs-number">2</span>
Score: <span class="hljs-number">0.272896</span>
Text: In <span class="hljs-number">1951</span>, British mathematician <span class="hljs-keyword">and</span> computer scientist Alan Turing also developed the first program designed to play chess, demonstrating an early example of AI <span class="hljs-keyword">in</span> game strategy.
<button class="copy-code-btn"></button></code></pre>
<h2 id="Star-Us-On-GitHub-and-Join-Our-Discord" class="common-anchor-header">Suivez-nous sur GitHub et rejoignez notre Discord !<button data-href="#Star-Us-On-GitHub-and-Join-Our-Discord" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Si vous avez aimé cet article de blog, pensez à étoiler Milvus sur <a href="https://github.com/milvus-io/milvus">GitHub</a>, et n'hésitez pas à rejoindre notre <a href="https://discord.gg/FG6hMJStWu">Discord</a>! 💙</p>


Présentation de l'intégration de PyMilvus avec les modèles d'intégration

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/2_72e444c8dc.JPG" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Nous sommes heureux de vous présenter <a href="https://milvus.io/docs/milvus_lite.md">Milvus Lite</a>, une base de données vectorielle légère qui s'exécute localement dans votre application Python. Basée sur la populaire base de données vectorielle open-source <a href="https://milvus.io/intro">Milvus</a>, Milvus Lite réutilise les composants de base pour l'indexation vectorielle et l'analyse des requêtes tout en supprimant les éléments conçus pour une grande évolutivité dans les systèmes distribués. Cette conception en fait une solution compacte et efficace, idéale pour les environnements disposant de ressources informatiques limitées, tels que les ordinateurs portables, les ordinateurs bloc-notes Jupyter et les appareils mobiles ou périphériques.</p>
<p>Milvus Lite s'intègre à diverses piles de développement d'IA telles que LangChain et LlamaIndex, ce qui permet de l'utiliser comme magasin de vecteurs dans les pipelines de génération augmentée de recherche (RAG) sans avoir à installer de serveur. Il suffit d'exécuter <code translate="no">pip install pymilvus</code> (version 2.4.3 ou supérieure) pour l'incorporer dans votre application d'IA en tant que bibliothèque Python.</p>
<p>Milvus Lite partage l'API Milvus, ce qui garantit que votre code côté client fonctionne aussi bien pour les déploiements locaux à petite échelle que pour les serveurs Milvus déployés sur Docker ou Kubernetes avec des milliards de vecteurs.</p>
<h2 id="Why-We-Built-Milvus-Lite" class="common-anchor-header">Pourquoi nous avons créé Milvus Lite<button data-href="#Why-We-Built-Milvus-Lite" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>De nombreuses applications d'IA nécessitent une recherche de similarité vectorielle pour les données non structurées, y compris le texte, les images, les voix et les vidéos, pour des applications telles que les chatbots et les assistants d'achat. Les bases de données vectorielles sont conçues pour le stockage et la recherche d'embeddings vectoriels et constituent une partie essentielle de la pile de développement de l'IA, en particulier pour les cas d'utilisation de l'IA générative tels que la <a href="https://zilliz.com/learn/Retrieval-Augmented-Generation">Génération Augmentée de Récupération (RAG)</a>.</p>
<p>Malgré la disponibilité de nombreuses solutions de recherche vectorielle, il manquait une option facile à démarrer qui fonctionne également pour les déploiements de production à grande échelle. En tant que créateurs de Milvus, nous avons conçu Milvus Lite pour aider les développeurs d'IA à créer des applications plus rapidement tout en garantissant une expérience cohérente dans diverses options de déploiement, notamment Milvus on Kubernetes, Docker et les services cloud gérés.</p>
<p>Milvus Lite est un complément essentiel à notre gamme d'offres au sein de l'écosystème Milvus. Il offre aux développeurs un outil polyvalent qui prend en charge chaque étape de leur parcours de développement. Du prototypage aux environnements de production et de l'informatique de pointe aux déploiements à grande échelle, Milvus est désormais la seule base de données vectorielle qui couvre les cas d'utilisation de toute taille et à tous les stades de développement.</p>
<h2 id="How-Milvus-Lite-Works" class="common-anchor-header">Fonctionnement de Milvus Lite<button data-href="#How-Milvus-Lite-Works" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus Lite prend en charge toutes les opérations de base disponibles dans Milvus, telles que la création de collections et l'insertion, la recherche et la suppression de vecteurs. Elle prendra bientôt en charge des fonctions avancées telles que la recherche hybride. Milvus Lite charge les données en mémoire pour des recherches efficaces et les conserve dans un fichier SQLite.</p>
<p>Milvus Lite est inclus dans le <a href="https://github.com/milvus-io/pymilvus">SDK Python de Milvus</a> et peut être déployé à l'aide d'un simple <code translate="no">pip install pymilvus</code>. L'extrait de code suivant montre comment configurer une base de données vectorielle avec Milvus Lite en spécifiant un nom de fichier local et en créant une nouvelle collection. Pour ceux qui connaissent l'API Milvus, la seule différence est que <code translate="no">uri</code> fait référence à un nom de fichier local au lieu d'un point d'extrémité réseau, par exemple, <code translate="no">&quot;milvus_demo.db&quot;</code> au lieu de <code translate="no">&quot;http://localhost:19530&quot;</code> pour un serveur Milvus. Tout le reste est identique. Milvus Lite prend également en charge le stockage de texte brut et d'autres étiquettes en tant que métadonnées, à l'aide d'un schéma dynamique ou explicitement défini, comme indiqué ci-dessous.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> MilvusClient

client = MilvusClient(<span class="hljs-string">&quot;milvus_demo.db&quot;</span>)
<span class="hljs-comment"># This collection can take input with mandatory fields named &quot;id&quot;, &quot;vector&quot; and</span>
<span class="hljs-comment"># any other fields as &quot;dynamic schema&quot;. You can also define the schema explicitly.</span>
client.create_collection(
    collection_name=<span class="hljs-string">&quot;demo_collection&quot;</span>,
    dimension=<span class="hljs-number">384</span>  <span class="hljs-comment"># Dimension for vectors.</span>
)
<button class="copy-code-btn"></button></code></pre>
<p>Pour l'évolutivité, une application d'IA développée avec Milvus Lite peut facilement passer à l'utilisation de Milvus déployé sur Docker ou Kubernetes en spécifiant simplement le site <code translate="no">uri</code> avec le point de terminaison du serveur.</p>
<h2 id="Integration-with-AI-Development-Stack" class="common-anchor-header">Intégration à la pile de développement de l'IA<button data-href="#Integration-with-AI-Development-Stack" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Outre l'introduction de Milvus Lite pour faciliter la recherche vectorielle au départ, Milvus s'intègre également à de nombreux cadres et fournisseurs de la pile de développement de l'IA, notamment <a href="https://python.langchain.com/v0.2/docs/integrations/vectorstores/milvus/">LangChain</a>, <a href="https://docs.llamaindex.ai/en/stable/examples/vector_stores/MilvusIndexDemo/">LlamaIndex</a>, <a href="https://haystack.deepset.ai/integrations/milvus-document-store">Haystack</a>, <a href="https://blog.voyageai.com/2024/05/30/semantic-search-with-milvus-lite-and-voyage-ai/">Voyage AI</a>, <a href="https://milvus.io/docs/integrate_with_ragas.md">Ragas</a>, <a href="https://jina.ai/news/implementing-a-chat-history-rag-with-jina-ai-and-milvus-lite/">Jina AI</a>, <a href="https://dspy-docs.vercel.app/docs/deep-dive/retrieval_models_clients/MilvusRM">DSPy</a>, <a href="https://www.bentoml.com/blog/building-a-rag-app-with-bentocloud-and-milvus-lite">BentoML</a>, <a href="https://chiajy.medium.com/70873c7576f1">WhyHow</a>, <a href="https://blog.relari.ai/case-study-using-synthetic-data-to-benchmark-rag-systems-be324904ace1">Relari AI</a>, <a href="https://docs.airbyte.com/integrations/destinations/milvus">Airbyte</a>, <a href="https://milvus.io/docs/integrate_with_hugging-face.md">HuggingFace</a> et <a href="https://memgpt.readme.io/docs/storage#milvus">MemGPT</a>. Grâce à leurs nombreux outils et services, ces intégrations simplifient le développement d'applications d'IA avec des capacités de recherche vectorielle.</p>
<p>Et ce n'est qu'un début - de nombreuses autres intégrations passionnantes sont à venir ! Restez à l'écoute !</p>
<h2 id="More-Resources-and-Examples" class="common-anchor-header">Autres ressources et exemples<button data-href="#More-Resources-and-Examples" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Explorez la <a href="https://milvus.io/docs/quickstart.md">documentation de démarrage rapide de Milvus</a> pour obtenir des guides détaillés et des exemples de code sur l'utilisation de Milvus Lite pour créer des applications d'IA telles que Retrieval-Augmented Generation<a href="https://github.com/milvus-io/bootcamp/blob/master/bootcamp/tutorials/quickstart/build_RAG_with_milvus.ipynb">(RAG)</a> et la <a href="https://github.com/milvus-io/bootcamp/blob/master/bootcamp/tutorials/quickstart/image_search_with_milvus.ipynb">recherche d'images</a>.</p>
<p>Milvus Lite est un projet open-source et vos contributions sont les bienvenues. Consultez notre <a href="https://github.com/milvus-io/milvus-lite/blob/main/CONTRIBUTING.md">guide de contribution</a> pour commencer. Vous pouvez également signaler des bogues ou demander des fonctionnalités en déposant un problème sur le dépôt <a href="https://github.com/milvus-io/milvus-lite">GitHub</a> de <a href="https://github.com/milvus-io/milvus-lite">Milvus Lite</a>.</p>


Présentation de Milvus Lite : Commencer à construire une application GenAI en quelques secondes

Optimiser les bases de données vectorielles, améliorer l'IA générative pilotée par RAG

Démarrer avec le cluster Milvus et K8s

<p>Nous sommes heureux d'annoncer le lancement de Milvus 2.4, une avancée majeure dans l'amélioration des capacités de recherche pour les ensembles de données à grande échelle. Cette dernière version ajoute de nouvelles fonctionnalités, telles que la prise en charge de l'index CAGRA basé sur le GPU, la prise en charge bêta des <a href="https://zilliz.com/learn/sparse-and-dense-embeddings">encastrements épars</a>, la recherche de groupe et diverses autres améliorations des capacités de recherche. Ces développements renforcent notre engagement envers la communauté en offrant aux développeurs comme vous un outil puissant et efficace pour manipuler et interroger les données vectorielles. Voyons ensemble les principaux avantages de Milvus 2.4.</p>
<h2 id="Enabled-Multi-vector-Search-for-Simplified-Multimodal-Searches" class="common-anchor-header">Recherche multi-vectorielle activée pour des recherches multimodales simplifiées<button data-href="#Enabled-Multi-vector-Search-for-Simplified-Multimodal-Searches" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.4 offre une capacité de recherche multivectorielle, permettant la recherche et le reclassement simultanés de différents types de vecteurs dans le même système Milvus. Cette fonctionnalité rationalise les recherches multimodales, améliorant considérablement les taux de rappel et permettant aux développeurs de gérer sans effort des applications d'IA complexes avec des types de données variés. En outre, cette fonctionnalité simplifie l'intégration et la mise au point de modèles de reclassement personnalisés, contribuant à la création de fonctions de recherche avancées telles que des <a href="https://zilliz.com/vector-database-use-cases/recommender-system">systèmes de recommandation</a> précis qui utilisent des informations provenant de données multidimensionnelles.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/How_the_multi_vector_search_feature_works_6c85961349.png" alt="How the Milti-Vector Search Feature Works" class="doc-image" id="how-the-milti-vector-search-feature-works" />
   </span> <span class="img-wrapper"> <span>Fonctionnement de la fonction de recherche multivectorielle</span> </span></p>
<p>La prise en charge multivectorielle dans Milvus comporte deux éléments :</p>
<ol>
<li><p>la possibilité de stocker et d'interroger plusieurs vecteurs pour une seule entité au sein d'une collection, ce qui est une manière plus naturelle d'organiser les données</p></li>
<li><p>La possibilité de construire/optimiser un algorithme de reclassement en tirant parti des algorithmes de reclassement préconstruits dans Milvus.</p></li>
</ol>
<p>Outre le fait qu'il s'agit d'une fonctionnalité très <a href="https://github.com/milvus-io/milvus/issues/25639">demandée</a>, nous l'avons développée parce que l'industrie évolue vers des modèles multimodaux avec la publication de GPT-4 et Claude 3. Le reclassement est une technique couramment utilisée pour améliorer les performances des requêtes dans le domaine de la recherche. Notre objectif est de permettre aux développeurs de créer et d'optimiser facilement leurs rerankers au sein de l'écosystème Milvus.</p>
<h2 id="Grouping-Search-Support-for-Enhanced-Compute-Efficiency" class="common-anchor-header">Prise en charge de la recherche groupée pour une meilleure efficacité de calcul<button data-href="#Grouping-Search-Support-for-Enhanced-Compute-Efficiency" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>La recherche groupée est une autre <a href="https://github.com/milvus-io/milvus/issues/25343">fonctionnalité</a> souvent <a href="https://github.com/milvus-io/milvus/issues/25343">demandée que</a> nous avons ajoutée à Milvus 2.4. Elle intègre une opération de groupage conçue pour les champs de type BOOL, INT ou VARCHAR, comblant ainsi un manque d'efficacité crucial dans l'exécution de requêtes de groupage à grande échelle.</p>
<p>Traditionnellement, les développeurs s'appuyaient sur des recherches Top-K approfondies suivies d'un post-traitement manuel pour distiller des résultats spécifiques à un groupe, une méthode gourmande en ressources informatiques et en code. La recherche par regroupement affine ce processus en reliant efficacement les résultats des requêtes à des identifiants de groupe agrégés, tels que les noms de documents ou de vidéos, ce qui rationalise le traitement des entités segmentées au sein d'ensembles de données plus importants.</p>
<p>Milvus distingue son Grouping Search par une mise en œuvre basée sur des itérateurs, offrant une nette amélioration de l'efficacité de calcul par rapport à des technologies similaires. Ce choix garantit une évolutivité supérieure des performances, en particulier dans les environnements de production où l'optimisation des ressources informatiques est primordiale. En réduisant la traversée des données et les frais généraux de calcul, Milvus permet un traitement plus efficace des requêtes, ce qui réduit considérablement les temps de réponse et les coûts d'exploitation par rapport à d'autres bases de données vectorielles.</p>
<p>La recherche groupée renforce la capacité de Milvus à gérer des requêtes complexes et volumineuses et s'aligne sur les pratiques de calcul haute performance pour les solutions de gestion de données robustes.</p>
<h2 id="Beta-Support-for-Sparse-Vector-Embeddings" class="common-anchor-header">Prise en charge bêta des encastrements de vecteurs épars<button data-href="#Beta-Support-for-Sparse-Vector-Embeddings" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Les<a href="https://zilliz.com/learn/sparse-and-dense-embeddings">encastrements de</a> vecteurs<a href="https://zilliz.com/learn/sparse-and-dense-embeddings">épars</a> représentent un changement de paradigme par rapport aux approches vectorielles denses traditionnelles, car ils prennent en compte les nuances de la similarité sémantique plutôt que la simple fréquence des mots clés. Cette distinction permet une capacité de recherche plus nuancée, s'alignant étroitement sur le contenu sémantique de la requête et des documents. Les modèles vectoriels épars, particulièrement utiles dans la recherche d'informations et le traitement du langage naturel, offrent de puissantes capacités de recherche hors domaine et une grande facilité d'interprétation par rapport à leurs homologues denses.</p>
<p>Dans Milvus 2.4, nous avons étendu la recherche hybride pour inclure les encastrements épars générés par des modèles neuronaux avancés tels que SPLADEv2 ou des modèles statistiques tels que BM25. Dans Milvus, les vecteurs épars sont traités sur un pied d'égalité avec les vecteurs denses, ce qui permet de créer des collections avec des champs de vecteurs épars, d'insérer des données, de construire des index et d'effectuer des recherches de similarité. Notamment, les encastrements épars dans Milvus prennent en charge la métrique de distance du <a href="https://zilliz.com/blog/similarity-metrics-for-vector-search#Inner-Product">produit intérieur</a> (IP), ce qui est avantageux compte tenu de leur nature hautement dimensionnelle, qui rend les autres métriques moins efficaces. Cette fonctionnalité prend également en charge les types de données dont la dimension est un entier non signé de 32 bits et un flottant de 32 bits pour la valeur, ce qui facilite un large éventail d'applications, depuis les recherches textuelles nuancées jusqu'aux systèmes élaborés de <a href="https://zilliz.com/learn/information-retrieval-metrics">recherche d'informations</a>.</p>
<p>Grâce à cette nouvelle fonctionnalité, Milvus permet des méthodologies de recherche hybrides qui combinent des techniques basées sur les mots-clés et l'intégration, offrant une transition transparente aux utilisateurs qui abandonnent les cadres de recherche centrés sur les mots-clés et qui recherchent une solution complète et nécessitant peu de maintenance.</p>
<p>Nous qualifions cette fonctionnalité de "Beta" afin de poursuivre nos tests de performance et de recueillir les commentaires de la communauté. La disponibilité générale (GA) de la prise en charge des vecteurs épars est prévue avec la sortie de Milvus 3.0.</p>
<h2 id="CAGRA-Index-Support-for-Advanced-GPU-Accelerated-Graph-Indexing" class="common-anchor-header">Prise en charge de l'index CAGRA pour l'indexation graphique accélérée par le GPU<button data-href="#CAGRA-Index-Support-for-Advanced-GPU-Accelerated-Graph-Indexing" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Développé par NVIDIA, <a href="https://arxiv.org/abs/2308.15136">CAGRA</a> (Cuda Anns GRAph-based) est une technologie d'indexation graphique basée sur le GPU qui surpasse de manière significative les méthodes traditionnelles basées sur le CPU telles que l'index HNSW en termes d'efficacité et de performance, en particulier dans les environnements à haut débit.</p>
<p>Avec l'introduction de l'index CAGRA, Milvus 2.4 offre une capacité améliorée d'indexation de graphes accélérée par le GPU. Cette amélioration est idéale pour la création d'applications de recherche de similarités nécessitant une latence minimale. En outre, Milvus 2.4 intègre une recherche par force brute avec l'index CAGRA pour atteindre des taux de rappel maximum dans les applications. Pour obtenir des informations détaillées, consultez le <a href="https://zilliz.com/blog/Milvus-introduces-GPU-index-CAGRA">blog d'introduction sur CAGRA</a>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Milvus_raft_cagra_vs_milvus_hnsw_ffe0415ff5.png" alt="Milvus Raft CAGRA vs. Milvus HNSW" class="doc-image" id="milvus-raft-cagra-vs.-milvus-hnsw" />
   </span> <span class="img-wrapper"> <span>Milvus Raft CAGRA vs. Milvus HNSW</span> </span></p>
<h2 id="Additional-Enhancements-and-Features" class="common-anchor-header">Améliorations et fonctionnalités supplémentaires<button data-href="#Additional-Enhancements-and-Features" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.4 comprend également d'autres améliorations clés, telles que la prise en charge des expressions régulières pour une meilleure correspondance des sous-chaînes dans le <a href="https://zilliz.com/blog/metadata-filtering-with-zilliz-cloud-pipelines">filtrage des métadonnées</a>, un nouvel index scalaire inversé pour un filtrage efficace des types de données scalaires et un outil de capture des données de modification pour surveiller et répliquer les modifications dans les collections Milvus. Ces mises à jour améliorent collectivement les performances et la polyvalence de Milvus, ce qui en fait une solution complète pour les opérations de données complexes.</p>
<p>Pour plus de détails, voir la <a href="https://milvus.io/docs/release_notes.md">documentation Milvus 2.4</a>.</p>
<h2 id="Stay-Connected" class="common-anchor-header">Restez connecté !<button data-href="#Stay-Connected" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Vous souhaitez en savoir plus sur Milvus 2.4 ? <a href="https://zilliz.com/event/unlocking-advanced-search-capabilities-milvus">Rejoignez notre prochain webinaire</a> avec James Luan, vice-président de l'ingénierie de Zilliz, pour une discussion approfondie sur les capacités de cette dernière version. Si vous avez des questions ou des commentaires, rejoignez notre <a href="https://discord.com/invite/8uyFbECzPX">canal Discord</a> pour échanger avec nos ingénieurs et les membres de la communauté. N'oubliez pas de nous suivre sur <a href="https://twitter.com/milvusio">Twitter</a> ou <a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn</a> pour connaître les dernières nouvelles et mises à jour concernant Milvus.</p>


Milvus 2.4 Supports Multi-vector Search, Sparse Vector, CAGRA, and More!

Dévoilement de Milvus 2.4 : recherche multivectorielle, vecteur épars, index CAGRA, et plus encore !

<p><a href="https://zilliz.com/what-is-milvus">Milvus</a>, la base de données vectorielles hautement évolutive réputée pour sa capacité à gérer de vastes ensembles de données, fait un grand pas en avant en introduisant la prise en charge des fichiers Parquet dans la <a href="https://zilliz.com/blog/what-is-new-in-milvus-2-3-4">version 2.3.4</a>. En adoptant Apache Parquet, les utilisateurs peuvent rationaliser leurs processus d'importation de données et bénéficier d'économies substantielles en termes de coûts de stockage et de calcul.</p>
<p>Dans notre dernier article, nous explorons les avantages de Parquet et les bénéfices qu'il apporte aux utilisateurs de Milvus. Nous expliquons les raisons de l'intégration de cette fonctionnalité et fournissons un guide étape par étape sur l'importation transparente de fichiers Parquet dans Milvus, ce qui ouvre de nouvelles possibilités pour une gestion et une analyse efficaces des données.</p>
<h2 id="What-Is-Apache-Parquet" class="common-anchor-header">Qu'est-ce que Apache Parquet ?<button data-href="#What-Is-Apache-Parquet" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><a href="https://parquet.apache.org/">Apache Parquet</a> est un format de fichier de données orienté colonnes, populaire et open-source, conçu pour améliorer l'efficacité du stockage et du traitement des ensembles de données à grande échelle. Contrairement aux formats de données traditionnels orientés ligne tels que CSV ou JSON, Parquet stocke les données par colonne, offrant ainsi des schémas de compression et d'encodage des données plus efficaces. Cette approche se traduit par une amélioration des performances, une réduction des besoins en stockage et une augmentation de la puissance de traitement, ce qui en fait un outil idéal pour traiter des données complexes en masse.</p>
<h2 id="How-Milvus-Users-Benefit-from-the-Support-for-Parquet-File-Imports" class="common-anchor-header">Comment les utilisateurs de Milvus bénéficient de la prise en charge des importations de fichiers Parquet<button data-href="#How-Milvus-Users-Benefit-from-the-Support-for-Parquet-File-Imports" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus étend la prise en charge des importations de fichiers Parquet, offrant aux utilisateurs des expériences optimisées et divers avantages, notamment la réduction des dépenses de stockage et de calcul, la rationalisation de la gestion des données et un processus d'importation simplifié.</p>
<h3 id="Optimized-Storage-Efficiency-and-Streamlined-Data-Management" class="common-anchor-header">Efficacité de stockage optimisée et gestion des données rationalisée</h3><p>Parquet offre des options de compression flexibles et des schémas d'encodage efficaces adaptés aux différents types de données, garantissant ainsi une efficacité de stockage optimale. Cette flexibilité est particulièrement précieuse dans les environnements en nuage où chaque once d'économie de stockage est directement corrélée à des réductions de coûts tangibles. Grâce à cette nouvelle fonctionnalité de Milvus, les utilisateurs peuvent consolider sans effort toutes leurs données diverses dans un fichier unique, ce qui rationalise la gestion des données et améliore l'expérience globale de l'utilisateur. Cette fonctionnalité est particulièrement avantageuse pour les utilisateurs travaillant avec des types de données Array de longueur variable, qui peuvent désormais bénéficier d'un processus d'importation de données simplifié.</p>
<h3 id="Improved-Query-Performance" class="common-anchor-header">Amélioration des performances des requêtes</h3><p>La conception du stockage en colonnes de Parquet et les méthodes de compression avancées améliorent considérablement les performances des requêtes. Lorsqu'ils effectuent des requêtes, les utilisateurs peuvent se concentrer uniquement sur les données pertinentes sans parcourir les données non pertinentes. Cette lecture sélective des colonnes minimise l'utilisation de l'unité centrale, ce qui se traduit par des temps de requête plus rapides.</p>
<h3 id="Broad-Language-Compatibility" class="common-anchor-header">Compatibilité linguistique étendue</h3><p>Parquet est disponible dans de nombreux langages tels que Java, C++ et Python et est compatible avec un grand nombre d'outils de traitement de données. Grâce à la prise en charge des fichiers Parquet, les utilisateurs de Milvus qui utilisent différents SDK peuvent générer de manière transparente des fichiers Parquet à analyser dans la base de données.</p>
<h2 id="How-to-Import-Parquet-Files-into-Milvus" class="common-anchor-header">Comment importer des fichiers Parquet dans Milvus ?<button data-href="#How-to-Import-Parquet-Files-into-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Si vos données sont déjà au format Parquet, l'importation est facile. Téléchargez le fichier Parquet vers un système de stockage d'objets tel que MinIO, et vous êtes prêt à l'importer.</p>
<p>L'extrait de code ci-dessous est un exemple d'importation de fichiers Parquet dans Milvus.</p>
<pre><code translate="no">remote_files = []
<span class="hljs-keyword">try</span>:
    <span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Prepare upload files&quot;</span>)
    minio_client = Minio(endpoint=MINIO_ADDRESS, access_key=MINIO_ACCESS_KEY, secret_key=MINIO_SECRET_KEY,
                         secure=<span class="hljs-literal">False</span>)
    found = minio_client.bucket_exists(bucket_name)
    <span class="hljs-keyword">if</span> <span class="hljs-keyword">not</span> found:
        minio_client.make_bucket(bucket_name)
        <span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;MinIO bucket &#x27;{}&#x27; doesn&#x27;t exist&quot;</span>.<span class="hljs-built_in">format</span>(bucket_name))
        <span class="hljs-keyword">return</span> <span class="hljs-literal">False</span>, []

    <span class="hljs-comment"># set your remote data path</span>
    remote_data_path = <span class="hljs-string">&quot;milvus_bulkinsert&quot;</span>

    <span class="hljs-keyword">def</span> <span class="hljs-title function_">upload_file</span>(<span class="hljs-params">f: <span class="hljs-built_in">str</span></span>):
        file_name = os.path.basename(f)
        minio_file_path = os.path.join(remote_data_path, <span class="hljs-string">&quot;parquet&quot;</span>, file_name)
        minio_client.fput_object(bucket_name, minio_file_path, f)
        <span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Upload file &#x27;{}&#x27; to &#x27;{}&#x27;&quot;</span>.<span class="hljs-built_in">format</span>(f, minio_file_path))
        remote_files.append(minio_file_path)

    upload_file(data_file)

<span class="hljs-keyword">except</span> S3Error <span class="hljs-keyword">as</span> e:
    <span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Failed to connect MinIO server {}, error: {}&quot;</span>.<span class="hljs-built_in">format</span>(MINIO_ADDRESS, e))
    <span class="hljs-keyword">return</span> <span class="hljs-literal">False</span>, []

<span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Successfully upload files: {}&quot;</span>.<span class="hljs-built_in">format</span>(remote_files))
<span class="hljs-keyword">return</span> <span class="hljs-literal">True</span>, remote_files
<button class="copy-code-btn"></button></code></pre>
<p>Si vos données ne sont pas des fichiers Parquet ou si elles comportent des champs dynamiques, vous pouvez utiliser BulkWriter, notre outil de conversion de format de données, pour vous aider à générer des fichiers Parquet. BulkWriter a désormais adopté Parquet comme format de données de sortie par défaut, ce qui garantit une expérience plus intuitive pour les développeurs.</p>
<p>L'extrait de code ci-dessous est un exemple d'utilisation de BulkWriter pour générer des fichiers Parquet.</p>
<pre><code translate="no"><span class="hljs-keyword">import</span> numpy <span class="hljs-keyword">as</span> np
<span class="hljs-keyword">import</span> json

<span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> (
    RemoteBulkWriter,
    BulkFileType,
)

remote_writer = RemoteBulkWriter(
        schema=your_collection_schema,
        remote_path=<span class="hljs-string">&quot;your_remote_data_path&quot;</span>,
        connect_param=RemoteBulkWriter.ConnectParam(
            endpoint=YOUR_MINIO_ADDRESS,
            access_key=YOUR_MINIO_ACCESS_KEY,
            secret_key=YOUR_MINIO_SECRET_KEY,
            bucket_name=<span class="hljs-string">&quot;a-bucket&quot;</span>,
        ),
        file_type=BulkFileType.PARQUET,
)

<span class="hljs-comment"># append your data</span>
batch_count = <span class="hljs-number">10000</span>
<span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(batch_count):
    row = {
        <span class="hljs-string">&quot;id&quot;</span>: i,
        <span class="hljs-string">&quot;bool&quot;</span>: <span class="hljs-literal">True</span> <span class="hljs-keyword">if</span> i % <span class="hljs-number">5</span> == <span class="hljs-number">0</span> <span class="hljs-keyword">else</span> <span class="hljs-literal">False</span>,
        <span class="hljs-string">&quot;int8&quot;</span>: i % <span class="hljs-number">128</span>,
        <span class="hljs-string">&quot;int16&quot;</span>: i % <span class="hljs-number">1000</span>,
        <span class="hljs-string">&quot;int32&quot;</span>: i % <span class="hljs-number">100000</span>,
        <span class="hljs-string">&quot;int64&quot;</span>: i,
        <span class="hljs-string">&quot;float&quot;</span>: i / <span class="hljs-number">3</span>,
        <span class="hljs-string">&quot;double&quot;</span>: i / <span class="hljs-number">7</span>,
        <span class="hljs-string">&quot;varchar&quot;</span>: <span class="hljs-string">f&quot;varchar_<span class="hljs-subst">{i}</span>&quot;</span>,
        <span class="hljs-string">&quot;json&quot;</span>: {<span class="hljs-string">&quot;dummy&quot;</span>: i, <span class="hljs-string">&quot;ok&quot;</span>: <span class="hljs-string">f&quot;name_<span class="hljs-subst">{i}</span>&quot;</span>},
        <span class="hljs-string">&quot;vector&quot;</span>: gen_binary_vector() <span class="hljs-keyword">if</span> bin_vec <span class="hljs-keyword">else</span> gen_float_vector(),
        <span class="hljs-string">f&quot;dynamic_<span class="hljs-subst">{i}</span>&quot;</span>: i,
    }
    remote_writer.append_row(row)

<span class="hljs-comment"># append rows by numpy type</span>
<span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(batch_count):
    remote_writer.append_row({
        <span class="hljs-string">&quot;id&quot;</span>: np.int64(i + batch_count),
        <span class="hljs-string">&quot;bool&quot;</span>: <span class="hljs-literal">True</span> <span class="hljs-keyword">if</span> i % <span class="hljs-number">3</span> == <span class="hljs-number">0</span> <span class="hljs-keyword">else</span> <span class="hljs-literal">False</span>,
        <span class="hljs-string">&quot;int8&quot;</span>: np.int8(i % <span class="hljs-number">128</span>),
        <span class="hljs-string">&quot;int16&quot;</span>: np.int16(i % <span class="hljs-number">1000</span>),
        <span class="hljs-string">&quot;int32&quot;</span>: np.int32(i % <span class="hljs-number">100000</span>),
        <span class="hljs-string">&quot;int64&quot;</span>: np.int64(i),
        <span class="hljs-string">&quot;float&quot;</span>: np.float32(i / <span class="hljs-number">3</span>),
        <span class="hljs-string">&quot;double&quot;</span>: np.float64(i / <span class="hljs-number">7</span>),
        <span class="hljs-string">&quot;varchar&quot;</span>: <span class="hljs-string">f&quot;varchar_<span class="hljs-subst">{i}</span>&quot;</span>,
        <span class="hljs-string">&quot;json&quot;</span>: json.dumps({<span class="hljs-string">&quot;dummy&quot;</span>: i, <span class="hljs-string">&quot;ok&quot;</span>: <span class="hljs-string">f&quot;name_<span class="hljs-subst">{i}</span>&quot;</span>}),
        <span class="hljs-string">&quot;vector&quot;</span>: gen_binary_vector() <span class="hljs-keyword">if</span> bin_vec <span class="hljs-keyword">else</span> gen_float_vector(),
        <span class="hljs-string">f&quot;dynamic_<span class="hljs-subst">{i}</span>&quot;</span>: i,
    })

<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;<span class="hljs-subst">{remote_writer.total_row_count}</span> rows appends&quot;</span>)
<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;<span class="hljs-subst">{remote_writer.buffer_row_count}</span> rows in buffer not flushed&quot;</span>)
<span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Generate data files...&quot;</span>)
remote_writer.commit()
<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;Data files have been uploaded: <span class="hljs-subst">{remote_writer.batch_files}</span>&quot;</span>)
remote_files = remote_writer.batch_files
<button class="copy-code-btn"></button></code></pre>
<p>Vous pouvez ensuite commencer à importer vos fichiers Parquet dans Milvus.</p>
<pre><code translate="no">remote_files = [remote_file_path]
task_id = utility.do_bulk_insert(collection_name=collection_name,
                                 files=remote_files)

task_ids = [task_id]         
states = wait_tasks_to_state(task_ids, BulkInsertState.ImportCompleted)
complete_count = 0
for state in states:
    if state.state == BulkInsertState.ImportCompleted:
        complete_count = complete_count + 1
<button class="copy-code-btn"></button></code></pre>
<p>Vos données sont désormais intégrées de manière transparente dans Milvus.</p>
<h2 id="Whats-Next" class="common-anchor-header">Quelles sont les prochaines étapes ?<button data-href="#Whats-Next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Alors que Milvus continue à prendre en charge des volumes de données toujours plus importants, le défi consiste à gérer des importations considérables, en particulier lorsque les fichiers Parquet dépassent 10 Go. Pour relever ce défi, nous prévoyons de séparer les données d'importation en colonnes scalaires et vectorielles, en créant deux fichiers Parquet par importation afin d'alléger la pression des entrées/sorties. Pour les ensembles de données dépassant plusieurs centaines de gigaoctets, nous recommandons d'importer les données plusieurs fois.</p>


Milvus Supports Imports of Apache Parquet Files

Milvus prend en charge les importations de fichiers Apache Parquet pour une meilleure efficacité du traitement des données

<custom-h1>Introduction aux versions de Milvus</custom-h1><p>Le choix de la version appropriée de Milvus est essentiel à la réussite de tout projet utilisant la technologie de recherche vectorielle. Les différentes versions de Milvus étant adaptées à diverses exigences, il est essentiel de comprendre l'importance du choix de la bonne version pour obtenir les résultats souhaités.</p>
<p>La bonne version de Milvus peut aider un développeur à apprendre et à prototyper rapidement ou à optimiser l'utilisation des ressources, à rationaliser les efforts de développement et à garantir la compatibilité avec l'infrastructure et les outils existants. En fin de compte, il s'agit de maintenir la productivité des développeurs et d'améliorer l'efficacité, la fiabilité et la satisfaction des utilisateurs.</p>
<h2 id="Available-Milvus-versions" class="common-anchor-header">Versions disponibles de Milvus<button data-href="#Available-Milvus-versions" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Trois versions de Milvus sont disponibles pour les développeurs, et toutes sont open source. Les trois versions sont Milvus Lite, Milvus Standalone et Milvus Cluster, qui diffèrent par leurs fonctionnalités et la manière dont les utilisateurs prévoient d'utiliser Milvus à court et à long terme. Nous allons donc les étudier individuellement.</p>
<h2 id="Milvus-Lite" class="common-anchor-header">Milvus Lite<button data-href="#Milvus-Lite" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Comme son nom l'indique, Milvus Lite est une version légère qui s'intègre de manière transparente à Google Colab et Jupyter Notebook. Elle se présente sous la forme d'un binaire unique sans dépendances supplémentaires, ce qui la rend facile à installer et à exécuter sur votre machine ou à intégrer dans des applications Python. En outre, Milvus Lite inclut un serveur Milvus autonome basé sur l'interface de programmation, ce qui permet de l'exécuter directement sur votre machine. Que vous l'intégriez dans votre code Python ou que vous l'utilisiez en tant que serveur autonome dépend entièrement de vos préférences et des exigences spécifiques de votre application.</p>
<h3 id="Features-and-Capabilities" class="common-anchor-header">Caractéristiques et capacités</h3><p>Milvus Lite comprend toutes les fonctionnalités principales de recherche vectorielle de Milvus.</p>
<ul>
<li><p><strong>Capacités de recherche</strong>: Prend en charge les recherches top-k, par plage et hybrides, y compris le filtrage des métadonnées, pour répondre à diverses exigences en matière de recherche.</p></li>
<li><p><strong>Types d'index et mesures de similarité</strong>: Prise en charge de 11 types d'index et de cinq mesures de similarité, ce qui offre des options de flexibilité et de personnalisation pour votre cas d'utilisation spécifique.</p></li>
<li><p><strong>Traitement des données</strong>: Permet le traitement par lots (Apache Parquet, Arrays, JSON) et par flux, avec une intégration transparente grâce à des connecteurs pour Airbyte, Apache Kafka et Apache Spark.</p></li>
<li><p><strong>Opérations CRUD</strong>: Offre un support CRUD complet (création, lecture, mise à jour/versement, suppression), offrant aux utilisateurs des capacités complètes de gestion des données.</p></li>
</ul>
<h3 id="Applications-and-limitations" class="common-anchor-header">Applications et limitations</h3><p>Milvus Lite est idéal pour le prototypage rapide et le développement local, offrant une prise en charge de la configuration rapide et de l'expérimentation avec des ensembles de données à petite échelle sur votre machine. Cependant, ses limites deviennent apparentes lors de la transition vers des environnements de production avec des ensembles de données plus importants et des exigences d'infrastructure plus strictes. Ainsi, bien que Milvus Lite soit un excellent outil pour l'exploration et les tests initiaux, il n'est peut-être pas adapté au déploiement d'applications dans des environnements à fort volume ou prêts pour la production.</p>
<h3 id="Available-Resources" class="common-anchor-header">Ressources disponibles</h3><ul>
<li><p><a href="https://milvus.io/docs/milvus_lite.md">Documentation (en anglais)</a></p></li>
<li><p><a href="https://github.com/milvus-io/milvus-lite/">Dépôt Github</a></p></li>
<li><p><a href="https://github.com/milvus-io/milvus-lite/tree/main/examples">Exemple Google Colab</a></p></li>
<li><p><a href="https://www.youtube.com/watch?v=IgJdrGiB5ZY">Vidéo de prise en main</a></p></li>
</ul>
<h2 id="Milvus-Standalone" class="common-anchor-header">Milvus autonome<button data-href="#Milvus-Standalone" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus offre deux modes opérationnels : Autonome et Cluster. Les deux modes sont identiques en ce qui concerne les caractéristiques de base de la base de données vectorielle et diffèrent en ce qui concerne la prise en charge de la taille des données et les exigences en matière d'évolutivité. Cette distinction vous permet de sélectionner le mode qui correspond le mieux à la taille de vos ensembles de données, au volume de trafic et à d'autres exigences d'infrastructure pour la production.</p>
<p>Milvus Standalone est un mode de fonctionnement du système de base de données vectorielles Milvus dans lequel il fonctionne indépendamment en tant qu'instance unique sans clustering ni configuration distribuée. Milvus s'exécute sur un seul serveur ou une seule machine dans ce mode, fournissant des fonctionnalités telles que l'indexation et la recherche de vecteurs. Il convient aux situations où l'échelle des données et du volume de trafic est relativement petite et ne nécessite pas les capacités distribuées fournies par une configuration en grappe.</p>
<h3 id="Features-and-Capabilities" class="common-anchor-header">Caractéristiques et capacités</h3><ul>
<li><p><strong>Haute performance</strong>: Effectuez des recherches vectorielles sur des ensembles de données volumineux (des milliards ou plus) avec une rapidité et une efficacité exceptionnelles.</p></li>
<li><p><strong>Capacités de recherche</strong>: Prise en charge des recherches top-k, par plage et hybrides, y compris le filtrage des métadonnées, pour répondre à diverses exigences de recherche.</p></li>
<li><p><strong>Types d'index et mesures de similarité</strong>: Prise en charge de 11 types d'index et de 5 mesures de similarité, offrant une grande souplesse et des options de personnalisation pour votre cas d'utilisation spécifique.</p></li>
<li><p><strong>Traitement des données</strong>: Permet le traitement par lots (Apache Parquet, Arrays, Json) et par flux, avec une intégration transparente grâce à des connecteurs pour Airbyte, Apache Kafka et Apache Spark.</p></li>
<li><p><strong>Réplication des données et basculement</strong>: Les fonctions intégrées de réplication et de basculement/failback garantissent l'intégrité des données et la disponibilité des applications, même en cas d'interruption ou de panne.</p></li>
<li><p><strong>Évolutivité</strong>: Bénéficiez d'une évolutivité dynamique grâce à la mise à l'échelle au niveau des composants, ce qui permet une mise à l'échelle transparente vers le haut ou vers le bas en fonction de la demande. Milvus peut procéder à une mise à l'échelle automatique au niveau des composants, optimisant ainsi l'allocation des ressources pour une meilleure efficacité.</p></li>
<li><p><strong>Multi-tenance</strong>: Prend en charge la multi-location avec la capacité de gérer jusqu'à 10 000 collections/partitions dans un cluster, ce qui permet une utilisation efficace des ressources et une isolation pour différents utilisateurs ou applications.</p></li>
<li><p><strong>Opérations CRUD</strong>: Prise en charge complète des opérations CRUD (création, lecture, mise à jour/suppression, suppression), offrant aux utilisateurs des capacités complètes de gestion des données.</p></li>
</ul>
<h3 id="Essential-components" class="common-anchor-header">Composants essentiels :</h3><ul>
<li><p>Milvus : le composant fonctionnel de base.</p></li>
<li><p>etcd : Le moteur de métadonnées responsable de l'accès aux métadonnées et de leur stockage à partir des composants internes de Milvus, y compris les proxies, les nœuds d'index, etc.</p></li>
<li><p>MinIO : le moteur de stockage responsable de la persistance des données au sein de Milvus.</p></li>
</ul>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Screenshot_2024_02_19_at_4_16_41_PM_5e635586a7.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Figure 1 : Architecture autonome de Milvus</p>
<h3 id="Available-Resources" class="common-anchor-header">Ressources disponibles</h3><ul>
<li><p>Documentation</p>
<ul>
<li><p><a href="https://milvus.io/docs/prerequisite-docker.md">Liste de contrôle de l'environnement pour Milvus avec Docker Compose</a></p></li>
<li><p><a href="https://milvus.io/docs/install_standalone-docker.md">Installer Milvus Standalone avec Docker</a></p></li>
</ul></li>
<li><p><a href="https://github.com/milvus-io/milvus">Dépôt Github</a></p></li>
</ul>
<h2 id="Milvus-Cluster" class="common-anchor-header">Milvus Cluster<button data-href="#Milvus-Cluster" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus Cluster est un mode de fonctionnement du système de base de données vectorielle Milvus dans lequel il fonctionne et est distribué sur plusieurs nœuds ou serveurs. Dans ce mode, les instances Milvus sont regroupées pour former un système unifié qui peut gérer de plus grands volumes de données et des charges de trafic plus élevées par rapport à une configuration autonome. Milvus Cluster offre des fonctions d'évolutivité, de tolérance aux pannes et d'équilibrage de charge, ce qui le rend adapté aux scénarios qui doivent traiter des données volumineuses et servir efficacement de nombreuses requêtes simultanées.</p>
<h3 id="Features-and-Capabilities" class="common-anchor-header">Fonctionnalités et capacités</h3><ul>
<li><p>Hérite de toutes les fonctionnalités disponibles dans Milvus Standalone, y compris la recherche vectorielle haute performance, la prise en charge de plusieurs types d'index et de métriques de similarité, et l'intégration transparente avec les frameworks de traitement par lots et par flux.</p></li>
<li><p>Offre une disponibilité, des performances et une optimisation des coûts inégalées en tirant parti de l'informatique distribuée et de l'équilibrage des charges sur plusieurs nœuds.</p></li>
<li><p>Permet de déployer et de mettre à l'échelle des charges de travail sécurisées de niveau professionnel avec des coûts totaux réduits en utilisant efficacement les ressources sur l'ensemble du cluster et en optimisant l'allocation des ressources en fonction des demandes de charge de travail.</p></li>
</ul>
<h3 id="Essential-components" class="common-anchor-header">Composants essentiels :</h3><p>Milvus Cluster comprend huit composants microservices et trois dépendances tierces. Tous les microservices peuvent être déployés sur Kubernetes indépendamment les uns des autres.</p>
<h4 id="Microservice-components" class="common-anchor-header">Composants de microservices</h4><ul>
<li><p>Coordonnée racine</p></li>
<li><p>Proxy</p></li>
<li><p>Coordonnateur de requête</p></li>
<li><p>Nœud de requête</p></li>
<li><p>Coordonnée de l'index</p></li>
<li><p>Nœud d'index</p></li>
<li><p>Coordonnée de données</p></li>
<li><p>Nœud de données</p></li>
</ul>
<h4 id="Third-party-dependencies" class="common-anchor-header">Dépendances tierces</h4><ul>
<li><p>etcd : Stocke les métadonnées des différents composants du cluster.</p></li>
<li><p>MinIO : Responsable de la persistance des données des fichiers volumineux dans le cluster, tels que les fichiers d'index et les fichiers journaux binaires.</p></li>
<li><p>Pulsar : Gère les journaux des opérations de mutation récentes, produit des journaux en continu et fournit des services de publication et d'abonnement de journaux.</p></li>
</ul>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Screenshot_2024_02_19_at_4_18_01_PM_88971280ed.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Figure 2 : Architecture du cluster Milvus</p>
<h4 id="Available-Resources" class="common-anchor-header">Ressources disponibles</h4><ul>
<li><p><a href="https://milvus.io/docs/install_cluster-milvusoperator.md">Documentation sur</a> la façon de démarrer</p>
<ul>
<li><p><a href="https://milvus.io/docs/install_cluster-milvusoperator.md">Installer le cluster Milvus avec Milvus Operator</a></p></li>
<li><p><a href="https://milvus.io/docs/install_cluster-helm.md">Installer le cluster Milvus avec Helm</a></p></li>
<li><p><a href="https://milvus.io/docs/scaleout.md">Comment faire évoluer un cluster Milvus</a></p></li>
</ul></li>
<li><p><a href="https://github.com/milvus-io/milvus">Dépôt Github</a></p></li>
</ul>
<h2 id="Making-the-Decision-on-which-Milvus-version-to-use" class="common-anchor-header">Décider de la version de Milvus à utiliser<button data-href="#Making-the-Decision-on-which-Milvus-version-to-use" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Lorsque vous décidez de la version de Milvus à utiliser pour votre projet, vous devez prendre en compte des facteurs tels que la taille de votre ensemble de données, le volume de trafic, les exigences d'évolutivité et les contraintes de l'environnement de production. Milvus Lite est parfait pour le prototypage sur votre ordinateur portable. Milvus Standalone offre de hautes performances et une grande flexibilité pour effectuer des recherches vectorielles sur vos ensembles de données, ce qui le rend adapté aux déploiements à plus petite échelle, à la CI/CD et aux déploiements hors ligne lorsque vous n'avez pas de prise en charge Kubernetes... Et enfin, Milvus Cluster offre une disponibilité, une évolutivité et une optimisation des coûts inégalées pour les charges de travail de niveau entreprise, ce qui en fait le choix privilégié pour les environnements de production à grande échelle et hautement disponibles.</p>
<p>Il existe une autre version qui est une version sans tracas, il s'agit d'une version gérée de Milvus appelée <a href="https://cloud.zilliz.com/signup">Zilliz Cloud</a>.</p>
<p>En fin de compte, la version de Milvus dépendra de votre cas d'utilisation spécifique, de vos exigences en matière d'infrastructure et de vos objectifs à long terme. En évaluant soigneusement ces facteurs et en comprenant les caractéristiques et les capacités de chaque version, vous pouvez prendre une décision éclairée qui s'aligne sur les besoins et les objectifs de votre projet. Que vous choisissiez Milvus Standalone ou Milvus Cluster, vous pouvez exploiter la puissance des bases de données vectorielles pour améliorer les performances et l'efficacité de vos applications d'IA.</p>


Quelle version de Milvus pour commencer

Top 10 Keywords Dominating the Milvus Community in 2023

Dévoiler les 10 principaux mots-clés qui domineront la communauté Milvus en 2023

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/What_is_new_in_Milvus_2_3_4_1847b0fa8a.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Nous sommes ravis de dévoiler la dernière version de Milvus 2.3.4. Cette mise à jour introduit une série de fonctionnalités et d'améliorations méticuleusement conçues pour optimiser les performances, stimuler l'efficacité et offrir une expérience utilisateur transparente. Dans ce billet de blog, nous allons nous pencher sur les points forts de Milvus 2.3.4.</p>
<h2 id="Access-logs-for-improved-monitoring" class="common-anchor-header">Journaux d'accès pour une meilleure surveillance<button data-href="#Access-logs-for-improved-monitoring" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus prend désormais en charge les journaux d'accès, ce qui permet d'obtenir des informations précieuses sur les interactions avec les interfaces externes. Ces journaux enregistrent les noms des méthodes, les demandes des utilisateurs, les temps de réponse, les codes d'erreur et d'autres informations sur les interactions, ce qui permet aux développeurs et aux administrateurs système d'effectuer une analyse des performances, un audit de sécurité et un dépannage efficace.</p>
<p><strong><em>Remarque :</em></strong> <em>actuellement, les journaux d'accès ne prennent en charge que les interactions gRPC. Toutefois, nous nous engageons à poursuivre nos efforts d'amélioration et les prochaines versions étendront cette capacité aux journaux de requêtes RESTful.</em></p>
<p>Pour plus d'informations, reportez-vous à la section <a href="https://milvus.io/docs/configure_access_logs.md">Configurer les journaux d'accès</a>.</p>
<h2 id="Parquet-file-imports-for-enhanced-data-processing-efficiency" class="common-anchor-header">Importations de fichiers Parquet pour une meilleure efficacité du traitement des données<button data-href="#Parquet-file-imports-for-enhanced-data-processing-efficiency" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.3.4 prend désormais en charge l'importation de fichiers Parquet, un format de stockage en colonnes largement adopté et conçu pour améliorer l'efficacité du stockage et du traitement des ensembles de données à grande échelle. Cet ajout offre aux utilisateurs une flexibilité et une efficacité accrues dans leurs efforts de traitement des données. En éliminant le besoin de conversions laborieuses de formats de données, les utilisateurs qui gèrent des ensembles de données importants au format Parquet bénéficieront d'un processus d'importation de données rationalisé, réduisant de manière significative le temps écoulé entre la préparation initiale des données et la récupération ultérieure des vecteurs.</p>
<p>En outre, notre outil de conversion de format de données, BulkWriter, a désormais adopté Parquet comme format de données de sortie par défaut, ce qui garantit une expérience plus intuitive pour les développeurs.</p>
<h2 id="Binlog-index-on-growing-segments-for-faster-searches" class="common-anchor-header">Index Binlog sur des segments croissants pour des recherches plus rapides<button data-href="#Binlog-index-on-growing-segments-for-faster-searches" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus exploite désormais un index binlog sur les segments croissants, ce qui permet de multiplier par dix les recherches dans les segments croissants. Cette amélioration renforce considérablement l'efficacité des recherches et prend en charge les index avancés tels que IVF ou Fast Scan, améliorant ainsi l'expérience globale de l'utilisateur.</p>
<h2 id="Support-for-up-to-10000-collectionspartitions" class="common-anchor-header">Prise en charge d'un maximum de 10 000 collections/partitions<button data-href="#Support-for-up-to-10000-collectionspartitions" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Comme les tables et les partitions dans les bases de données relationnelles, les collections et les partitions sont les unités de base pour le stockage et la gestion des données vectorielles dans Milvus. Pour répondre à l'évolution des besoins des utilisateurs en matière d'organisation nuancée des données, Milvus 2.3.4 prend désormais en charge jusqu'à 10 000 collections/partitions dans un cluster, ce qui représente une avancée significative par rapport à la limite précédente de 4 096. Cette amélioration profite à divers cas d'utilisation, tels que la gestion des bases de connaissances et les environnements multi-locataires. La prise en charge élargie des collections/partitions découle de l'amélioration du mécanisme de time tick, de la gestion des goroutines et de l'utilisation de la mémoire.</p>
<p><strong><em>Remarque :</em></strong> <em>la limite recommandée pour le nombre de collections/partitions est de 10 000, car le dépassement de cette limite peut avoir un impact sur la récupération des pannes et l'utilisation des ressources.</em></p>
<h2 id="Other-enhancements" class="common-anchor-header">Autres améliorations<button data-href="#Other-enhancements" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Outre les fonctionnalités ci-dessus, Milvus 2.3.4 comprend diverses améliorations et corrections de bogues. Il s'agit notamment de la réduction de l'utilisation de la mémoire lors de la récupération des données et de la gestion des données de longueur variable, de l'amélioration des messages d'erreur, de l'accélération de la vitesse de chargement et de l'amélioration de l'équilibre des groupes de requêtes. L'ensemble de ces améliorations contribue à une expérience utilisateur globale plus fluide et plus efficace.</p>
<p>Pour un aperçu complet de toutes les modifications introduites dans Milvus 2.3.4, reportez-vous à nos <a href="https://milvus.io/docs/release_notes.md#v234">notes de mise à jour</a>.</p>
<h2 id="Stay-connected" class="common-anchor-header">Restez connecté !<button data-href="#Stay-connected" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Si vous avez des questions ou des commentaires sur Milvus, rejoignez notre <a href="https://discord.com/invite/8uyFbECzPX">canal Discord</a> pour dialoguer directement avec nos ingénieurs et la communauté ou participez à notre <a href="https://discord.com/invite/RjNbk8RR4f">déjeuner et apprentissage de la communauté Milvus</a> tous les mardis de 12 à 12 h 30 (heure de Paris). Nous vous invitons également à nous suivre sur <a href="https://twitter.com/milvusio">Twitter</a> ou <a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn</a> pour connaître les dernières nouvelles et mises à jour concernant Milvus.</p>


Milvus 2.3.4 : Recherches plus rapides, prise en charge élargie des données, amélioration du suivi, etc.

2023 : l'année de l'IA

Recherche efficace de similarité vectorielle dans les flux de travail de recommandation à l'aide de Milvus et de NVIDIA Merlin

Comment obtenir les bons Vector Embeddings ?

Comment migrer vos données vers Milvus en toute transparence : Un guide complet

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Exploring_NATS_878f48c848.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Dans la tapisserie complexe du traitement des données, la communication sans faille est le fil conducteur des opérations. <a href="https://zilliz.com/what-is-milvus">Milvus</a>, la <a href="https://zilliz.com/cloud">base de données vectorielles open-source</a> pionnière, s'est lancée dans un voyage transformateur avec sa dernière fonctionnalité : L'intégration de la messagerie NATS. Dans cet article de blog détaillé, nous allons dévoiler les subtilités de cette intégration, en explorant ses principales fonctionnalités, son processus d'installation, ses avantages en termes de migration et sa comparaison avec son prédécesseur, RocksMQ.</p>
<h2 id="Understanding-the-role-of-message-queues-in-Milvus" class="common-anchor-header">Comprendre le rôle des files d'attente de messages dans Milvus<button data-href="#Understanding-the-role-of-message-queues-in-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Dans l'architecture cloud-native de Milvus, la file d'attente de messages, ou Log Broker, revêt une importance cruciale. C'est l'épine dorsale qui assure les flux de données persistants, la synchronisation, les notifications d'événements et l'intégrité des données lors des reprises de système. Traditionnellement, RocksMQ était le choix le plus simple en mode autonome Milvus, notamment par rapport à Pulsar et Kafka, mais ses limites sont devenues évidentes avec des données volumineuses et des scénarios complexes.</p>
<p>Milvus 2.3 introduit NATS, une implémentation MQ à nœud unique, qui redéfinit la manière de gérer les flux de données. Contrairement à ses prédécesseurs, NATS libère les utilisateurs de Milvus des contraintes de performance, offrant une expérience transparente dans le traitement de volumes de données importants.</p>
<h2 id="What-is-NATS" class="common-anchor-header">Qu'est-ce que NATS ?<button data-href="#What-is-NATS" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>NATS est une technologie de connectivité de système distribué mise en œuvre en Go. Elle prend en charge divers modes de communication tels que Request-Reply et Publish-Subscribe entre les systèmes, assure la persistance des données grâce à JetStream et offre des capacités distribuées grâce à RAFT intégré. Vous pouvez vous référer au <a href="https://nats.io/">site officiel de NATS</a> pour une compréhension plus détaillée de NATS.</p>
<p>En mode autonome Milvus 2.3, NATS, JetStream et PubSub fournissent à Milvus de solides capacités MQ.</p>
<h2 id="Enabling-NATS" class="common-anchor-header">Activation du NATS<button data-href="#Enabling-NATS" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.3 propose une nouvelle option de contrôle, <code translate="no">mq.type</code>, qui permet aux utilisateurs de spécifier le type de MQ qu'ils souhaitent utiliser. Pour activer le NATS, définissez <code translate="no">mq.type=natsmq</code>. Si vous voyez des journaux similaires à ceux ci-dessous après avoir lancé des instances Milvus, vous avez réussi à activer NATS en tant que file d'attente de messages.</p>
<pre><code translate="no">[INFO] [dependency/factory.go:83] [<span class="hljs-string">&quot;try to init mq&quot;</span>] [standalone=<span class="hljs-literal">true</span>] [mqType=natsmq]
<button class="copy-code-btn"></button></code></pre>
<h2 id="Configuring-NATS-for-Milvus" class="common-anchor-header">Configuration du NATS pour Milvus<button data-href="#Configuring-NATS-for-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Les options de personnalisation du NATS comprennent la spécification du port d'écoute, du répertoire de stockage JetStream, de la taille maximale de la charge utile et du délai d'initialisation. Le réglage précis de ces paramètres garantit des performances et une fiabilité optimales.</p>
<pre><code translate="no">natsmq:
server: <span class="hljs-comment"># server side configuration for natsmq.</span>
port: <span class="hljs-number">4222</span> <span class="hljs-comment"># 4222 by default, Port for nats server listening.</span>
storeDir: /var/lib/milvus/nats <span class="hljs-comment"># /var/lib/milvus/nats by default, directory to use for JetStream storage of nats.</span>
maxFileStore: <span class="hljs-number">17179869184</span> <span class="hljs-comment"># (B) 16GB by default, Maximum size of the &#x27;file&#x27; storage.</span>
maxPayload: <span class="hljs-number">8388608</span> <span class="hljs-comment"># (B) 8MB by default, Maximum number of bytes in a message payload.</span>
maxPending: <span class="hljs-number">67108864</span> <span class="hljs-comment"># (B) 64MB by default, Maximum number of bytes buffered for a connection Applies to client connections.</span>
initializeTimeout: <span class="hljs-number">4000</span> <span class="hljs-comment"># (ms) 4s by default, waiting for initialization of natsmq finished.</span>
monitor:
trace: false <span class="hljs-comment"># false by default, If true enable protocol trace log messages.</span>
debug: false <span class="hljs-comment"># false by default, If true enable debug log messages.</span>
logTime: true <span class="hljs-comment"># true by default, If set to false, log without timestamps.</span>
logFile: /tmp/milvus/logs/nats.log <span class="hljs-comment"># /tmp/milvus/logs/nats.log by default, Log file path relative to .. of milvus binary if use relative path.</span>
logSizeLimit: <span class="hljs-number">536870912</span> <span class="hljs-comment"># (B) 512MB by default, Size in bytes after the log file rolls over to a new one.</span>
retention:
maxAge: <span class="hljs-number">4320</span> <span class="hljs-comment"># (min) 3 days by default, Maximum age of any message in the P-channel.</span>
maxBytes: <span class="hljs-comment"># (B) None by default, How many bytes the single P-channel may contain. Removing oldest messages if the P-channel exceeds this size.</span>
maxMsgs: <span class="hljs-comment"># None by default, How many message the single P-channel may contain. Removing oldest messages if the P-channel exceeds this limit.</span>
<button class="copy-code-btn"></button></code></pre>
<p><strong>Remarque :</strong></p>
<ul>
<li><p>Vous devez spécifier <code translate="no">server.port</code> pour l'écoute du serveur NATS. En cas de conflit de port, Milvus ne peut pas démarrer. Définissez <code translate="no">server.port=-1</code> pour sélectionner un port de manière aléatoire.</p></li>
<li><p><code translate="no">storeDir</code> spécifie le répertoire pour le stockage JetStream. Nous recommandons de stocker le répertoire dans un lecteur à état solide (SSD) très performant pour améliorer le débit de lecture/écriture de Milvus.</p></li>
<li><p><code translate="no">maxFileStore</code> fixe la limite supérieure de la taille du stockage JetStream. Le dépassement de cette limite empêchera la poursuite de l'écriture des données.</p></li>
<li><p><code translate="no">maxPayload</code> limite la taille des messages individuels. Il est conseillé de la maintenir au-dessus de 5 Mo pour éviter tout rejet d'écriture.</p></li>
<li><p><code translate="no">initializeTimeout</code>contrôle le délai de démarrage du serveur NATS</p></li>
<li><p><code translate="no">monitor</code> configure les journaux indépendants du NATS</p></li>
<li><p><code translate="no">retention</code> contrôle le mécanisme de conservation des messages NATS.</p></li>
</ul>
<p>Pour plus d'informations, consultez la <a href="https://docs.nats.io/running-a-nats-service/configuration">documentation officielle du NATS</a>.</p>
<h2 id="Migrating-from-RocksMQ-to-NATS" class="common-anchor-header">Migration de RocksMQ vers le NATS<button data-href="#Migrating-from-RocksMQ-to-NATS" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>La migration de RocksMQ vers NATS est un processus transparent qui implique des étapes telles que l'arrêt des opérations d'écriture, la vidange des données, la modification des configurations et la vérification de la migration à l'aide des journaux Milvus.</p>
<ol>
<li><p>Avant de lancer la migration, arrêtez toutes les opérations d'écriture dans Milvus.</p></li>
<li><p>Exécuter l'opération <code translate="no">FlushALL</code> dans Milvus et attendre son achèvement. Cette étape permet de s'assurer que toutes les données en attente sont vidées et que le système est prêt pour l'arrêt.</p></li>
<li><p>Modifier le fichier de configuration de Milvus en définissant <code translate="no">mq.type=natsmq</code> et en ajustant les options pertinentes dans la section <code translate="no">natsmq</code>.</p></li>
<li><p>Démarrer le système Milvus 2.3.</p></li>
<li><p>Sauvegarder et nettoyer les données originales stockées dans le répertoire <code translate="no">rocksmq.path</code>. (Facultatif)</p></li>
</ol>
<h2 id="NATS-vs-RocksMQ-A-Performance-Showdown" class="common-anchor-header">NATS vs. RocksMQ : une démonstration de performance<button data-href="#NATS-vs-RocksMQ-A-Performance-Showdown" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="PubSub-Performance-Testing" class="common-anchor-header">Test de performance Pub/Sub</h3><ul>
<li><p><strong>Plate-forme de test :</strong> Puce M1 Pro / Mémoire : 16 Go</p></li>
<li><p><strong>Scénario de test :</strong> Abonnement et publication de paquets de données aléatoires à un sujet de manière répétée jusqu'à ce que le dernier résultat publié soit reçu.</p></li>
<li><p><strong>Résultats :</strong></p>
<ul>
<li><p>Pour les petits paquets de données (&lt; 64kb), RocksMQ surpasse NATS en termes de mémoire, de CPU et de vitesse de réponse.</p></li>
<li><p>Pour les paquets de données plus importants (&gt; 64kb), NATS surpasse RocksMQ, offrant des temps de réponse beaucoup plus rapides.</p></li>
</ul></li>
</ul>
<table>
<thead>
<tr><th>Type de test</th><th>MQ</th><th>nombre d'opérations</th><th>Coût par opération</th><th>Coût de la mémoire</th><th>Temps total de l'unité centrale</th><th>Coût du stockage</th></tr>
</thead>
<tbody>
<tr><td>5MB*100 Pub/Sub</td><td>NATS</td><td>50</td><td>1.650328186 s/op</td><td>4,29 GO</td><td>85.58</td><td>25G</td></tr>
<tr><td>5MB*100 Pub/Sub</td><td>RocksMQ</td><td>50</td><td>2.475595131 s/op</td><td>1.18 GB</td><td>81.42</td><td>19G</td></tr>
<tr><td>1MB*500 Pub/Sub</td><td>NATS</td><td>50</td><td>2.248722593 s/op</td><td>2.60 GB</td><td>96.50</td><td>25G</td></tr>
<tr><td>1MB*500 Pub/Sub</td><td>RocksMQ</td><td>50</td><td>2.554614279 s/op</td><td>614.9 MB</td><td>80.19</td><td>19G</td></tr>
<tr><td>64KB*10000 Pub/Sub</td><td>NATS</td><td>50</td><td>2.133345262 s/op</td><td>3.29 GB</td><td>97.59</td><td>31G</td></tr>
<tr><td>64KB*10000 Pub/Sub</td><td>RocksMQ</td><td>50</td><td>3.253778195 s/op</td><td>331.2 MB</td><td>134.6</td><td>24G</td></tr>
<tr><td>1KB*50000 Pub/Sub</td><td>NATS</td><td>50</td><td>2.629391004 s/op</td><td>635.1 MB</td><td>179.67</td><td>2.6G</td></tr>
<tr><td>1KB*50000 Pub/Sub</td><td>RocksMQ</td><td>50</td><td>0.897638581 s/op</td><td>232.3 MB</td><td>60.42</td><td>521M</td></tr>
</tbody>
</table>
<p>Tableau 1 : Résultats des tests de performance de Pub/Sub</p>
<h3 id="Milvus-Integration-Testing" class="common-anchor-header">Test d'intégration Milvus</h3><p><strong>Taille des données :</strong> 100M</p>
<p><strong>Résultat :</strong> Lors de tests approfondis avec un ensemble de données de 100 millions de vecteurs, NATS a démontré une latence réduite pour la recherche de vecteurs et les requêtes.</p>
<table>
<thead>
<tr><th>Métriques</th><th>RocksMQ (ms)</th><th>NATS (ms)</th></tr>
</thead>
<tbody>
<tr><td>Temps de latence moyen pour la recherche de vecteurs</td><td>23.55</td><td>20.17</td></tr>
<tr><td>Demandes de recherche vectorielle par seconde (RPS)</td><td>2.95</td><td>3.07</td></tr>
<tr><td>Temps de latence moyen des requêtes</td><td>7.2</td><td>6.74</td></tr>
<tr><td>Requêtes par seconde (RPS)</td><td>1.47</td><td>1.54</td></tr>
</tbody>
</table>
<p>Tableau 2 : Résultats des tests d'intégration de Milvus avec l'ensemble de données 100m</p>
<p><strong>Ensemble de données : &lt;100M</strong></p>
<p><strong>Résultat :</strong> Pour les ensembles de données inférieurs à 100M, NATS et RocksMQ affichent des performances similaires.</p>
<h2 id="Conclusion-Empowering-Milvus-with-NATS-messaging" class="common-anchor-header">Conclusion : Renforcer Milvus avec la messagerie NATS<button data-href="#Conclusion-Empowering-Milvus-with-NATS-messaging" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>L'intégration de NATS dans Milvus marque une avancée significative dans le traitement des données. Qu'il s'agisse d'analyses en temps réel, d'applications d'apprentissage automatique ou de tout autre projet à forte intensité de données, les NATS confèrent à vos projets efficacité, fiabilité et rapidité. À mesure que le paysage des données évolue, le fait de disposer d'un système de messagerie robuste tel que NATS au sein de Milvus garantit une communication de données transparente, fiable et performante.</p>


Optimisation de la communication des données : Milvus adopte la messagerie NATS

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/What_s_New_in_Milvus_2_3_2_and_2_3_3_d3d0db03c3.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Dans le paysage en constante évolution des technologies de recherche vectorielle, Milvus reste à l'avant-garde, repoussant les limites et établissant de nouvelles normes. Aujourd'hui, nous sommes ravis d'annoncer la sortie de Milvus 2.3.2 et 2.3.3 ! Ces mises à jour apportent de nombreuses fonctionnalités, optimisations et améliorations passionnantes, améliorant les performances du système, la flexibilité et l'expérience globale de l'utilisateur.</p>
<h2 id="Support-for-Array-data-types---making-search-results-more-accurate-and-relevant" class="common-anchor-header">Prise en charge des types de données Array - pour des résultats de recherche plus précis et plus pertinents<button data-href="#Support-for-Array-data-types---making-search-results-more-accurate-and-relevant" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>L'ajout de la prise en charge des types de données Array est une amélioration essentielle pour Milvus, en particulier dans les scénarios de filtrage des requêtes tels que l'intersection et l'union. Cet ajout garantit que les résultats de la recherche sont non seulement plus précis, mais aussi plus pertinents. En termes pratiques, par exemple, dans le secteur du commerce électronique, les étiquettes de produits stockées sous forme de tableaux de chaînes permettent aux consommateurs d'effectuer des recherches avancées, en filtrant les résultats non pertinents.</p>
<p>Plongez dans notre <a href="https://milvus.io/docs/array_data_type.md">documentation</a> complète pour obtenir un guide approfondi sur l'exploitation des types de tableaux dans Milvus.</p>
<h2 id="Support-for-complex-delete-expressions---improving-your-data-management" class="common-anchor-header">Prise en charge des expressions de suppression complexes - amélioration de la gestion des données<button data-href="#Support-for-complex-delete-expressions---improving-your-data-management" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Dans les versions précédentes, Milvus prenait en charge les expressions de suppression de clé primaire, offrant ainsi une architecture stable et rationalisée. Avec Milvus 2.3.2 ou 2.3.3, les utilisateurs peuvent employer des expressions de suppression complexes, ce qui facilite les tâches de gestion de données sophistiquées telles que le nettoyage en continu des anciennes données ou la suppression de données conforme au GDPR basée sur les identifiants des utilisateurs.</p>
<p>Remarque : assurez-vous d'avoir chargé les collections avant d'utiliser des expressions complexes. En outre, il est important de noter que le processus de suppression ne garantit pas l'atomicité.</p>
<h2 id="TiKV-integration---scalable-metadata-storage-with-stability" class="common-anchor-header">Intégration de TiKV - stockage de métadonnées évolutif et stable<button data-href="#TiKV-integration---scalable-metadata-storage-with-stability" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>S'appuyant auparavant sur Etcd pour le stockage des métadonnées, Milvus a été confronté à une capacité limitée et à des problèmes d'évolutivité dans le stockage des métadonnées. Pour résoudre ces problèmes, Milvus a ajouté TiKV, un magasin de clés-valeurs open-source, comme option supplémentaire pour le stockage des métadonnées. TiKV offre une évolutivité, une stabilité et une efficacité accrues, ce qui en fait une solution idéale pour répondre aux besoins évolutifs de Milvus. À partir de Milvus 2.3.2, les utilisateurs peuvent passer en toute transparence à TiKV pour le stockage de leurs métadonnées en modifiant la configuration.</p>
<h2 id="Support-for-FP16-vector-type---embracing-machine-learning-efficiency" class="common-anchor-header">Prise en charge du type de vecteur FP16 - pour une meilleure efficacité de l'apprentissage automatique<button data-href="#Support-for-FP16-vector-type---embracing-machine-learning-efficiency" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.3.2 et les versions ultérieures prennent désormais en charge le type de vecteur FP16 au niveau de l'interface. FP16, ou virgule flottante 16 bits, est un format de données largement utilisé dans l'apprentissage profond et l'apprentissage automatique, fournissant une représentation et un calcul efficaces des valeurs numériques. Bien que la prise en charge complète de FP16 soit en cours, divers index dans la couche d'indexation nécessitent de convertir FP16 en FP32 pendant la construction.</p>
<p>Nous prendrons pleinement en charge les types de données FP16, BF16 et int8 dans les versions ultérieures de Milvus. Restez à l'écoute.</p>
<h2 id="Significant-improvement-in-the-rolling-upgrade-experience---seamless-transition-for-users" class="common-anchor-header">Amélioration significative de l'expérience de mise à niveau continue - transition transparente pour les utilisateurs<button data-href="#Significant-improvement-in-the-rolling-upgrade-experience---seamless-transition-for-users" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>La mise à niveau continue est une fonctionnalité essentielle pour les systèmes distribués, car elle permet de mettre à niveau les systèmes sans perturber les services commerciaux ni subir de temps d'arrêt. Dans les dernières versions de Milvus, nous avons renforcé la fonction de mise à niveau continue de Milvus, assurant une transition plus rationalisée et efficace pour les utilisateurs qui passent de la version 2.2.15 à la version 2.3.3 et à toutes les versions ultérieures. La communauté a également investi dans des tests et des optimisations approfondis, réduisant l'impact des requêtes pendant la mise à niveau à moins de 5 minutes, offrant ainsi aux utilisateurs une expérience sans problème.</p>
<h2 id="Performance-optimization" class="common-anchor-header">Optimisation des performances<button data-href="#Performance-optimization" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Outre l'introduction de nouvelles fonctionnalités, nous avons considérablement optimisé les performances de Milvus dans les deux dernières versions.</p>
<ul>
<li><p>Réduction des opérations de copie de données pour un chargement optimisé des données</p></li>
<li><p>Simplification des insertions de grande capacité à l'aide de la lecture varchar par lots</p></li>
<li><p>Suppression des vérifications d'offset inutiles pendant le remplissage des données afin d'améliorer les performances de la phase de rappel.</p></li>
<li><p>Résolution des problèmes de consommation élevée de l'unité centrale dans les scénarios comportant des insertions de données importantes.</p></li>
</ul>
<p>Ces optimisations contribuent collectivement à une expérience Milvus plus rapide et plus efficace. Consultez notre tableau de bord de surveillance pour un aperçu rapide de l'amélioration des performances de Milvus.</p>
<h2 id="Incompatible-changes" class="common-anchor-header">Modifications incompatibles<button data-href="#Incompatible-changes" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p>Suppression définitive du code lié à TimeTravel.</p></li>
<li><p>Suppression de la prise en charge de MySQL en tant que magasin de métadonnées.</p></li>
</ul>
<p>Consultez les <a href="https://milvus.io/docs/release_notes.md">notes de version de Milvus</a> pour obtenir des informations plus détaillées sur toutes les nouvelles fonctionnalités et améliorations.</p>
<h2 id="Conclusion" class="common-anchor-header">Conclusion<button data-href="#Conclusion" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Avec les dernières versions 2.3.2 et 2.3.3 de Milvus, nous nous engageons à fournir une solution de base de données robuste, riche en fonctionnalités et très performante. Explorez ces nouvelles fonctionnalités, profitez des optimisations et rejoignez-nous dans cette aventure passionnante au cours de laquelle nous faisons évoluer Milvus pour répondre aux exigences de la gestion moderne des données. Téléchargez la dernière version dès maintenant et découvrez l'avenir du stockage de données avec Milvus !</p>
<h2 id="Let’s-keep-in-touch" class="common-anchor-header">Restons en contact !<button data-href="#Let’s-keep-in-touch" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Si vous avez des questions ou des commentaires sur Milvus, rejoignez notre <a href="https://discord.com/invite/8uyFbECzPX">canal Discord</a> pour dialoguer directement avec nos ingénieurs et la communauté ou participez à notre <a href="https://discord.com/invite/RjNbk8RR4f">déjeuner et apprentissage de la communauté Milvus</a> tous les mardis de 12 à 12 h 30 (heure de Paris). Nous vous invitons également à nous suivre sur <a href="https://twitter.com/milvusio">Twitter</a> ou <a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn</a> pour connaître les dernières nouvelles et mises à jour concernant Milvus.</p>


Révélation de Milvus 2.3.2 &amp; 2.3.3 : Prise en charge des types de données de tableau, suppression complexe, intégration TiKV, et plus encore

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Exploring_M_Map_5086d652bd.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p><a href="https://zilliz.com/what-is-milvus">Milvus</a> est la solution la plus rapide dans le domaine des <a href="https://zilliz.com/blog/what-is-a-real-vector-database">bases de données vectorielles</a> open-source, destinée aux utilisateurs ayant des exigences de performance élevées. Cependant, la diversité des besoins des utilisateurs reflète les données avec lesquelles ils travaillent. Certains privilégient les solutions économiques et le stockage étendu à la vitesse pure. Comprenant cet éventail de demandes, Milvus introduit la fonctionnalité MMap, qui redéfinit la manière dont nous traitons les grands volumes de données tout en promettant une rentabilité sans sacrifier la fonctionnalité.</p>
<h2 id="What-is-MMap" class="common-anchor-header">Qu'est-ce que MMap ?<button data-href="#What-is-MMap" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>MMap, abréviation de memory-mapped files (fichiers mappés en mémoire), comble le fossé entre les fichiers et la mémoire au sein des systèmes d'exploitation. Cette technologie permet à Milvus de mapper des fichiers volumineux directement dans l'espace mémoire du système, en transformant les fichiers en blocs de mémoire contigus. Cette intégration élimine le besoin d'opérations de lecture ou d'écriture explicites, ce qui modifie fondamentalement la façon dont Milvus gère les données. Elle garantit un accès transparent et un stockage efficace pour les fichiers volumineux ou les situations dans lesquelles les utilisateurs doivent accéder aux fichiers de manière aléatoire.</p>
<h2 id="Who-benefits-from-MMap" class="common-anchor-header">Qui bénéficie de MMap ?<button data-href="#Who-benefits-from-MMap" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Les bases de données vectorielles nécessitent une capacité de mémoire importante en raison des besoins de stockage des données vectorielles. Grâce à la fonction MMap, le traitement d'un plus grand nombre de données dans une mémoire limitée devient une réalité. Toutefois, cette capacité accrue a un coût en termes de performances. Le système gère intelligemment la mémoire, en évinçant certaines données en fonction de la charge et de l'utilisation. Cette éviction permet à Milvus de traiter davantage de données avec la même capacité de mémoire.</p>
<p>Au cours de nos tests, nous avons observé qu'avec une mémoire suffisante, toutes les données résident en mémoire après une période de préchauffage, ce qui préserve les performances du système. Toutefois, à mesure que le volume de données augmente, les performances diminuent progressivement. <strong>Par conséquent, nous recommandons la fonction MMap aux utilisateurs moins sensibles aux fluctuations des performances.</strong></p>
<h2 id="Enabling-MMap-in-Milvus-a-simple-configuration" class="common-anchor-header">Activation de MMap dans Milvus : une configuration simple<button data-href="#Enabling-MMap-in-Milvus-a-simple-configuration" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>L'activation de MMap dans Milvus est remarquablement simple. Il vous suffit de modifier le fichier <code translate="no">milvus.yaml</code>: ajoutez l'élément <code translate="no">mmapDirPath</code> sous la configuration <code translate="no">queryNode</code> et définissez un chemin d'accès valide comme valeur.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/enabling_mmap_a2df88276b.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<h2 id="Striking-the-balance-performance-storage-and-system-limits" class="common-anchor-header">Trouver l'équilibre : performances, stockage et limites du système<button data-href="#Striking-the-balance-performance-storage-and-system-limits" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Les modèles d'accès aux données ont un impact significatif sur les performances. La fonction MMap de Milvus optimise l'accès aux données en fonction de la localité. MMap permet à Milvus d'écrire des données scalaires directement sur le disque pour les segments de données à accès séquentiel. Les données de longueur variable, telles que les chaînes, sont aplaties et indexées à l'aide d'un tableau d'offsets en mémoire. Cette approche garantit la localité de l'accès aux données et élimine les frais généraux liés au stockage séparé de chaque donnée de longueur variable. Les optimisations pour les index vectoriels sont méticuleuses. MMap est utilisé de manière sélective pour les données vectorielles tout en conservant les listes d'adjacence en mémoire, ce qui permet de conserver une quantité importante de mémoire sans compromettre les performances.</p>
<p>En outre, MMap maximise le traitement des données en minimisant l'utilisation de la mémoire. Contrairement aux versions précédentes de Milvus dans lesquelles QueryNode copiait des ensembles de données entiers, MMap adopte un processus de streaming rationalisé et sans copie pendant le développement. Cette optimisation réduit considérablement la charge de mémoire.</p>
<p><strong>Les résultats de nos tests internes montrent que Milvus peut traiter efficacement un volume de données deux fois plus important lorsque MMap est activé.</strong></p>
<h2 id="The-road-ahead-continuous-innovation-and-user-centric-enhancements" class="common-anchor-header">La voie à suivre : innovation continue et améliorations centrées sur l'utilisateur<button data-href="#The-road-ahead-continuous-innovation-and-user-centric-enhancements" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Bien que la fonction MMap soit en phase bêta, l'équipe de Milvus s'est engagée à l'améliorer en permanence. Les prochaines mises à jour affineront l'utilisation de la mémoire du système, ce qui permettra à Milvus de prendre en charge des volumes de données encore plus importants sur un seul nœud. Les utilisateurs peuvent s'attendre à un contrôle plus granulaire de la fonction MMap, permettant des modifications dynamiques des collections et des modes de chargement de champs avancés. Ces améliorations offrent une flexibilité sans précédent, permettant aux utilisateurs d'adapter leurs stratégies de traitement des données à des exigences spécifiques.</p>
<h2 id="Conclusion-redefining-data-processing-excellence-with-Milvus-MMap" class="common-anchor-header">Conclusion : redéfinir l'excellence du traitement des données avec Milvus MMap<button data-href="#Conclusion-redefining-data-processing-excellence-with-Milvus-MMap" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>La fonction MMap de Milvus 2.3 marque une avancée significative dans la technologie du traitement des données. En trouvant un équilibre délicat entre les performances, le coût et les limites du système, Milvus permet aux utilisateurs de traiter de grandes quantités de données de manière efficace et rentable. Tout en continuant à évoluer, Milvus reste à l'avant-garde des solutions innovantes, redéfinissant les limites de ce qui est réalisable dans la gestion des données.</p>
<p>Restez à l'écoute pour découvrir d'autres développements révolutionnaires alors que Milvus poursuit son voyage vers une excellence inégalée en matière de traitement des données.</p>


Milvus présente MMap pour une gestion des données redéfinie et une capacité de stockage accrue

Comparaison des bases de données vectorielles, des bibliothèques de recherche vectorielle et des plugins de recherche vectorielle

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Ingesting_Chaos_20231017_110103_54fe2009cb.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Les données sont générées plus rapidement que jamais, sous toutes les formes imaginables. Ces données sont l'essence qui alimentera une nouvelle vague d'applications d'intelligence artificielle, mais ces moteurs d'amélioration de la productivité ont besoin d'aide pour ingérer ce carburant. Le large éventail de scénarios et de cas limites entourant les données non structurées rend difficile leur utilisation dans les systèmes d'intelligence artificielle de production.</p>
<p>Tout d'abord, il existe un grand nombre de sources de données. Celles-ci exportent les données dans différents formats de fichiers, chacun ayant ses particularités. Par exemple, le traitement d'un fichier PDF varie considérablement en fonction de sa provenance. L'ingestion d'un PDF dans le cadre d'un litige en matière de valeurs mobilières se concentrera probablement sur les données textuelles. En revanche, une spécification de conception de système destinée à un ingénieur en fusées sera pleine de diagrammes nécessitant un traitement visuel. L'absence de schéma défini dans les données non structurées ajoute encore à la complexité. Même lorsque le défi du traitement des données est surmonté, le problème de l'ingestion à grande échelle reste entier. La taille des fichiers peut varier considérablement, ce qui modifie la manière dont ils sont traités. Il est possible de traiter rapidement un téléchargement de 1 Mo sur une API via HTTP, mais la lecture de dizaines de Go à partir d'un seul fichier nécessite une diffusion en continu et un employé dédié.</p>
<p>Surmonter ces défis traditionnels de l'ingénierie des données est un enjeu de taille pour connecter des données brutes aux <a href="https://zilliz.com/glossary/large-language-models-(llms)">LLM</a> via des <a href="https://zilliz.com/learn/what-is-vector-database">bases de données vectorielles</a> telles que <a href="https://github.com/milvus-io/milvus">Milvus</a>. Cependant, les cas d'utilisation émergents tels que les recherches de similarité sémantique à l'aide d'une base de données vectorielle nécessitent de nouvelles étapes de traitement telles que le découpage des données sources, l'orchestration des métadonnées pour les recherches hybrides, le choix du modèle d'intégration vectorielle approprié et l'ajustement des paramètres de recherche pour déterminer quelles données doivent être transmises au LLM. Ces flux de travail sont si nouveaux qu'il n'existe pas de meilleures pratiques à suivre pour les développeurs. Au lieu de cela, ils doivent expérimenter pour trouver la configuration et le cas d'utilisation corrects pour leurs données. Pour accélérer ce processus, l'utilisation d'un pipeline d'incorporation de vecteurs pour gérer l'ingestion des données dans la base de données vectorielle est inestimable.</p>
<p>Un pipeline d'intégration vectorielle comme <a href="https://github.com/dgarnitz/vectorflow">VectorFlow</a> connectera vos données brutes à votre base de données vectorielle, y compris le découpage, l'orchestration des métadonnées, l'intégration et le téléchargement. VectorFlow permet aux équipes d'ingénieurs de se concentrer sur la logique de l'application principale, en expérimentant les différents paramètres d'extraction générés par le modèle d'intégration, la stratégie de regroupement, les champs de métadonnées et les aspects de la recherche pour voir ce qui fonctionne le mieux.</p>
<p>Dans le cadre de nos travaux visant à aider les équipes d'ingénieurs à faire passer leurs systèmes de <a href="https://zilliz.com/use-cases/llm-retrieval-augmented-generation">génération augmentée de données (RAG)</a> du stade du prototype à celui de la production, nous avons observé que l'approche suivante permettait de tester avec succès les différents paramètres d'un pipeline de recherche RAG :</p>
<ol>
<li>Utilisez un petit ensemble de données que vous connaissez bien pour accélérer l'itération, par exemple quelques PDF contenant des morceaux pertinents pour les requêtes de recherche.</li>
<li>Créez un ensemble standard de questions et de réponses sur ce sous-ensemble de données. Par exemple, après avoir lu les PDF, rédigez une liste de questions et demandez à votre équipe de se mettre d'accord sur les réponses.</li>
<li>Créez un système d'évaluation automatisé qui évalue les résultats de la recherche pour chaque question. Une façon de procéder est de prendre la réponse du système RAG et de la faire passer par le LLM avec une invite qui demande si ce résultat RAG répond à la question avec la bonne réponse. La réponse doit être "oui" ou "non". Par exemple, si vous avez 25 questions sur vos documents et que le système obtient 20 réponses correctes, vous pouvez utiliser ce résultat pour vous comparer à d'autres approches.</li>
<li>Assurez-vous d'utiliser un LLM différent pour l'évaluation de celui que vous avez utilisé pour encoder les ancrages vectoriels stockés dans la base de données. Le LLM d'évaluation est généralement un décodeur d'un modèle comme le GPT-4. Il ne faut pas oublier le coût de ces évaluations lorsqu'elles sont exécutées de manière répétée. Les modèles open-source comme Llama2 70B ou Deci AI LLM 6B, qui peuvent être exécutés sur un seul GPU plus petit, ont à peu près les mêmes performances pour une fraction du coût.</li>
<li>Exécutez chaque test plusieurs fois et faites la moyenne des résultats pour lisser la stochasticité du LLM.</li>
</ol>
<p>En maintenant toutes les options constantes sauf une, vous pouvez rapidement déterminer les paramètres qui conviennent le mieux à votre cas d'utilisation. Un pipeline d'incorporation de vecteurs comme VectorFlow rend cela particulièrement facile du côté de l'ingestion, où vous pouvez rapidement essayer différentes stratégies de découpage en morceaux, longueurs de morceaux, chevauchements de morceaux et modèles d'incorporation open-source pour voir ce qui donne les meilleurs résultats. Cela est particulièrement utile lorsque votre ensemble de données comporte différents types de fichiers et sources de données qui nécessitent une logique personnalisée.</p>
<p>Une fois que l'équipe sait ce qui fonctionne pour son cas d'utilisation, le pipeline d'incorporation de vecteurs lui permet de passer rapidement à la production sans avoir à repenser le système pour prendre en compte des éléments tels que la fiabilité et la surveillance. Grâce à des technologies telles que VectorFlow et <a href="https://zilliz.com/what-is-milvus">Milvus</a>, qui sont open-source et indépendantes des plateformes, l'équipe peut tester efficacement différents environnements tout en respectant les exigences en matière de confidentialité et de sécurité.</p>


Ingérer le chaos : Les MLOps derrière le traitement fiable des données non structurées à l'échelle pour RAG

Pourquoi et quand avez-vous besoin d'une base de données vectorielle spécifique ?

Dévoilement de Milvus 2.3 : une version importante qui prend en charge les GPU, Arm64, CDC et de nombreuses autres fonctionnalités très attendues.

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/What_s_New_in_2_2_12_20230720_143424_7d19280738.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Nous sommes ravis d'annoncer la dernière version de Milvus 2.2.12. Cette mise à jour comprend de nombreuses nouvelles fonctionnalités, telles que la prise en charge de l'API RESTful, la fonction <code translate="no">json_contains</code> et la récupération de vecteurs pendant les recherches ANN en réponse aux commentaires des utilisateurs. Nous avons également rationalisé l'expérience utilisateur, amélioré les vitesses de recherche vectorielle et résolu de nombreux problèmes. Voyons maintenant ce que nous pouvons attendre de Milvus 2.2.12.</p>
<h2 id="Support-for-RESTful-API" class="common-anchor-header">Prise en charge de l'API RESTful<button data-href="#Support-for-RESTful-API" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.2.12 prend désormais en charge l'API RESTful, qui permet aux utilisateurs d'accéder à Milvus sans installer de client, ce qui facilite les opérations client-serveur. En outre, le déploiement de Milvus est devenu plus pratique car le SDK Milvus et l'API RESTful partagent le même numéro de port.</p>
<p><strong>Remarque</strong>: nous recommandons toujours d'utiliser le SDK pour déployer Milvus pour les opérations avancées ou si votre entreprise est sensible à la latence.</p>
<h2 id="Vector-retrieval-during-ANN-searches" class="common-anchor-header">Récupération de vecteurs pendant les recherches ANN<button data-href="#Vector-retrieval-during-ANN-searches" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Dans les versions précédentes, Milvus n'autorisait pas la récupération de vecteurs pendant les recherches par approximation du plus proche voisin (ANN) afin de privilégier les performances et l'utilisation de la mémoire. Par conséquent, la récupération des vecteurs bruts devait être divisée en deux étapes : l'exécution de la recherche ANN, puis l'interrogation des vecteurs bruts sur la base de leurs ID. Cette approche augmentait les coûts de développement et compliquait le déploiement et l'adoption de Milvus par les utilisateurs.</p>
<p>Avec Milvus 2.2.12, les utilisateurs peuvent récupérer les vecteurs bruts pendant les recherches ANN en définissant le champ de vecteur comme champ de sortie et en effectuant des recherches dans les collections indexées HNSW, DiskANN ou IVF-FLAT. En outre, les utilisateurs peuvent s'attendre à une vitesse de récupération des vecteurs beaucoup plus rapide.</p>
<h2 id="Support-for-operations-on-JSON-arrays" class="common-anchor-header">Prise en charge des opérations sur les tableaux JSON<button data-href="#Support-for-operations-on-JSON-arrays" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Nous avons récemment ajouté la prise en charge de JSON dans Milvus 2.2.8. Depuis, les utilisateurs ont envoyé de nombreuses demandes de prise en charge d'opérations supplémentaires sur les tableaux JSON, telles que l'inclusion, l'exclusion, l'intersection, l'union, la différence, etc. Dans Milvus 2.2.12, nous avons donné la priorité à la prise en charge de la fonction <code translate="no">json_contains</code> pour permettre l'opération d'inclusion. Nous continuerons à ajouter la prise en charge d'autres opérateurs dans les versions futures.</p>
<h2 id="Enhancements-and-bug-fixes" class="common-anchor-header">Améliorations et corrections de bogues<button data-href="#Enhancements-and-bug-fixes" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Outre l'introduction de nouvelles fonctionnalités, Milvus 2.2.12 a amélioré ses performances de recherche vectorielle en réduisant les frais généraux, ce qui facilite le traitement des recherches topk étendues. En outre, elle améliore les performances d'écriture dans les situations où la clé de partition est activée et dans les situations multipartition et optimise l'utilisation de l'unité centrale pour les grandes machines. Cette mise à jour résout divers problèmes : utilisation excessive du disque, compaction bloquée, suppressions de données peu fréquentes et échecs d'insertion en vrac. Pour plus d'informations, veuillez consulter les <a href="https://milvus.io/docs/release_notes.md#2212">notes de mise à jour de Milvus 2.2.12</a>.</p>
<h2 id="Lets-keep-in-touch" class="common-anchor-header">Restons en contact !<button data-href="#Lets-keep-in-touch" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Si vous avez des questions ou des commentaires sur Milvus, n'hésitez pas à nous contacter sur <a href="https://twitter.com/milvusio">Twitter</a> ou <a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn</a>. Vous pouvez également rejoindre notre <a href="https://milvus.io/slack/">canal Slack</a> pour discuter directement avec nos ingénieurs et la communauté ou consulter nos <a href="https://us02web.zoom.us/meeting/register/tZ0pcO6vrzsuEtVAuGTpNdb6lGnsPBzGfQ1T#/registration">heures de bureau du mardi</a>!</p>


Milvus 2.2.12 : un accès plus facile, des vitesses de recherche de vecteurs plus rapides et une meilleure expérience utilisateur

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/What_s_New_in_Milvus_2_2_10_and_2_2_11_5018946465.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Salutations, fans de Milvus ! Nous sommes heureux d'annoncer que nous venons de publier Milvus 2.2.10 et 2.2.11, deux mises à jour mineures qui se concentrent principalement sur la correction de bugs et l'amélioration générale des performances. Vous pouvez vous attendre à un système plus stable et à une meilleure expérience utilisateur avec ces deux mises à jour. Jetons un coup d'œil rapide aux nouveautés de ces deux versions.</p>
<h2 id="Milvus-2210" class="common-anchor-header">Milvus 2.2.10<button data-href="#Milvus-2210" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.2.10 a corrigé des blocages occasionnels du système, accéléré le chargement et l'indexation, réduit l'utilisation de la mémoire dans les nœuds de données et apporté de nombreuses autres améliorations. Voici quelques changements notables :</p>
<ul>
<li>Remplacement de l'ancien rédacteur de charge utile CGO par un nouveau rédacteur écrit en Go pur, ce qui réduit l'utilisation de la mémoire dans les nœuds de données.</li>
<li>Ajout de <code translate="no">go-api/v2</code> au fichier <code translate="no">milvus-proto</code> pour éviter toute confusion avec les différentes versions de <code translate="no">milvus-proto</code>.</li>
<li>Mise à jour de Gin de la version 1.9.0 à la version 1.9.1 pour corriger un bogue dans la fonction <code translate="no">Context.FileAttachment</code>.</li>
<li>Ajout du contrôle d'accès basé sur les rôles (RBAC) pour les API FlushAll et Database.</li>
<li>Correction d'un crash aléatoire causé par le SDK AWS S3.</li>
<li>Amélioration des vitesses de chargement et d'indexation.</li>
</ul>
<p>Pour plus de détails, voir les <a href="https://milvus.io/docs/release_notes.md#2210">notes de mise à jour de Milvus 2.2.10</a>.</p>
<h2 id="Milvus-2211" class="common-anchor-header">Milvus 2.2.11<button data-href="#Milvus-2211" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.2.11 a résolu divers problèmes afin d'améliorer la stabilité du système. Il a également amélioré ses performances en matière de surveillance, de journalisation, de limitation de débit et d'interception des requêtes inter-clusters. Vous trouverez ci-dessous les points forts de cette mise à jour.</p>
<ul>
<li>Ajout d'un intercepteur au serveur Milvus GRPC pour éviter tout problème de routage entre clusters.</li>
<li>Ajout de codes d'erreur au gestionnaire de morceaux minio pour faciliter le diagnostic et la correction des erreurs.</li>
<li>Utilisation d'un pool de coroutines singleton pour éviter le gaspillage de coroutines et maximiser l'utilisation des ressources.</li>
<li>Réduction de l'utilisation du disque pour RocksMq à un dixième de son niveau original en activant la compression zstd.</li>
<li>Correction d'une panique occasionnelle de QueryNode pendant le chargement.</li>
<li>Correction du problème d'étranglement des requêtes de lecture causé par un double calcul erroné de la longueur de la file d'attente.</li>
<li>Correction de problèmes avec GetObject retournant des valeurs nulles sous MacOS.</li>
<li>Correction d'un crash causé par l'utilisation incorrecte du modificateur noexcept.</li>
</ul>
<p>Pour plus de détails, voir les <a href="https://milvus.io/docs/release_notes.md#2211">notes de mise à jour de Milvus 2.2.11</a>.</p>
<h2 id="Let’s-keep-in-touch" class="common-anchor-header">Restons en contact !<button data-href="#Let’s-keep-in-touch" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Si vous avez des questions ou des commentaires sur Milvus, n'hésitez pas à nous contacter sur <a href="https://twitter.com/milvusio">Twitter</a> ou <a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn</a>. Vous pouvez également rejoindre notre <a href="https://milvus.io/slack/">canal Slack</a> pour discuter directement avec nos ingénieurs et la communauté ou vous rendre à nos <a href="https://us02web.zoom.us/meeting/register/tZ0pcO6vrzsuEtVAuGTpNdb6lGnsPBzGfQ1T#/registration">heures de bureau du mardi</a>!</p>


Milvus 2.2.10 & 2.2.11 Enhanced System Stability and User Experience

Milvus 2.2.10 &amp; 2.2.11 : Mises à jour mineures pour améliorer la stabilité du système et l'expérience de l'utilisateur

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Milvus_hit_20_000_stars_284ed694d2.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Sortons les confettis et célébrons !</p>
<p><a href="https://github.com/milvus-io/milvus">Milvus</a> a franchi une étape importante en dépassant les 20 000 étoiles sur GitHub ! Nous n'aurions pas pu y parvenir sans le soutien et les commentaires de nos fidèles fans et membres de la communauté. Merci beaucoup.</p>
<p>Pour partager cette joie, nous avons dressé une liste de sujets essentiels pour la communauté Milvus au sens large, notamment :</p>
<ul>
<li>Six projets importants qui utilisent Milvus</li>
<li>Cinq intégrations avec d'autres projets open-source</li>
<li>Cinq cas d'utilisation bien connus de Milvus</li>
<li>Cinq excellentes fonctionnalités à venir</li>
</ul>
<h2 id="Six-LLM-projects-that-utilize-Milvus" class="common-anchor-header">Six projets LLM qui utilisent Milvus<button data-href="#Six-LLM-projects-that-utilize-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="PaperGPT" class="common-anchor-header">PaperGPT</h3><p><a href="http://papergpt.bio">PaperGPT</a> est un outil de recherche d'articles biomédicaux alimenté par un LLM et une base de données vectorielle. Il exploite la base de données PubMed et des technologies telles que SentenceTransformers et Zilliz Cloud pour une recherche efficace.</p>
<h3 id="NoticeAI" class="common-anchor-header">NoticeAI</h3><p>NoticeAI aide les entreprises à automatiser leur processus d'assistance à la clientèle. Elle utilise Milvus et LangChain pour suivre les questions du support client, mettre à jour la base de connaissances et décider s'il faut ou non faire appel à un humain.</p>
<h3 id="Searchanythingio" class="common-anchor-header">Search.anything.io</h3><p><a href="http://search.anything.io">Search Anything</a> s'appuie sur les LLM et Milvus pour offrir une meilleure expérience de recherche. Il prend une description textuelle d'un utilisateur et trouve les images correspondantes sur le web.</p>
<h3 id="IkuStudies" class="common-anchor-header">IkuStudies</h3><p><a href="https://ikustudies.xyz/">IkuStudies</a> est un projet permettant aux utilisateurs de rechercher des homophones dans 28 langues. Il utilise Milvus comme magasin de vecteurs pour trouver des similitudes entre les mots.</p>
<h3 id="AssistLink-AI" class="common-anchor-header">AssistLink AI</h3><p><a href="https://www.linkedin.com/company/assistlink/about/">AssistLink AI</a> est une startup basée à Seattle qui utilise Milvus et LLaMa 65bn pour stocker des variables pour un système d'assistance gouvernementale.</p>
<h3 id="OSS-Chat" class="common-anchor-header">OSS Chat</h3><p><a href="http://osschat.io">OSS Chat</a> vous permet de discuter avec des logiciels libres. Il utilise Milvus pour injecter des connaissances de domaine sur les projets open-source et utilise <a href="https://zilliz.com/blog/Caching-LLM-Queries-for-performance-improvements">GPTCache</a> pour mettre en cache les questions fréquemment posées afin de réduire les coûts de LLM.</p>
<h2 id="Five-AI-projects-Milvus-integrates-with" class="common-anchor-header">Cinq projets d'IA avec lesquels Milvus s'intègre<button data-href="#Five-AI-projects-Milvus-integrates-with" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="LlamaIndex" class="common-anchor-header">LlamaIndex</h3><p><a href="https://github.com/jerryjliu/llama_index">LlamaIndex</a> est un cadre de données pour les applications LLM qui fournit des connecteurs de données pour relier des sources de données externes à un LLM. LlamaIndex vous permet d'injecter vos données privées ou vos connaissances spécifiques à un domaine directement dans votre application LLM.</p>
<h3 id="LangChainLangChainJS" class="common-anchor-header">LangChain/LangChainJS</h3><p><a href="https://github.com/hwchase17/langchain">LangChain</a> est une bibliothèque conçue pour accélérer le développement d'applications LLM, offrant des fonctionnalités telles que la gestion des invites, les chaînes, la génération augmentée de données, la mémoire, etc.</p>
<h3 id="ChatGPT-Retrieval-Plugin" class="common-anchor-header">Plugin de récupération ChatGPT</h3><p>Le <a href="https://github.com/openai/chatgpt-retrieval-plugin">ChatGPT Retrieval Plugin</a> d'OpenAI permet la recherche sémantique et la récupération de documents personnels ou organisationnels à l'aide de requêtes en langage naturel. Les développeurs peuvent déployer leur plugin et l'enregistrer auprès de ChatGPT.</p>
<h3 id="Haystack" class="common-anchor-header">Haystack</h3><p><a href="https://github.com/deepset-ai/haystack">Haystack</a> est un cadre NLP de bout en bout pour construire des applications NLP alimentées par des LLM, des modèles de transformation, des recherches vectorielles et d'autres technologies pour des tâches telles que la réponse à des questions, la recherche sémantique de documents et la construction de processus décisionnels complexes.</p>
<h3 id="GPTCache" class="common-anchor-header">GPTCache</h3><p>Les appels à l'API LLM peuvent être à la fois coûteux et lents. <a href="https://github.com/zilliztech/gptcache">GPTCache</a> peut remédier à ces deux problèmes en fournissant un cache sémantique pour les requêtes LLM.</p>
<h2 id="Five-well-known-use-cases-of-Milvus" class="common-anchor-header">Cinq cas d'utilisation bien connus de Milvus<button data-href="#Five-well-known-use-cases-of-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="LLM-augmentation" class="common-anchor-header">Augmentation du LLM</h3><p>Les LLM ou les applications LLM ont trois problèmes majeurs : le manque de données spécifiques au domaine, les données obsolètes et les coûts élevés. Milvus peut résoudre ces trois problèmes en vous permettant d'injecter des données externes et de servir de cache pour les requêtes fréquentes.</p>
<h3 id="Anomaly-detection" class="common-anchor-header">Détection des anomalies</h3><p>Les données anormales sont significativement différentes des autres dans un ensemble donné. Les bases de données vectorielles comme Milvus sont utiles pour effectuer des recherches de similarité, ce qui facilite l'identification de ces données anormales.</p>
<h3 id="Recommender-systems" class="common-anchor-header">Systèmes de recommandation</h3><p>Un système de recommandation recommande aux gens des articles similaires à ceux qu'ils apprécient déjà. C'est un exemple classique de Milvus qui accélère ce processus en effectuant des recherches de similarité.</p>
<h3 id="Semantic-search" class="common-anchor-header">Recherche sémantique</h3><p>La recherche par mot-clé ne suffit pas lorsque vous souhaitez rechercher dans un texte des éléments ayant une signification similaire. C'est là qu'intervient la recherche sémantique et que Milvus peut vous aider. Milvus vous permet de comparer les intentions qui se cachent derrière le texte, et pas seulement les mots eux-mêmes.</p>
<h3 id="Automatic-data-labeling" class="common-anchor-header">Étiquetage automatique des données</h3><p>Vous avez des données étiquetées et vous avez besoin d'en étiqueter d'autres ? En stockant les représentations vectorielles dans Milvus, vous pouvez automatiquement détecter les points de données les plus similaires dans vos nouvelles données et appliquer les étiquettes appropriées.</p>
<h2 id="Five-awesome-upcoming-features" class="common-anchor-header">Cinq fonctionnalités géniales à venir<button data-href="#Five-awesome-upcoming-features" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="NVIDIA-GPU-support" class="common-anchor-header">Prise en charge du GPU NVIDIA</h3><p>La prise en charge du GPU est prévue dans Milvus 2.3 et est déjà disponible dans la dernière <a href="https://github.com/milvus-io/milvus/releases/tag/v2.3.0-beta">version bêta</a>!</p>
<h3 id="Delete-by-Expression" class="common-anchor-header">Suppression par expression</h3><p>Vous pouvez déjà effectuer un filtrage scalaire/métadonnées via des expressions booléennes dans Milvus. La fonctionnalité Delete by Expression est également en préparation.</p>
<h3 id="Change-Data-Capture-CDC" class="common-anchor-header">Capture des données de changement (CDC)</h3><p>Le CDC est une technique permettant de capturer et de suivre les modifications apportées à votre instance Milvus en temps réel.</p>
<h3 id="Range-Search" class="common-anchor-header">Recherche par plage</h3><p>La recherche par plage, également connue dans certains cercles sous le nom de recherche epsilon, vous permet de trouver tous les vecteurs situés à une certaine distance du vecteur de votre requête.</p>
<h3 id="Fast-Scan" class="common-anchor-header">Balayage rapide</h3><p>La quantification 4 bits et FastScan ont été ajoutés récemment à FAISS et seront également intégrés à Milvus.</p>
<h2 id="Looking-forward-to-Milvus-reaching-even-greater-heights" class="common-anchor-header">Nous sommes impatients de voir Milvus atteindre de nouveaux sommets !<button data-href="#Looking-forward-to-Milvus-reaching-even-greater-heights" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Nous tenons à remercier chaleureusement nos utilisateurs, les membres de la communauté, les partenaires de l'écosystème et les observateurs d'étoiles pour leur soutien continu, leurs commentaires et leurs contributions. Nous sommes impatients de voir Milvus atteindre de nouveaux sommets !</p>


Un jalon stellaire : Milvus dépasse les 20 000 étoiles sur GitHub

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Conversational_Memory_in_Lang_Chain_7c1b4b7ba9.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>LangChain est un cadre robuste pour la construction d'applications LLM. Cependant, cette puissance s'accompagne d'une certaine complexité. LangChain propose de nombreuses façons d'inviter un LLM et des fonctions essentielles telles que la mémoire conversationnelle. La mémoire conversationnelle offre un contexte permettant au LLM de se souvenir de votre conversation.</p>
<p>Dans ce billet, nous verrons comment utiliser la mémoire conversationnelle avec LangChain et Milvus. Pour suivre, vous devez <code translate="no">pip</code> installer quatre bibliothèques et une clé API OpenAI. Les quatre bibliothèques dont vous avez besoin peuvent être installées en exécutant <code translate="no">pip install langchain milvus pymilvus python-dotenv</code>. Ou en exécutant le premier bloc dans le <a href="https://colab.research.google.com/drive/11p-u8nKqrQYePlXR0HiSrUapmKLD0QN9?usp=sharing">CoLab Notebook</a> pour cet article.</p>
<p>Dans cet article, nous allons apprendre à :</p>
<ul>
<li>La mémoire conversationnelle avec LangChain</li>
<li>Configurer le contexte de la conversation</li>
<li>L'incitation à la mémoire conversationnelle avec LangChain</li>
<li>Résumé de la mémoire conversationnelle avec LangChain</li>
</ul>
<h2 id="Conversational-Memory-with-LangChain" class="common-anchor-header">La mémoire conversationnelle avec LangChain<button data-href="#Conversational-Memory-with-LangChain" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Dans l'état par défaut, vous interagissez avec un LLM par le biais d'invites uniques. L'ajout d'une mémoire contextuelle, ou "mémoire conversationnelle", signifie que vous n'avez plus besoin de tout envoyer par le biais d'une seule invite. LangChain offre la possibilité de stocker la conversation que vous avez déjà eue avec un LLM afin de récupérer ces informations ultérieurement.</p>
<p>Pour mettre en place une mémoire conversationnelle persistante avec un magasin de vecteurs, nous avons besoin de six modules de LangChain. Tout d'abord, nous devons obtenir les modules <code translate="no">OpenAIEmbeddings</code> et <code translate="no">OpenAI</code>. Nous avons également besoin de <code translate="no">VectorStoreRetrieverMemory</code> et de la version LangChain de <code translate="no">Milvus</code> pour utiliser une mémoire vectorielle. Ensuite, nous avons besoin de <code translate="no">ConversationChain</code> et <code translate="no">PromptTemplate</code> pour sauvegarder notre conversation et l'interroger.</p>
<p>Les bibliothèques <code translate="no">os</code>, <code translate="no">dotenv</code> et <code translate="no">openai</code> sont principalement utilisées à des fins opérationnelles. Nous les utilisons pour charger et utiliser la clé API OpenAI. La dernière étape de configuration consiste à lancer une instance locale de <a href="https://milvus.io/docs/milvus_lite.md">Milvus Lite</a>. Nous le faisons en utilisant le site <code translate="no">default_server</code> du paquetage Milvus Python.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> langchain.<span class="hljs-property">embeddings</span>.<span class="hljs-property">openai</span> <span class="hljs-keyword">import</span> <span class="hljs-title class_">OpenAIEmbeddings</span>
<span class="hljs-keyword">from</span> langchain.<span class="hljs-property">llms</span> <span class="hljs-keyword">import</span> <span class="hljs-title class_">OpenAI</span>
<span class="hljs-keyword">from</span> langchain.<span class="hljs-property">memory</span> <span class="hljs-keyword">import</span> <span class="hljs-title class_">VectorStoreRetrieverMemory</span>
<span class="hljs-keyword">from</span> langchain.<span class="hljs-property">chains</span> <span class="hljs-keyword">import</span> <span class="hljs-title class_">ConversationChain</span>
<span class="hljs-keyword">from</span> langchain.<span class="hljs-property">prompts</span> <span class="hljs-keyword">import</span> <span class="hljs-title class_">PromptTemplate</span>
<span class="hljs-keyword">from</span> langchain.<span class="hljs-property">vectorstores</span> <span class="hljs-keyword">import</span> <span class="hljs-title class_">Milvus</span>
embeddings = <span class="hljs-title class_">OpenAIEmbeddings</span>()


<span class="hljs-keyword">import</span> os
<span class="hljs-keyword">from</span> dotenv <span class="hljs-keyword">import</span> load_dotenv
<span class="hljs-keyword">import</span> openai
<span class="hljs-title function_">load_dotenv</span>()
openai.<span class="hljs-property">api_key</span> = os.<span class="hljs-title function_">getenv</span>(<span class="hljs-string">&quot;OPENAI_API_KEY&quot;</span>)


<span class="hljs-keyword">from</span> milvus <span class="hljs-keyword">import</span> default_server
default_server.<span class="hljs-title function_">start</span>()
<button class="copy-code-btn"></button></code></pre>
<h2 id="Setting-Up-Conversation-Context" class="common-anchor-header">Configuration du contexte de conversation<button data-href="#Setting-Up-Conversation-Context" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Maintenant que toutes les conditions préalables sont réunies, nous pouvons procéder à la création de notre mémoire conversationnelle. Notre première étape consiste à créer une connexion au serveur Milvus à l'aide de LangChain. Ensuite, nous utilisons un dictionnaire vide pour créer notre collection LangChain Milvus. En outre, nous transmettons les embeddings que nous avons créés ci-dessus et les détails de la connexion au serveur Milvus Lite.</p>
<p>Pour utiliser la base de données vectorielle pour la mémoire conversationnelle, nous devons l'instancier en tant que récupérateur. Dans ce cas, nous ne récupérons que le premier résultat, en définissant <code translate="no">k=1</code>. La dernière étape de la configuration de la mémoire conversationnelle consiste à utiliser l'objet <code translate="no">VectorStoreRetrieverMemory</code> comme mémoire conversationnelle par le biais du récupérateur et de la connexion à la base de données vectorielle que nous venons de mettre en place.</p>
<p>Pour utiliser notre mémoire conversationnelle, il faut qu'elle ait un certain contexte. Donnons donc à la mémoire un certain contexte. Pour cet exemple, nous donnons cinq informations. Stockons mon en-cas préféré (chocolat), mon sport préféré (natation), ma bière préférée (Guinness), mon dessert préféré (cheesecake) et ma musicienne préférée (Taylor Swift). Chaque entrée est enregistrée dans la mémoire à l'aide de la fonction <code translate="no">save_context</code>.</p>
<pre><code translate="no">vectordb = Milvus.from_documents(
   {},
   embeddings,
   connection_args={<span class="hljs-string">&quot;host&quot;</span>: <span class="hljs-string">&quot;127.0.0.1&quot;</span>, <span class="hljs-string">&quot;port&quot;</span>: default_server.listen_port})
retriever = Milvus.as_retriever(vectordb, search_kwargs=<span class="hljs-built_in">dict</span>(k=<span class="hljs-number">1</span>))
memory = VectorStoreRetrieverMemory(retriever=retriever)
about_me = [
   {<span class="hljs-string">&quot;input&quot;</span>: <span class="hljs-string">&quot;My favorite snack is chocolate&quot;</span>,
    <span class="hljs-string">&quot;output&quot;</span>: <span class="hljs-string">&quot;Nice&quot;</span>},
   {<span class="hljs-string">&quot;input&quot;</span>: <span class="hljs-string">&quot;My favorite sport is swimming&quot;</span>,
    <span class="hljs-string">&quot;output&quot;</span>: <span class="hljs-string">&quot;Cool&quot;</span>},
   {<span class="hljs-string">&quot;input&quot;</span>: <span class="hljs-string">&quot;My favorite beer is Guinness&quot;</span>,
    <span class="hljs-string">&quot;output&quot;</span>: <span class="hljs-string">&quot;Great&quot;</span>},
   {<span class="hljs-string">&quot;input&quot;</span>: <span class="hljs-string">&quot;My favorite dessert is cheesecake&quot;</span>,
    <span class="hljs-string">&quot;output&quot;</span>: <span class="hljs-string">&quot;Good to know&quot;</span>},
   {<span class="hljs-string">&quot;input&quot;</span>: <span class="hljs-string">&quot;My favorite musician is Taylor Swift&quot;</span>,
    <span class="hljs-string">&quot;output&quot;</span>: <span class="hljs-string">&quot;Same&quot;</span>}
]
<span class="hljs-keyword">for</span> example <span class="hljs-keyword">in</span> about_me:
   memory.save_context({<span class="hljs-string">&quot;input&quot;</span>: example[<span class="hljs-string">&quot;input&quot;</span>]}, {<span class="hljs-string">&quot;output&quot;</span>: example[<span class="hljs-string">&quot;output&quot;</span>]})
<button class="copy-code-btn"></button></code></pre>
<h2 id="Prompting-the-Conversational-Memory-with-LangChain" class="common-anchor-header">Promouvoir la mémoire conversationnelle avec LangChain<button data-href="#Prompting-the-Conversational-Memory-with-LangChain" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Il est temps de voir comment nous pouvons utiliser notre mémoire conversationnelle. Commençons par nous connecter au LLM d'OpenAI via LangChain. Nous utilisons une température de 0 pour indiquer que nous ne voulons pas que notre LLM soit créatif.</p>
<p>Ensuite, nous créons un modèle. Nous indiquons au LLM qu'il est engagé dans une conversation amicale avec un humain et insérons deux variables. La variable <code translate="no">history</code> fournit le contexte de la mémoire conversationnelle. La variable <code translate="no">input</code> fournit l'entrée actuelle. Nous utilisons l'objet <code translate="no">PromptTemplate</code> pour insérer ces variables.</p>
<p>Nous utilisons l'objet <code translate="no">ConversationChain</code> pour combiner notre invite, notre LLM et notre mémoire. Nous sommes maintenant prêts à vérifier la mémoire de notre conversation en lui donnant quelques invites. Nous commençons par dire au LLM que nous nous appelons Gary, le principal rival de la série Pokemon (tout le reste de la mémoire conversationnelle est un fait me concernant).</p>
<pre><code translate="no">llm = OpenAI(temperature=<span class="hljs-number">0</span>) <span class="hljs-comment"># Can be any valid LLM</span>
_DEFAULT_TEMPLATE = <span class="hljs-string">&quot;&quot;&quot;The following is a friendly conversation between a human and an AI. The AI is talkative and provides lots of specific details from its context. If the AI does not know the answer to a question, it truthfully says it does not know.


Relevant pieces of previous conversation:
{history}


(You do not need to use these pieces of information if not relevant)


Current conversation:
Human: {input}
AI:&quot;&quot;&quot;</span>
PROMPT = PromptTemplate(
   input_variables=[<span class="hljs-string">&quot;history&quot;</span>, <span class="hljs-string">&quot;input&quot;</span>], template=_DEFAULT_TEMPLATE
)
conversation_with_summary = ConversationChain(
   llm=llm,
   prompt=PROMPT,
   memory=memory,
   verbose=<span class="hljs-literal">True</span>
)
conversation_with_summary.predict(<span class="hljs-built_in">input</span>=<span class="hljs-string">&quot;Hi, my name is Gary, what&#x27;s up?&quot;</span>)
<button class="copy-code-btn"></button></code></pre>
<p>L'image ci-dessous montre à quoi pourrait ressembler une réponse attendue du LLM. Dans cet exemple, il a répondu en disant qu'il s'appelait "AI".</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Conversational_Memory_in_Lang_Chain_graphics_1_2bf386d22a.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Testons maintenant la mémoire jusqu'à présent. Nous utilisons l'objet <code translate="no">ConversationChain</code> que nous avons créé plus tôt et nous recherchons mon musicien préféré.</p>
<pre><code translate="no">conversation_with_summary.predict(<span class="hljs-built_in">input</span>=<span class="hljs-string">&quot;who is my favorite musician?&quot;</span>)
<button class="copy-code-btn"></button></code></pre>
<p>L'image ci-dessous montre une réponse attendue de la chaîne de conversation. Comme nous avons utilisé l'option verbose, la conversation correspondante est également affichée. Nous pouvons voir qu'il retourne que mon artiste préféré est Taylor Swift, comme prévu.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Conversational_Memory_in_Lang_Chain_graphics_2_8355206f3e.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Ensuite, recherchons mon dessert préféré, le cheesecake.</p>
<pre><code translate="no">conversation_with_summary.predict(<span class="hljs-built_in">input</span>=<span class="hljs-string">&quot;Whats my favorite dessert?&quot;</span>)
<button class="copy-code-btn"></button></code></pre>
<p>Lorsque nous demandons mon dessert préféré, nous pouvons voir que la chaîne de conversation sélectionne une fois de plus les informations correctes de Milvus. Elle trouve que mon dessert préféré est le gâteau au fromage, comme je le lui ai dit plus tôt.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Conversational_Memory_in_Lang_Chain_graphics_3_66a5c9690f.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Maintenant que nous avons confirmé que nous pouvons demander les informations que nous avons fournies plus tôt, vérifions une autre chose : les informations que nous avons fournies au début de notre conversation. Nous avons commencé notre conversation en disant à l'IA que nous nous appelions Gary.</p>
<pre><code translate="no">conversation_with_summary.predict(<span class="hljs-built_in">input</span>=<span class="hljs-string">&quot;What&#x27;s my name?&quot;</span>)
<button class="copy-code-btn"></button></code></pre>
<p>Notre dernière vérification montre que la chaîne de conversation a stocké la partie concernant notre nom dans notre mémoire conversationnelle vectorielle. Elle renvoie que nous avons dit que notre nom était Gary.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Conversational_Memory_in_Lang_Chain_graphics_4_f446f49672.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<h2 id="LangChain-Conversational-Memory-Summary" class="common-anchor-header">Résumé de la mémoire conversationnelle LangChain<button data-href="#LangChain-Conversational-Memory-Summary" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Dans ce tutoriel, nous avons appris à utiliser la mémoire conversationnelle dans LangChain. LangChain offre un accès aux backends de stockage vectoriel comme Milvus pour la mémoire conversationnelle persistante. Nous pouvons utiliser la mémoire conversationnelle en injectant un historique dans nos invites et en sauvegardant le contexte historique dans l'objet <code translate="no">ConversationChain</code>.</p>
<p>Pour cet exemple de tutoriel, nous avons donné à la chaîne de conversation cinq informations sur moi et nous avons prétendu être le principal rival de Pokemon, Gary. Ensuite, nous avons posé à la chaîne de conversation des questions sur les connaissances a priori que nous avons stockées - mon musicien et mon dessert préférés. La chaîne a répondu correctement à ces deux questions et a fait apparaître les entrées correspondantes. Enfin, nous l'avons interrogée sur le nom que nous avions donné au début de la conversation, et elle a répondu correctement que nous avions dit que notre nom était "Gary".</p>


Mémoire conversationnelle dans LangChain

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/What_s_New_in_2_2_9_858e54a2d3.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Nous sommes ravis d'annoncer l'arrivée de Milvus 2.2.9, une version très attendue qui marque une étape importante pour l'équipe et la communauté. Cette version offre de nombreuses fonctionnalités intéressantes, notamment la prise en charge tant attendue des types de données JSON, du schéma dynamique et des clés de partition, ce qui garantit une expérience utilisateur optimisée et un flux de développement rationalisé. En outre, cette version intègre de nombreuses améliorations et corrections de bogues. Rejoignez-nous pour explorer Milvus 2.2.9 et découvrir pourquoi cette version est si intéressante.</p>
<h2 id="Optimized-user-experience-with-JSON-support" class="common-anchor-header">Expérience utilisateur optimisée avec la prise en charge de JSON<button data-href="#Optimized-user-experience-with-JSON-support" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus a introduit la prise en charge très attendue du type de données JSON, permettant le stockage transparent des données JSON avec les métadonnées des vecteurs dans les collections des utilisateurs. Grâce à cette amélioration, les utilisateurs peuvent insérer efficacement des données JSON en masse et effectuer des requêtes et des filtrages avancés basés sur le contenu de leurs champs JSON. En outre, les utilisateurs peuvent utiliser des expressions et effectuer des opérations adaptées aux champs JSON de leur ensemble de données, construire des requêtes et appliquer des filtres basés sur le contenu et la structure de leurs champs JSON, ce qui leur permet d'extraire des informations pertinentes et de mieux manipuler les données.</p>
<p>À l'avenir, l'équipe Milvus ajoutera des index pour les champs de type JSON, ce qui optimisera encore les performances des requêtes scalaires et vectorielles mixtes. Restez donc à l'écoute des développements passionnants à venir !</p>
<h2 id="Added-flexibility-with-support-for-dynamic-schema" class="common-anchor-header">Flexibilité accrue grâce à la prise en charge d'un schéma dynamique<button data-href="#Added-flexibility-with-support-for-dynamic-schema" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Avec la prise en charge des données JSON, Milvus 2.2.9 offre désormais une fonctionnalité de schéma dynamique par le biais d'un kit de développement logiciel (SDK) simplifié.</p>
<p>A partir de Milvus 2.2.9, le SDK Milvus comprend une API de haut niveau qui remplit automatiquement les champs dynamiques dans le champ JSON caché de la collection, ce qui permet aux utilisateurs de se concentrer uniquement sur leurs champs commerciaux.</p>
<h2 id="Better-data-separation-and-enhanced-search-efficiency-with-Partition-Key" class="common-anchor-header">Meilleure séparation des données et efficacité de recherche accrue grâce à la clé de partition<button data-href="#Better-data-separation-and-enhanced-search-efficiency-with-Partition-Key" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.2.9 améliore ses capacités de partitionnement en introduisant la fonction Partition Key. Elle permet d'utiliser des colonnes spécifiques à l'utilisateur comme clés primaires pour le partitionnement, éliminant ainsi le besoin d'API supplémentaires telles que <code translate="no">loadPartition</code> et <code translate="no">releasePartition</code>. Cette nouvelle fonctionnalité supprime également la limite du nombre de partitions, ce qui permet une utilisation plus efficace des ressources.</p>
<h2 id="Support-for-Alibaba-Cloud-OSS" class="common-anchor-header">Prise en charge de l'OSS Alibaba Cloud<button data-href="#Support-for-Alibaba-Cloud-OSS" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.2.9 prend désormais en charge Alibaba Cloud Object Storage Service (OSS). Les utilisateurs d'Alibaba Cloud peuvent facilement configurer le site <code translate="no">cloudProvider</code> pour Alibaba Cloud et profiter d'une intégration transparente pour un stockage et une récupération efficaces des données vectorielles dans le nuage.</p>
<p>Outre les fonctionnalités mentionnées précédemment, Milvus 2.2.9 offre une prise en charge des bases de données dans le contrôle d'accès basé sur les rôles (RBAC), introduit la gestion des connexions et inclut de nombreuses améliorations et corrections de bogues. Pour plus d'informations, consultez les <a href="https://milvus.io/docs/release_notes.md">notes de mise à jour de Milvus 2.2.9</a>.</p>
<h2 id="Let’s-keep-in-touch" class="common-anchor-header">Restons en contact !<button data-href="#Let’s-keep-in-touch" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Si vous avez des questions ou des commentaires sur Milvus, n'hésitez pas à nous contacter sur <a href="https://twitter.com/milvusio">Twitter</a> ou <a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn</a>. Vous pouvez également rejoindre notre <a href="https://milvus.io/slack/">canal Slack</a> pour discuter directement avec nos ingénieurs et la communauté ou vous rendre à nos <a href="https://us02web.zoom.us/meeting/register/tZ0pcO6vrzsuEtVAuGTpNdb6lGnsPBzGfQ1T#/registration">heures de bureau du mardi</a>!</p>


Milvus 2.2.9 : Une version très attendue avec une expérience utilisateur optimale

<p><strong><em>Note importante</em></strong></p>
<p><em>Nous avons mis à niveau Milvus Lite en juin 2024, ce qui permet aux développeurs d'IA de créer des applications plus rapidement tout en garantissant une expérience cohérente dans diverses options de déploiement, notamment Milvus on Kurbernetes, Docker et les services de cloud gérés. Milvus Lite s'intègre également à divers frameworks et technologies d'IA, rationalisant le développement d'applications d'IA avec des capacités de recherche vectorielle. Pour plus d'informations, voir les références suivantes :</em></p>
<ul>
<li><p><em>Blog de lancement de Milvus Lite : h<a href="https://milvus.io/blog/introducing-milvus-lite.md">ttps://</a>milvus.io/blog/introducing-milvus-lite.md</em></p></li>
<li><p><em>Documentation Milvus Lite <a href="https://milvus.io/docs/quickstart.md">: https://milvus.io/docs/quickstart.md</a></em></p></li>
<li><p><em>Dépôt GitHub Milvus Lite <a href="https://github.com/milvus-io/milvus-lite">: https://github.com/milvus-io/milvus-lite</a></em></p></li>
</ul>
<p><br></p>
<p><a href="https://github.com/milvus-io/milvus">Milvus</a> est une base de données vectorielle open-source conçue pour indexer, stocker et interroger les vecteurs d'intégration générés par des réseaux neuronaux profonds et d'autres modèles d'apprentissage automatique à des milliards d'échelles. Elle est devenue un choix populaire pour de nombreuses entreprises, chercheurs et développeurs qui doivent effectuer des recherches de similarité sur des ensembles de données à grande échelle.</p>
<p>Cependant, certains utilisateurs peuvent trouver la version complète de Milvus trop lourde ou trop complexe. Pour résoudre ce problème, <a href="https://github.com/matrixji">Bin Ji</a>, l'un des contributeurs les plus actifs de la communauté Milvus, a créé <a href="https://github.com/milvus-io/milvus-lite">Milvus Lite</a>, une version allégée de Milvus.</p>
<h2 id="What-is-Milvus-Lite" class="common-anchor-header">Qu'est-ce que Milvus Lite ?<button data-href="#What-is-Milvus-Lite" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Comme indiqué précédemment, <a href="https://github.com/milvus-io/milvus-lite">Milvus Lite</a> est une alternative simplifiée à Milvus qui offre de nombreux avantages et bénéfices.</p>
<ul>
<li>Vous pouvez l'intégrer dans votre application Python sans ajouter de poids supplémentaire.</li>
<li>Il est autonome et ne nécessite pas d'autres dépendances, grâce à la capacité de Milvus autonome à travailler avec des Etcd intégrés et un stockage local.</li>
<li>Vous pouvez l'importer en tant que bibliothèque Python et l'utiliser comme un serveur autonome basé sur une interface de ligne de commande (CLI).</li>
<li>Il fonctionne sans problème avec Google Colab et Jupyter Notebook.</li>
<li>Vous pouvez migrer votre travail et écrire du code en toute sécurité vers d'autres instances Milvus (versions autonomes, en grappe et entièrement gérées) sans risque de perte de données.</li>
</ul>
<h2 id="When-should-you-use-Milvus-Lite" class="common-anchor-header">Quand utiliser Milvus Lite ?<button data-href="#When-should-you-use-Milvus-Lite" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Plus précisément, Milvus Lite est particulièrement utile dans les situations suivantes :</p>
<ul>
<li>Lorsque vous préférez utiliser Milvus sans les techniques et outils de conteneurs tels que <a href="https://milvus.io/docs/install_standalone-operator.md">Milvus Operator</a>, <a href="https://milvus.io/docs/install_standalone-helm.md">Helm</a> ou <a href="https://milvus.io/docs/install_standalone-docker.md">Docker Compose</a>.</li>
<li>Lorsque vous n'avez pas besoin de machines virtuelles ou de conteneurs pour utiliser Milvus.</li>
<li>Lorsque vous souhaitez incorporer les fonctionnalités de Milvus dans vos applications Python.</li>
<li>Lorsque vous souhaitez démarrer une instance Milvus dans Colab ou Notebook pour une expérience rapide.</li>
</ul>
<p><strong>Remarque</strong>: nous ne recommandons pas l'utilisation de Milvus Lite dans un environnement de production ou si vous avez besoin de hautes performances, d'une forte disponibilité ou d'une grande évolutivité. Envisagez plutôt d'utiliser les <a href="https://github.com/milvus-io/milvus">clusters Milvus</a> ou <a href="https://zilliz.com/cloud">Milvus entièrement géré sur Zilliz Cloud</a> pour la production.</p>
<h2 id="How-to-get-started-with-Milvus-Lite" class="common-anchor-header">Comment démarrer avec Milvus Lite ?<button data-href="#How-to-get-started-with-Milvus-Lite" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Voyons maintenant comment installer, configurer et utiliser Milvus Lite.</p>
<h3 id="Prerequisites" class="common-anchor-header">Conditions préalables</h3><p>Pour utiliser Milvus Lite, assurez-vous d'avoir rempli les conditions suivantes :</p>
<ul>
<li>Installation de Python 3.7 ou d'une version ultérieure.</li>
<li>Utilisation de l'un des systèmes d'exploitation vérifiés répertoriés ci-dessous :<ul>
<li>Ubuntu &gt;= 18.04 (x86_64)</li>
<li>CentOS &gt;= 7.0 (x86_64)</li>
<li>MacOS &gt;= 11.0 (Apple Silicon)</li>
</ul></li>
</ul>
<p><strong>Notes</strong>:</p>
<ol>
<li>Milvus Lite utilise <code translate="no">manylinux2014</code> comme image de base, ce qui la rend compatible avec la plupart des distributions Linux pour les utilisateurs de Linux.</li>
<li>L'exécution de Milvus Lite sous Windows est également possible, bien que cela n'ait pas encore été entièrement vérifié.</li>
</ol>
<h3 id="Install-Milvus-Lite" class="common-anchor-header">Installer Milvus Lite</h3><p>Milvus Lite est disponible sur PyPI, vous pouvez donc l'installer via <code translate="no">pip</code>.</p>
<pre><code translate="no">$ python3 -m pip install milvus
<button class="copy-code-btn"></button></code></pre>
<p>Vous pouvez également l'installer avec PyMilvus comme suit :</p>
<pre><code translate="no">$ python3 -m pip install milvus[client]
<button class="copy-code-btn"></button></code></pre>
<h3 id="Use-and-start-Milvus-Lite" class="common-anchor-header">Utiliser et démarrer Milvus Lite</h3><p>Téléchargez le <a href="https://github.com/milvus-io/milvus-lite/tree/main/examples">cahier d'exemples</a> à partir du dossier exemple de notre référentiel de projet. Vous avez deux options pour utiliser Milvus Lite : soit l'importer en tant que bibliothèque Python, soit l'exécuter en tant que serveur autonome sur votre machine à l'aide de la CLI.</p>
<ul>
<li>Pour démarrer Milvus Lite en tant que module Python, exécutez les commandes suivantes :</li>
</ul>
<pre><code translate="no"><span class="hljs-keyword">from</span> milvus <span class="hljs-keyword">import</span> default_server
<span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> connections, utility

<span class="hljs-comment"># Start your milvus server</span>
default_server.start()

<span class="hljs-comment"># Now you can connect with localhost and the given port</span>
<span class="hljs-comment"># Port is defined by default_server.listen_port</span>
connections.connect(host=<span class="hljs-string">&#x27;127.0.0.1&#x27;</span>, port=default_server.listen_port)

<span class="hljs-comment"># Check if the server is ready.</span>
<span class="hljs-built_in">print</span>(utility.get_server_version())

<span class="hljs-comment"># Stop your milvus server</span>
default_server.stop()
<button class="copy-code-btn"></button></code></pre>
<ul>
<li>Pour suspendre ou arrêter Milvus Lite, utilisez l'instruction <code translate="no">with</code>.</li>
</ul>
<pre><code translate="no"><span class="hljs-keyword">from</span> milvus <span class="hljs-keyword">import</span> default_server

<span class="hljs-keyword">with</span> default_server:
  <span class="hljs-comment"># Milvus Lite has already started, use default_server here.</span>
  connections.connect(host=<span class="hljs-string">&#x27;127.0.0.1&#x27;</span>, port=default_server.listen_port)
<button class="copy-code-btn"></button></code></pre>
<ul>
<li>Pour démarrer Milvus Lite en tant que serveur autonome basé sur l'interface de programmation, exécutez la commande suivante :</li>
</ul>
<pre><code translate="no">milvus-server
<button class="copy-code-btn"></button></code></pre>
<p>Après avoir démarré Milvus Lite, vous pouvez utiliser PyMilvus ou d'autres outils de votre choix pour vous connecter au serveur autonome.</p>
<h3 id="Start-Milvus-Lite-in-a-debug-mode" class="common-anchor-header">Démarrer Milvus Lite en mode débogage</h3><ul>
<li>Pour exécuter Milvus Lite en mode débogage en tant que module Python, exécutez les commandes suivantes :</li>
</ul>
<pre><code translate="no"><span class="hljs-keyword">from</span> milvus <span class="hljs-keyword">import</span> debug_server, MilvusServer

debug_server.run()

<span class="hljs-comment"># Or you can create a MilvusServer by yourself</span>
<span class="hljs-comment"># server = MilvusServer(debug=True)</span>
<button class="copy-code-btn"></button></code></pre>
<ul>
<li>Pour exécuter le serveur autonome en mode débogage, exécutez la commande suivante :</li>
</ul>
<pre><code translate="no">milvus-server --debug
<button class="copy-code-btn"></button></code></pre>
<h3 id="Persist-data-and-logs" class="common-anchor-header">Persistance des données et des journaux</h3><ul>
<li>Pour créer un répertoire local pour Milvus Lite qui contiendra toutes les données et tous les journaux pertinents, exécutez les commandes suivantes :</li>
</ul>
<pre><code translate="no"><span class="hljs-keyword">from</span> milvus <span class="hljs-keyword">import</span> default_server

<span class="hljs-keyword">with</span> <span class="hljs-attr">default_server</span>:
  default_server.<span class="hljs-title function_">set_base_dir</span>(<span class="hljs-string">&#x27;milvus_data&#x27;</span>)
<button class="copy-code-btn"></button></code></pre>
<ul>
<li>Pour conserver toutes les données et tous les journaux générés par le serveur autonome sur votre disque local, exécutez la commande suivante :</li>
</ul>
<pre><code translate="no">$ milvus-server --data milvus_data
<button class="copy-code-btn"></button></code></pre>
<h3 id="Configure-Milvus-Lite" class="common-anchor-header">Configurer Milvus Lite</h3><p>La configuration de Milvus Lite est similaire à la configuration des instances Milvus à l'aide des API Python ou de la CLI.</p>
<ul>
<li>Pour configurer la Milvus Lite à l'aide des API Python, utilisez l'API <code translate="no">config.set</code> d'une instance <code translate="no">MilvusServer</code> pour les paramètres de base et supplémentaires :</li>
</ul>
<pre><code translate="no"><span class="hljs-keyword">from</span> milvus <span class="hljs-keyword">import</span> default_server

<span class="hljs-keyword">with</span> default_server:
  default_server.config.<span class="hljs-built_in">set</span>(<span class="hljs-string">&#x27;system_Log_level&#x27;</span>, <span class="hljs-string">&#x27;info&#x27;</span>)
  default_server.config.<span class="hljs-built_in">set</span>(<span class="hljs-string">&#x27;proxy_port&#x27;</span>, <span class="hljs-number">19531</span>)
  default_server.config.<span class="hljs-built_in">set</span>(<span class="hljs-string">&#x27;dataCoord.segment.maxSize&#x27;</span>, <span class="hljs-number">1024</span>)
<button class="copy-code-btn"></button></code></pre>
<ul>
<li>Pour configurer Milvus Lite à l'aide de l'interface de programmation, exécutez la commande suivante pour les paramètres de base :</li>
</ul>
<pre><code translate="no">$ milvus-server --system-log-level info
$ milvus-server --proxy-port 19531
<button class="copy-code-btn"></button></code></pre>
<ul>
<li>Ou exécutez la commande suivante pour les configurations supplémentaires.</li>
</ul>
<pre><code translate="no">$ milvus-server --extra-config dataCoord.segment.maxSize=1024
<button class="copy-code-btn"></button></code></pre>
<p>Tous les éléments configurables se trouvent dans le modèle <code translate="no">config.yaml</code> livré avec le paquet Milvus.</p>
<p>Pour plus de détails techniques sur l'installation et la configuration de Milvus Lite, voir notre <a href="https://milvus.io/docs/milvus_lite.md#Prerequisites">documentation</a>.</p>
<h2 id="Summary" class="common-anchor-header">Résumé<button data-href="#Summary" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus Lite est un excellent choix pour ceux qui recherchent les capacités de Milvus dans un format compact. Que vous soyez chercheur, développeur ou data scientist, cette option mérite d'être explorée.</p>
<p>Milvus Lite est également une belle addition à la communauté open-source, mettant en valeur le travail extraordinaire de ses contributeurs. Grâce aux efforts de Bin Ji, Milvus est désormais accessible à un plus grand nombre d'utilisateurs. Nous sommes impatients de voir les idées novatrices que Bin Ji et d'autres membres de la communauté Milvus apporteront à l'avenir.</p>
<h2 id="Let’s-keep-in-touch" class="common-anchor-header">Restons en contact !<button data-href="#Let’s-keep-in-touch" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Si vous rencontrez des problèmes lors de l'installation ou de l'utilisation de Milvus Lite, vous pouvez <a href="https://github.com/milvus-io/milvus-lite/issues/new">déposer un problème ici</a> ou nous contacter via <a href="https://twitter.com/milvusio">Twitter</a> ou <a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn</a>. Vous pouvez également rejoindre notre <a href="https://milvus.io/slack/">canal Slack</a> pour discuter avec nos ingénieurs et l'ensemble de la communauté, ou vous rendre à <a href="https://us02web.zoom.us/meeting/register/tZ0pcO6vrzsuEtVAuGTpNdb6lGnsPBzGfQ1T#/registration">nos heures de bureau du mardi</a>!</p>


Présentation de Milvus Lite : la version allégée de Milvus

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/What_s_New_in_2_2_8_f4dd6de0f2.png" alt="Milvus 2.2.8" class="doc-image" id="milvus-2.2.8" />
   </span> <span class="img-wrapper"> <span>Milvus 2.2.8</span> </span></p>
<p>Nous sommes heureux d'annoncer notre dernière version de Milvus 2.2.8. Cette version comprend de nombreuses améliorations et corrections de bogues par rapport aux versions précédentes, ce qui se traduit par de meilleures performances d'interrogation, des économies de ressources et des débits plus élevés. Examinons ensemble les nouveautés de cette version.</p>
<h2 id="Reduced-peak-memory-consumption-during-collection-loading" class="common-anchor-header">Réduction des pics de consommation de mémoire lors du chargement des collections<button data-href="#Reduced-peak-memory-consumption-during-collection-loading" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Pour exécuter des requêtes, Milvus doit charger des données et des index en mémoire. Toutefois, au cours du processus de chargement, de multiples copies de la mémoire peuvent entraîner une augmentation de l'utilisation maximale de la mémoire jusqu'à trois ou quatre fois supérieure à celle observée au cours de l'exécution réelle. La dernière version de Milvus 2.2.8 résout efficacement ce problème et optimise l'utilisation de la mémoire.</p>
<h2 id="Expanded-querying-scenarios-with-QueryNode-supporting-plugins" class="common-anchor-header">Scénarios d'interrogation élargis avec la prise en charge des plugins par QueryNode<button data-href="#Expanded-querying-scenarios-with-QueryNode-supporting-plugins" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>QueryNode prend désormais en charge les plugins dans la dernière version de Milvus 2.2.8. Vous pouvez facilement spécifier le chemin du fichier de plugin avec la configuration <code translate="no">queryNode.soPath</code>. Milvus peut alors charger le plugin au moment de l'exécution et étendre les scénarios d'interrogation disponibles. Reportez-vous à la <a href="https://pkg.go.dev/plugin">documentation du plugin Go</a> si vous avez besoin de conseils sur le développement de plugins.</p>
<h2 id="Optimized-querying-performance-with-enhanced-compaction-algorithm" class="common-anchor-header">Performances d'interrogation optimisées grâce à un algorithme de compactage amélioré<button data-href="#Optimized-querying-performance-with-enhanced-compaction-algorithm" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>L'algorithme de compactage détermine la vitesse à laquelle les segments peuvent converger, ce qui affecte directement les performances des requêtes. Grâce aux récentes améliorations apportées à l'algorithme de compactage, l'efficacité de la convergence s'est considérablement améliorée, ce qui se traduit par des requêtes plus rapides.</p>
<h2 id="Better-resource-saving-and-querying-performance-with-reduced-collection-shards" class="common-anchor-header">Une meilleure économie de ressources et de meilleures performances d'interrogation grâce à la réduction du nombre de morceaux de collection<button data-href="#Better-resource-saving-and-querying-performance-with-reduced-collection-shards" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus est un système de traitement massivement parallèle (MPP), ce qui signifie que le nombre d'unités de collection a une incidence sur l'efficacité de Milvus en matière d'écriture et d'interrogation. Dans les versions antérieures, une collection comportait par défaut deux unités, ce qui se traduisait par d'excellentes performances d'écriture, mais compromettait les performances d'interrogation et le coût des ressources. Avec la nouvelle mise à jour Milvus 2.2.8, le nombre de tessons de collection par défaut a été réduit à un, ce qui permet aux utilisateurs d'économiser davantage de ressources et d'effectuer de meilleures requêtes. La plupart des utilisateurs de la communauté ont moins de 10 millions de volumes de données, et un seul shard est suffisant pour obtenir de bonnes performances d'écriture.</p>
<p><strong>Remarque</strong>: cette mise à jour n'affecte pas les collections créées avant cette version.</p>
<h2 id="20-throughput-increase-with-an-improved-query-grouping-algorithm" class="common-anchor-header">Augmentation de 20 % du débit grâce à un algorithme de regroupement des requêtes amélioré<button data-href="#20-throughput-increase-with-an-improved-query-grouping-algorithm" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus dispose d'un algorithme de regroupement de requêtes efficace qui combine plusieurs requêtes dans la file d'attente en une seule pour une exécution plus rapide, ce qui améliore considérablement le débit. Dans la dernière version, nous apportons des améliorations supplémentaires à cet algorithme, augmentant le débit de Milvus d'au moins 20 %.</p>
<p>Outre les améliorations mentionnées, Milvus 2.2.8 corrige également divers bogues. Pour plus de détails, voir les <a href="https://milvus.io/docs/release_notes.md">notes de version de Milvus</a>.</p>
<h2 id="Let’s-keep-in-touch" class="common-anchor-header">Restons en contact !<button data-href="#Let’s-keep-in-touch" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Si vous avez des questions ou des commentaires sur Milvus, n'hésitez pas à nous contacter via <a href="https://twitter.com/milvusio">Twitter</a> ou <a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn</a>. Vous pouvez également rejoindre notre <a href="https://milvus.io/slack/">canal Slack</a> pour discuter directement avec nos ingénieurs et l'ensemble de la communauté ou vous rendre à nos <a href="https://us02web.zoom.us/meeting/register/tZ0pcO6vrzsuEtVAuGTpNdb6lGnsPBzGfQ1T#/registration">heures de bureau du mardi</a>!</p>


Milvus 2.2.8 : Meilleures performances en matière d'interrogation, débit supérieur de 20

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/exploring_milvus_latest_versions_4fa890533e.png" alt="Milvus at Its Best" class="doc-image" id="milvus-at-its-best" />
   </span> <span class="img-wrapper"> <span>Milvus à son meilleur</span> </span></p>
<p>Bienvenue à tous les adeptes de Milvus ! Nous savons que cela fait un moment que nous n'avons pas partagé nos mises à jour sur cette base de données vectorielles open-source de pointe. Mais n'ayez crainte, nous sommes là pour vous informer de tous les développements passionnants qui ont eu lieu depuis le mois d'août dernier.</p>
<p>Dans ce billet de blog, nous allons vous présenter les dernières versions de Milvus, de la version 2.2 à la version 2.2.6. Nous avons beaucoup de choses à couvrir, notamment de nouvelles fonctionnalités, des améliorations, des corrections de bogues et des optimisations. Alors, attachez vos ceintures et plongeons dans l'aventure !</p>
<h2 id="Milvus-v22-a-major-release-with-enhanced-stability-faster-search-speed-and-flexible-scalability" class="common-anchor-header">Milvus v2.2 : une version majeure avec une stabilité améliorée, une vitesse de recherche plus rapide et une évolutivité flexible<button data-href="#Milvus-v22-a-major-release-with-enhanced-stability-faster-search-speed-and-flexible-scalability" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus v2.2 est une version importante qui introduit sept nouvelles fonctionnalités et de nombreuses améliorations par rapport aux versions précédentes. Examinons de plus près quelques-unes de ses principales caractéristiques :</p>
<ul>
<li><strong>Insertions en masse d'entités à partir de fichiers</strong>: Grâce à cette fonctionnalité, vous pouvez télécharger un lot d'entités dans un ou plusieurs fichiers directement vers Milvus avec seulement quelques lignes de code, ce qui vous permet de gagner du temps et d'économiser des efforts.</li>
<li><strong>Pagination des résultats des requêtes</strong>: Pour éviter que les résultats d'une recherche ou d'une requête ne soient renvoyés en masse dans un seul appel de procédure à distance (RPC), Milvus v2.2 vous permet de configurer la pagination et de filtrer les résultats à l'aide de mots clés dans les recherches et les requêtes.</li>
<li><strong>Contrôle d'accès basé sur les rôles (RBAC)</strong>: Milvus v2.2 prend désormais en charge le RBAC, ce qui vous permet de contrôler l'accès à votre instance Milvus en gérant les utilisateurs, les rôles et les autorisations.</li>
<li><strong>Quotas et limites</strong>: Les quotas et les limites sont un nouveau mécanisme de Milvus v2.2 qui protège le système de base de données contre les erreurs de mémoire insuffisante (OOM) et les pannes en cas d'augmentation soudaine du trafic. Cette fonctionnalité permet de contrôler l'ingestion, la recherche et l'utilisation de la mémoire.</li>
<li><strong>Durée de vie (TTL) au niveau de la collection</strong>: Dans les versions précédentes, Milvus vous permettait uniquement de configurer le TTL pour vos clusters. Toutefois, Milvus v2.2 prend désormais en charge la configuration du TTL au niveau de la collection. En configurant le TTL pour une collection spécifique, les entités de cette collection expireront automatiquement à la fin du TTL. Cette configuration permet un contrôle plus fin de la conservation des données.</li>
<li><strong>Indices ANNS (Approximate Nearest Neighbor Search) basés sur disque (Beta)</strong>: Milvus v2.2 introduit la prise en charge de DiskANN, un algorithme ANNS basé sur les graphes de Vamana et résidant dans le SSD. Cette prise en charge permet d'effectuer des recherches directes sur des ensembles de données à grande échelle, ce qui peut réduire considérablement l'utilisation de la mémoire, jusqu'à 10 fois.</li>
<li><strong>Sauvegarde des données (Beta)</strong>: Milvus v2.2 fournit <a href="https://github.com/zilliztech/milvus-backup">un tout nouvel outil</a> pour sauvegarder et restaurer correctement vos données Milvus, soit via une ligne de commande, soit via un serveur API.</li>
</ul>
<p>Outre les nouvelles fonctionnalités mentionnées ci-dessus, Milvus v2.2 comprend des corrections pour cinq bogues et de nombreuses améliorations visant à renforcer la stabilité, l'observabilité et les performances de Milvus. Pour plus de détails, voir les <a href="https://milvus.io/docs/release_notes.md#v220">notes de mise à jour de Milvus v2.2.</a></p>
<h2 id="Milvus-v221--v222-minor-releases-with-issues-fixed" class="common-anchor-header">Milvus v2.2.1 &amp; v2.2.2 : versions mineures avec problèmes corrigés<button data-href="#Milvus-v221--v222-minor-releases-with-issues-fixed" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus v2.2.1 et v2.2.2 sont des versions mineures qui se concentrent sur la correction de problèmes critiques dans les anciennes versions et l'introduction de nouvelles fonctionnalités. En voici les grandes lignes :</p>
<h3 id="Milvus-v221" class="common-anchor-header">Milvus v2.2.1</h3><ul>
<li>Prise en charge du locataire et de l'authentification Pulsa</li>
<li>Prise en charge de la sécurité de la couche transport (TLS) dans la source de configuration etcd</li>
<li>Amélioration des performances de recherche de plus de 30</li>
<li>Optimisation du planificateur et augmentation de la probabilité des tâches de fusion</li>
<li>Corrige de nombreux bogues, notamment les échecs de filtrage des termes sur les champs scalaires indexés et la panique de l'IndexNode en cas d'échec de la création d'un index.</li>
</ul>
<h3 id="Milvus-v222" class="common-anchor-header">Milvus v2.2.2</h3><ul>
<li>Corrige le problème selon lequel le proxy ne met pas à jour le cache des leaders de shard.</li>
<li>Corrige le problème selon lequel les informations chargées ne sont pas nettoyées pour les collections/partitions libérées.</li>
<li>Corrige le fait que le compte de charge n'est pas effacé à temps.</li>
</ul>
<p>Pour plus de détails, voir les <a href="https://milvus.io/docs/release_notes.md#v221">notes de mise à jour de Milvus v2.2.1</a> et les <a href="https://milvus.io/docs/release_notes.md#v222">notes de mise à jour de Milvus v2.2.2.</a></p>
<h2 id="Milvus-v223-more-secure-stable-and-available" class="common-anchor-header">Milvus v2.2.3 : plus sûr, plus stable et plus disponible<button data-href="#Milvus-v223-more-secure-stable-and-available" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus v2.2.3 est une version qui se concentre sur l'amélioration de la sécurité, de la stabilité et de la disponibilité du système. En outre, elle introduit deux fonctionnalités importantes :</p>
<ul>
<li><p><strong>Mise à niveau continue</strong>: cette fonctionnalité permet à Milvus de répondre aux demandes entrantes pendant le processus de mise à niveau, ce qui était impossible dans les versions précédentes. Les mises à niveau continues garantissent que le système reste disponible et qu'il répond aux demandes des utilisateurs même pendant les mises à niveau.</p></li>
<li><p><strong>Haute disponibilité des coordinateurs (HA)</strong>: Cette fonction permet aux coordinateurs Milvus de travailler en mode actif-standby, ce qui réduit le risque de défaillance d'un seul point. Même en cas de catastrophe inattendue, le temps de récupération est réduit à 30 secondes au maximum.</p></li>
</ul>
<p>Outre ces nouvelles fonctionnalités, Milvus v2.2.3 comprend de nombreuses améliorations et corrections de bogues, notamment l'amélioration des performances d'insertion en masse, la réduction de l'utilisation de la mémoire, l'optimisation des métriques de surveillance et l'amélioration des performances du méta-stockage. Pour plus de détails, voir les <a href="https://milvus.io/docs/release_notes.md#v223">notes de mise à jour de Milvus v2.2.3</a>.</p>
<h2 id="Milvus-v224-faster-more-reliable-and-resource-saving" class="common-anchor-header">Milvus v2.2.4 : plus rapide, plus fiable et plus économe en ressources<button data-href="#Milvus-v224-faster-more-reliable-and-resource-saving" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus v2.2.4 est une mise à jour mineure de Milvus v2.2. Elle introduit quatre nouvelles fonctionnalités et plusieurs améliorations, ce qui se traduit par des performances plus rapides, une fiabilité accrue et une consommation de ressources réduite. Les points forts de cette version sont les suivants</p>
<ul>
<li><strong>Regroupement des ressources</strong>: Milvus prend désormais en charge le regroupement des QueryNodes dans d'autres groupes de ressources, ce qui permet d'isoler complètement l'accès aux ressources physiques dans différents groupes.</li>
<li><strong>Renommage des collections</strong>: L'API de renommage des collections permet aux utilisateurs de modifier le nom d'une collection, ce qui offre une plus grande souplesse dans la gestion des collections et améliore la convivialité.</li>
<li><strong>Prise en charge de Google Cloud Storage</strong></li>
<li><strong>Nouvelle option dans les API de recherche et d'interrogation</strong>: Cette nouvelle fonctionnalité permet aux utilisateurs d'ignorer la recherche sur tous les segments croissants, offrant ainsi de meilleures performances de recherche dans les scénarios où la recherche est effectuée en même temps que l'insertion de données.</li>
</ul>
<p>Pour plus d'informations, voir les <a href="https://milvus.io/docs/release_notes.md#v224">notes de mise à jour de Milvus v2.2.4</a>.</p>
<h2 id="Milvus-v225-NOT-RECOMMENDED" class="common-anchor-header">Milvus v2.2.5 : NON RECOMMANDÉ<button data-href="#Milvus-v225-NOT-RECOMMENDED" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus v2.2.5 présente plusieurs problèmes critiques et, par conséquent, nous ne recommandons pas l'utilisation de cette version.  Nous nous excusons sincèrement pour tout désagrément causé par ces problèmes. Toutefois, ces problèmes ont été résolus dans Milvus v2.2.6.</p>
<h2 id="Milvus-v226-resolves-critical-issues-from-v225" class="common-anchor-header">Milvus v2.2.6 : résout les problèmes critiques de la v2.2.5<button data-href="#Milvus-v226-resolves-critical-issues-from-v225" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus v2.2.6 a résolu avec succès les problèmes critiques découverts dans la v2.2.5, y compris les problèmes de recyclage des données binlog sales et l'échec du GC DataCoord. Si vous utilisez actuellement la version 2.2.5, veuillez la mettre à jour pour garantir des performances et une stabilité optimales.</p>
<p>Les problèmes critiques corrigés sont les suivants</p>
<ul>
<li>Échec du GC de DataCoord</li>
<li>Remplacement des paramètres d'index passés</li>
<li>Retard du système causé par l'accumulation de messages RootCoord</li>
<li>Imprécision de la métrique RootCoordInsertChannelTimeTick</li>
<li>Arrêt possible de l'horodatage</li>
<li>Autodestruction occasionnelle du rôle du coordinateur au cours du processus de redémarrage</li>
<li>Retard des points de contrôle en raison d'une sortie anormale du ramassage des ordures.</li>
</ul>
<p>Pour plus de détails, voir les <a href="https://milvus.io/docs/release_notes.md#v226">notes de mise à jour de Milvus v2.2.6.</a></p>
<h2 id="Summary" class="common-anchor-header">Résumé<button data-href="#Summary" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>En conclusion, les dernières versions de Milvus, de v2.2 à v2.2.6, ont apporté de nombreuses mises à jour et améliorations intéressantes. Des nouvelles fonctionnalités aux corrections de bogues et aux optimisations, Milvus continue de respecter ses engagements à fournir des solutions de pointe et à renforcer les applications dans divers domaines. Restez à l'écoute pour d'autres mises à jour et innovations passionnantes de la part de la communauté Milvus.</p>


Milvus à son meilleur : Exploration de la v2.2 à la v2.2.6

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Dynamically_Change_Log_Levels_in_the_Milvus_Vector_Database_58e31c66cc.png" alt="Cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>Image de couverture</span> </span></p>
<blockquote>
<p>Cet article a été rédigé par <a href="https://github.com/jiaoew1991">Enwei Jiao</a> et traduit par <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni</a>.</p>
</blockquote>
<p>Pour éviter qu'une surproduction de journaux n'affecte les performances du disque et du système, Milvus produit par défaut des journaux au niveau <code translate="no">info</code> lorsqu'il est en cours d'exécution. Cependant, il arrive que les journaux au niveau <code translate="no">info</code> ne soient pas suffisants pour nous aider à identifier efficacement les bogues et les problèmes. Qui plus est, dans certains cas, la modification du niveau de journalisation et le redémarrage du service peuvent conduire à l'échec de la reproduction des problèmes, ce qui rend le dépannage d'autant plus difficile. Par conséquent, la prise en charge de la modification dynamique des niveaux de journalisation dans la base de données vectorielle Milvus est une nécessité urgente.</p>
<p>Cet article a pour but de présenter le mécanisme qui permet de modifier dynamiquement les niveaux de journalisation et de fournir des instructions sur la manière de le faire dans la base de données vectorielle Milvus.</p>
<p><strong>Aller à :</strong></p>
<ul>
<li><a href="#Mechanism">Mécanisme</a></li>
<li><a href="#How-to-dynamically-change-log-levels">Comment modifier dynamiquement les niveaux de journalisation</a></li>
</ul>
<h2 id="Mechanism" class="common-anchor-header">Mécanisme<button data-href="#Mechanism" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>La base de données vectorielle Milvus adopte le logger <a href="https://github.com/uber-go/zap">zap</a> open sourcé par Uber. En tant que l'un des composants de journalisation les plus puissants de l'écosystème du langage Go, zap intègre un module <a href="https://github.com/uber-go/zap/blob/master/http_handler.go">http_handler.go</a> qui permet de visualiser le niveau de journalisation actuel et de changer dynamiquement le niveau de journalisation via une interface HTTP.</p>
<p>Milvus écoute le service HTTP fourni par le port <code translate="no">9091</code>. Par conséquent, vous pouvez accéder au port <code translate="no">9091</code> pour bénéficier de fonctionnalités telles que le débogage des performances, les mesures et les contrôles de santé. De même, le port <code translate="no">9091</code> est réutilisé pour permettre la modification dynamique du niveau de journalisation et un chemin <code translate="no">/log/level</code> est également ajouté au port. Voir le<a href="https://github.com/milvus-io/milvus/pull/18430"> PR de l'interface de journalisation</a> pour plus d'informations.</p>
<h2 id="How-to-dynamically-change-log-levels" class="common-anchor-header">Comment modifier dynamiquement les niveaux de journalisation<button data-href="#How-to-dynamically-change-log-levels" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Cette section fournit des instructions sur la manière de modifier dynamiquement les niveaux de journalisation sans avoir à redémarrer le service Milvus en cours d'exécution.</p>
<h3 id="Prerequisite" class="common-anchor-header">Conditions préalables</h3><p>Assurez-vous que vous pouvez accéder au port <code translate="no">9091</code> des composants Milvus.</p>
<h3 id="Change-the-log-level" class="common-anchor-header">Modifier le niveau de journalisation</h3><p>Supposons que l'adresse IP du proxy Milvus soit <code translate="no">192.168.48.12</code>.</p>
<p>Vous pouvez d'abord exécuter <code translate="no">$ curl -X GET 192.168.48.12:9091/log/level</code> pour vérifier le niveau de journalisation actuel du proxy.</p>
<p>Vous pouvez ensuite procéder à des ajustements en spécifiant le niveau de journalisation. Les options de niveau de journalisation sont les suivantes :</p>
<ul>
<li><p><code translate="no">debug</code></p></li>
<li><p><code translate="no">info</code></p></li>
<li><p><code translate="no">warn</code></p></li>
<li><p><code translate="no">error</code></p></li>
<li><p><code translate="no">dpanic</code></p></li>
<li><p><code translate="no">panic</code></p></li>
<li><p><code translate="no">fatal</code></p></li>
</ul>
<p>L'exemple de code suivant modifie le niveau de journal par défaut de <code translate="no">info</code> à <code translate="no">error</code>.</p>
<pre><code translate="no" class="language-Python">$ curl -X PUT 192.168.48.12:9091/log/level -d level=error
<button class="copy-code-btn"></button></code></pre>


Modifier dynamiquement les niveaux de journalisation dans la base de données vectorielle Milvus

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1280_X1280_0e0d4bc107.png" alt="Cover_image" class="doc-image" id="cover_image" />
   </span> <span class="img-wrapper"> <span>Image de couverture</span> </span></p>
<blockquote>
<p>Cet article est écrit par <a href="https://github.com/longjiquan">Jiquan Long</a> et transcrit par <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni.</a></p>
</blockquote>
<p>Dans le <a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md">blog précédent</a> sur la cohérence, nous avons expliqué la connotation de la cohérence dans une base de données vectorielle distribuée, couvert les quatre niveaux de cohérence - forte, staleness limitée, session et éventuelle - pris en charge dans la base de données vectorielle Milvus, et expliqué le scénario d'application le mieux adapté à chaque niveau de cohérence.</p>
<p>Dans cet article, nous continuerons à examiner le mécanisme qui permet aux utilisateurs de la base de données vectorielle Milvus de choisir le niveau de cohérence idéal pour différents scénarios d'application. Nous fournirons également un tutoriel de base sur la manière de régler le niveau de cohérence dans la base de données vectorielle Milvus.</p>
<p><strong>Aller à :</strong></p>
<ul>
<li><a href="#The-underlying-time-tick-mechanism">Le mécanisme de tic-tac temporel sous-jacent</a></li>
<li><a href="#Guarantee-timestamp">Horodatage de garantie</a></li>
<li><a href="#Consistency-levels">Niveaux de cohérence</a></li>
<li><a href="#How-to-tune-consistency-level-in-Milvus">Comment régler le niveau de cohérence dans Milvus ?</a></li>
</ul>
<h2 id="The-underlying-time-tick-mechanism" class="common-anchor-header">Le mécanisme de tic-tac temporel sous-jacent<button data-href="#The-underlying-time-tick-mechanism" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus utilise le mécanisme de time tick pour garantir différents niveaux de cohérence lors d'une recherche vectorielle ou d'une requête. Time Tick est le filigrane de Milvus qui agit comme une horloge dans Milvus et indique à quel moment le système Milvus se trouve. Chaque fois qu'une requête en langage de manipulation de données (DML) est envoyée à la base de données vectorielles Milvus, un horodatage est attribué à la requête. Comme le montre la figure ci-dessous, lorsque de nouvelles données sont insérées dans la file d'attente des messages par exemple, Milvus marque non seulement un horodatage sur ces données insérées, mais insère également des tics temporels à intervalles réguliers.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/timetick_b395df9804.png" alt="timetick" class="doc-image" id="timetick" />
   </span> <span class="img-wrapper"> <span>timetick</span> </span></p>
<p>Prenons l'exemple de <code translate="no">syncTs1</code> dans la figure ci-dessus. Lorsque les consommateurs en aval, tels que les nœuds de requête, voient <code translate="no">syncTs1</code>, les composants consommateurs comprennent que toutes les données insérées avant <code translate="no">syncTs1</code> ont été consommées. En d'autres termes, les demandes d'insertion de données dont les valeurs d'horodatage sont inférieures à <code translate="no">syncTs1</code> n'apparaîtront plus dans la file d'attente des messages.</p>
<h2 id="Guarantee-Timestamp" class="common-anchor-header">Garantie d'horodatage<button data-href="#Guarantee-Timestamp" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Comme indiqué dans la section précédente, les composants consommateurs en aval, tels que les nœuds de requête, obtiennent en permanence des messages de demandes d'insertion de données et des informations temporelles à partir de la file d'attente des messages. Chaque fois qu'un time tick est consommé, le nœud d'interrogation marque ce time tick consommé comme le temps utilisable - <code translate="no">ServiceTime</code> et toutes les données insérées avant <code translate="no">ServiceTime</code> sont visibles pour le nœud d'interrogation.</p>
<p>Outre <code translate="no">ServiceTime</code>, Milvus adopte également un type d'horodatage - l'horodatage de garantie (<code translate="no">GuaranteeTS</code>) pour répondre aux besoins des différents utilisateurs en matière de cohérence et de disponibilité. Cela signifie que les utilisateurs de la base de données vectorielles Milvus peuvent spécifier <code translate="no">GuaranteeTs</code> afin d'informer les nœuds d'interrogation que toutes les données antérieures à <code translate="no">GuaranteeTs</code> doivent être visibles et intervenir lors d'une recherche ou d'une interrogation.</p>
<p>Il existe généralement deux scénarios lorsque le nœud de recherche exécute une demande de recherche dans la base de données vectorielles Milvus.</p>
<h3 id="Scenario-1-Execute-search-request-immediately" class="common-anchor-header">Scénario 1 : Exécution immédiate de la demande de recherche</h3><p>Comme le montre la figure ci-dessous, si <code translate="no">GuaranteeTs</code> est plus petit que <code translate="no">ServiceTime</code>, les nœuds de requête peuvent exécuter la requête de recherche immédiatement.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/execute_immediately_dd1913775d.png" alt="execute_immediately" class="doc-image" id="execute_immediately" />
   </span> <span class="img-wrapper"> <span>execute_immediately</span> </span></p>
<h3 id="Scenario-2-Wait-till-ServiceTime--GuaranteeTs" class="common-anchor-header">Scénario 2 : attendre jusqu'à ce que "ServiceTime &gt; GuaranteeTs" (temps de service &gt; temps de garantie)</h3><p>Si <code translate="no">GuaranteeTs</code> est plus grand que <code translate="no">ServiceTime</code>, les nœuds de recherche doivent continuer à consommer le time tick de la file d'attente des messages. Les demandes de recherche ne peuvent pas être exécutées tant que <code translate="no">ServiceTime</code> n'est pas supérieur à <code translate="no">GuaranteeTs</code>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/wait_search_f09a2f6cf9.png" alt="wait_search" class="doc-image" id="wait_search" />
   </span> <span class="img-wrapper"> <span>wait_search</span> </span></p>
<h2 id="Consistency-Levels" class="common-anchor-header">Niveaux de cohérence<button data-href="#Consistency-Levels" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Par conséquent, <code translate="no">GuaranteeTs</code> est configurable dans la requête de recherche pour atteindre le niveau de cohérence que vous avez spécifié. Une valeur élevée de <code translate="no">GuaranteeTs</code> garantit une <a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md#Strong">cohérence élevée</a> au prix d'une latence de recherche importante. Et un <code translate="no">GuaranteeTs</code> avec une petite valeur réduit la latence de recherche mais la visibilité des données est compromise.</p>
<p><code translate="no">GuaranteeTs</code> Milvus est un format d'horodatage hybride. Et l'utilisateur n'a aucune idée de l'<a href="https://github.com/milvus-io/milvus/blob/master/docs/design_docs/20211214-milvus_hybrid_ts.md">OST</a> à l'intérieur de Milvus. Par conséquent, la spécification de la valeur de<code translate="no">GuaranteeTs</code> est une tâche beaucoup trop compliquée pour les utilisateurs. Afin d'épargner les utilisateurs et de leur offrir une expérience optimale, Milvus demande uniquement aux utilisateurs de choisir le niveau de cohérence spécifique, et la base de données vectorielle Milvus traitera automatiquement la valeur <code translate="no">GuaranteeTs</code> pour les utilisateurs. En d'autres termes, l'utilisateur de Milvus n'a qu'à choisir parmi les quatre niveaux de cohérence : <code translate="no">Strong</code>, <code translate="no">Bounded</code>, <code translate="no">Session</code>, et <code translate="no">Eventually</code>. Chaque niveau de cohérence correspond à une certaine valeur de <code translate="no">GuaranteeTs</code>.</p>
<p>La figure ci-dessous illustre le site <code translate="no">GuaranteeTs</code> pour chacun des quatre niveaux de cohérence de la base de données vectorielle Milvus.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/guarantee_ts_f4b3e119d3.png" alt="guarantee_ts" class="doc-image" id="guarantee_ts" />
   </span> <span class="img-wrapper"> <span>garantie_ts</span> </span></p>
<p>La base de données vectorielles Milvus prend en charge quatre niveaux de cohérence :</p>
<ul>
<li><p><code translate="no">CONSISTENCY_STRONG</code>La base de données vectorielle Milvus prend en charge quatre niveaux de cohérence : <code translate="no">GuaranteeTs</code> est défini sur la même valeur que le dernier horodatage du système, et les nœuds de requête attendent que le temps de service passe au dernier horodatage du système pour traiter la demande de recherche ou de requête.</p></li>
<li><p><code translate="no">CONSISTENCY_EVENTUALLY</code> <code translate="no">GuaranteeTs</code> Les nœuds d'interrogation attendent que le temps de service atteigne le dernier horodatage du système pour traiter la demande de recherche ou d'interrogation. Les nœuds de requête effectuent une recherche immédiate dans la vue des données existantes.</p></li>
<li><p><code translate="no">CONSISTENCY_BOUNDED</code> <code translate="no">GuaranteeTs</code> est fixé à une valeur relativement plus petite que le dernier horodatage du système, et les nœuds d'interrogation effectuent une recherche sur une vue de données tolérément moins mise à jour.</p></li>
<li><p><code translate="no">CONSISTENCY_SESSION</code>: Le client utilise l'horodatage de la dernière opération d'écriture comme <code translate="no">GuaranteeTs</code> afin que chaque client puisse au moins récupérer les données qu'il a lui-même insérées.</p></li>
</ul>
<h2 id="How-to-tune-consistency-level-in-Milvus" class="common-anchor-header">Comment régler le niveau de cohérence dans Milvus ?<button data-href="#How-to-tune-consistency-level-in-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus prend en charge le réglage du niveau de cohérence lors de la <a href="https://milvus.io/docs/v2.1.x/create_collection.md">création d'une collection</a> ou de l'exécution d'une <a href="https://milvus.io/docs/v2.1.x/search.md">recherche</a> ou d'une <a href="https://milvus.io/docs/v2.1.x/query.md">requête</a>.</p>
<h3 id="Conduct-a-vector-similarity-search" class="common-anchor-header">Effectuer une recherche de similarité vectorielle</h3><p>Pour effectuer une recherche de similarité vectorielle avec le niveau de cohérence souhaité, il suffit de définir la valeur du paramètre <code translate="no">consistency_level</code> comme étant soit <code translate="no">Strong</code>, <code translate="no">Bounded</code>, <code translate="no">Session</code>, ou <code translate="no">Eventually</code>. Si vous ne définissez pas la valeur du paramètre <code translate="no">consistency_level</code>, le niveau de cohérence sera <code translate="no">Bounded</code> par défaut. L'exemple ci-dessous effectue une recherche de similarité vectorielle avec le niveau de cohérence <code translate="no">Strong</code>.</p>
<pre><code translate="no">results = collection.search(
        data=[[0.1, 0.2]], 
        anns_field=<span class="hljs-string">&quot;book_intro&quot;</span>, 
        param=search_params, 
        <span class="hljs-built_in">limit</span>=10, 
        <span class="hljs-built_in">expr</span>=None,
        consistency_level=<span class="hljs-string">&quot;Strong&quot;</span>
)
<button class="copy-code-btn"></button></code></pre>
<h3 id="Conduct-a-vector-query" class="common-anchor-header">Effectuer une requête vectorielle</h3><p>Comme pour la recherche de similarités vectorielles, vous pouvez spécifier la valeur du paramètre <code translate="no">consistency_level</code> lors de l'exécution d'une requête vectorielle. L'exemple effectue une recherche vectorielle avec la cohérence <code translate="no">Strong</code>.</p>
<pre><code translate="no">res = collection.query(
  <span class="hljs-built_in">expr</span> = <span class="hljs-string">&quot;book_id in [2,4,6,8]&quot;</span>, 
  output_fields = [<span class="hljs-string">&quot;book_id&quot;</span>, <span class="hljs-string">&quot;book_intro&quot;</span>],
  consistency_level=<span class="hljs-string">&quot;Strong&quot;</span>
)
<button class="copy-code-btn"></button></code></pre>
<h2 id="Whats-next" class="common-anchor-header">Prochaines étapes<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Avec la sortie officielle de Milvus 2.1, nous avons préparé une série de blogs présentant les nouvelles fonctionnalités. En savoir plus sur cette série de blogs :</p>
<ul>
<li><a href="https://milvus.io/blog/2022-08-08-How-to-use-string-data-to-empower-your-similarity-search-applications.md">Comment utiliser les données de chaînes de caractères pour renforcer vos applications de recherche de similarité</a></li>
<li><a href="https://milvus.io/blog/embedded-milvus.md">Utilisation de Milvus embarqué pour installer et exécuter instantanément Milvus avec Python</a></li>
<li><a href="https://milvus.io/blog/in-memory-replicas.md">Augmenter le débit de lecture de votre base de données vectorielle avec des répliques en mémoire</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md">Comprendre le niveau de cohérence dans la base de données vectorielle Milvus</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database-2.md">Comprendre le niveau de cohérence dans la base de données vectorielle Milvus (partie II)</a></li>
<li><a href="https://milvus.io/blog/data-security.md">Comment la base de données vectorielle Milvus assure-t-elle la sécurité des données ?</a></li>
</ul>


Comprendre le niveau de cohérence dans la base de données vectorielles Milvus - Partie II

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Security_192e35a790.png" alt="Cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>Image de couverture</span> </span></p>
<p>Afin de garantir la sécurité de vos données, l'authentification de l'utilisateur et la connexion TLS (transport layer security) sont désormais officiellement disponibles dans Milvus 2.1. Sans authentification de l'utilisateur, n'importe qui peut accéder à toutes les données de votre base de données vectorielles avec le SDK. Toutefois, à partir de Milvus 2.1, seules les personnes disposant d'un nom d'utilisateur et d'un mot de passe valides peuvent accéder à la base de données vectorielles Milvus. En outre, dans Milvus 2.1, la sécurité des données est renforcée par TLS, qui garantit des communications sécurisées dans un réseau informatique.</p>
<p>Cet article vise à analyser comment la base de données vectorielles Milvus assure la sécurité des données grâce à l'authentification de l'utilisateur et à la connexion TLS, et à expliquer comment vous pouvez utiliser ces deux fonctionnalités en tant qu'utilisateur souhaitant assurer la sécurité des données lors de l'utilisation de la base de données vectorielles.</p>
<p><strong>Aller à :</strong></p>
<ul>
<li><a href="#What-is-database-security-and-why-is-it-important">Qu'est-ce que la sécurité des bases de données et pourquoi est-elle importante ?</a></li>
<li><a href="#How-does-the-Milvus-vector-database-ensure-data-security">Comment la base de données vectorielle Milvus assure-t-elle la sécurité des données ?</a><ul>
<li><a href="#User-authentication">Authentification de l'utilisateur</a></li>
<li><a href="#TLS-connection">Connexion TLS</a></li>
</ul></li>
</ul>
<h2 id="What-is-database-security-and-why-is-it-important" class="common-anchor-header">Qu'est-ce que la sécurité des bases de données et pourquoi est-elle importante ?<button data-href="#What-is-database-security-and-why-is-it-important" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>La sécurité des bases de données fait référence aux mesures prises pour garantir la sécurité et la confidentialité de toutes les données contenues dans la base. Les récentes violations et fuites de données chez <a href="https://firewalltimes.com/recent-data-breaches/">Twitter, Marriott, le département des assurances du Texas, etc.</a> nous rendent d'autant plus vigilants sur la question de la sécurité des données. Tous ces cas nous rappellent constamment que les sociétés et les entreprises peuvent subir de graves pertes si les données ne sont pas bien protégées et si les bases de données qu'elles utilisent ne sont pas sécurisées.</p>
<h2 id="How-does-the-Milvus-vector-database-ensure-data-security" class="common-anchor-header">Comment la base de données vectorielles Milvus assure-t-elle la sécurité des données ?<button data-href="#How-does-the-Milvus-vector-database-ensure-data-security" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Dans la version actuelle 2.1, la base de données vectorielle Milvus tente d'assurer la sécurité de la base de données via l'authentification et le cryptage. Plus précisément, au niveau de l'accès, Milvus prend en charge l'authentification de base des utilisateurs pour contrôler qui peut accéder à la base de données. Parallèlement, au niveau de la base de données, Milvus adopte le protocole de cryptage TLS (transport layer security) pour protéger la communication des données.</p>
<h3 id="User-authentication" class="common-anchor-header">Authentification de l'utilisateur</h3><p>La fonction d'authentification utilisateur de base de Milvus permet d'accéder à la base de données vectorielle à l'aide d'un nom d'utilisateur et d'un mot de passe pour assurer la sécurité des données. Cela signifie que les clients ne peuvent accéder à l'instance Milvus qu'en fournissant un nom d'utilisateur et un mot de passe authentifiés.</p>
<h4 id="The-authentication-workflow-in-the-Milvus-vector-database" class="common-anchor-header">Le processus d'authentification dans la base de données vectorielle Milvus</h4><p>Toutes les demandes gRPC sont traitées par le proxy Milvus, et l'authentification est donc effectuée par le proxy. Le processus de connexion avec les informations d'identification pour se connecter à l'instance Milvus est le suivant.</p>
<ol>
<li>Créer des informations d'identification pour chaque instance Milvus et les mots de passe cryptés sont stockés dans etcd. Milvus utilise <a href="https://golang.org/x/crypto/bcrypt">bcrypt</a> pour le chiffrement car il met en œuvre l'<a href="http://www.usenix.org/event/usenix99/provos/provos.pdf">algorithme de hachage adaptatif</a> de Provos et Mazières.</li>
<li>Côté client, le SDK envoie un texte chiffré lors de la connexion au service Milvus. Le texte chiffré en base64 (<username>:<password>) est attaché aux métadonnées avec la clé <code translate="no">authorization</code>.</li>
<li>Le proxy Milvus intercepte la demande et vérifie les informations d'identification.</li>
<li>Les informations d'identification sont mises en cache localement dans le proxy.</li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1280_X1280_021e90e3c8.jpeg" alt="authetication_workflow" class="doc-image" id="authetication_workflow" />
   </span> <span class="img-wrapper"> <span>flux de travail de l'authentification</span> </span></p>
<p>Lorsque les informations d'identification sont mises à jour, le flux de travail du système Milvus est le suivant</p>
<ol>
<li>Le coordinateur racine est chargé des informations d'identification lorsque les API d'insertion, d'interrogation et de suppression sont appelées.</li>
<li>Lorsque vous mettez à jour les informations d'identification parce que vous avez oublié le mot de passe, par exemple, le nouveau mot de passe est conservé dans etcd. Toutes les anciennes informations d'identification présentes dans le cache local du proxy sont alors invalidées.</li>
<li>L'intercepteur d'authentification recherche d'abord les enregistrements dans le cache local. Si les informations d'identification dans le cache ne sont pas correctes, l'appel RPC pour récupérer l'enregistrement le plus récent dans la coordonnée racine sera déclenché. Les informations d'identification dans le cache local sont mises à jour en conséquence.</li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/update_5af81a4173.jpeg" alt="credential_update_workflow" class="doc-image" id="credential_update_workflow" />
   </span> <span class="img-wrapper"> <span>flux_de_mise_à_jour_des_crédentiels</span> </span></p>
<h4 id="How-to-manage-user-authentication-in-the-Milvus-vector-database" class="common-anchor-header">Comment gérer l'authentification des utilisateurs dans la base de données vectorielle Milvus ?</h4><p>Pour activer l'authentification, vous devez d'abord définir <code translate="no">common.security.authorizationEnabled</code> comme <code translate="no">true</code> lors de la configuration de Milvus dans le fichier <code translate="no">milvus.yaml</code>.</p>
<p>Une fois l'authentification activée, un utilisateur root sera créé pour l'instance Milvus. Cet utilisateur root peut utiliser le mot de passe initial de <code translate="no">Milvus</code> pour se connecter à la base de données vectorielle de Milvus.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> connections
connections.<span class="hljs-title function_">connect</span>(
    alias=<span class="hljs-string">&#x27;default&#x27;</span>,
    host=<span class="hljs-string">&#x27;localhost&#x27;</span>,
    port=<span class="hljs-string">&#x27;19530&#x27;</span>,
    user=<span class="hljs-string">&#x27;root_user&#x27;</span>,
    password=<span class="hljs-string">&#x27;Milvus&#x27;</span>,
)
<button class="copy-code-btn"></button></code></pre>
<p>Nous recommandons vivement de modifier le mot de passe de l'utilisateur racine lors du premier démarrage de Milvus.</p>
<p>Ensuite, l'utilisateur root peut créer d'autres utilisateurs pour l'accès authentifié en exécutant la commande suivante pour créer de nouveaux utilisateurs.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> utility
utility.<span class="hljs-title function_">create_credential</span>(<span class="hljs-string">&#x27;user&#x27;</span>, <span class="hljs-string">&#x27;password&#x27;</span>, <span class="hljs-keyword">using</span>=<span class="hljs-string">&#x27;default&#x27;</span>) 
<button class="copy-code-btn"></button></code></pre>
<p>Il y a deux choses à retenir lors de la création de nouveaux utilisateurs :</p>
<ol>
<li><p>Le nouveau nom d'utilisateur ne doit pas dépasser 32 caractères et doit commencer par une lettre. Seuls les traits de soulignement, les lettres et les chiffres sont autorisés dans le nom d'utilisateur. Par exemple, le nom d'utilisateur "2abc !" n'est pas accepté.</p></li>
<li><p>Quant au mot de passe, sa longueur doit être comprise entre 6 et 256 caractères.</p></li>
</ol>
<p>Une fois le nouvel identifiant configuré, le nouvel utilisateur peut se connecter à l'instance Milvus avec le nom d'utilisateur et le mot de passe.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> connections
connections.<span class="hljs-title function_">connect</span>(
    alias=<span class="hljs-string">&#x27;default&#x27;</span>,
    host=<span class="hljs-string">&#x27;localhost&#x27;</span>,
    port=<span class="hljs-string">&#x27;19530&#x27;</span>,
    user=<span class="hljs-string">&#x27;user&#x27;</span>,
    password=<span class="hljs-string">&#x27;password&#x27;</span>,
)
<button class="copy-code-btn"></button></code></pre>
<p>Comme pour tous les processus d'authentification, il n'y a pas lieu de s'inquiéter en cas d'oubli du mot de passe. Le mot de passe d'un utilisateur existant peut être réinitialisé à l'aide de la commande suivante.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> utility
utility.<span class="hljs-title function_">reset_password</span>(<span class="hljs-string">&#x27;user&#x27;</span>, <span class="hljs-string">&#x27;new_password&#x27;</span>, <span class="hljs-keyword">using</span>=<span class="hljs-string">&#x27;default&#x27;</span>)
<button class="copy-code-btn"></button></code></pre>
<p>Lisez la <a href="https://milvus.io/docs/v2.1.x/authenticate.md">documentation Milvus</a> pour en savoir plus sur l'authentification des utilisateurs.</p>
<h3 id="TLS-connection" class="common-anchor-header">Connexion TLS</h3><p>Transport layer security (TLS) est un type de protocole d'authentification qui assure la sécurité des communications dans un réseau informatique. TLS utilise des certificats pour fournir des services d'authentification entre deux ou plusieurs parties communicantes.</p>
<h4 id="How-to-enable-TLS-in-the-Milvus-vector-database" class="common-anchor-header">Comment activer TLS dans la base de données vectorielle Milvus ?</h4><p>Pour activer TLS dans Milvus, vous devez d'abord exécuter la commande suivante afin de préparer deux fichiers pour générer le certificat : un fichier de configuration OpenSSL par défaut nommé <code translate="no">openssl.cnf</code> et un fichier nommé <code translate="no">gen.sh</code> utilisé pour générer les certificats pertinents.</p>
<pre><code translate="no"><span class="hljs-built_in">mkdir</span> cert &amp;&amp; <span class="hljs-built_in">cd</span> cert
<span class="hljs-built_in">touch</span> openssl.cnf gen.sh
<button class="copy-code-btn"></button></code></pre>
<p>Ensuite, vous pouvez simplement copier et coller la configuration que nous fournissons <a href="https://milvus.io/docs/v2.1.x/tls.md#Create-files">ici</a> dans les deux fichiers. Vous pouvez également apporter des modifications basées sur notre configuration afin de mieux répondre à votre application.</p>
<p>Lorsque les deux fichiers sont prêts, vous pouvez exécuter le fichier <code translate="no">gen.sh</code> pour créer neuf fichiers de certificats. De même, vous pouvez modifier les configurations des neuf fichiers de certificats en fonction de vos besoins.</p>
<pre><code translate="no"><span class="hljs-built_in">chmod</span> +x gen.sh
./gen.sh
<button class="copy-code-btn"></button></code></pre>
<p>Il reste une dernière étape avant de pouvoir se connecter au service Milvus avec TLS. Vous devez définir <code translate="no">tlsEnabled</code> sur <code translate="no">true</code> et configurer les chemins d'accès aux fichiers <code translate="no">server.pem</code>, <code translate="no">server.key</code> et <code translate="no">ca.pem</code> pour le serveur dans <code translate="no">config/milvus.yaml</code>. Le code ci-dessous est un exemple.</p>
<pre><code translate="no">tls:
  serverPemPath: configs/cert/server.pem
  serverKeyPath: configs/cert/server.key
  caPemPath: configs/cert/ca.pem

common:
  security:
    tlsEnabled: <span class="hljs-literal">true</span>
<button class="copy-code-btn"></button></code></pre>
<p>Vous êtes alors prêt et pouvez vous connecter au service Milvus avec TLS tant que vous spécifiez les chemins d'accès aux fichiers <code translate="no">client.pem</code>, <code translate="no">client.key</code>, et <code translate="no">ca.pem</code> pour le client lorsque vous utilisez le SDK de connexion Milvus. Le code ci-dessous est également un exemple.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> connections

_HOST = <span class="hljs-string">&#x27;127.0.0.1&#x27;</span>
_PORT = <span class="hljs-string">&#x27;19530&#x27;</span>

<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;\nCreate connection...&quot;</span>)
connections.connect(host=_HOST, port=_PORT, secure=<span class="hljs-literal">True</span>, client_pem_path=<span class="hljs-string">&quot;cert/client.pem&quot;</span>,
                        client_key_path=<span class="hljs-string">&quot;cert/client.key&quot;</span>,
                        ca_pem_path=<span class="hljs-string">&quot;cert/ca.pem&quot;</span>, server_name=<span class="hljs-string">&quot;localhost&quot;</span>)
<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;\nList connections:&quot;</span>)
<span class="hljs-built_in">print</span>(connections.list_connections())
<button class="copy-code-btn"></button></code></pre>
<h2 id="Whats-next" class="common-anchor-header">Prochaines étapes<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Avec la sortie officielle de Milvus 2.1, nous avons préparé une série de blogs présentant les nouvelles fonctionnalités. En savoir plus sur cette série de blogs :</p>
<ul>
<li><a href="https://milvus.io/blog/2022-08-08-How-to-use-string-data-to-empower-your-similarity-search-applications.md">Comment utiliser les données de chaînes de caractères pour renforcer vos applications de recherche de similitudes</a></li>
<li><a href="https://milvus.io/blog/embedded-milvus.md">Utilisation de Milvus embarqué pour installer et exécuter instantanément Milvus avec Python</a></li>
<li><a href="https://milvus.io/blog/in-memory-replicas.md">Augmenter le débit de lecture de votre base de données vectorielle avec des répliques en mémoire</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md">Comprendre le niveau de cohérence dans la base de données vectorielle Milvus</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database-2.md">Comprendre le niveau de cohérence dans la base de données vectorielle Milvus (partie II)</a></li>
<li><a href="https://milvus.io/blog/data-security.md">Comment la base de données vectorielle Milvus assure-t-elle la sécurité des données ?</a></li>
</ul>


Comment la base de données vectorielles Milvus garantit-elle la sécurité des données ?

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1280_X1280_0e0d4bc107.png" alt="Cover_image" class="doc-image" id="cover_image" />
   </span> <span class="img-wrapper"> <span>Image de couverture</span> </span></p>
<blockquote>
<p>Cet article a été rédigé par <a href="https://github.com/JackLCL">Chenglong Li</a> et transcrit par <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni</a>.</p>
</blockquote>
<p>Vous êtes-vous déjà demandé pourquoi les données que vous avez supprimées de la base de données vectorielles de Mlivus apparaissent encore dans les résultats de recherche ?</p>
<p>La raison la plus probable est que vous n'avez pas défini le niveau de cohérence approprié pour votre application. Le niveau de cohérence dans une base de données vectorielle distribuée est critique car il détermine à quel moment une écriture de données particulière peut être lue par le système.</p>
<p>Cet article vise donc à démystifier le concept de cohérence et à examiner les niveaux de cohérence pris en charge par la base de données vectorielle Milvus.</p>
<p><strong>Aller à :</strong></p>
<ul>
<li><a href="#What-is-consistency">Qu'est-ce que la cohérence ?</a></li>
<li><a href="#Four-levels-of-consistency-in-the-Milvus-vector-database">Quatre niveaux de cohérence dans la base de données vectorielle Milvus</a><ul>
<li><a href="#Strong">Forte</a></li>
<li><a href="#Bounded-staleness">Stabilité limitée</a></li>
<li><a href="#Session">Session</a></li>
<li><a href="#Eventual">Eventuel</a></li>
</ul></li>
</ul>
<h2 id="What-is-consistency" class="common-anchor-header">Qu'est-ce que la cohérence ?<button data-href="#What-is-consistency" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Avant de commencer, nous devons d'abord clarifier la connotation de la cohérence dans cet article, car le mot "cohérence" est un terme surchargé dans l'industrie informatique. Dans une base de données distribuée, la cohérence fait spécifiquement référence à la propriété qui garantit que chaque nœud ou réplique a la même vue des données lors de l'écriture ou de la lecture des données à un moment donné. Par conséquent, nous parlons ici de cohérence comme dans le <a href="https://en.wikipedia.org/wiki/CAP_theorem">théorème CAP</a>.</p>
<p>Dans le monde moderne, les répliques multiples sont couramment adoptées pour servir les entreprises en ligne de grande envergure. Par exemple, le géant du commerce en ligne Amazon réplique ses commandes ou ses données SKU dans plusieurs centres de données, zones ou même pays afin de garantir une disponibilité élevée du système en cas de panne ou de défaillance. Cela pose un défi au système : la cohérence des données entre les différentes répliques. Sans cohérence, il est très probable que l'article supprimé de votre panier Amazon réapparaisse, ce qui nuirait à l'expérience de l'utilisateur.</p>
<p>C'est pourquoi nous avons besoin de différents niveaux de cohérence des données pour différentes applications. Heureusement, Milvus, une base de données pour l'IA, offre une certaine flexibilité en matière de niveau de cohérence et vous pouvez définir le niveau de cohérence qui convient le mieux à votre application.</p>
<h3 id="Consistency-in-the-Milvus-vector-database" class="common-anchor-header">Cohérence dans la base de données vectorielle Milvus</h3><p>Le concept de niveau de cohérence a été introduit pour la première fois avec la publication de Milvus 2.0. La version 1.0 de Milvus n'était pas une base de données vectorielle distribuée et nous n'avions donc pas prévu de niveaux de cohérence réglables à l'époque. Milvus 1.0 actualise les données toutes les secondes, ce qui signifie que les nouvelles données sont presque immédiatement visibles dès leur insertion et que Milvus lit la vue des données les plus récentes au moment précis où une recherche de similarité vectorielle ou une demande de renseignements est formulée.</p>
<p>Cependant, Milvus a été remanié dans sa version 2.0 et <a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">Milvus 2.0 est une base de données vectorielle distribuée</a> basée sur un mécanisme pub-sub. Le théorème <a href="https://en.wikipedia.org/wiki/PACELC_theorem">PACELC</a> souligne qu'un système distribué doit faire un compromis entre la cohérence, la disponibilité et la latence. En outre, différents niveaux de cohérence correspondent à différents scénarios. C'est pourquoi le concept de cohérence a été introduit dans <a href="https://milvus.io/blog/2022-1-25-annoucing-general-availability-of-milvus-2-0.md">Milvus 2.0</a> et prend en charge l'ajustement des niveaux de cohérence.</p>
<h2 id="Four-levels-of-consistency-in-the-Milvus-vector-database" class="common-anchor-header">Quatre niveaux de cohérence dans la base de données vectorielle Milvus<button data-href="#Four-levels-of-consistency-in-the-Milvus-vector-database" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus prend en charge quatre niveaux de cohérence : forte, staleness limité, session et éventuelle. L'utilisateur de Milvus peut spécifier le niveau de cohérence lorsqu'il <a href="https://milvus.io/docs/v2.1.x/create_collection.md">crée une collection</a> ou effectue une <a href="https://milvus.io/docs/v2.1.x/search.md">recherche</a> ou une <a href="https://milvus.io/docs/v2.1.x/query.md">requête de</a> <a href="https://milvus.io/docs/v2.1.x/search.md">similarité vectorielle</a>. Cette section explique en quoi ces quatre niveaux de cohérence sont différents et quel est le scénario qui leur convient le mieux.</p>
<h3 id="Strong" class="common-anchor-header">Fort</h3><p>Strong est le niveau de cohérence le plus élevé et le plus strict. Il garantit que les utilisateurs peuvent lire la dernière version des données.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Consistency_Strong_5d791eb8b2.png" alt="Strong" class="doc-image" id="strong" />
   </span> <span class="img-wrapper"> <span>Fort</span> </span></p>
<p>Selon le théorème de PACELC, si le niveau de cohérence est défini comme fort, la latence augmentera. Par conséquent, nous recommandons de choisir une cohérence forte lors des tests fonctionnels afin de garantir l'exactitude des résultats des tests. La cohérence forte est également la mieux adaptée aux applications qui exigent une cohérence stricte des données au détriment de la vitesse de recherche. Un exemple peut être un système financier en ligne traitant les paiements de commandes et la facturation.</p>
<h3 id="Bounded-staleness" class="common-anchor-header">L'obsolescence limitée</h3><p>L'obsolescence limitée, comme son nom l'indique, autorise l'incohérence des données pendant une certaine période. Toutefois, en règle générale, les données sont toujours globalement cohérentes en dehors de cette période.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Consistency_Bounded_c034bc6e51.png" alt="Bounded_staleness" class="doc-image" id="bounded_staleness" />
   </span> <span class="img-wrapper"> <span>Stabilité limitée</span> </span></p>
<p>L'obsolescence limitée convient aux scénarios qui doivent contrôler la latence de la recherche et qui peuvent accepter une invisibilité sporadique des données. Par exemple, dans les systèmes de recommandation tels que les moteurs de recommandation vidéo, l'invisibilité des données a de temps en temps un impact très faible sur le taux de rappel global, mais peut augmenter de manière significative les performances du système de recommandation. Une application permettant de suivre l'état de vos commandes en ligne en est un exemple.</p>
<h3 id="Session" class="common-anchor-header">Session</h3><p>La session garantit que toutes les données écrites peuvent être immédiatement perçues en lecture au cours de la même session. En d'autres termes, lorsque vous écrivez des données via un client, les données nouvellement insérées deviennent instantanément consultables.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Consistency_Session_6dc4782212.png" alt="Session" class="doc-image" id="session" />
   </span> <span class="img-wrapper"> <span>Session</span> </span></p>
<p>Nous recommandons de choisir session comme niveau de cohérence pour les scénarios dans lesquels la demande de cohérence des données au cours d'une même session est élevée. Un exemple peut être la suppression des données d'une entrée de livre dans le système de la bibliothèque, et après confirmation de la suppression et rafraîchissement de la page (une session différente), le livre ne devrait plus être visible dans les résultats de la recherche.</p>
<h3 id="Eventual" class="common-anchor-header">Éventuel</h3><p>Il n'y a pas d'ordre garanti pour les lectures et les écritures, et les répliques finissent par converger vers le même état si aucune autre opération d'écriture n'est effectuée. Dans le cadre de la cohérence éventuelle, les répliques commencent à travailler sur les demandes de lecture avec les dernières valeurs mises à jour. La cohérence éventuelle est le niveau le plus faible des quatre.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Consistency_Eventual_7c66dd5b6f.png" alt="Eventual" class="doc-image" id="eventual" />
   </span> <span class="img-wrapper"> <span>Éventuelle</span> </span></p>
<p>Cependant, selon le théorème PACELC, la latence de recherche peut être considérablement réduite en sacrifiant la cohérence. Par conséquent, la cohérence éventuelle convient mieux aux scénarios qui n'exigent pas une grande cohérence des données, mais qui requièrent des performances de recherche ultra-rapides. Un exemple peut être la recherche de critiques et d'évaluations de produits Amazon avec une cohérence éventuelle.</p>
<h2 id="Endnote" class="common-anchor-header">Note de fin<button data-href="#Endnote" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Pour en revenir à la question posée au début de cet article, les données supprimées sont toujours renvoyées dans les résultats de recherche parce que l'utilisateur n'a pas choisi le niveau de cohérence approprié. La valeur par défaut du niveau de cohérence est bounded staleness (<code translate="no">Bounded</code>) dans la base de données vectorielle Milvus. Par conséquent, la lecture des données peut prendre du retard et Milvus peut lire la vue des données avant que vous n'ayez effectué des opérations de suppression au cours d'une recherche de similarité ou d'une requête. Toutefois, ce problème est simple à résoudre. Il vous suffit de <a href="https://milvus.io/docs/v2.1.x/tune_consistency.md">régler le niveau de cohérence</a> lors de la création d'une collection ou de la réalisation d'une recherche ou d'une requête de similarité vectorielle. C'est simple !</p>
<p>Dans le prochain article, nous dévoilerons le mécanisme et expliquerons comment la base de données vectorielles Milvus atteint différents niveaux de cohérence. Restez à l'écoute !</p>
<h2 id="Whats-next" class="common-anchor-header">Prochaines étapes<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Avec la sortie officielle de Milvus 2.1, nous avons préparé une série de blogs présentant les nouvelles fonctionnalités. En savoir plus sur cette série de blogs :</p>
<ul>
<li><a href="https://milvus.io/blog/2022-08-08-How-to-use-string-data-to-empower-your-similarity-search-applications.md">Comment utiliser les données de chaîne pour renforcer vos applications de recherche de similarité</a></li>
<li><a href="https://milvus.io/blog/embedded-milvus.md">Utilisation de Milvus embarqué pour installer et exécuter instantanément Milvus avec Python</a></li>
<li><a href="https://milvus.io/blog/in-memory-replicas.md">Augmenter le débit de lecture de votre base de données vectorielle avec des répliques en mémoire</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md">Comprendre le niveau de cohérence dans la base de données vectorielle Milvus</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database-2.md">Comprendre le niveau de cohérence dans la base de données vectorielle Milvus (partie II)</a></li>
<li><a href="https://milvus.io/blog/data-security.md">Comment la base de données vectorielle Milvus assure-t-elle la sécurité des données ?</a></li>
</ul>


Comprendre le niveau de cohérence dans la base de données vectorielles Milvus

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/in_memory_replica_af1fa21d61.png" alt="Cover_image" class="doc-image" id="cover_image" />
   </span> <span class="img-wrapper"> <span>Image de couverture</span> </span></p>
<blockquote>
<p>Cet article est co-écrit par <a href="https://github.com/congqixia">Congqi Xia</a> et <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni</a>.</p>
</blockquote>
<p>Avec sa sortie officielle, Milvus 2.1 s'accompagne de nombreuses nouvelles fonctionnalités destinées à faciliter la vie des utilisateurs et à améliorer leur expérience. Bien que le concept de réplique en mémoire ne soit pas nouveau dans le monde des bases de données distribuées, il s'agit d'une fonctionnalité essentielle qui peut vous aider à améliorer les performances et la disponibilité du système sans effort. Cet article explique donc ce qu'est la réplique en mémoire et pourquoi elle est importante, puis présente comment activer cette nouvelle fonctionnalité dans Milvus, une base de données vectorielle pour l'IA.</p>
<p><strong>Aller à :</strong></p>
<ul>
<li><p><a href="#Concepts-related-to-in-memory-replica">Concepts liés à la réplique en mémoire</a></p></li>
<li><p><a href="#What-is-in-memory-replica">Qu'est-ce que la réplique en mémoire ?</a></p></li>
<li><p><a href="#Why-are-in-memory-replicas-important">Pourquoi les répliques en mémoire sont-elles importantes ?</a></p></li>
<li><p><a href="#Enable-in-memory-replicas-in-the-Milvus-vector-database">Activer les répliques en mémoire dans la base de données vectorielle Milvus</a></p></li>
</ul>
<h2 id="Concepts-related-to-in-memory-replica" class="common-anchor-header">Concepts liés à la réplique en mémoire<button data-href="#Concepts-related-to-in-memory-replica" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Avant de savoir ce qu'est une réplique en mémoire et pourquoi elle est importante, nous devons d'abord comprendre quelques concepts pertinents, notamment le groupe de répliques, la réplique en nuage, la réplique en continu, la réplique historique et le chef de nuage. L'image ci-dessous illustre ces concepts.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/diagram_1_525afc706a.jpg" alt="Replica_concepts" class="doc-image" id="replica_concepts" />
   </span> <span class="img-wrapper"> <span>Concepts de réplique</span> </span></p>
<h3 id="Replica-group" class="common-anchor-header">Groupe de répliques</h3><p>Un groupe de répliques est constitué de plusieurs <a href="https://milvus.io/docs/v2.1.x/four_layers.md#Query-node">nœuds de requête</a> chargés de gérer les données historiques et les répliques.</p>
<h3 id="Shard-replica" class="common-anchor-header">Réplique en nuage</h3><p>Un réplica shard se compose d'un réplica streaming et d'un réplica historique, tous deux appartenant au même <a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md#Shard">shard</a> (c'est-à-dire au canal DML). Un groupe de répliques est constitué de plusieurs répliques. Le nombre exact de répliques d'un groupe de répliques est déterminé par le nombre de tessons d'une collection donnée.</p>
<h3 id="Streaming-replica" class="common-anchor-header">Réplique en continu</h3><p>Une réplique en continu contient tous les <a href="https://milvus.io/docs/v2.1.x/glossary.md#Segment">segments croissants</a> du même canal DML. D'un point de vue technique, une réplique en continu ne doit être servie que par un seul nœud de requête dans une réplique.</p>
<h3 id="Historical-replica" class="common-anchor-header">Réplique historique</h3><p>Une réplique historique contient tous les segments scellés du même canal DML. Les segments scellés d'une réplique historique peuvent être distribués sur plusieurs nœuds de requête au sein du même groupe de répliques.</p>
<h3 id="Shard-leader" class="common-anchor-header">Chef de tesson</h3><p>Un chef de groupe est le nœud de requête qui sert la réplique en continu dans un groupe de répliques.</p>
<h2 id="What-is-in-memory-replica" class="common-anchor-header">Qu'est-ce que la réplique en mémoire ?<button data-href="#What-is-in-memory-replica" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>L'activation des répliques en mémoire vous permet de charger les données d'une collection sur plusieurs nœuds de requête afin d'exploiter des ressources supplémentaires en termes de CPU et de mémoire. Cette fonctionnalité est très utile si vous disposez d'un ensemble de données relativement petit mais que vous souhaitez augmenter le débit de lecture et améliorer l'utilisation des ressources matérielles.</p>
<p>Pour l'instant, la base de données vectorielles Milvus contient une réplique pour chaque segment en mémoire. Cependant, avec les répliques en mémoire, vous pouvez avoir plusieurs répliques d'un segment sur différents nœuds d'interrogation. Cela signifie que si un nœud d'interrogation effectue une recherche sur un segment, une nouvelle demande de recherche peut être attribuée à un autre nœud d'interrogation inactif, car ce nœud d'interrogation possède une réplique du même segment.</p>
<p>En outre, si nous disposons de plusieurs répliques en mémoire, nous pouvons mieux faire face à la situation dans laquelle un nœud de requête tombe en panne. Auparavant, nous devions attendre que le segment soit rechargé afin de poursuivre la recherche sur un autre nœud d'interrogation. Cependant, avec la réplication en mémoire, la demande de recherche peut être renvoyée immédiatement à un nouveau nœud d'interrogation sans avoir à recharger les données.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/replication_3_1_2c25513cb9.jpg" alt="Replication" class="doc-image" id="replication" />
   </span> <span class="img-wrapper"> <span>La réplication</span> </span></p>
<h2 id="Why-are-in-memory-replicas-important" class="common-anchor-header">Pourquoi les répliques en mémoire sont-elles importantes ?<button data-href="#Why-are-in-memory-replicas-important" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>L'un des principaux avantages de l'activation des répliques en mémoire est l'augmentation du QPS (query per second) et du débit. En outre, il est possible de maintenir plusieurs répliques de segments et le système est plus résistant en cas de basculement.</p>
<h2 id="Enable-in-memory-replicas-in-the-Milvus-vector-database" class="common-anchor-header">Activer les répliques en mémoire dans la base de données vectorielle Milvus<button data-href="#Enable-in-memory-replicas-in-the-Milvus-vector-database" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>L'activation de la nouvelle fonctionnalité des répliques en mémoire est facile dans la base de données vectorielle Milvus. Il vous suffit de spécifier le nombre de répliques que vous souhaitez lors du chargement d'une collection (en appelant <code translate="no">collection.load()</code>).</p>
<p>Dans l'exemple suivant, nous supposons que vous avez déjà <a href="https://milvus.io/docs/v2.1.x/create_collection.md">créé une collection</a> nommée "book" et que vous y avez <a href="https://milvus.io/docs/v2.1.x/insert_data.md">inséré des données</a>. Vous pouvez alors exécuter la commande suivante pour créer deux répliques lors du <a href="https://milvus.io/docs/v2.1.x/load_collection.md">chargement d'</a> une collection de livres.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> Collection
collection = Collection(<span class="hljs-string">&quot;book&quot;</span>)      <span class="hljs-comment"># Get an existing collection.</span>
collection.load(replica_number=<span class="hljs-number">2</span>) <span class="hljs-comment"># load collection as 2 replicas</span>
<button class="copy-code-btn"></button></code></pre>
<p>Vous pouvez modifier le nombre de répliques dans l'exemple de code ci-dessus pour l'adapter au mieux à votre scénario d'application. Vous pouvez ensuite effectuer directement une <a href="https://milvus.io/docs/v2.1.x/search.md">recherche de</a> similarité vectorielle ou une <a href="https://milvus.io/docs/v2.1.x/query.md">requête</a> sur plusieurs répliques sans exécuter de commandes supplémentaires. Toutefois, il convient de noter que le nombre maximal de répliques autorisé est limité par la quantité totale de mémoire utilisable pour exécuter les nœuds de requête. Si le nombre de répliques que vous spécifiez dépasse les limites de la mémoire utilisable, une erreur sera renvoyée lors du chargement des données.</p>
<p>Vous pouvez également vérifier les informations des répliques en mémoire que vous avez créées en exécutant <code translate="no">collection.get_replicas()</code>. Les informations relatives aux groupes de réplicas et aux nœuds de requête et shards correspondants seront renvoyées. Voici un exemple de résultat.</p>
<pre><code translate="no">Replica <span class="hljs-built_in">groups</span>:
- Group: &lt;group_id:435309823872729305&gt;, &lt;group_nodes:(21, 20)&gt;, &lt;shards:[Shard: &lt;channel_name:milvus-zong-rootcoord-dml_27_435367661874184193v0&gt;, &lt;shard_leader:21&gt;, &lt;shard_nodes:[21]&gt;, Shard: &lt;channel_name:milvus-zong-rootcoord-dml_28_435367661874184193v1&gt;, &lt;shard_leader:20&gt;, &lt;shard_nodes:[20, 21]&gt;]&gt;
- Group: &lt;group_id:435309823872729304&gt;, &lt;group_nodes:(25,)&gt;, &lt;shards:[Shard: &lt;channel_name:milvus-zong-rootcoord-dml_28_435367661874184193v1&gt;, &lt;shard_leader:25&gt;, &lt;shard_nodes:[25]&gt;, Shard: &lt;channel_name:milvus-zong-rootcoord-dml_27_435367661874184193v0&gt;, &lt;shard_leader:25&gt;, &lt;shard_nodes:[25]&gt;]&gt;
<button class="copy-code-btn"></button></code></pre>
<h2 id="Whats-next" class="common-anchor-header">Prochaines étapes<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Avec la sortie officielle de Milvus 2.1, nous avons préparé une série de blogs présentant les nouvelles fonctionnalités. En savoir plus sur cette série de blogs :</p>
<ul>
<li><a href="https://milvus.io/blog/2022-08-08-How-to-use-string-data-to-empower-your-similarity-search-applications.md">Comment utiliser les données de chaînes de caractères pour renforcer vos applications de recherche de similitudes</a></li>
<li><a href="https://milvus.io/blog/embedded-milvus.md">Utilisation de Milvus embarqué pour installer et exécuter instantanément Milvus avec Python</a></li>
<li><a href="https://milvus.io/blog/in-memory-replicas.md">Augmenter le débit de lecture de votre base de données vectorielle avec des répliques en mémoire</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md">Comprendre le niveau de cohérence dans la base de données vectorielle Milvus</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database-2.md">Comprendre le niveau de cohérence dans la base de données vectorielle Milvus (partie II)</a></li>
<li><a href="https://milvus.io/blog/data-security.md">Comment la base de données vectorielle Milvus assure-t-elle la sécurité des données ?</a></li>
</ul>


Augmentez le débit de lecture de votre base de données vectorielle avec des répliques en mémoire

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Benchmark_Quick_Setup_58cc8eed5b.png" alt="Cover" class="doc-image" id="cover" />
   </span> <span class="img-wrapper"> <span>Couverture</span> </span></p>
<p>Nous avons récemment mis à jour le <a href="https://milvus.io/docs/v2.1.x/benchmark.md">rapport de benchmarking de Milvus 2.1</a>. Des tests avec un ensemble de données d'un million de vecteurs ont prouvé que le QPS peut être considérablement augmenté en fusionnant des requêtes de <a href="https://milvus.io/docs/v2.1.x/benchmark.md#Terminology">petite</a> taille.</p>
<p>Voici quelques scripts simples qui vous permettront de reproduire facilement ces tests.</p>
<h2 id="Procedures" class="common-anchor-header">Procédures<button data-href="#Procedures" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ol>
<li><p>Déployez un Milvus autonome ou en grappe. Dans ce cas, l'adresse IP du serveur Milvus est 10.100.31.105.</p></li>
<li><p>Déployer un client. Dans ce cas, nous utilisons Ubuntu 18.04 et Python 3.8.13 pour le déploiement. Exécutez le code suivant pour installer PyMilvus 2.1.1.</p></li>
</ol>
<pre><code translate="no">pip install pymilvus==2.1.1
<button class="copy-code-btn"></button></code></pre>
<ol start="3">
<li><p>Téléchargez et copiez les fichiers suivants dans le même répertoire de travail que le client. Dans ce cas, le répertoire de travail est <code translate="no">/go_ben</code>.</p>
<ul>
<li><p><a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/collection_prepare.py"><code translate="no">collection_prepare.py</code></a></p></li>
<li><p><a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/go_benchmark.py"><code translate="no">go_benchmark.py</code></a></p></li>
<li><p><a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/benchmark"><code translate="no">benchmark</code></a> (pour Ubuntu) ou <a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/benchmark-mac"><code translate="no">benchmark-mac</code></a> (pour macOS)</p></li>
</ul>
<p><strong>Remarque :</strong></p>
<ul>
<li><p><code translate="no">benchmark</code> et <code translate="no">benchmark-mac</code> sont des fichiers exécutables développés et compilés à l'aide de Go SDK 2.1.1. Ils ne sont utilisés que pour effectuer une recherche simultanée.</p></li>
<li><p>Pour les utilisateurs d'Ubuntu, veuillez télécharger <code translate="no">benchmark</code>; pour les utilisateurs de macOS, veuillez télécharger <code translate="no">benchmark-mac</code>.</p></li>
<li><p>Des autorisations d'exécution sont requises pour accéder à <code translate="no">benchmark</code> ou <code translate="no">benchmark-mac</code>.</p></li>
<li><p>Les utilisateurs de Mac doivent faire confiance au fichier <code translate="no">benchmark-mac</code> en configurant Sécurité et confidentialité dans les Préférences système.</p></li>
<li><p>Les paramètres relatifs à la recherche simultanée peuvent être trouvés et modifiés dans le code source de <code translate="no">go_benchmark.py</code>.</p></li>
</ul></li>
</ol>
<ol start="4">
<li>Créez une collection et insérez des données vectorielles.</li>
</ol>
<pre><code translate="no">root@milvus-pytest:/go_ben<span class="hljs-comment"># python collection_prepare.py 10.100.31.105 </span>
<button class="copy-code-btn"></button></code></pre>
<ol start="5">
<li>Ouvrez <code translate="no">/tmp/collection_prepare.log</code> pour vérifier le résultat de l'exécution.</li>
</ol>
<pre><code translate="no">...
08/11/2022 17:33:34 PM - INFO - Build index costs 263.626
08/11/2022 17:33:54 PM - INFO - Collection prepared completed
<button class="copy-code-btn"></button></code></pre>
<ol start="6">
<li>Appelez <code translate="no">benchmark</code> (ou <code translate="no">benchmark-mac</code> sur macOS) pour effectuer une recherche simultanée.</li>
</ol>
<pre><code translate="no">root@milvus-pytest:/go_ben<span class="hljs-meta"># python go_benchmark.py 10.100.31.105 ./benchmark</span>
[<span class="hljs-meta">write_json_file</span>] <span class="hljs-function">Remove <span class="hljs-title">file</span>(<span class="hljs-params">search_vector_file.json</span>).
[write_json_file] Write json <span class="hljs-keyword">file</span>:search_vector_file.json done.
Params of go_benchmark: [&#x27;./benchmark&#x27;, &#x27;locust&#x27;, &#x27;-u&#x27;, &#x27;10.100.31.105:19530&#x27;, &#x27;-q&#x27;, &#x27;search_vector_file.json&#x27;, &#x27;-s&#x27;, &#x27;</span>{\n  <span class="hljs-string">&quot;collection_name&quot;</span>: <span class="hljs-string">&quot;random_1m&quot;</span>,\n  <span class="hljs-string">&quot;partition_names&quot;</span>: [],\n  <span class="hljs-string">&quot;fieldName&quot;</span>: <span class="hljs-string">&quot;embedding&quot;</span>,\n  <span class="hljs-string">&quot;index_type&quot;</span>: <span class="hljs-string">&quot;HNSW&quot;</span>,\n  <span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&quot;L2&quot;</span>,\n  <span class="hljs-string">&quot;params&quot;</span>: {\n    <span class="hljs-string">&quot;sp_value&quot;</span>: <span class="hljs-number">64</span>,\n    <span class="hljs-string">&quot;dim&quot;</span>: <span class="hljs-number">128</span>\n  },\n  <span class="hljs-string">&quot;limit&quot;</span>: <span class="hljs-number">1</span>,\n  <span class="hljs-string">&quot;expr&quot;</span>: <span class="hljs-literal">null</span>,\n  <span class="hljs-string">&quot;output_fields&quot;</span>: [],\n  <span class="hljs-string">&quot;timeout&quot;</span>: <span class="hljs-number">600</span>\n}<span class="hljs-string">&#x27;, &#x27;</span>-p<span class="hljs-string">&#x27;, &#x27;</span><span class="hljs-number">10&#x27;</span>, <span class="hljs-string">&#x27;-f&#x27;</span>, <span class="hljs-string">&#x27;json&#x27;</span>, <span class="hljs-string">&#x27;-t&#x27;</span>, <span class="hljs-string">&#x27;60&#x27;</span>, <span class="hljs-string">&#x27;-i&#x27;</span>, <span class="hljs-string">&#x27;20&#x27;</span>, <span class="hljs-string">&#x27;-l&#x27;</span>, <span class="hljs-string">&#x27;go_log_file.log&#x27;</span>]
[<span class="hljs-meta">2022-08-11 11:37:39.811</span>][    INFO] - Name      <span class="hljs-meta">#   reqs      # fails  |       Avg       Min       Max    Median  |     req/s  failures/s (benchmark_run.go:212:sample)</span>
[<span class="hljs-meta">2022-08-11 11:37:39.811</span>][    INFO] - go search     <span class="hljs-number">9665</span>     <span class="hljs-number">0</span>(<span class="hljs-number">0.00</span>%)  |    <span class="hljs-number">20.679</span>     <span class="hljs-number">6.499</span>    <span class="hljs-number">81.761</span>    <span class="hljs-number">12.810</span>  |    <span class="hljs-number">483.25</span>        <span class="hljs-number">0.00</span> (benchmark_run.go:<span class="hljs-number">213</span>:sample)
[<span class="hljs-meta">2022-08-11 11:37:59.811</span>][    INFO] - Name      <span class="hljs-meta">#   reqs      # fails  |       Avg       Min       Max    Median  |     req/s  failures/s (benchmark_run.go:212:sample)</span>
[<span class="hljs-meta">2022-08-11 11:37:59.811</span>][    INFO] - go search    <span class="hljs-number">19448</span>     <span class="hljs-number">0</span>(<span class="hljs-number">0.00</span>%)  |    <span class="hljs-number">20.443</span>     <span class="hljs-number">6.549</span>    <span class="hljs-number">78.121</span>    <span class="hljs-number">13.401</span>  |    <span class="hljs-number">489.22</span>        <span class="hljs-number">0.00</span> (benchmark_run.go:<span class="hljs-number">213</span>:sample)
[<span class="hljs-meta">2022-08-11 11:38:19.811</span>][    INFO] - Name      <span class="hljs-meta">#   reqs      # fails  |       Avg       Min       Max    Median  |     req/s  failures/s (benchmark_run.go:212:sample)</span>
[<span class="hljs-meta">2022-08-11 11:38:19.811</span>][    INFO] - go search    <span class="hljs-number">29170</span>     <span class="hljs-number">0</span>(<span class="hljs-number">0.00</span>%)  |    <span class="hljs-number">20.568</span>     <span class="hljs-number">6.398</span>    <span class="hljs-number">76.887</span>    <span class="hljs-number">12.828</span>  |    <span class="hljs-number">486.15</span>        <span class="hljs-number">0.00</span> (benchmark_run.go:<span class="hljs-number">213</span>:sample)
[<span class="hljs-meta">2022-08-11 11:38:19.811</span>][   DEBUG] - go search run finished, parallel: <span class="hljs-number">10</span>(benchmark_run.go:<span class="hljs-number">95</span>:benchmark)
[<span class="hljs-meta">2022-08-11 11:38:19.811</span>][    INFO] - Name      <span class="hljs-meta">#   reqs      # fails  |       Avg       Min       Max    Median  |     req/s  failures/s (benchmark_run.go:159:samplingLoop)</span>
[<span class="hljs-meta">2022-08-11 11:38:19.811</span>][    INFO] - go search    <span class="hljs-number">29180</span>     <span class="hljs-number">0</span>(<span class="hljs-number">0.00</span>%)  |    <span class="hljs-number">20.560</span>     <span class="hljs-number">6.398</span>    <span class="hljs-number">81.761</span>    <span class="hljs-number">13.014</span>  |    <span class="hljs-number">486.25</span>        <span class="hljs-number">0.00</span> (benchmark_run.go:<span class="hljs-number">160</span>:samplingLoop)
Result of go_benchmark: {<span class="hljs-string">&#x27;response&#x27;</span>: True, <span class="hljs-string">&#x27;err_code&#x27;</span>: <span class="hljs-number">0</span>, <span class="hljs-string">&#x27;err_message&#x27;</span>: <span class="hljs-string">&#x27;&#x27;</span>} 
<button class="copy-code-btn"></button></code></pre>
<ol start="7">
<li>Ouvrez le fichier <code translate="no">go_log_file.log</code> dans le répertoire actuel pour vérifier le journal détaillé de la recherche. Voici les informations de recherche que vous pouvez trouver dans le journal de recherche.<ul>
<li><p>reqs : nombre de demandes de recherche entre le moment où la concurrence se produit et le moment présent (la période actuelle)</p></li>
<li><p>fails : nombre de demandes ayant échoué, exprimé en pourcentage du nombre de demandes dans l'intervalle de temps en cours.</p></li>
<li><p>Avg : temps de réponse moyen de la requête dans l'intervalle de temps actuel (unité : millisecondes)</p></li>
<li><p>Min : temps de réponse minimal de la demande dans l'intervalle de temps actuel (unité : millisecondes)</p></li>
<li><p>Max : temps de réponse maximal de la demande dans l'intervalle de temps actuel (unité : millisecondes)</p></li>
<li><p>Median : temps médian de réponse à une demande dans l'intervalle de temps actuel (unité : millisecondes)</p></li>
<li><p>req/s : nombre de demandes par seconde, c'est-à-dire QPS</p></li>
<li><p>failures/s : nombre moyen de requêtes échouées par seconde dans l'intervalle de temps actuel.</p></li>
</ul></li>
</ol>
<h2 id="Downloading-Scripts-and-Executable-Files" class="common-anchor-header">Téléchargement de scripts et de fichiers exécutables<button data-href="#Downloading-Scripts-and-Executable-Files" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p><a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/collection_prepare.py">collection_prepare.py</a></p></li>
<li><p><a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/go_benchmark.py">go_benchmark.py</a></p></li>
<li><p><a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/benchmark">benchmark</a> pour Ubuntu</p></li>
<li><p><a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/benchmark-mac">benchmark-mac</a> pour macOS</p></li>
</ul>
<h2 id="Whats-next" class="common-anchor-header">Prochaines étapes<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Avec la sortie officielle de Milvus 2.1, nous avons préparé une série de blogs présentant les nouvelles fonctionnalités. En savoir plus dans cette série de blogs :</p>
<ul>
<li><a href="https://milvus.io/blog/2022-08-08-How-to-use-string-data-to-empower-your-similarity-search-applications.md">Comment utiliser les données de chaînes de caractères pour renforcer vos applications de recherche de similarité</a></li>
<li><a href="https://milvus.io/blog/embedded-milvus.md">Utilisation de Milvus embarqué pour installer et exécuter instantanément Milvus avec Python</a></li>
<li><a href="https://milvus.io/blog/in-memory-replicas.md">Augmenter le débit de lecture de votre base de données vectorielle avec des répliques en mémoire</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md">Comprendre le niveau de cohérence dans la base de données vectorielle Milvus</a></li>
<li><a href="https://milvus.io/blog/data-security.md">Comment la base de données vectorielle Milvus assure-t-elle la sécurité des données ?</a></li>
</ul>


Guide rapide de l'évaluation comparative de Milvus 2.1

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/embeddded_milvus_1_8132468cac.png" alt="Cover" class="doc-image" id="cover" />
   </span> <span class="img-wrapper"> <span>Couverture</span> </span></p>
<blockquote>
<p>Cet article est co-écrit par <a href="https://github.com/soothing-rain/">Alex Gao</a> et <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni</a>.</p>
</blockquote>
<p>Milvus est une base de données vectorielle open-source pour les applications d'intelligence artificielle. Elle propose diverses méthodes d'installation, notamment la construction à partir du code source et l'installation de Milvus avec Docker Compose/Helm/APT/YUM/Ansible. Les utilisateurs peuvent choisir l'une des méthodes d'installation en fonction de leur système d'exploitation et de leurs préférences. Cependant, la communauté Milvus compte de nombreux scientifiques des données et ingénieurs en IA qui travaillent avec Python et qui souhaitent une méthode d'installation beaucoup plus simple que les méthodes actuellement disponibles.</p>
<p>C'est pourquoi nous avons publié Milvus embarqué, une version conviviale pour Python, en même temps que Milvus 2.1 afin de permettre à un plus grand nombre de développeurs Python de faire partie de notre communauté. Cet article présente ce qu'est Milvus embarqué et fournit des instructions sur la manière de l'installer et de l'utiliser.</p>
<p><strong>Aller à :</strong></p>
<ul>
<li><a href="#An-overview-of-embedded-Milvus">Vue d'ensemble de Milvus embarqué</a><ul>
<li><a href="#When-to-use-embedded-Milvus">Quand utiliser Milvus embarqué ?</a></li>
<li><a href="#A-comparison-of-different-modes-of-Milvus">Comparaison des différents modes de Milvus</a></li>
</ul></li>
<li><a href="#How-to-install-embedded-Milvus">Comment installer Milvus embarqué</a></li>
<li><a href="#Start-and-stop-embedded-Milvus">Démarrer et arrêter Milvus embarqué</a></li>
</ul>
<h2 id="An-overview-of-embedded-Milvus" class="common-anchor-header">Vue d'ensemble de Milvus embarqué<button data-href="#An-overview-of-embedded-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus<a href="https://github.com/milvus-io/embd-milvus">intégré</a> vous permet d'installer et d'utiliser rapidement Milvus avec Python. Il peut rapidement lancer une instance Milvus et vous permet de démarrer et d'arrêter le service Milvus quand vous le souhaitez. Toutes les données et tous les journaux sont conservés même si vous arrêtez Milvus intégré.</p>
<p>Milvus intégré n'a pas de dépendances internes et ne nécessite pas la pré-installation et l'exécution de dépendances tierces telles que etcd, MinIO, Pulsar, etc.</p>
<p>Tout ce que vous faites avec Milvus intégré et chaque morceau de code que vous écrivez pour lui peut être migré en toute sécurité vers d'autres modes Milvus - autonome, cluster, version cloud, etc. Cela reflète l'une des caractéristiques les plus distinctives de Milvus intégré : <strong>"Écrire une fois, exécuter n'importe où".</strong></p>
<h3 id="When-to-use-embedded-Milvus" class="common-anchor-header">Quand utiliser Milvus embarqué ?</h3><p>Milvus intégré et <a href="https://milvus.io/docs/v2.1.x/install-pymilvus.md">PyMilvus</a> sont conçus pour des objectifs différents. Vous pouvez envisager de choisir Milvus intégré dans les scénarios suivants :</p>
<ul>
<li><p>Vous souhaitez utiliser Milvus sans l'installer de l'une des manières proposées <a href="https://milvus.io/docs/v2.1.x/install_standalone-docker.md">ici</a>.</p></li>
<li><p>Vous souhaitez utiliser Milvus sans conserver un processus Milvus de longue durée dans votre machine.</p></li>
<li><p>Vous souhaitez utiliser rapidement Milvus sans démarrer un processus Milvus distinct et d'autres composants requis tels que etcd, MinIO, Pulsar, etc.</p></li>
</ul>
<p>Il est conseillé de <strong>ne PAS</strong> utiliser Milvus intégré :</p>
<ul>
<li><p>dans un environnement de production.<em>(Pour utiliser Milvus pour la production, envisagez un cluster Milvus ou <a href="https://zilliz.com/cloud">Zilliz cloud</a>, un service Milvus entièrement géré</em>).</p></li>
<li><p>Si vous avez une forte demande de performances.<em>(Comparativement, Milvus intégré n'offre peut-être pas les meilleures performances</em>).</p></li>
</ul>
<h3 id="A-comparison-of-different-modes-of-Milvus" class="common-anchor-header">Comparaison des différents modes de Milvus</h3><p>Le tableau ci-dessous compare plusieurs modes de Milvus : autonome, cluster, Milvus intégré et Zilliz Cloud, un service Milvus entièrement géré.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/comparison_ebcd7c5b07.jpeg" alt="comparison" class="doc-image" id="comparison" />
   </span> <span class="img-wrapper"> <span>comparaison</span> </span></p>
<h2 id="How-to-install-embedded-Milvus" class="common-anchor-header">Comment installer Milvus intégré ?<button data-href="#How-to-install-embedded-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Avant d'installer Milvus embarqué, vous devez d'abord vous assurer que vous avez installé Python 3.6 ou une version ultérieure. Milvus embarqué prend en charge les systèmes d'exploitation suivants :</p>
<ul>
<li><p>Ubuntu 18.04</p></li>
<li><p>Mac x86_64 &gt;= 10.4</p></li>
<li><p>Mac M1 &gt;= 11.0</p></li>
</ul>
<p>Si les conditions requises sont remplies, vous pouvez exécuter <code translate="no">$ python3 -m pip install milvus</code> pour installer Milvus intégré. Vous pouvez également ajouter la version dans la commande pour installer une version spécifique de Milvus intégré. Par exemple, si vous souhaitez installer la version 2.1.0, exécutez <code translate="no">$ python3 -m pip install milvus==2.1.0</code>. Plus tard, lorsqu'une nouvelle version de Milvus embarqué sera disponible, vous pourrez également exécuter <code translate="no">$ python3 -m pip install --upgrade milvus</code> pour mettre à niveau Milvus embarqué vers la dernière version.</p>
<p>Si vous êtes un ancien utilisateur de Milvus, que vous avez déjà installé PyMilvus et que vous souhaitez installer Milvus intégré, vous pouvez exécuter <code translate="no">$ python3 -m pip install --no-deps milvus</code>.</p>
<p>Après avoir exécuté la commande d'installation, vous devez créer un dossier de données pour Milvus intégré sous <code translate="no">/var/bin/e-milvus</code> en exécutant la commande suivante :</p>
<pre><code translate="no"><span class="hljs-built_in">sudo</span> <span class="hljs-built_in">mkdir</span> -p /var/bin/e-milvus
<span class="hljs-built_in">sudo</span> <span class="hljs-built_in">chmod</span> -R 777 /var/bin/e-milvus
<button class="copy-code-btn"></button></code></pre>
<h2 id="Start-and-stop-embedded-Milvus" class="common-anchor-header">Démarrer et arrêter Milvus intégré<button data-href="#Start-and-stop-embedded-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Lorsque l'installation est terminée, vous pouvez démarrer le service.</p>
<p>Si vous exécutez Milvus intégré pour la première fois, vous devez d'abord importer Milvus et configurer Milvus intégré.</p>
<pre><code translate="no">$ python3
Python 3.9.10 (main, Jan 15 2022, 11:40:53)
[Clang 13.0.0 (clang-1300.0.29.3)] on darwin
Type <span class="hljs-string">&quot;help&quot;</span>, <span class="hljs-string">&quot;copyright&quot;</span>, <span class="hljs-string">&quot;credits&quot;</span> or <span class="hljs-string">&quot;license&quot;</span> <span class="hljs-keyword">for</span> more information.
&gt;&gt;&gt; import milvus
&gt;&gt;&gt; milvus.before()
please <span class="hljs-keyword">do</span> the following <span class="hljs-keyword">if</span> you have not already <span class="hljs-keyword">done</span> so:
1. install required dependencies: bash /var/bin/e-milvus/lib/install_deps.sh
2. <span class="hljs-built_in">export</span> LD_PRELOAD=/SOME_PATH/embd-milvus.so
3. <span class="hljs-built_in">export</span> LD_LIBRARY_PATH=<span class="hljs-variable">$LD_LIBRARY_PATH</span>:/usr/lib:/usr/local/lib:/var/bin/e-milvus/lib/
&gt;&gt;&gt;
<button class="copy-code-btn"></button></code></pre>
<p>Si vous avez déjà démarré Milvus intégré avec succès et que vous revenez pour le redémarrer, vous pouvez directement exécuter <code translate="no">milvus.start()</code> après avoir importé Milvus.</p>
<pre><code translate="no">$ python3
Python <span class="hljs-number">3.9</span><span class="hljs-number">.10</span> (main, Jan <span class="hljs-number">15</span> <span class="hljs-number">2022</span>, <span class="hljs-number">11</span>:<span class="hljs-number">40</span>:<span class="hljs-number">53</span>)
[Clang <span class="hljs-number">13.0</span><span class="hljs-number">.0</span> (clang-<span class="hljs-number">1300.0</span><span class="hljs-number">.29</span><span class="hljs-number">.3</span>)] on darwinType <span class="hljs-string">&quot;help&quot;</span>, <span class="hljs-string">&quot;copyright&quot;</span>, <span class="hljs-string">&quot;credits&quot;</span> <span class="hljs-keyword">or</span> <span class="hljs-string">&quot;license&quot;</span> <span class="hljs-keyword">for</span> more information.
<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">import</span> milvus
<span class="hljs-meta">&gt;&gt;&gt; </span>milvus.start()
&gt;&gt;&gt;
<button class="copy-code-btn"></button></code></pre>
<p>Si vous avez réussi à démarrer le service Milvus intégré, vous obtiendrez le résultat suivant.</p>
<pre><code translate="no">---<span class="hljs-title class_">Milvus</span> <span class="hljs-title class_">Proxy</span> successfully initialized and ready to serve!---
<button class="copy-code-btn"></button></code></pre>
<p>Après le démarrage du service, vous pouvez ouvrir une autre fenêtre de terminal et exécuter le code d'exemple &quot;<a href="https://github.com/milvus-io/embd-milvus/blob/main/milvus/examples/hello_milvus.py">Hello Milvus</a>&quot; pour vous amuser avec Milvus intégré !</p>
<pre><code translate="no"><span class="hljs-comment"># Download hello_milvus script</span>
$ wget https://raw.githubusercontent.com/milvus-io/pymilvus/v2.1.0/examples/hello_milvus.py
<span class="hljs-comment"># Run Hello Milvus </span>
$ python3 hello_milvus.py
<button class="copy-code-btn"></button></code></pre>
<p>Lorsque vous avez fini d'utiliser Milvus intégré, nous vous recommandons de l'arrêter de manière élégante et de nettoyer les variables d'environnement en exécutant la commande suivante ou en appuyant sur Ctrl-D.</p>
<pre><code translate="no">&gt;&gt;&gt; milvus.stop()
<span class="hljs-keyword">if</span> you need to clean up the environment variables, run:
<span class="hljs-built_in">export</span> LD_PRELOAD=
<span class="hljs-built_in">export</span> LD_LIBRARY_PATH=
&gt;&gt;&gt;
&gt;&gt;&gt; <span class="hljs-built_in">exit</span>()
<button class="copy-code-btn"></button></code></pre>
<h2 id="Whats-next" class="common-anchor-header">Prochaines étapes<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Avec la sortie officielle de Milvus 2.1, nous avons préparé une série de blogs présentant les nouvelles fonctionnalités. En savoir plus sur cette série de blogs :</p>
<ul>
<li><a href="https://milvus.io/blog/2022-08-08-How-to-use-string-data-to-empower-your-similarity-search-applications.md">Comment utiliser les données de chaînes de caractères pour renforcer vos applications de recherche de similitudes</a></li>
<li><a href="https://milvus.io/blog/embedded-milvus.md">Utilisation de Milvus embarqué pour installer et exécuter instantanément Milvus avec Python</a></li>
<li><a href="https://milvus.io/blog/in-memory-replicas.md">Augmenter le débit de lecture de votre base de données vectorielle avec des répliques en mémoire</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md">Comprendre le niveau de cohérence dans la base de données vectorielle Milvus</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database-2.md">Comprendre le niveau de cohérence dans la base de données vectorielle Milvus (partie II)</a></li>
<li><a href="https://milvus.io/blog/data-security.md">Comment la base de données vectorielle Milvus assure-t-elle la sécurité des données ?</a></li>
</ul>


Utiliser Embedded Milvus pour installer et exécuter instantanément Milvus avec Python

Comment utiliser les données sur les chaînes de caractères pour améliorer vos applications de recherche par similarité ?

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/What_s_New_in_2_1_2_a0660df2a5.png" alt="What's new in Milvus 2.1 - Towards simplicity and speed" class="doc-image" id="what's-new-in-milvus-2.1---towards-simplicity-and-speed" />
   </span> <span class="img-wrapper"> <span>Quoi de neuf dans Milvus 2.1 - Vers la simplicité et la rapidité</span> </span></p>
<p>Nous sommes très heureux d'annoncer la<a href="https://milvus.io/docs/v2.1.x/release_notes.md">sortie de</a> Milvus 2.1 après six mois de travail acharné de la part de tous les contributeurs de la communauté Milvus. Cette itération majeure de la populaire base de données vectorielle met l'accent sur la <strong>performance</strong> et la <strong>facilité d'utilisation</strong>, deux mots-clés importants pour nous. Nous avons ajouté la prise en charge des chaînes de caractères, de la file d'attente de messages Kafka et de Milvus embarqué, ainsi qu'un certain nombre d'améliorations en matière de performances, d'évolutivité, de sécurité et d'observabilité. Milvus 2.1 est une mise à jour passionnante qui permettra de franchir le "dernier kilomètre" entre l'ordinateur portable de l'ingénieur en algorithmes et les services de recherche de similarités vectorielles au niveau de la production.</p>
<custom-h1>Performances - Plus de 3,2 fois plus</custom-h1><h2 id="5ms-level-latency" class="common-anchor-header">Temps de latence de 5 ms<button data-href="#5ms-level-latency" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus prend déjà en charge la recherche par approximation du plus proche voisin (ANN), ce qui représente un progrès considérable par rapport à la méthode KNN traditionnelle. Toutefois, les problèmes de débit et de latence continuent de poser des difficultés aux utilisateurs qui doivent traiter des scénarios de recherche de données vectorielles à l'échelle du milliard.</p>
<p>Milvus 2.1 comporte un nouveau protocole de routage qui ne repose plus sur les files d'attente de messages dans la liaison de recherche, ce qui réduit considérablement la latence de recherche pour les petits ensembles de données. Les résultats de nos tests montrent que Milvus ramène désormais son niveau de latence à 5 ms, ce qui répond aux exigences des liens en ligne critiques tels que la recherche de similitudes et la recommandation.</p>
<h2 id="Concurrency-control" class="common-anchor-header">Contrôle de la simultanéité<button data-href="#Concurrency-control" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.1 affine son modèle de concurrence en introduisant un nouveau modèle d'évaluation des coûts et un planificateur de concurrence. Il fournit désormais un contrôle de la concurrence qui garantit qu'il n'y aura pas un grand nombre de demandes concurrentes en concurrence pour les ressources de l'unité centrale et du cache, et que l'unité centrale ne sera pas sous-utilisée parce qu'il n'y a pas assez de demandes. La nouvelle couche de planification intelligente de Milvus 2.1 fusionne également les requêtes de petite taille qui ont des paramètres de requête cohérents, ce qui permet de multiplier par 3 les performances dans les scénarios de petite taille et de forte concurrence des requêtes.</p>
<h2 id="In-memory-replicas" class="common-anchor-header">Répliques en mémoire<button data-href="#In-memory-replicas" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.1 apporte des répliques en mémoire qui améliorent l'évolutivité et la disponibilité pour les petits ensembles de données. À l'instar des répliques en lecture seule des bases de données traditionnelles, les répliques en mémoire peuvent évoluer horizontalement en ajoutant des machines lorsque le QPS en lecture est élevé. Dans la recherche vectorielle pour les petits ensembles de données, un système de recommandation doit souvent fournir un QPS qui dépasse la limite de performance d'une seule machine. Or, dans ces scénarios, le débit du système peut être considérablement amélioré en chargeant plusieurs répliques dans la mémoire. À l'avenir, nous introduirons également un mécanisme de lecture couverte basé sur des répliques en mémoire, qui demandera rapidement d'autres copies fonctionnelles au cas où le système aurait besoin de se remettre d'une panne, et qui utilisera pleinement la redondance de la mémoire pour améliorer la disponibilité globale du système.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/What_s_New_in_Milvus_2_1_Figure_1_excalidraw_1f7fe3c998.png" alt="In-memory replicas allow query services to be based on separate
copies of the same data." class="doc-image" id="in-memory-replicas-allow-query-services-to-be-based-on-separate-copies-of-the-same-data." />
   </span> <span class="img-wrapper"> <span>Les répliques en mémoire permettent aux services d'interrogation d'être basés sur des copies séparées des mêmes données</span>. </span></p>
<h2 id="Faster-data-loading" class="common-anchor-header">Chargement plus rapide des données<button data-href="#Faster-data-loading" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>La dernière amélioration des performances concerne le chargement des données. Milvus 2.1 compresse désormais les <a href="https://milvus.io/docs/v2.1.x/glossary.md#Log-snapshot">journaux binaires</a> avec Zstandard (zstd), ce qui réduit considérablement la taille des données dans les magasins d'objets et de messages ainsi que la surcharge du réseau pendant le chargement des données. En outre, des pools de goroutines sont désormais introduits afin que Milvus puisse charger des segments simultanément avec des empreintes mémoire contrôlées et minimiser le temps nécessaire à la récupération des pannes et au chargement des données.</p>
<p>Les résultats complets de Milvus 2.1 seront bientôt publiés sur notre site web. Restez à l'écoute.</p>
<h2 id="String-and-scalar-index-support" class="common-anchor-header">Prise en charge des chaînes et des index scalaires<button data-href="#String-and-scalar-index-support" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Avec la version 2.1, Milvus prend désormais en charge les chaînes de caractères de longueur variable (VARCHAR) en tant que type de données scalaires. VARCHAR peut être utilisé comme clé primaire pouvant être renvoyée en sortie et peut également servir de filtre d'attribut. Le <a href="https://milvus.io/docs/v2.1.x/hybridsearch.md">filtrage d'attributs</a> est l'une des fonctions les plus demandées par les utilisateurs de Milvus. Si vous souhaitez souvent &quot;trouver les produits les plus similaires à un utilisateur dans une fourchette de prix de <span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mo>200-200</mo></mrow><annotation encoding="application/x-tex">-</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.7278em;vertical-align:-0.0833em;"></span><span class="mord">200-300</span></span></span></span>&quot;, ou &quot;trouver des articles contenant le mot-clé &quot;base de données vectorielle&quot; et liés à des sujets &quot;cloud-native&quot;&quot;, vous allez adorer Milvus 2.1.</p>
<p>Milvus 2.1 prend également en charge l'index inversé scalaire pour améliorer la vitesse de filtrage sur la base de la structure de données<a href="https://www.cs.le.ac.uk/people/ond1/XMLcomp/confersWEA06_LOUDS.pdf">succincte</a><a href="https://github.com/s-yata/marisa-trie">MARISA-Tries</a>. Toutes les données peuvent désormais être chargées en mémoire avec une empreinte très faible, ce qui permet une comparaison, un filtrage et une correspondance des préfixes beaucoup plus rapides sur les chaînes de caractères. Les résultats de nos tests montrent que le besoin en mémoire de MARISA-trie n'est que de 10 % de celui des dictionnaires Python pour charger toutes les données en mémoire et fournir des capacités d'interrogation.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/What_s_new_in_Milvus_Figure_2_excalidraw_a1149aca96.png" alt="Milvus 2.1 combines MARISA-Trie with inverted index to significantly improve filtering speed." class="doc-image" id="milvus-2.1-combines-marisa-trie-with-inverted-index-to-significantly-improve-filtering-speed." />
   </span> <span class="img-wrapper"> <span>Milvus 2.1 combine MARISA-Trie avec un index inversé pour améliorer considérablement la vitesse de filtrage.</span> </span></p>
<p>À l'avenir, Milvus continuera à se concentrer sur les développements liés aux requêtes scalaires, à prendre en charge davantage de types d'index scalaires et d'opérateurs de requête, et à fournir des capacités de requête scalaire sur disque, le tout dans le cadre d'un effort continu visant à réduire les coûts de stockage et d'utilisation des données scalaires.</p>
<custom-h1>Améliorations de la convivialité</custom-h1><h2 id="Kafka-support" class="common-anchor-header">Support de Kafka<button data-href="#Kafka-support" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Notre communauté demande depuis longtemps la prise en charge d'<a href="https://kafka.apache.org">Apache Kafka</a> en tant que <a href="https://milvus.io/docs/v2.1.x/deploy_pulsar.md">stockage de messages</a> dans Milvus. Milvus 2.1 vous offre désormais la possibilité d'utiliser<a href="https://pulsar.apache.org">Pulsar</a> ou Kafka en tant que stockage de messages en fonction des configurations de l'utilisateur, grâce à la conception d'abstraction et d'encapsulation de Milvus et au SDK Go Kafka fourni par Confluent.</p>
<h2 id="Production-ready-Java-SDK" class="common-anchor-header">SDK Java prêt pour la production<button data-href="#Production-ready-Java-SDK" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Avec Milvus 2.1, notre <a href="https://github.com/milvus-io/milvus-sdk-java">SDK Java</a> est maintenant officiellement publié. Le SDK Java possède exactement les mêmes capacités que le SDK Python, avec des performances concurrentielles encore meilleures. Au cours de la prochaine étape, les contributeurs de notre communauté amélioreront progressivement la documentation et les cas d'utilisation du SDK Java, et contribueront à faire passer les SDK Go et RESTful au stade de la production prête.</p>
<h2 id="Observability-and-maintainability" class="common-anchor-header">Observabilité et maintenabilité<button data-href="#Observability-and-maintainability" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.1 ajoute d'importantes<a href="https://milvus.io/docs/v2.1.x/metrics_dashboard.md">mesures de</a> surveillance telles que le nombre d'insertions de vecteurs, la latence/le débit de recherche, la surcharge de la mémoire du nœud et la surcharge de l'unité centrale. En outre, la nouvelle version optimise considérablement la tenue des journaux en ajustant les niveaux de journaux et en réduisant l'impression de journaux inutiles.</p>
<h2 id="Embedded-Milvus" class="common-anchor-header">Milvus embarqué<button data-href="#Embedded-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus a considérablement simplifié le déploiement de services de recherche de données vectorielles massives à grande échelle, mais pour les scientifiques qui souhaitent valider des algorithmes à plus petite échelle, Docker ou K8s sont encore trop compliqués. Avec l'introduction de <a href="https://github.com/milvus-io/embd-milvus">Milvus embarqué</a>, vous pouvez désormais installer Milvus à l'aide de pip, tout comme avec Pyrocksb et Pysqlite. Milvus embarqué prend en charge toutes les fonctionnalités des versions cluster et autonome, ce qui vous permet de passer facilement de votre ordinateur portable à un environnement de production distribué sans changer une seule ligne de code. Les ingénieurs en algorithmique auront une bien meilleure expérience lorsqu'ils construiront un prototype avec Milvus.</p>
<custom-h1>Essayez la recherche vectorielle prête à l'emploi dès maintenant</custom-h1><p>En outre, Milvus 2.1 présente également d'importantes améliorations en termes de stabilité et d'évolutivité, et nous attendons avec impatience votre utilisation et vos commentaires.</p>
<h2 id="Whats-next" class="common-anchor-header">Les prochaines étapes<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li>Voir les <a href="https://milvus.io/docs/v2.1.x/release_notes.md">notes de mise à jour</a> détaillées pour tous les changements dans Milvus 2.1.</li>
<li><a href="https://milvus.io/docs/v2.1.x/install_standalone-docker.md">Installer</a>Milvus 2.1 et essayer les nouvelles fonctionnalités</li>
<li>Rejoignez notre <a href="https://slack.milvus.io/">communauté Slack</a> et discutez des nouvelles fonctionnalités avec des milliers d'utilisateurs de Milvus dans le monde entier.</li>
<li>Suivez-nous sur <a href="https://twitter.com/milvusio">Twitter</a> et<a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn</a> pour recevoir des mises à jour dès que nos blogs sur les nouvelles fonctionnalités spécifiques sont publiés.</li>
</ul>
<blockquote>
<p>Édité par <a href="https://github.com/songxianj">Songxian Jiang</a></p>
</blockquote>


Nouveautés de Milvus 2.1 - Vers la simplicité et la rapidité

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Frame_1282_edc1fb7d99.png" alt="cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>image de couverture</span> </span></p>
<p>Si vous cherchez une armoire qui s'adapte parfaitement à votre chambre ou à votre cabine d'essayage, je parie que la plupart des gens penseront à celles qui sont faites sur mesure. Cependant, tout le monde n'a pas un budget aussi élevé. Qu'en est-il alors des armoires prêtes à l'emploi ? Le problème avec ce type d'armoire est qu'elles risquent fort de ne pas répondre à vos attentes, car elles ne sont pas assez flexibles pour répondre à vos besoins uniques en matière de rangement. De plus, lors d'une recherche en ligne, il est assez difficile de résumer le type particulier d'armoire que vous recherchez à l'aide de mots-clés. Il est très probable que le mot clé que vous tapez dans la boîte de recherche (par exemple, une armoire avec un plateau à bijoux) soit très différent de la façon dont il est défini dans le moteur de recherche (par exemple, une armoire avec un <a href="https://www.ikea.com/us/en/p/komplement-pull-out-tray-with-insert-black-brown-s79249366/">plateau extractible et un insert</a>).</p>
<p>Mais grâce aux technologies émergentes, il existe une solution ! IKEA, le conglomérat de vente de meubles, propose un outil de conception populaire <a href="https://www.ikea.com/us/en/rooms/bedroom/how-to/how-to-design-your-perfect-pax-wardrobe-pub8b76dda0">, PAX wardrobe</a>, qui permet aux utilisateurs de choisir parmi un certain nombre d'armoires prêtes à l'emploi et d'en personnaliser la couleur, la taille et l'aménagement intérieur. Que vous ayez besoin d'un espace de suspension, de plusieurs étagères ou de tiroirs internes, ce système intelligent de personnalisation des penderies peut toujours répondre à vos besoins.</p>
<p>Pour trouver ou construire votre armoire idéale à l'aide de ce système intelligent de conception d'armoires, vous devez :</p>
<ol>
<li>Spécifier les exigences de base - la forme (normale, en L ou en U), la longueur et la profondeur de l'armoire.</li>
<li>Spécifier vos besoins de rangement et l'organisation intérieure de l'armoire (par exemple, un espace de suspension, un porte-pantalon coulissant, etc. est nécessaire).</li>
<li>Ajoutez ou retirez des éléments de l'armoire tels que des tiroirs ou des étagères.</li>
</ol>
<p>Votre projet est alors terminé. Simple et facile !</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Pax_system_ff4c3fa182.png" alt="pax system" class="doc-image" id="pax-system" />
   </span> <span class="img-wrapper"> <span>système pax</span> </span></p>
<p>La <a href="https://zilliz.com/learn/what-is-vector-database">base de données vectorielle</a> est un élément essentiel qui rend possible un tel système de conception de garde-robe. Cet article vise donc à présenter le flux de travail et les solutions de recherche de similarités utilisés pour construire un système intelligent de personnalisation de garde-robe basé sur la recherche de similarités vectorielles.</p>
<p>Aller à :</p>
<ul>
<li><a href="#System-overview">Vue d'ensemble du système</a></li>
<li><a href="#Data-flow">Flux de données</a></li>
<li><a href="#System-demo">Démonstration du système</a></li>
</ul>
<h2 id="System-Overview" class="common-anchor-header">Vue d'ensemble du système<button data-href="#System-Overview" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Afin de fournir un outil de personnalisation de garde-robe aussi intelligent, nous devons d'abord définir la logique d'entreprise et comprendre les attributs des articles et le parcours de l'utilisateur. Les penderies et leurs composants tels que les tiroirs, les plateaux et les étagères sont des données non structurées. Par conséquent, la deuxième étape consiste à exploiter les algorithmes et les règles d'IA, les connaissances préalables, la description des articles, etc., pour convertir ces données non structurées en un type de données compréhensibles par les ordinateurs : les vecteurs !</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Customization_tool_overview_86d62e1730.png" alt="Customization tool overview" class="doc-image" id="customization-tool-overview" />
   </span> <span class="img-wrapper"> <span>Présentation de l'outil de personnalisation</span> </span></p>
<p>Avec les vecteurs générés, nous avons besoin de bases de données vectorielles et de moteurs de recherche puissants pour les traiter.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/tool_architecutre_33fb646954.png" alt="tool architecture" class="doc-image" id="tool-architecture" />
   </span> <span class="img-wrapper"> <span>Architecture de l'outil</span> </span></p>
<p>L'outil de personnalisation exploite certains des moteurs de recherche et des bases de données les plus populaires : Elasticsearch, <a href="https://milvus.io/">Milvus</a> et PostgreSQL.</p>
<h3 id="Why-Milvus" class="common-anchor-header">Pourquoi Milvus ?</h3><p>Une garde-robe contient des informations très complexes, telles que la couleur, la forme, l'organisation intérieure, etc. Cependant, la méthode traditionnelle consistant à conserver les données relatives à la garde-robe dans une base de données relationnelle est loin d'être suffisante. Une méthode courante consiste à utiliser des techniques d'intégration pour convertir les garde-robes en vecteurs. Nous devons donc rechercher un nouveau type de base de données spécialement conçu pour le stockage de vecteurs et la recherche de similitudes. Après avoir étudié plusieurs solutions populaires, la base de données vectorielles <a href="https://github.com/milvus-io/milvus">Milvus</a> a été sélectionnée pour ses excellentes performances, sa stabilité, sa compatibilité et sa facilité d'utilisation. Le tableau ci-dessous est une comparaison de plusieurs solutions populaires de recherche vectorielle.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Solution_comparison_d96b8f1dd5.png" alt="solution comparison" class="doc-image" id="solution-comparison" />
   </span> <span class="img-wrapper"> <span>comparaison des solutions</span> </span></p>
<h3 id="System-workflow" class="common-anchor-header">Flux de travail du système</h3><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/System_workflow_250c275ec1.png" alt="System workflow" class="doc-image" id="system-workflow" />
   </span> <span class="img-wrapper"> <span>Flux de travail du système</span> </span></p>
<p>Elasticsearch est utilisé pour un filtrage grossier par taille de garde-robe, couleur, etc. Les résultats filtrés passent ensuite par Milvus, la base de données vectorielle, pour une recherche de similarité et les résultats sont classés en fonction de leur distance/similarité avec le vecteur de la requête. Enfin, les résultats sont consolidés et affinés sur la base d'informations commerciales.</p>
<h2 id="Data-flow" class="common-anchor-header">Flux de données<button data-href="#Data-flow" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Le système de personnalisation de la garde-robe est très similaire aux moteurs de recherche traditionnels et aux systèmes de recommandation. Il comprend trois parties :</p>
<ul>
<li>La préparation des données hors ligne, y compris la définition et la génération des données.</li>
<li>Les services en ligne, y compris le rappel et le classement.</li>
<li>Le post-traitement des données basé sur la logique d'entreprise.</li>
</ul>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/data_flow_d0d9fa0fca.png" alt="Data flow" class="doc-image" id="data-flow" />
   </span> <span class="img-wrapper"> <span>Flux de données</span> </span></p>
<h3 id="Offline-data-flow" class="common-anchor-header">Flux de données hors ligne</h3><ol>
<li>Définir les données à l'aide de la vision de l'entreprise.</li>
<li>Utiliser les connaissances antérieures pour définir comment combiner différents composants et les former en une garde-robe.</li>
<li>Reconnaître les étiquettes de caractéristiques des garde-robes et encoder les caractéristiques dans les données Elasticsearch dans le fichier <code translate="no">.json</code>.</li>
<li>Préparer les données de rappel en encodant les données non structurées en vecteurs.</li>
<li>Utilisez Milvus, la base de données vectorielle, pour classer les résultats rappelés obtenus à l'étape précédente.</li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/offline_data_flow_f91ac9cf4c.png" alt="offline data flow" class="doc-image" id="offline-data-flow" />
   </span> <span class="img-wrapper"> <span>flux de données hors ligne</span> </span></p>
<h3 id="Online-data-flow" class="common-anchor-header">Flux de données en ligne</h3><ol>
<li>Recevoir les demandes de renseignements des utilisateurs et collecter les profils des utilisateurs.</li>
<li>Comprendre la requête de l'utilisateur en identifiant ses besoins pour la garde-robe.</li>
<li>Recherche grossière à l'aide d'Elasticsearch.</li>
<li>Noter et classer les résultats obtenus à partir de la recherche grossière sur la base du calcul de la similarité vectorielle dans Milvus.</li>
<li>Post-traitement et organisation des résultats sur la plateforme back-end pour générer les résultats finaux.</li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/online_data_flow_1f2af25cc3.png" alt="online data flow" class="doc-image" id="online-data-flow" />
   </span> <span class="img-wrapper"> <span>flux de données en ligne</span> </span></p>
<h3 id="Data-post-processing" class="common-anchor-header">Post-traitement des données</h3><p>La logique commerciale varie d'une entreprise à l'autre. Vous pouvez ajouter une touche finale aux résultats en appliquant la logique commerciale de votre entreprise.</p>
<h2 id="System-demo" class="common-anchor-header">Démonstration du système<button data-href="#System-demo" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Voyons maintenant comment fonctionne le système que nous avons construit.</p>
<p>L'interface utilisateur (IU) affiche la possibilité de différentes combinaisons de composants de la garde-robe.</p>
<p>Chaque composant est étiqueté en fonction de ses caractéristiques (taille, couleur, etc.) et stocké dans Elasticsearch (ES). Lors du stockage des étiquettes dans ES, quatre champs de données principaux doivent être remplis : ID, étiquettes, chemin de stockage et autres champs de soutien. ES et les données étiquetées sont utilisées pour le rappel granulaire et le filtrage des attributs.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/es_d5b0639610.png" alt="es" class="doc-image" id="es" />
   </span> <span class="img-wrapper"> <span>es</span> </span></p>
<p>Ensuite, différents algorithmes d'IA sont utilisés pour coder une garde-robe en un ensemble de vecteurs. Les ensembles de vecteurs sont stockés dans Milvus pour la recherche de similitudes et le classement. Cette étape permet d'obtenir des résultats plus précis et plus affinés.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Milvus_38dd93a439.jpeg" alt="Milvus" class="doc-image" id="milvus" />
   </span> <span class="img-wrapper"> <span>Milvus</span> </span></p>
<p>Elasticsearch, Milvus et d'autres composants du système forment ensemble la plateforme de conception de la personnalisation. Pour rappel, le langage spécifique au domaine (DSL) dans Elasticsearch et Milvus est le suivant.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/dsl_df60097d23.png" alt="dsl" class="doc-image" id="dsl" />
   </span> <span class="img-wrapper"> <span>dsl</span> </span></p>
<h2 id="Looking-for-more-resources" class="common-anchor-header">Vous cherchez d'autres ressources ?<button data-href="#Looking-for-more-resources" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Découvrez comment la base de données vectorielles Milvus peut alimenter davantage d'applications d'IA :</p>
<ul>
<li><a href="https://milvus.io/blog/2022-06-23-How-Short-video-Platform-Likee-Removes-Duplicate-Videos-with-Milvus.md">Comment la plateforme de vidéos courtes Likee supprime les vidéos en double avec Milvus</a></li>
<li><a href="https://milvus.io/blog/2022-06-20-Zhentu-the-Photo-Fraud-Detector-Based-on-Milvus.md">Zhentu - Le détecteur de photos frauduleuses basé sur Milvus</a></li>
</ul>


Création d'un système intelligent de personnalisation de garde-robe à partir de la base de données vectorielle Milvus

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/How_Short_video_Platform_Likee_Removes_Duplicate_Videos_with_Milvus_07bd75ec82.png" alt="Cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>Image de couverture</span> </span></p>
<blockquote>
<p>Cet article a été rédigé par Xinyang Guo et Baoyu Han, ingénieurs chez BIGO, et traduit par <a href="https://www.linkedin.cn/incareer/in/rosie-zhang-694528149">Rosie Zhang</a>.</p>
</blockquote>
<p>BIGO<a href="https://www.bigo.sg/">Technology</a> (BIGO) est l'une des entreprises technologiques de Singapour à la croissance la plus rapide. Grâce à la technologie de l'intelligence artificielle, les produits et services vidéo de BIGO ont acquis une immense popularité dans le monde entier, avec plus de 400 millions d'utilisateurs dans plus de 150 pays. Il s'agit notamment de <a href="https://www.bigo.tv/bigo_intro/en.html?hk=true">Bigo Live</a> (diffusion en direct) et de <a href="https://likee.video/">Likee</a> (vidéo de courte durée).</p>
<p>Likee est une plateforme mondiale de création de vidéos courtes où les utilisateurs peuvent partager leurs moments, s'exprimer et se connecter avec le monde. Pour améliorer l'expérience des utilisateurs et leur recommander des contenus de meilleure qualité, Likee doit éliminer les vidéos dupliquées parmi l'énorme quantité de vidéos générées par les utilisateurs chaque jour, ce qui n'est pas une tâche aisée.</p>
<p>Ce blog présente comment BIGO utilise <a href="https://milvus.io">Milvus</a>, une base de données vectorielle open-source, pour supprimer efficacement les vidéos dupliquées.</p>
<p><strong>Aller à :</strong></p>
<ul>
<li><a href="#Overview">Vue d'ensemble</a></li>
<li><a href="#Video-deduplication-workflow">Flux de travail de la déduplication vidéo</a></li>
<li><a href="#System-architecture">Architecture du système</a></li>
<li><a href="#Using-Milvus-vector-database-to-power-similarity-search">Utilisation de Milvus pour la recherche de similarités</a></li>
</ul>
<custom-h1>Vue d'ensemble</custom-h1><p>Milvus est une base de données vectorielles open-source qui permet une recherche vectorielle ultra-rapide. Grâce à Milvus, Likee est en mesure d'effectuer une recherche en 200 ms tout en garantissant un taux de rappel élevé. En outre, en <a href="https://milvus.io/docs/v2.0.x/scaleout.md#Scale-a-Milvus-Cluster">faisant évoluer Milvus horizontalement</a>, Likee augmente avec succès le débit des requêtes vectorielles, ce qui améliore encore son efficacité.</p>
<custom-h1>Flux de travail de la déduplication vidéo</custom-h1><p>Comment Likee identifie-t-il les vidéos dupliquées ? Chaque fois qu'une vidéo est introduite dans le système Likee, elle est découpée en 15 à 20 images et chaque image est convertie en un vecteur de caractéristiques. Likee recherche ensuite dans une base de données de 700 millions de vecteurs les K vecteurs les plus similaires. Chacun des K vecteurs les plus similaires correspond à une vidéo de la base de données. Likee effectue ensuite des recherches affinées pour obtenir les résultats finaux et déterminer les vidéos à supprimer.</p>
<custom-h1>Architecture du système</custom-h1><p>Examinons de plus près le fonctionnement du système de déduplication vidéo de Likee à l'aide de Milvus. Comme le montre le diagramme ci-dessous, les nouvelles vidéos téléchargées sur Likee seront écrites en temps réel dans Kafka, un système de stockage de données, et consommées par les consommateurs Kafka. Les vecteurs de caractéristiques de ces vidéos sont extraits par des modèles d'apprentissage profond, où les données non structurées (vidéo) sont converties en vecteurs de caractéristiques. Ces vecteurs de caractéristiques seront mis en forme par le système et envoyés à l'auditeur de similarité.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Likee_1_6f7ebcd8fc.png" alt="Architechure of Likee's video de-duplication system" class="doc-image" id="architechure-of-likee's-video-de-duplication-system" />
   </span> <span class="img-wrapper"> <span>Architecture du système de déduplication vidéo de Likee</span> </span></p>
<p>Les vecteurs de caractéristiques extraits seront indexés par Milvus et stockés dans Ceph, avant d'être <a href="https://milvus.io/blog/deep-dive-5-real-time-query.md">chargés par le nœud de requête Milvus</a> pour une recherche ultérieure. Les identifiants vidéo correspondants de ces vecteurs caractéristiques seront également stockés simultanément dans TiDB ou Pika en fonction des besoins réels.</p>
<h3 id="Using-Milvus-vector-database-to-power-similarity-search" class="common-anchor-header">Utilisation de la base de données vectorielles Milvus pour la recherche de similarités</h3><p>Lors de la recherche de vecteurs similaires, des milliards de données existantes, ainsi que de grandes quantités de nouvelles données générées chaque jour, posent de grands défis à la fonctionnalité du moteur de recherche de vecteurs. Après une analyse approfondie, Likee a finalement choisi Milvus, un moteur de recherche vectorielle distribué très performant et doté d'un taux de rappel élevé, pour effectuer la recherche de similitudes vectorielles.</p>
<p>Comme le montre le diagramme ci-dessous, la procédure d'une recherche de similarité se déroule comme suit :</p>
<ol>
<li><p>Tout d'abord, Milvus effectue une recherche par lots pour rappeler les 100 premiers vecteurs similaires pour chacun des multiples vecteurs de caractéristiques extraits d'une nouvelle vidéo. Chaque vecteur similaire est lié à l'ID vidéo correspondant.</p></li>
<li><p>Ensuite, en comparant les ID vidéo, Milvus supprime les vidéos en double et récupère les vecteurs de caractéristiques des vidéos restantes dans TiDB ou Pika.</p></li>
<li><p>Enfin, Milvus calcule et note la similarité entre chaque ensemble de vecteurs de caractéristiques récupérés et les vecteurs de caractéristiques de la vidéo de la requête. L'identifiant de la vidéo ayant le score le plus élevé est renvoyé comme résultat. La recherche de similitudes vidéo est ainsi terminée.</p></li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/02_a24d251c8f.png" alt="Procedure of a similarity search" class="doc-image" id="procedure-of-a-similarity-search" />
   </span> <span class="img-wrapper"> <span>Procédure de recherche de similitudes</span> </span></p>
<p>En tant que moteur de recherche vectoriel très performant, Milvus a fait un travail extraordinaire dans le système de déduplication vidéo de Likee, alimentant considérablement la croissance des activités de BIGO dans le domaine de la vidéo courte. En ce qui concerne les activités vidéo, Milvus peut s'appliquer à de nombreux autres scénarios, tels que le blocage de contenus illégaux ou la recommandation de vidéos personnalisées. BIGO et Milvus se réjouissent à l'idée de coopérer à l'avenir dans d'autres domaines.</p>


Comment la plateforme de vidéos courtes Likee supprime les vidéos dupliquées avec Milvus

Recherche de similarité évolutive et ultrarapide avec la base de données vectorielles Milvus

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/zhentu_0ae11c98ee.png" alt="cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>Image de couverture</span> </span></p>
<blockquote>
<p>Cet article a été rédigé par Yan Shi et Minwei Tang, ingénieurs algorithmes seniors chez BestPay, et traduit par <a href="https://www.linkedin.cn/incareer/in/rosie-zhang-694528149">Rosie Zhang</a>.</p>
</blockquote>
<p>Ces dernières années, alors que le commerce électronique et les transactions en ligne sont devenus monnaie courante dans le monde entier, la fraude au commerce électronique s'est également développée. En utilisant des photos générées par ordinateur au lieu de vraies pour passer la vérification d'identité sur les plateformes commerciales en ligne, les fraudeurs créent de faux comptes en masse et profitent des offres spéciales des entreprises (par exemple, cadeaux d'adhésion, coupons, jetons), ce qui entraîne des pertes irrémédiables pour les consommateurs et les entreprises.</p>
<p>Les méthodes traditionnelles de contrôle des risques ne sont plus efficaces face à une quantité importante de données. Pour résoudre le problème, <a href="https://www.bestpay.com.cn">BestPay</a> a créé un détecteur de fraude photographique, à savoir Zhentu (qui signifie détecter les images en chinois), basé sur les technologies d'apprentissage profond (DL) et de traitement des images numériques (DIP). Zhentu est applicable à divers scénarios impliquant la reconnaissance d'images, dont l'un des débouchés importants est l'identification de fausses licences d'exploitation. Si la photo d'un permis d'exploitation soumise par un utilisateur est très similaire à une autre photo existant déjà dans la photothèque d'une plateforme, il est probable que l'utilisateur ait volé la photo quelque part ou qu'il ait falsifié un permis à des fins frauduleuses.</p>
<p>Les algorithmes traditionnels de mesure de la similarité des images, tels que <a href="https://en.wikipedia.org/wiki/Peak_signal-to-noise_ratio">PSNR</a> et ORB, sont lents et imprécis, et ne s'appliquent qu'aux tâches hors ligne. L'apprentissage profond, en revanche, est capable de traiter des données d'image à grande échelle en temps réel et constitue la méthode ultime pour faire correspondre des images similaires. Grâce aux efforts conjoints de l'équipe R&amp;D de BestPay et de la <a href="https://milvus.io/">communauté Milvus</a>, un système de détection des fraudes photographiques est développé dans le cadre de Zhentu. Il fonctionne en convertissant des quantités massives de données d'images en vecteurs de caractéristiques grâce à des modèles d'apprentissage profond et en les insérant dans <a href="https://milvus.io/">Milvus</a>, un moteur de recherche vectoriel. Grâce à Milvus, le système de détection est capable d'indexer des trillions de vecteurs et de retrouver efficacement des photos similaires parmi des dizaines de millions d'images.</p>
<p><strong>Aller à :</strong></p>
<ul>
<li><a href="#an-overview-of-zhentu">Vue d'ensemble de Zhentu</a></li>
<li><a href="#system-structure">Structure du système</a></li>
<li><a href="#deployment"><strong>Déploiement</strong></a></li>
<li><a href="#real-world-performance"><strong>Performances en conditions réelles</strong></a></li>
<li><a href="#reference"><strong>Référence</strong></a></li>
<li><a href="#about-bestpay"><strong>A propos de BestPay</strong></a></li>
</ul>
<h2 id="An-overview-of-Zhentu" class="common-anchor-header">Une vue d'ensemble de Zhentu<button data-href="#An-overview-of-Zhentu" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Zhentu est un produit multimédia de contrôle visuel des risques conçu par BestPay et profondément intégré aux technologies d'apprentissage automatique (ML) et de reconnaissance d'images par réseau neuronal. Son algorithme intégré peut identifier avec précision les fraudeurs lors de l'authentification de l'utilisateur et réagir au niveau de la milliseconde. Grâce à sa technologie de pointe et à sa solution innovante, Zhentu a obtenu cinq brevets et deux droits d'auteur sur des logiciels. Il est actuellement utilisé par un certain nombre de banques et d'institutions financières pour aider à identifier les risques potentiels à l'avance.</p>
<h2 id="System-structure" class="common-anchor-header">Structure du système<button data-href="#System-structure" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>BestPay possède actuellement plus de 10 millions de photos de licences d'entreprise, et le volume actuel continue de croître de manière exponentielle au fur et à mesure que l'entreprise se développe. Afin d'extraire rapidement des photos similaires d'une base de données aussi importante, Zhentu a choisi Milvus comme moteur de calcul de la similarité des vecteurs de caractéristiques. La structure générale du système de détection de la fraude photographique est illustrée dans le diagramme ci-dessous.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Structure_of_the_photo_fraud_detection_system_cf5d20d431.png" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<p>La procédure peut être divisée en quatre étapes :</p>
<ol>
<li><p>Prétraitement de l'image. Le prétraitement, qui comprend la réduction du bruit, l'élimination du bruit et l'amélioration du contraste, garantit à la fois l'intégrité de l'information originale et l'élimination de l'information inutile du signal de l'image.</p></li>
<li><p>Extraction du vecteur de caractéristiques. Un modèle d'apprentissage profond spécialement entraîné est utilisé pour extraire les vecteurs de caractéristiques de l'image. La conversion des images en vecteurs en vue d'une recherche de similarité ultérieure est une opération de routine.</p></li>
<li><p>Normalisation. La normalisation des vecteurs de caractéristiques extraits permet d'améliorer l'efficacité du traitement ultérieur.</p></li>
<li><p>Recherche vectorielle avec Milvus. Insertion des vecteurs caractéristiques normalisés dans la base de données Milvus pour la recherche de similitudes vectorielles.</p></li>
</ol>
<h2 id="Deployment" class="common-anchor-header"><strong>Déploiement</strong><button data-href="#Deployment" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Voici une brève description du déploiement du système de détection de la fraude photographique de Zhentu.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/milvus_architecture_ea45a5ab53.png" alt="Milvus system architecture" class="doc-image" id="milvus-system-architecture" />
   </span> <span class="img-wrapper"> <span>Architecture du système Milvus</span> </span></p>
<p>Nous avons déployé notre <a href="https://milvus.io/docs/v2.0.x/install_cluster-helm.md">cluster Milvus sur Kubernetes</a> pour assurer la haute disponibilité et la synchronisation en temps réel des services cloud. Les étapes générales sont les suivantes :</p>
<ol>
<li><p>Afficher les ressources disponibles. Exécutez la commande <code translate="no">kubectl describe nodes</code> pour voir les ressources que le cluster Kubernetes peut allouer aux cas créés.</p></li>
<li><p>Allouer des ressources. Exécutez la commande <code translate="no">kubect`` -- apply xxx.yaml</code> pour allouer des ressources de mémoire et de CPU aux composants du cluster Milvus à l'aide de Helm.</p></li>
<li><p>Appliquer la nouvelle configuration. Exécuter la commande <code translate="no">helm upgrade my-release milvus/milvus --reuse-values -fresources.yaml</code>.</p></li>
<li><p>Appliquer la nouvelle configuration au cluster Milvus. Le cluster déployé de cette manière nous permet non seulement d'ajuster la capacité du système en fonction des différents besoins de l'entreprise, mais aussi de mieux répondre aux exigences de haute performance pour la recherche massive de données vectorielles.</p></li>
</ol>
<p>Vous pouvez <a href="https://milvus.io/docs/v2.0.x/configure-docker.md">configurer Milvus</a> pour optimiser les performances de recherche pour différents types de données provenant de différents scénarios commerciaux, comme le montrent les deux exemples suivants.</p>
<p>Lors de la <a href="https://milvus.io/docs/v2.0.x/build_index.md">construction de l'index vectoriel</a>, nous paramétrons l'index en fonction du scénario réel du système comme suit :</p>
<pre><code translate="no" class="language-Python">index = {<span class="hljs-string">&quot;index_type&quot;</span>: <span class="hljs-string">&quot;IVF_PQ&quot;</span>, <span class="hljs-string">&quot;params&quot;</span>: {<span class="hljs-string">&quot;nlist&quot;</span>: <span class="hljs-number">2048</span>}, <span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&quot;IP&quot;</span>}
<button class="copy-code-btn"></button></code></pre>
<p><a href="https://milvus.io/docs/v2.0.x/index.md#IVF_PQ">IVF_PQ</a> effectue le regroupement de l'index IVF avant de quantifier le produit des vecteurs. Il se caractérise par une grande vitesse d'interrogation des disques et une très faible consommation de mémoire, ce qui répond aux besoins de l'application réelle de Zhentu.</p>
<p>En outre, nous définissons les paramètres de recherche optimaux comme suit :</p>
<pre><code translate="no" class="language-Python">search_params = {<span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&quot;IP&quot;</span>, <span class="hljs-string">&quot;params&quot;</span>: {<span class="hljs-string">&quot;nprobe&quot;</span>: <span class="hljs-number">32</span>}}
<button class="copy-code-btn"></button></code></pre>
<p>Comme les vecteurs sont déjà normalisés avant d'être introduits dans Milvus, le produit intérieur (PI) est choisi pour calculer la distance entre deux vecteurs. Les expériences ont prouvé que le taux de rappel augmente d'environ 15 % en utilisant le produit intérieur par rapport à la distance euclidienne (L2).</p>
<p>Les exemples ci-dessus montrent que nous pouvons tester et définir les paramètres de Milvus en fonction de différents scénarios commerciaux et exigences de performance.</p>
<p>En outre, Milvus intègre non seulement différentes bibliothèques d'index, mais prend également en charge différents types d'index et méthodes de calcul de la similarité. Milvus fournit également des SDK officiels dans plusieurs langues et des API riches pour l'insertion, l'interrogation, etc., ce qui permet à nos groupes commerciaux frontaux d'utiliser les SDK pour faire appel au centre de contrôle des risques.</p>
<h2 id="Real-world-performance" class="common-anchor-header"><strong>Performances en situation réelle</strong><button data-href="#Real-world-performance" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Jusqu'à présent, le système de détection des fraudes photographiques a fonctionné régulièrement, aidant les entreprises à identifier les fraudeurs potentiels. En 2021, il a détecté plus de 20 000 faux permis tout au long de l'année. En termes de vitesse d'interrogation, une requête sur un seul vecteur parmi des dizaines de millions de vecteurs prend moins d'une seconde, et le temps moyen d'une requête par lot est inférieur à 0,08 seconde. La recherche haute performance de Milvus répond aux besoins des entreprises en termes de précision et de simultanéité.</p>
<h2 id="Reference" class="common-anchor-header"><strong>Référence</strong><button data-href="#Reference" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Aglave P, Kolkure V S. Implementation of High Performance Feature Extraction Method Using Oriented Fast and Rotated Brief Algorithm [J]. Int. J. Res. Eng. Technol, 2015, 4 : 394-397.</p>
<h2 id="About-BestPay" class="common-anchor-header"><strong>À propos de BestPay</strong><button data-href="#About-BestPay" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>China Telecom BestPay Co., Ltd est une filiale à 100 % de China Telecom. Elle exerce des activités de paiement et de financement. BestPay s'engage à utiliser des technologies de pointe telles que le big data, l'intelligence artificielle et l'informatique en nuage pour favoriser l'innovation commerciale, en fournissant des produits intelligents, des solutions de contrôle des risques et d'autres services. Jusqu'en janvier 2016, l'application appelée BestPay a attiré plus de 200 millions d'utilisateurs et est devenue le troisième plus grand opérateur de plateforme de paiement en Chine, suivant de près Alipay et WeChat Payment.</p>


Zhentu - le détecteur de fraude photographique basé sur Milvus

Radeau ou pas ? La meilleure solution pour assurer la cohérence des données dans les bases de données natives de l'informatique en nuage

Quelle est la puissance de la recherche de similarité dans la base de données vectorielle Milvus ?

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Deep_Dive_7_baae830823.png" alt="Cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>Image de couverture</span> </span></p>
<blockquote>
<p>Cet article est transcrit par <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni</a>.</p>
</blockquote>
<p>Une <a href="https://milvus.io/docs/v2.0.x/query.md">requête vectorielle</a> dans Milvus est le processus de récupération de vecteurs via un filtrage scalaire basé sur une expression booléenne. Avec le filtrage scalaire, les utilisateurs peuvent limiter les résultats de leurs requêtes en appliquant certaines conditions aux attributs des données. Par exemple, si un utilisateur recherche des films sortis entre 1990 et 2010 et dont le score est supérieur à 8,5, seuls les films dont les attributs (année de sortie et score) remplissent la condition.</p>
<p>Ce billet a pour but d'examiner comment une requête est complétée dans Milvus, de la saisie d'une expression de requête à la génération d'un plan de requête et à l'exécution de la requête.</p>
<p><strong>Aller à :</strong></p>
<ul>
<li><a href="#Query-expression">Expression de requête</a></li>
<li><a href="#Plan-AST-generation">Génération du plan AST</a></li>
<li><a href="#Query-execution">Exécution de la requête</a></li>
</ul>
<h2 id="Query-expression" class="common-anchor-header">Expression de la requête<button data-href="#Query-expression" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>L'expression d'une requête avec filtrage d'attributs dans Milvus adopte la syntaxe EBNF (Extended Backus-Naur form). L'image ci-dessous présente les règles d'expression dans Milvus.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Expression_Syntax_966493a5be.png" alt="Expression Syntax" class="doc-image" id="expression-syntax" />
   </span> <span class="img-wrapper"> <span>Syntaxe d'expression</span> </span></p>
<p>Les expressions logiques peuvent être créées en combinant des opérateurs logiques binaires, des opérateurs logiques unaires, des expressions logiques et des expressions simples. La syntaxe EBNF étant elle-même récursive, une expression logique peut être le résultat de la combinaison ou d'une partie d'une expression logique plus grande. Une expression logique peut contenir de nombreuses sous-expressions logiques. La même règle s'applique à Milvus. Si un utilisateur doit filtrer les attributs des résultats avec de nombreuses conditions, il peut créer son propre ensemble de conditions de filtrage en combinant différents opérateurs et expressions logiques.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Boolean_expression_1_dce12f8483.png" alt="Boolean expression" class="doc-image" id="boolean-expression" />
   </span> <span class="img-wrapper"> <span>Expression booléenne</span> </span></p>
<p>L'image ci-dessus montre une partie des <a href="https://milvus.io/docs/v2.0.x/boolean.md">règles d'expression booléenne</a> dans Milvus. Des opérateurs logiques unaires peuvent être ajoutés à une expression. Actuellement, Milvus ne prend en charge que l'opérateur logique unaire &quot;not&quot;, qui indique que le système doit prendre les vecteurs dont les valeurs du champ scalaire ne satisfont pas aux résultats du calcul. Les opérateurs logiques binaires comprennent &quot;and&quot; et &quot;or&quot;. Les expressions simples comprennent les expressions de terme et les expressions de comparaison.</p>
<p>Les calculs arithmétiques de base tels que l'addition, la soustraction, la multiplication et la division sont également pris en charge lors d'une requête dans Milvus. L'image suivante illustre la priorité des opérations. Les opérateurs sont énumérés de haut en bas par ordre de priorité décroissante.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Precedence_b8cfbdf17b.png" alt="Precedence" class="doc-image" id="precedence" />
   </span> <span class="img-wrapper"> <span>Ordre de préséance</span> </span></p>
<h3 id="How-a-query-expression-on-certain-films-is-processed-in-Milvus" class="common-anchor-header">Comment une expression de requête sur certains films est-elle traitée dans Milvus ?</h3><p>Supposons qu'il y ait une abondance de données de films stockées dans Milvus et que l'utilisateur souhaite interroger certains films. Par exemple, chaque film stocké dans Milvus comporte les cinq champs suivants : ID du film, année de sortie, type de film, score et affiche. Dans cet exemple, le type de données de l'ID du film et de l'année de sortie est int64, tandis que les scores des films sont des données à virgule flottante. De même, les affiches de films sont stockées sous forme de vecteurs à virgule flottante, et le type de film sous forme de données de type chaîne. La prise en charge des données de type chaîne est une nouvelle fonctionnalité de Milvus 2.1.</p>
<p>Par exemple, si un utilisateur souhaite interroger les films dont les scores sont supérieurs à 8,5. Les films doivent également être sortis entre une décennie avant 2000 et une décennie après 2000 ou être de type comédie ou film d'action, l'utilisateur doit saisir l'expression prédicat suivante : <code translate="no">score &gt; 8.5 &amp;&amp; (2000 - 10 &lt; release_year &lt; 2000 + 10 || type in [comedy,action])</code>.</p>
<p>Après avoir reçu l'expression de la requête, le système l'exécutera dans l'ordre suivant :</p>
<ol>
<li>Recherche de films dont le score est supérieur à 8,5. Les résultats de la requête sont appelés &quot;result1&quot;.</li>
<li>Calculer 2000 - 10 pour obtenir "result2" (1990).</li>
<li>Calculer 2000 + 10 pour obtenir "result3" (2010).</li>
<li>Recherchez les films dont la valeur de <code translate="no">release_year</code> est supérieure à &quot;result2&quot; et inférieure à &quot;result3&quot;. En d'autres termes, le système doit rechercher les films sortis entre 1990 et 2010. Les résultats de la requête sont appelés &quot;result4&quot;.</li>
<li>Recherche de films qui sont soit des comédies, soit des films d'action. Les résultats de la requête sont appelés &quot;result5&quot;.</li>
<li>Combinez "result4" et "result5" pour obtenir des films qui sont sortis entre 1990 et 2010 ou qui appartiennent à la catégorie des comédies ou des films d'action. Les résultats sont appelés &quot;résultat6&quot;.</li>
<li>Prenez la partie commune dans "résultat1" et "résultat6" pour obtenir les résultats finaux satisfaisant toutes les conditions.</li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Frame_1_16_00972a6e5d.png" alt="Film example" class="doc-image" id="film-example" />
   </span> <span class="img-wrapper"> <span>Exemple de film</span> </span></p>
<h2 id="Plan-AST-generation" class="common-anchor-header">Génération de plans AST<button data-href="#Plan-AST-generation" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus utilise l'outil open-source <a href="https://www.antlr.org/">ANTLR</a> (ANother Tool for Language Recognition) pour la génération d'AST (abstract syntax tree) de plans. ANTLR est un puissant générateur d'analyseur syntaxique pour la lecture, le traitement, l'exécution ou la traduction de fichiers texte ou binaires structurés. Plus précisément, ANTLR peut générer un analyseur syntaxique pour construire et parcourir des arbres d'analyse basés sur une syntaxe ou des règles prédéfinies. L'image suivante est un exemple dans lequel l'expression d'entrée est &quot;SP=100 ;&quot;. LEXER, la fonctionnalité de reconnaissance du langage intégrée à ANTLR, génère quatre tokens pour l'expression d'entrée - &quot;SP&quot;, &quot;=&quot;, &quot;100&quot; et &quot; ;&quot;. L'outil analyse ensuite les quatre tokens pour générer l'arbre d'analyse correspondant.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/parse_tree_b2c3fb0b36.png" alt="parse tree" class="doc-image" id="parse-tree" />
   </span> <span class="img-wrapper"> <span>arbre d'analyse</span> </span></p>
<p>Le mécanisme de parcours est un élément crucial de l'outil ANTLR. Il est conçu pour parcourir tous les arbres d'analyse afin d'examiner si chaque nœud obéit aux règles syntaxiques ou de détecter certains mots sensibles. Certaines des API pertinentes sont énumérées dans l'image ci-dessous. Étant donné qu'ANTLR part du nœud racine et parcourt chaque sous-nœud jusqu'en bas, il n'est pas nécessaire de différencier l'ordre de parcours de l'arbre d'analyse.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/parse_tree_walker_9a27942502.png" alt="parse tree walker" class="doc-image" id="parse-tree-walker" />
   </span> <span class="img-wrapper"> <span>Le marcheur de l'arbre d'analyse</span> </span></p>
<p>Milvus génère le PlanAST pour les requêtes d'une manière similaire à ANTLR. Cependant, l'utilisation de l'ANTLR nécessite la redéfinition de règles syntaxiques assez compliquées. Par conséquent, Milvus adopte l'une des règles les plus répandues - les règles d'expression booléenne - et dépend du paquetage <a href="https://github.com/antonmedv/expr">Expr</a> ouvert sur GitHub pour interroger et analyser la syntaxe des expressions de requête.</p>
<p>Lors d'une requête avec filtrage d'attributs, Milvus génère un arbre de plan primitif non résolu à l'aide de ant-parser, la méthode d'analyse fournie par Expr, dès réception de l'expression de la requête. L'arbre de plan primitif que nous obtiendrons est un arbre binaire simple. L'arbre de plan est ensuite affiné par Expr et l'optimiseur intégré à Milvus. L'optimiseur de Milvus est assez similaire au mécanisme de marcheur mentionné plus haut. Étant donné que la fonctionnalité d'optimisation de l'arborescence fournie par Expr est assez sophistiquée, la charge de l'optimiseur intégré de Milvus est allégée dans une large mesure. En fin de compte, l'analyseur analyse l'arbre de plan optimisé de manière récursive pour générer un plan AST dans la structure des <a href="https://developers.google.com/protocol-buffers">tampons de protocole</a> (protobuf).</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/plan_AST_workflow_3e50b7a0d4.png" alt="plan AST workflow" class="doc-image" id="plan-ast-workflow" />
   </span> <span class="img-wrapper"> <span>Flux de travail du plan AST</span> </span></p>
<h2 id="Query-execution" class="common-anchor-header">Exécution de la requête<button data-href="#Query-execution" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>L'exécution de la requête est à la base l'exécution du plan AST généré dans les étapes précédentes.</p>
<p>Dans Milvus, un plan AST est défini dans une structure proto. L'image ci-dessous est un message avec la structure protobuf. Il existe six types d'expressions, dont l'expression binaire et l'expression unaire, qui peuvent être complétées par une expression logique binaire et une expression logique unaire.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Protobuf1_232132dcf2.png" alt="protobuf1" class="doc-image" id="protobuf1" />
   </span> <span class="img-wrapper"> <span>protobuf1</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/protobuf2_193f92f033.png" alt="protobuf2" class="doc-image" id="protobuf2" />
   </span> <span class="img-wrapper"> <span>protobuf2</span> </span></p>
<p>L'image ci-dessous est une image UML de l'expression de requête. Elle montre la classe de base et la classe dérivée de chaque expression. Chaque classe est accompagnée d'une méthode acceptant les paramètres du visiteur. Il s'agit d'un modèle de conception typique des visiteurs. Milvus utilise ce modèle pour exécuter le plan AST car son principal avantage est que les utilisateurs n'ont rien à faire avec les expressions primitives mais peuvent accéder directement à l'une des méthodes des modèles pour modifier certaines classes d'expression de requête et les éléments pertinents.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/UML_1238bc30e1.png" alt="UML" class="doc-image" id="uml" />
   </span> <span class="img-wrapper"> <span>UML</span> </span></p>
<p>Lors de l'exécution d'un plan AST, Milvus reçoit d'abord un nœud de plan de type prototype. Un nœud de plan de type segcore est ensuite obtenu via l'analyseur syntaxique proto C++ interne. Après avoir obtenu les deux types de nœuds de plan, Milvus accepte une série d'accès aux classes, puis modifie et exécute la structure interne des nœuds de plan. Enfin, Milvus recherche tous les nœuds de plan d'exécution pour obtenir les résultats filtrés. Les résultats finaux sont présentés sous la forme d'un masque de bits. Un masque de bits est un tableau de nombres de bits ("0" et "1"). Les données qui satisfont aux conditions de filtrage sont marquées d'un "1" dans le masque de bits, tandis que celles qui ne satisfont pas aux exigences sont marquées d'un "0" dans le masque de bits.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/execute_workflow_d89f1ee925.png" alt="execute workflow" class="doc-image" id="execute-workflow" />
   </span> <span class="img-wrapper"> <span>exécuter le flux de travail</span> </span></p>
<h2 id="About-the-Deep-Dive-Series" class="common-anchor-header">À propos de la série Deep Dive<button data-href="#About-the-Deep-Dive-Series" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Avec l'<a href="https://milvus.io/blog/2022-1-25-annoucing-general-availability-of-milvus-2-0.md">annonce officielle de la disponibilité générale de</a> Milvus 2.0, nous avons orchestré cette série de blogs Milvus Deep Dive afin de fournir une interprétation approfondie de l'architecture et du code source de Milvus. Les sujets abordés dans cette série de blogs sont les suivants</p>
<ul>
<li><a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">Vue d'ensemble de l'architecture Milvus</a></li>
<li><a href="https://milvus.io/blog/deep-dive-2-milvus-sdk-and-api.md">API et SDK Python</a></li>
<li><a href="https://milvus.io/blog/deep-dive-3-data-processing.md">Traitement des données</a></li>
<li><a href="https://milvus.io/blog/deep-dive-4-data-insertion-and-data-persistence.md">Gestion des données</a></li>
<li><a href="https://milvus.io/blog/deep-dive-5-real-time-query.md">Requête en temps réel</a></li>
<li><a href="https://milvus.io/blog/deep-dive-7-query-expression.md">Moteur d'exécution scalaire</a></li>
<li><a href="https://milvus.io/blog/deep-dive-6-oss-qa.md">Système d'assurance qualité</a></li>
<li><a href="https://milvus.io/blog/deep-dive-8-knowhere.md">Moteur d'exécution vectoriel</a></li>
</ul>


Comment la base de données comprend-elle et exécute-t-elle votre requête ?

Assurance qualité des logiciels libres - Une étude de cas de Milvus

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220516_163732_d40acac221.png" alt="Cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>Image de couverture</span> </span></p>
<p>Nous avons récemment franchi une étape incroyable dans l'aventure de la base de données vectorielle : plus de 10 000 étoiles sur le <a href="https://github.com/milvus-io/milvus">repo GitHub de Milvus</a>. Merci à chacun d'entre vous qui nous a soutenus en nous donnant une étoile ⭐️.</p>
<p>Cela fait deux ans et demi que Milvus est devenu un projet open-source. Lorsque nous avons commencé, très peu de gens comprenaient exactement ce qu'est une base de données vectorielle, sans parler de la façon dont elle permettrait et accélérerait l'adoption de l'IA dans notre vie quotidienne. La base de données vectorielles Milvus porte notre vision de la définition et de la construction de la base de données de nouvelle génération pour l'IA. Nous combinons les algorithmes SOTA avec les technologies cloud dans le projet Milvus afin que les développeurs puissent créer facilement des applications d'IA avec la base de données vectorielles Milvus.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Milvus_0_10000_d50a914332.gif" alt="Gif2" class="doc-image" id="gif2" />
   </span> <span class="img-wrapper"> <span>Gif2</span> </span></p>
<div align="center">Cliquez <a href="https://www.youtube.com/watch?v=zIAX_oPI2Jk&ab_channel=Milvus-VectorDatabase">ici</a> pour regarder la vidéo complète de la visualisation du développement du référentiel Milvus.</div>
<p><br/></p>
<p>De nombreux <a href="https://github.com/milvus-io/milvus">projets brillants</a> ont jeté les bases de Milvus, et nous sommes reconnaissants de nous tenir sur les épaules de ces géants. Sans eux, Milvus n'aurait pas existé.</p>
<p>Nous sommes également incroyablement reconnaissants à notre formidable communauté, qui a contribué à ouvrir un chapitre passionnant pour ce nouveau type de base de données. Avant de regarder vers l'avenir, nous voulons prendre un moment pour réfléchir à ce voyage, regarder nos étapes et reconnaître et remercier nos développeurs :</p>
<ul>
<li>Nous avons rejoint la LF AI &amp; Data Foundation au niveau de l'<a href="https://lfaidata.foundation/blog/2020/04/02/milvus-joins-lf-ai-as-new-incubation-project/">incubation</a>, trouvant notre place aux côtés de nombreux autres grands projets open source d'IA et de données. Aujourd'hui, Milvus est déjà un <a href="https://lfaidata.foundation/blog/2021/06/23/lf-ai-data-foundation-announces-graduation-of-milvus-project/">projet de fin d'études</a>.</li>
<li>Nous avons livré deux versions majeures : <a href="https://milvus.io/docs/v1.0.0/announcement.md">Milvus 1.0</a> et <a href="https://milvus.io/docs/v2.0.x/comparison.md">Milvus 2.0</a>.</li>
<li>Un article SIGMOD a été publié : <a href="https://dl.acm.org/doi/abs/10.1145/3448016.3457550">Milvus : A Purpose-Built Vector Data Management System (Milvus : un système de gestion de données vectorielles conçu à cet effet</a>).</li>
<li>Actuellement, nous comptons plus de 10 000 membres de la communauté et plus de 220 contributeurs dans le monde entier.</li>
<li>Plus de <a href="https://milvus.io/">1000 entreprises</a> ont adopté Milvus. Parmi eux, on trouve de nombreux leaders de l'industrie.</li>
</ul>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Milvus_10000_star_timeline_3sec_de1a7c906a.gif" alt="Timeline gif" class="doc-image" id="timeline-gif" />
   </span> <span class="img-wrapper"> <span>Gif de la chronologie</span> </span></p>
<p>Tout cela n'est possible que grâce à chaque personne qui contribue. Merci pour vos demandes d'extraction, vos rapports de problèmes, vos courriels, vos réunions et le partage de vos connaissances sur Milvus. Vous jouez tous un rôle important dans les progrès de Milvus.</p>
<h2 id="Special-event" class="common-anchor-header">Événement spécial<button data-href="#Special-event" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Pour cette étape spéciale, nous avons préparé un petit cadeau de remerciement - <a href="https://assets.zilliz.com/10_K_stars_2b2e0e0b36.png">un fond d'écran téléchargeable</a>. Nous espérons qu'il vous plaira !</p>
<p>Nous vous serions reconnaissants de nous aider à <a href="https://twitter.com/milvusio">faire passer le message</a>! ❤️</p>


Un petit pas pour Milvus - 10 000 étoiles

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/deep_dive_5_5e9175c7f7.png" alt="Cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>Image de couverture</span> </span></p>
<blockquote>
<p>Cet article a été rédigé par <a href="https://github.com/xige-16">Xi Ge</a> et transcrit par <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni.</a></p>
</blockquote>
<p>Dans l'article précédent, nous avons parlé de l'<a href="https://milvus.io/blog/deep-dive-4-data-insertion-and-data-persistence.md">insertion et de la persistance des données</a> dans Milvus. Dans cet article, nous allons continuer à expliquer comment les <a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">différents composants</a> de Milvus interagissent les uns avec les autres pour réaliser des requêtes de données en temps réel.</p>
<p><em>Vous trouverez ci-dessous quelques ressources utiles avant de commencer. Nous recommandons de les lire d'abord pour mieux comprendre le sujet de cet article.</em></p>
<ul>
<li><a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">Plongée dans l'architecture de Milvus</a></li>
<li><a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md#Data-Model">Modèle de données Milvus</a></li>
<li><a href="https://milvus.io/docs/v2.0.x/four_layers.md">Le rôle et la fonction de chaque composant Milvus</a></li>
<li><a href="https://milvus.io/blog/deep-dive-3-data-processing.md">Traitement des données dans Milvus</a></li>
<li><a href="https://milvus.io/blog/deep-dive-4-data-insertion-and-data-persistence.md">Insertion et persistance des données dans Milvus</a></li>
</ul>
<h2 id="Load-data-to-query-node" class="common-anchor-header">Chargement des données dans le nœud d'interrogation<button data-href="#Load-data-to-query-node" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Avant l'exécution d'une requête, les données doivent d'abord être chargées dans les nœuds de requête.</p>
<p>Deux types de données sont chargés dans le nœud d'interrogation : les données en continu provenant du <a href="https://milvus.io/docs/v2.0.x/four_layers.md#Log-broker">courtier de journaux</a> et les données historiques provenant du <a href="https://milvus.io/docs/v2.0.x/four_layers.md#Object-storage">stockage d'objets</a> (également appelé stockage persistant ci-dessous).</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/flowchart_b1c51dfdaa.png" alt="Flowchart" class="doc-image" id="flowchart" />
   </span> <span class="img-wrapper"> <span>Organigramme</span> </span></p>
<p>La coordination des données est chargée de traiter les données en continu qui sont insérées en permanence dans Milvus. Lorsqu'un utilisateur de Milvus appelle <code translate="no">collection.load()</code> pour charger une collection, la coordination des requêtes interroge la coordination des données pour savoir quels segments ont été conservés dans le stockage et quels sont les points de contrôle correspondants. Un point de contrôle est une marque indiquant que les segments conservés avant les points de contrôle sont consommés alors que ceux après le point de contrôle ne le sont pas.</p>
<p>Ensuite, la coordonnatrice des requêtes produit une stratégie d'allocation basée sur les informations fournies par la coordonnatrice des données : soit par segment, soit par canal. L'allocateur de segments est chargé d'allouer des segments dans le stockage permanent (données de lot) à différents nœuds de requête. Par exemple, dans l'image ci-dessus, l'allocateur de segments attribue les segments 1 et 3 (S1, S3) au nœud d'interrogation 1, et les segments 2 et 4 (S2, S4) au nœud d'interrogation 2. L'allocateur de canaux attribue différents nœuds d'interrogation pour surveiller plusieurs <a href="https://milvus.io/docs/v2.0.x/data_processing.md#Data-insertion">canaux de</a> manipulation de données (DMChannels) dans le courtier d'enregistrement. Par exemple, dans l'image ci-dessus, l'allocateur de canaux affecte le nœud de requête 1 à la surveillance du canal 1 (Ch1) et le nœud de requête 2 à la surveillance du canal 2 (Ch2).</p>
<p>Grâce à la stratégie d'attribution, chaque nœud d'interrogation charge des données de segment et surveille les canaux en conséquence. Dans le nœud d'interrogation 1 de l'image, les données historiques (données de lot) sont chargées via S1 et S3 à partir du stockage permanent. Dans le même temps, le nœud de requête 1 charge des données incrémentielles (données en continu) en s'abonnant au canal 1 du log broker.</p>
<h2 id="Data-management-in-query-node" class="common-anchor-header">Gestion des données dans le nœud d'interrogation<button data-href="#Data-management-in-query-node" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Un nœud d'interrogation doit gérer à la fois les données historiques et les données incrémentielles. Les données historiques sont stockées dans des <a href="https://milvus.io/blog/deep-dive-4-data-insertion-and-data-persistence.md#Sealed-segment">segments scellés</a>, tandis que les données incrémentielles sont stockées dans des <a href="https://milvus.io/blog/deep-dive-4-data-insertion-and-data-persistence.md#Growing-segment">segments croissants</a>.</p>
<h3 id="Historical-data-management" class="common-anchor-header">Gestion des données historiques</h3><p>Il y a principalement deux considérations à prendre en compte pour la gestion des données historiques : l'équilibre de la charge et le basculement du nœud d'interrogation.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/load_balance_c77e22bb5c.png" alt="Load balance" class="doc-image" id="load-balance" />
   </span> <span class="img-wrapper"> <span>Équilibre de la charge</span> </span></p>
<p>Par exemple, comme le montre l'illustration, le nœud de requête 4 s'est vu attribuer plus de segments scellés que le reste des nœuds de requête. Il est très probable que cela fasse du nœud d'interrogation 4 le goulot d'étranglement qui ralentit l'ensemble du processus d'interrogation. Pour résoudre ce problème, le système doit attribuer plusieurs segments du nœud d'interrogation 4 à d'autres nœuds d'interrogation. C'est ce qu'on appelle l'équilibrage de la charge.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Query_node_failover_3278c0e307.png" alt="Query node failover" class="doc-image" id="query-node-failover" />
   </span> <span class="img-wrapper"> <span>Basculement d'un nœud de requête</span> </span></p>
<p>Une autre situation possible est illustrée dans l'image ci-dessus. L'un des nœuds, le nœud d'interrogation 4, est soudainement hors service. Dans ce cas, la charge (segments alloués au nœud d'interrogation 4) doit être transférée à d'autres nœuds d'interrogation fonctionnels afin de garantir l'exactitude des résultats de l'interrogation.</p>
<h3 id="Incremental-data-management" class="common-anchor-header">Gestion incrémentale des données</h3><p>Le nœud d'interrogation surveille les DMChannels pour recevoir des données incrémentielles. Un diagramme de flux est introduit dans ce processus. Il filtre d'abord tous les messages d'insertion de données. Cela permet de s'assurer que seules les données d'une partition donnée sont chargées. Chaque collection dans Milvus a un canal correspondant, qui est partagé par toutes les partitions de cette collection. Par conséquent, un organigramme est nécessaire pour filtrer les données insérées si un utilisateur de Milvus ne doit charger que les données d'une certaine partition. Dans le cas contraire, les données de toutes les partitions de la collection seront chargées dans le nœud d'interrogation.</p>
<p>Après avoir été filtrées, les données incrémentielles sont insérées dans des segments croissants, puis transmises aux nœuds de temps du serveur.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/flow_graph_dc58651367.png" alt="Flowgraph" class="doc-image" id="flowgraph" />
   </span> <span class="img-wrapper"> <span>Diagramme de flux</span> </span></p>
<p>Lors de l'insertion des données, un horodatage est attribué à chaque message d'insertion. Dans le canal DMC illustré dans l'image ci-dessus, les données sont insérées dans l'ordre, de gauche à droite. L'horodatage du premier message d'insertion est 1, celui du deuxième, 2, et celui du troisième, 6. Le quatrième message marqué en rouge n'est pas un message d'insertion, mais un message d'horodatage. Il indique que les données insérées dont l'horodatage est inférieur à ce timetick se trouvent déjà dans le log broker. En d'autres termes, les données insérées après ce message de timetick devraient toutes avoir des horodatages dont les valeurs sont supérieures à ce timetick. Par exemple, dans l'image ci-dessus, lorsque le nœud de requête perçoit que l'heure actuelle est 5, cela signifie que tous les messages d'insertion dont la valeur de l'horodatage est inférieure à 5 sont tous chargés dans le nœud de requête.</p>
<p>Le nœud de temps du serveur fournit une valeur <code translate="no">tsafe</code> mise à jour chaque fois qu'il reçoit un timetick du nœud d'insertion. <code translate="no">tsafe</code> signifie le temps de sécurité, et toutes les données insérées avant ce point dans le temps peuvent être interrogées. Par exemple, si <code translate="no">tsafe</code> = 9, les données insérées dont l'horodatage est inférieur à 9 peuvent toutes être interrogées.</p>
<h2 id="Real-time-query-in-Milvus" class="common-anchor-header">Requête en temps réel dans Milvus<button data-href="#Real-time-query-in-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>L'interrogation en temps réel dans Milvus est activée par des messages d'interrogation. Les messages de requête sont insérés dans le log broker par proxy. Les nœuds d'interrogation obtiennent ensuite les messages d'interrogation en surveillant le canal d'interrogation dans le courtier d'enregistrement.</p>
<h3 id="Query-message" class="common-anchor-header">Message de requête</h3><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/query_message_4d57814f47.png" alt="Query message" class="doc-image" id="query-message" />
   </span> <span class="img-wrapper"> <span>Message de requête</span> </span></p>
<p>Un message de requête comprend les informations cruciales suivantes concernant une requête :</p>
<ul>
<li><code translate="no">msgID</code>: L'ID du message, l'ID du message d'interrogation attribué par le système.</li>
<li><code translate="no">collectionID</code>: L'ID de la collection à interroger (si spécifié par l'utilisateur).</li>
<li><code translate="no">execPlan</code>: Le plan d'exécution est principalement utilisé pour le filtrage des attributs dans une requête.</li>
<li><code translate="no">service_ts</code>: L'horodatage du service sera mis à jour en même temps que <code translate="no">tsafe</code> mentionné ci-dessus. L'horodatage du service indique à quel moment le service a été mis en place. Toutes les données insérées avant <code translate="no">service_ts</code> sont disponibles pour la requête.</li>
<li><code translate="no">travel_ts</code>: L'horodatage du voyage spécifie une plage de temps dans le passé. L'interrogation portera sur les données existant dans la période spécifiée par <code translate="no">travel_ts</code>.</li>
<li><code translate="no">guarantee_ts</code>: L'horodatage de garantie spécifie une période de temps après laquelle la requête doit être effectuée. La requête ne sera effectuée que si <code translate="no">service_ts</code> &gt; <code translate="no">guarantee_ts</code>.</li>
</ul>
<h3 id="Real-time-query" class="common-anchor-header">Requête en temps réel</h3><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/query_process_7f676972d8.png" alt="Query process" class="doc-image" id="query-process" />
   </span> <span class="img-wrapper"> <span>Processus d'interrogation</span> </span></p>
<p>Lorsqu'un message d'interrogation est reçu, Milvus juge d'abord si l'heure de service actuelle, <code translate="no">service_ts</code>, est supérieure à l'horodatage de garantie, <code translate="no">guarantee_ts</code>, dans le message d'interrogation. Dans l'affirmative, la requête est exécutée. La requête sera effectuée en parallèle sur les données historiques et les données incrémentielles. Étant donné qu'il peut y avoir un chevauchement de données entre les données en continu et les données par lots, une action appelée "réduction locale" est nécessaire pour filtrer les résultats redondants de la requête.</p>
<p>Toutefois, si le temps de service actuel est inférieur à l'horodatage de garantie dans un message de requête nouvellement inséré, le message de requête deviendra un message non résolu et attendra d'être traité jusqu'à ce que le temps de service devienne supérieur à l'horodatage de garantie.</p>
<p>Les résultats de la requête sont finalement transmis au canal de résultats. Le mandataire obtient les résultats de la requête à partir de ce canal. De même, le mandataire effectuera une "réduction globale" car il reçoit des résultats de plusieurs nœuds de requête et les résultats de la requête peuvent être répétitifs.</p>
<p>Pour s'assurer que le mandataire a reçu tous les résultats de la requête avant de les renvoyer au SDK, le message de résultat conservera également un enregistrement des informations, notamment les segments scellés recherchés, les DMChannels recherchés et les segments scellés globaux (tous les segments sur tous les nœuds de requête). Le système peut conclure que le mandataire a reçu tous les résultats de la requête uniquement si les deux conditions suivantes sont remplies :</p>
<ul>
<li>L'union de tous les segments scellés recherchés enregistrés dans tous les messages de résultats est supérieure aux segments scellés globaux,</li>
<li>Tous les canaux DMC de la collection sont interrogés.</li>
</ul>
<p>Enfin, le proxy renvoie les résultats finaux après "réduction globale" au SDK Milvus.</p>
<h2 id="About-the-Deep-Dive-Series" class="common-anchor-header">À propos de la série Deep Dive<button data-href="#About-the-Deep-Dive-Series" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Avec l'<a href="https://milvus.io/blog/2022-1-25-annoucing-general-availability-of-milvus-2-0.md">annonce officielle de la disponibilité générale de</a> Milvus 2.0, nous avons orchestré cette série de blogs Milvus Deep Dive afin de fournir une interprétation approfondie de l'architecture et du code source de Milvus. Les sujets abordés dans cette série de blogs sont les suivants</p>
<ul>
<li><a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">Vue d'ensemble de l'architecture Milvus</a></li>
<li><a href="https://milvus.io/blog/deep-dive-2-milvus-sdk-and-api.md">API et SDK Python</a></li>
<li><a href="https://milvus.io/blog/deep-dive-3-data-processing.md">Traitement des données</a></li>
<li><a href="https://milvus.io/blog/deep-dive-4-data-insertion-and-data-persistence.md">Gestion des données</a></li>
<li><a href="https://milvus.io/blog/deep-dive-5-real-time-query.md">Requête en temps réel</a></li>
<li><a href="https://milvus.io/blog/deep-dive-7-query-expression.md">Moteur d'exécution scalaire</a></li>
<li><a href="https://milvus.io/blog/deep-dive-6-oss-qa.md">Système d'assurance qualité</a></li>
<li><a href="https://milvus.io/blog/deep-dive-8-knowhere.md">Moteur d'exécution vectoriel</a></li>
</ul>


Utilisation de la base de données vectorielles Milvus pour des requêtes en temps réel

Insertion et persistance des données dans une base de données vectorielle

Comment les données sont-elles traitées dans une base de données vectorielle ?

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220322_175856_e8e7bea7dc.png" alt="Cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>Image de couverture</span> </span></p>
<p>Par <a href="https://github.com/XuanYang-cn">Xuan Yang</a></p>
<h2 id="Background" class="common-anchor-header">Contexte<button data-href="#Background" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>L'illustration suivante présente l'interaction entre les SDK et Milvus par le biais de gRPC. Imaginez que Milvus soit une boîte noire. Les tampons de protocole sont utilisés pour définir les interfaces du serveur et la structure des informations qu'ils transportent. Par conséquent, toutes les opérations effectuées dans la boîte noire Milvus sont définies par l'API de protocole.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/SDK_10c9673111.png" alt="Interaction" class="doc-image" id="interaction" />
   </span> <span class="img-wrapper"> <span>Interaction</span> </span></p>
<h2 id="Milvus-Protocol-API" class="common-anchor-header">API du protocole Milvus<button data-href="#Milvus-Protocol-API" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>L'API de protocole Milvus se compose de <code translate="no">milvus.proto</code>, <code translate="no">common.proto</code>, et <code translate="no">schema.proto</code>, qui sont des fichiers de tampons de protocole dont le suffixe est <code translate="no">.proto</code>. Pour garantir un fonctionnement correct, les SDK doivent interagir avec Milvus à l'aide de ces fichiers Protocol Buffers.</p>
<h3 id="milvusproto" class="common-anchor-header">milvus.proto</h3><p><code translate="no">milvus.proto</code> est le composant essentiel de l'API de protocole Milvus car il définit l'interface <code translate="no">MilvusService</code>, qui définit également toutes les interfaces RPC de Milvus.</p>
<p>L'exemple de code suivant montre l'interface <code translate="no">CreatePartitionRequest</code>. Elle possède deux paramètres principaux de type chaîne <code translate="no">collection_name</code> et <code translate="no">partition_name</code>, sur la base desquels vous pouvez lancer une requête de création de partition.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/code_d5f034d58d.png" alt="CreatePartitionRequest" class="doc-image" id="createpartitionrequest" />
   </span> <span class="img-wrapper"> <span>CreatePartitionRequest</span> </span></p>
<p>Consultez un exemple de protocole dans le <a href="https://github.com/milvus-io/milvus-proto/blob/44f59db22b27cc55e4168c8e53b6e781c010a713/proto/milvus.proto">dépôt PyMilvus GitHub</a> à la ligne 19.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/create_partition_938691f07f.png" alt="Example" class="doc-image" id="example" />
   </span> <span class="img-wrapper"> <span>Exemple</span> </span></p>
<p>Vous pouvez trouver la définition de <code translate="no">CreatePartitionRequest</code> ici.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220321_112254_4ec4f35bd3.png" alt="Definition" class="doc-image" id="definition" />
   </span> <span class="img-wrapper"> <span>Définition</span> </span></p>
<p>Les contributeurs qui souhaitent développer une fonctionnalité de Milvus ou un SDK dans un langage de programmation différent sont invités à trouver toutes les interfaces que Milvus offre via RPC.</p>
<h3 id="commonproto" class="common-anchor-header">common.proto</h3><p><code translate="no">common.proto</code> définit les types d'information communs, y compris <code translate="no">ErrorCode</code>, et <code translate="no">Status</code>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220321_112303_eaafc432a8.png" alt="common.proto" class="doc-image" id="common.proto" />
   </span> <span class="img-wrapper"> <span>common.proto</span> </span></p>
<h3 id="schemaproto" class="common-anchor-header">schema.proto</h3><p><code translate="no">schema.proto</code> définit le schéma dans les paramètres. L'exemple de code suivant est un exemple de <code translate="no">CollectionSchema</code>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220321_112313_df4ebe36e7.png" alt="schema.proto" class="doc-image" id="schema.proto" />
   </span> <span class="img-wrapper"> <span>schema.proto</span> </span></p>
<p><code translate="no">milvus.proto</code>Les interfaces common.proto, <code translate="no">common.proto</code> et <code translate="no">schema.proto</code> constituent ensemble l'API de Milvus, représentant toutes les opérations qui peuvent être appelées via RPC.</p>
<p>Si vous creusez dans le code source et observez attentivement, vous constaterez que lorsque des interfaces telles que <code translate="no">create_index</code> sont appelées, elles appellent en fait plusieurs interfaces RPC telles que <code translate="no">describe_collection</code> et <code translate="no">describe_index</code>. Une grande partie de l'interface extérieure de Milvus est une combinaison de plusieurs interfaces RPC.</p>
<p>Après avoir compris les comportements de RPC, vous pouvez développer de nouvelles fonctionnalités pour Milvus en les combinant. Vous êtes plus que bienvenus pour utiliser votre imagination et votre créativité et contribuer à la communauté Milvus.</p>
<h2 id="PyMilvus-20" class="common-anchor-header">PyMilvus 2.0<button data-href="#PyMilvus-20" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="Object-relational-mapping-ORM" class="common-anchor-header">Mappage objet-relationnel (ORM)</h3><p>Pour résumer, le mapping objet-relationnel (ORM) fait référence au fait que lorsque vous opérez sur un objet local, ces opérations affectent l'objet correspondant sur le serveur. L'API de type ORM de PyMilvus présente les caractéristiques suivantes :</p>
<ol>
<li>Elle opère directement sur les objets.</li>
<li>Elle isole la logique du service et les détails de l'accès aux données.</li>
<li>Elle masque la complexité de la mise en œuvre et vous pouvez exécuter les mêmes scripts sur différentes instances Milvus, quelles que soient leurs approches de déploiement ou leur mise en œuvre.</li>
</ol>
<h3 id="ORM-style-API" class="common-anchor-header">API de type ORM</h3><p>L'une des caractéristiques essentielles de l'API de type ORM réside dans le contrôle de la connexion Milvus. Par exemple, vous pouvez spécifier des alias pour plusieurs serveurs Milvus et vous y connecter ou vous en déconnecter simplement avec leurs alias. Vous pouvez même supprimer l'adresse du serveur local et contrôler certains objets par le biais d'une connexion spécifique.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220321_112320_d5ff08a582.png" alt="Control Connection" class="doc-image" id="control-connection" />
   </span> <span class="img-wrapper"> <span>Contrôle de la connexion</span> </span></p>
<p>Une autre caractéristique de l'API de type ORM est que, après abstraction, toutes les opérations peuvent être effectuées directement sur les objets, y compris la collection, la partition et l'index.</p>
<p>Vous pouvez abstraire un objet de collection en récupérant un objet existant ou en en créant un nouveau. Vous pouvez également affecter une connexion Milvus à des objets spécifiques à l'aide d'un alias de connexion, afin de pouvoir opérer sur ces objets localement.</p>
<p>Pour créer un objet de partition, vous pouvez soit le créer avec son objet de collection parent, soit le faire de la même manière que lorsque vous créez un objet de collection. Ces méthodes peuvent également être employées pour un objet index.</p>
<p>Si ces objets de partition ou d'index existent, vous pouvez les obtenir par l'intermédiaire de leur objet de collection parent.</p>
<h2 id="About-the-Deep-Dive-Series" class="common-anchor-header">À propos de la série Deep Dive<button data-href="#About-the-Deep-Dive-Series" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Avec l'<a href="https://milvus.io/blog/2022-1-25-annoucing-general-availability-of-milvus-2-0.md">annonce officielle de la disponibilité générale</a> de Milvus 2.0, nous avons orchestré cette série de blogs Milvus Deep Dive afin de fournir une interprétation approfondie de l'architecture et du code source de Milvus. Les sujets abordés dans cette série de blogs sont les suivants</p>
<ul>
<li><a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">Vue d'ensemble de l'architecture Milvus</a></li>
<li><a href="https://milvus.io/blog/deep-dive-2-milvus-sdk-and-api.md">API et SDK Python</a></li>
<li><a href="https://milvus.io/blog/deep-dive-3-data-processing.md">Traitement des données</a></li>
<li><a href="https://milvus.io/blog/deep-dive-4-data-insertion-and-data-persistence.md">Gestion des données</a></li>
<li><a href="https://milvus.io/blog/deep-dive-5-real-time-query.md">Requête en temps réel</a></li>
<li><a href="https://milvus.io/blog/deep-dive-7-query-expression.md">Moteur d'exécution scalaire</a></li>
<li><a href="https://milvus.io/blog/deep-dive-6-oss-qa.md">Système d'assurance qualité</a></li>
<li><a href="https://milvus.io/blog/deep-dive-8-knowhere.md">Moteur d'exécution vectoriel</a></li>
</ul>


Introduction au SDK et à l'API Milvus Python

Construction d'une base de données vectorielle pour une recherche de similarité évolutive

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Attu_3ff9a76156.png" alt="Binlog Cover Image" class="doc-image" id="binlog-cover-image" />
   </span> <span class="img-wrapper"> <span>Image de couverture du Binlog</span> </span></p>
<p>Rédigé par <a href="https://github.com/czhen-zilliz">Zhen Chen</a> et transcrit par <a href="https://github.com/LocoRichard">Lichen Wang</a>.</p>
<p style="font-size: 12px;color: #4c5a67">Cliquez <a href="https://zilliz.com/blog/manage-your-milvus-vector-database-with-one-click-simplicity">ici</a> pour consulter l'article original.</p> 
<p>Face à la demande croissante de traitement de données non structurées, Milvus 2.0 se distingue. Il s'agit d'un système de base de données vectorielles axé sur l'IA et conçu pour des scénarios de production massive. Outre tous ces SDK Milvus et Milvus CLI, une interface de ligne de commande pour Milvus, existe-t-il un outil qui permette aux utilisateurs d'exploiter Milvus de manière plus intuitive ? La réponse est OUI. Zilliz a annoncé une interface utilisateur graphique - Attu - spécifiquement pour Milvus. Dans cet article, nous aimerions vous montrer pas à pas comment effectuer une recherche de similarité vectorielle avec Attu.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/map_aa1cda30d4.png" alt="Attu island" class="doc-image" id="attu-island" />
   </span> <span class="img-wrapper"> <span>L'île d'Attu</span> </span></p>
<p>En comparaison avec le CLI de Milvus qui apporte la plus grande simplicité d'utilisation, Attu offre plus de fonctionnalités :</p>
<ul>
<li>Installateurs pour Windows OS, macOS et Linux OS ;</li>
<li>Interface graphique intuitive pour faciliter l'utilisation de Milvus ;</li>
<li>Couverture des principales fonctionnalités de Milvus ;</li>
<li>Plugins pour l'extension des fonctionnalités personnalisées ;</li>
<li>Informations complètes sur la topologie du système pour faciliter la compréhension et l'administration de l'instance Milvus.</li>
</ul>
<h2 id="Installation" class="common-anchor-header">Installation<button data-href="#Installation" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Vous pouvez trouver la dernière version d'Attu sur <a href="https://github.com/zilliztech/attu/releases">GitHub</a>. Attu propose des installateurs exécutables pour différents systèmes d'exploitation. Il s'agit d'un projet open-source qui accepte les contributions de chacun.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/installation_bbe62873af.png" alt="Installation" class="doc-image" id="installation" />
   </span> <span class="img-wrapper"> <span>Installation d'Attu</span> </span></p>
<p>Vous pouvez également installer Attu via Docker.</p>
<pre><code translate="no" class="language-shell">docker run -p <span class="hljs-number">8000</span>:<span class="hljs-number">3000</span> -e <span class="hljs-variable constant_">HOST_URL</span>=<span class="hljs-attr">http</span>:<span class="hljs-comment">//{ attu IP }:8000 -e MILVUS_URL={milvus server IP}:19530 zilliz/attu:latest</span>
<button class="copy-code-btn"></button></code></pre>
<p><code translate="no">attu IP</code> est l'adresse IP de l'environnement où Attu s'exécute, et <code translate="no">milvus server IP</code> est l'adresse IP de l'environnement où Milvus s'exécute.</p>
<p>Après avoir installé Attu avec succès, vous pouvez saisir l'IP et le port de Milvus dans l'interface pour démarrer Attu.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/connect_1fde46d9d5.png" alt="Connect Milvus with Attu" class="doc-image" id="connect-milvus-with-attu" />
   </span> <span class="img-wrapper"> <span>Connecter Milvus avec Attu</span> </span></p>
<h2 id="Feature-overview" class="common-anchor-header">Vue d'ensemble des fonctionnalités<button data-href="#Feature-overview" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/overview_591e230514.png" alt="Overview page" class="doc-image" id="overview-page" />
   </span> <span class="img-wrapper"> <span>Page de présentation</span> </span></p>
<p>L'interface d'Attu se compose d'une page de <strong>présentation</strong>, d'une page de <strong>collection</strong>, d'une page de <strong>recherche de vecteurs</strong> et d'une page de <strong>vue du système</strong>, correspondant respectivement aux quatre icônes du volet de navigation de gauche.</p>
<p>La page de <strong>présentation</strong> affiche les collections chargées. La page <strong>Collection</strong> répertorie toutes les collections et indique si elles sont chargées ou libérées.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/collection_42656fe308.png" alt="Collection page" class="doc-image" id="collection-page" />
   </span> <span class="img-wrapper"> <span>Page Collection</span> </span></p>
<p>Les pages <strong>Vector Search</strong> et <strong>System View</strong> sont des plugins d'Attu. Les concepts et l'utilisation de ces plugins seront présentés dans la dernière partie de ce blog.</p>
<p>Vous pouvez effectuer une recherche de similarité vectorielle dans la page <strong>Recherche vectorielle</strong>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/vector_search_be7365687c.png" alt="Vector Search page" class="doc-image" id="vector-search-page" />
   </span> <span class="img-wrapper"> <span>Page Vector Search (Recherche vectorielle)</span> </span></p>
<p>Dans la page <strong>System View</strong>, vous pouvez vérifier la structure topologique de Milvus.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/system_view_e1df15023d.png" alt="System View page" class="doc-image" id="system-view-page" />
   </span> <span class="img-wrapper"> <span>Page Vue du système</span> </span></p>
<p>Vous pouvez également consulter les informations détaillées de chaque nœud en cliquant sur le nœud.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/node_view_5bbc25f9b2.png" alt="Node view" class="doc-image" id="node-view" />
   </span> <span class="img-wrapper"> <span>Vue du nœud</span> </span></p>
<h2 id="Demonstration" class="common-anchor-header">Démonstration<button data-href="#Demonstration" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Explorons Attu avec un jeu de données de test.</p>
<p>Consultez notre <a href="https://github.com/zilliztech/attu/tree/main/examples">dépôt GitHub</a> pour obtenir le jeu de données utilisé dans le test suivant.</p>
<p>Tout d'abord, créez une collection nommée test avec les quatre champs suivants :</p>
<ul>
<li>Nom du champ : id, champ de clé primaire</li>
<li>Nom du champ : vector, vector field, float vector, Dimension : 128</li>
<li>Nom du champ : brand, champ scalaire, Int64</li>
<li>Nom du champ : color, champ scalaire, Int64</li>
</ul>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/create_collection_95dfa15354.png" alt="Create a collection" class="doc-image" id="create-a-collection" />
   </span> <span class="img-wrapper"> <span>Créer une collection</span> </span></p>
<p>Charger la collection à des fins de recherche une fois qu'elle a été créée avec succès.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/load_collection_fec39171df.png" alt="Load the collection" class="doc-image" id="load-the-collection" />
   </span> <span class="img-wrapper"> <span>Charger la collection</span> </span></p>
<p>Vous pouvez maintenant vérifier la collection nouvellement créée dans la page <strong>Vue d'ensemble</strong>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/check_collection_163b05477e.png" alt="Check the collection" class="doc-image" id="check-the-collection" />
   </span> <span class="img-wrapper"> <span>Vérifier la collection</span> </span></p>
<p>Importer l'ensemble de données de test dans Milvus.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/import_data_1_f73d71be85.png" alt="Import data" class="doc-image" id="import-data" />
   </span> <span class="img-wrapper"> <span>Importer les données</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/import_data_2_4b3c3c3c25.png" alt="Import data" class="doc-image" id="import-data" />
   </span> <span class="img-wrapper"> <span>Importer les données</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/import_data_3_0def4e8550.png" alt="Import data" class="doc-image" id="import-data" />
   </span> <span class="img-wrapper"> <span>Importer des données</span> </span></p>
<p>Cliquer sur le nom de la collection dans la page Vue d'ensemble ou Collection pour accéder à l'interface de requête afin de vérifier les données importées.</p>
<p>Ajouter un filtre, spécifier l'expression <code translate="no">id != 0</code>, cliquer sur <strong>Appliquer le filtre</strong> et cliquer sur <strong>Requête</strong>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/query_data_24d9f71ccc.png" alt="Query data" class="doc-image" id="query-data" />
   </span> <span class="img-wrapper"> <span>Interroger les données</span> </span></p>
<p>Vous constaterez que les cinquante entrées des entités ont été importées avec succès.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/query_result_bcbbd17084.png" alt="Query result" class="doc-image" id="query-result" />
   </span> <span class="img-wrapper"> <span>Résultat de la requête</span> </span></p>
<p>Essayons la recherche de similarité vectorielle.</p>
<p>Copiez un vecteur du site <code translate="no">search_vectors.csv</code> et collez-le dans le champ <strong>Valeur du vecteur</strong>. Choisissez la collection et le champ. Cliquez sur <strong>Rechercher</strong>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/search_data_5af3a1db53.png" alt="Search data" class="doc-image" id="search-data" />
   </span> <span class="img-wrapper"> <span>Recherche de données</span> </span></p>
<p>Vous pouvez ensuite vérifier le résultat de la recherche. Sans compiler de scripts, vous pouvez facilement effectuer une recherche avec Milvus.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/search_result_961886efab.png" alt="Search result" class="doc-image" id="search-result" />
   </span> <span class="img-wrapper"> <span>Résultat de la recherche</span> </span></p>
<p>Enfin, vérifions la page <strong>Vue du système</strong>.</p>
<p>Grâce à l'API de métrologie encapsulée dans le SDK Milvus Node.js, vous pouvez vérifier l'état du système, les relations entre les nœuds et l'état des nœuds.</p>
<p>En tant que caractéristique exclusive d'Attu, la page Vue du système comprend un graphique topologique complet du système. En cliquant sur chaque nœud, vous pouvez vérifier son état (actualisation toutes les 10 secondes).</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/topological_graph_d0c5c17586.png" alt="Milvus node topological graph" class="doc-image" id="milvus-node-topological-graph" />
   </span> <span class="img-wrapper"> <span>Graphique topologique des nœuds Milvus</span> </span></p>
<p>Cliquez sur chaque nœud pour accéder à la <strong>vue de la liste des nœuds</strong>. Vous pouvez vérifier tous les nœuds enfants d'un nœud de coordonnées. En triant les nœuds, vous pouvez identifier rapidement ceux dont l'utilisation du CPU ou de la mémoire est élevée et localiser le problème dans le système.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/node_list_64fc610a8d.png" alt="Milvus node list" class="doc-image" id="milvus-node-list" />
   </span> <span class="img-wrapper"> <span>Liste des nœuds de Milvus</span> </span></p>
<h2 id="Whats-more" class="common-anchor-header">En outre<button data-href="#Whats-more" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Comme indiqué précédemment, les pages <strong>Recherche vectorielle</strong> et <strong>Vue du système</strong> sont des plugins d'Attu. Nous encourageons les utilisateurs à développer leurs propres plugins dans Attu pour répondre à leurs scénarios d'application. Dans le code source, il y a un dossier construit spécifiquement pour les codes des plugins.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/plugins_a2d98e4e5b.png" alt="Plugins" class="doc-image" id="plugins" />
   </span> <span class="img-wrapper"> <span>Les plugins</span> </span></p>
<p>Vous pouvez vous référer à n'importe quel plugin pour apprendre comment construire un plugin. En définissant le fichier de configuration suivant, vous pouvez ajouter le plugin à Attu.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/add_plugins_e3ef53cc0d.png" alt="Add plugins to Attu" class="doc-image" id="add-plugins-to-attu" />
   </span> <span class="img-wrapper"> <span>Ajouter des plugins à Attu</span> </span></p>
<p>Vous pouvez consulter <a href="https://github.com/zilliztech/attu/tree/main/doc">Attu GitHub Repo</a> et <a href="https://milvus.io/docs/v2.0.x/attu.md">Milvus Technical Document</a> pour des instructions détaillées.</p>
<p>Attu est un projet open-source. Toutes les contributions sont les bienvenues. Vous pouvez également <a href="https://github.com/zilliztech/attu/issues">déposer un problème</a> si vous avez des difficultés avec Attu.</p>
<p>Nous espérons sincèrement qu'Attu vous apportera une meilleure expérience utilisateur avec Milvus. Et si vous aimez Attu, ou si vous avez des commentaires sur son utilisation, vous pouvez répondre à cette <a href="https://wenjuan.feishu.cn/m/cfm?t=suw4QnODU1ui-ok7r">enquête auprès des utilisateurs d'Attu</a> afin de nous aider à optimiser Attu pour une meilleure expérience utilisateur.</p>


Gérer votre base de données vectorielles Milvus en un seul clic

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Load_balance_b2f35a5577.png" alt="Binlog Cover Image" class="doc-image" id="binlog-cover-image" />
   </span> <span class="img-wrapper"> <span>Image de couverture Binlog</span> </span></p>
<p>Par <a href="https://github.com/xige-16">Xi Ge</a>.</p>
<p>Dans les articles de blog précédents, nous avons successivement présenté les fonctions de suppression, de jeu de bits et de compactage dans Milvus 2.0. Pour conclure cette série, nous aimerions partager la conception de l'équilibrage de charge, une fonction vitale dans le cluster distribué de Milvus.</p>
<h2 id="Implementation" class="common-anchor-header">Mise en œuvre<button data-href="#Implementation" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Si le nombre et la taille des segments mis en mémoire tampon dans les nœuds d'interrogation diffèrent, les performances de recherche entre les nœuds d'interrogation peuvent également varier. Le pire des cas pourrait se produire lorsque quelques nœuds d'interrogation sont épuisés par la recherche d'une grande quantité de données, mais que les nœuds d'interrogation nouvellement créés restent inactifs parce qu'aucun segment ne leur est distribué, ce qui entraîne un gaspillage massif des ressources de l'unité centrale et une baisse considérable des performances de recherche.</p>
<p>Pour éviter de telles circonstances, le coordinateur des requêtes (query coord) est programmé pour distribuer des segments de manière égale à chaque nœud de requête en fonction de l'utilisation de la mémoire vive des nœuds. Les ressources de l'unité centrale sont donc consommées de manière égale par tous les nœuds, ce qui améliore considérablement les performances de la recherche.</p>
<h3 id="Trigger-automatic-load-balance" class="common-anchor-header">Déclencher l'équilibrage automatique de la charge</h3><p>Selon la valeur par défaut de la configuration <code translate="no">queryCoord.balanceIntervalSeconds</code>, la coordination des requêtes vérifie l'utilisation de la mémoire vive (en pourcentage) de tous les nœuds de requête toutes les 60 secondes. Si l'une des conditions suivantes est remplie, la coordination des requêtes commence à équilibrer la charge des requêtes sur le nœud de requête :</p>
<ol>
<li>L'utilisation de la RAM de n'importe quel nœud de requête dans le cluster est supérieure à <code translate="no">queryCoord.overloadedMemoryThresholdPercentage</code> (par défaut : 90) ;</li>
<li>ou la valeur absolue de la différence d'utilisation de la RAM entre deux nœuds de requête est supérieure à <code translate="no">queryCoord.memoryUsageMaxDifferencePercentage</code> (valeur par défaut : 30).</li>
</ol>
<p>Une fois que les segments sont transférés du nœud de requête source au nœud de requête de destination, ils doivent également satisfaire aux deux conditions suivantes :</p>
<ol>
<li>L'utilisation de la mémoire vive du nœud de destination n'est pas supérieure à <code translate="no">queryCoord.overloadedMemoryThresholdPercentage</code> (valeur par défaut : 90) ;</li>
<li>La valeur absolue de la différence d'utilisation de la RAM des nœuds de requête source et de destination après l'équilibrage de la charge est inférieure à celle avant l'équilibrage de la charge.</li>
</ol>
<p>Lorsque les conditions ci-dessus sont remplies, la coordination des requêtes procède à l'équilibrage de la charge de la requête entre les nœuds.</p>
<h2 id="Load-balance" class="common-anchor-header">Équilibrage de la charge<button data-href="#Load-balance" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Lorsque l'équilibrage de la charge est déclenché, la coordinatrice des requêtes charge d'abord le(s) segment(s) cible(s) dans le nœud de destination. Les deux nœuds d'interrogation renvoient les résultats de recherche du ou des segments cibles à chaque demande de recherche à ce stade, afin de garantir l'exhaustivité du résultat.</p>
<p>Une fois que le nœud d'interrogation de destination a chargé avec succès le segment cible, le coordonnateur d'interrogation publie une adresse <code translate="no">sealedSegmentChangeInfo</code> sur le canal d'interrogation. Comme indiqué ci-dessous, <code translate="no">onlineNodeID</code> et <code translate="no">onlineSegmentIDs</code> indiquent respectivement le nœud de requête qui charge le segment et le segment chargé, et <code translate="no">offlineNodeID</code> et <code translate="no">offlineSegmentIDs</code> indiquent respectivement le nœud de requête qui doit libérer le segment et le segment à libérer.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220228_145413_f253cec15b.png" alt="sealedSegmentChangeInfo" class="doc-image" id="sealedsegmentchangeinfo" />
   </span> <span class="img-wrapper"> <span>sealedSegmentChangeInfo</span> </span></p>
<p>Après avoir reçu l'information <code translate="no">sealedSegmentChangeInfo</code>, le nœud de requête source libère le segment cible.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220228_145436_2604bc57a5.png" alt="Load Balance Workflow" class="doc-image" id="load-balance-workflow" />
   </span> <span class="img-wrapper"> <span>Processus d'équilibrage de la charge</span> </span></p>
<p>L'ensemble du processus aboutit lorsque le nœud de requête source libère le segment cible. La charge de la requête est alors équilibrée entre les nœuds de requête, ce qui signifie que l'utilisation de la mémoire vive de tous les nœuds de requête n'est pas supérieure à <code translate="no">queryCoord.overloadedMemoryThresholdPercentage</code>, et que la valeur absolue de la différence d'utilisation de la mémoire vive entre les nœuds de requête source et de destination après l'équilibrage de la charge est inférieure à celle observée avant l'équilibrage de la charge.</p>
<h2 id="Whats-next" class="common-anchor-header">Quelles sont les prochaines étapes ?<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Dans la série de blogs sur les nouvelles fonctionnalités de la version 2.0, nous expliquons la conception des nouvelles fonctionnalités. Plus d'informations dans cette série de blogs !</p>
<ul>
<li><a href="https://milvus.io/blog/2022-02-07-how-milvus-deletes-streaming-data-in-distributed-cluster.md">Comment Milvus supprime les données en continu dans un cluster distribué</a></li>
<li><a href="https://milvus.io/blog/2022-2-21-compact.md">Comment compacter les données dans Milvus ?</a></li>
<li><a href="https://milvus.io/blog/2022-02-28-how-milvus-balances-query-load-across-nodes.md">Comment Milvus équilibre la charge des requêtes entre les nœuds ?</a></li>
<li><a href="https://milvus.io/blog/2022-2-14-bitset.md">Comment Bitset permet la polyvalence de la recherche par similarité vectorielle</a></li>
</ul>
<p>Ceci est le dernier article de la série de blogs sur les nouvelles fonctionnalités de Milvus 2.0. Après cette série, nous prévoyons une nouvelle série de Milvus <a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">Deep Dive</a>, qui présente l'architecture de base de Milvus 2.0. Restez à l'écoute.</p>


Comment Milvus équilibre-t-il la charge des requêtes entre les nœuds ?

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Compact_173a08ec1c.png" alt="Binlog Cover Image" class="doc-image" id="binlog-cover-image" />
   </span> <span class="img-wrapper"> <span>Image de couverture Binlog</span> </span></p>
<p>Par <a href="https://github.com/sunby">Bingyi Sun</a> et <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni</a>.</p>
<p>Avec la <a href="https://milvus.io/blog/2022-1-25-annoucing-general-availability-of-milvus-2-0.md">sortie officielle de</a> Milvus 2.0 GA, une liste de nouvelles fonctionnalités est prise en charge. Parmi celles-ci, le compactage est l'une des nouvelles fonctionnalités qui peut vous aider à économiser de l'espace de stockage.</p>
<p>Le compactage fait référence au processus de fusion de petits segments en grands segments et au nettoyage des données supprimées logiquement. En d'autres termes, le compactage réduit l'utilisation de l'espace disque en purgeant les entités supprimées ou expirées dans les binlogs. Il s'agit d'une tâche d'arrière-plan déclenchée par la <a href="https://milvus.io/docs/v2.0.x/four_layers.md#Data-coordinator-data-coord">coordination des données</a> et exécutée par le <a href="https://milvus.io/docs/v2.0.x/four_layers.md#Data-node">nœud de données</a> dans Milvus.</p>
<p>Cet article dissèque le concept et la mise en œuvre du compactage dans Milvus.</p>
<h2 id="What-is-compaction" class="common-anchor-header">Qu'est-ce que le compactage ?<button data-href="#What-is-compaction" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Avant d'entrer dans les détails de la mise en œuvre du compactage dans Milvus 2.0, il est essentiel de comprendre ce qu'est le compactage dans Milvus.</p>
<p>En tant qu'utilisateur de Milvus, vous avez souvent été gêné par l'utilisation croissante de l'espace disque. Un autre problème est qu'un segment de moins de 1 024 lignes n'est pas indexé et ne prend en charge que la recherche par force brute pour traiter les requêtes. Les petits segments causés par la vidange automatique ou la vidange provoquée par l'utilisateur peuvent nuire à l'efficacité des requêtes.</p>
<p>Par conséquent, pour résoudre les deux problèmes mentionnés ci-dessus, réduire l'utilisation du disque et améliorer l'efficacité des requêtes, Milvus prend en charge le compactage.</p>
<p>Les bases de données telles que <a href="https://github.com/google/leveldb">LevelDB</a> et <a href="http://rocksdb.org/">RocksDB</a> ajoutent des données aux tables de chaînes triées (SSTables). La moyenne des lectures de disque par requête augmente avec le nombre de tables SST, ce qui entraîne des requêtes inefficaces. Pour réduire l'amplification des lectures et libérer de l'espace sur le disque dur, ces bases de données compactent les tables SST en une seule. Les processus de compactage s'exécutent automatiquement en arrière-plan.</p>
<p>De même, Milvus ajoute les données insérées et supprimées aux <a href="https://github.com/milvus-io/milvus/blob/master/docs/developer_guides/chap08_binlog.md">binlogs</a>. Plus le nombre de journaux augmente, plus l'espace disque est utilisé. Pour libérer de l'espace sur le disque dur, Milvus compacte les binlogs des données supprimées et insérées. Si une entité est insérée puis supprimée, elle n'existe plus dans les binlogs qui enregistrent l'insertion ou la suppression des données une fois qu'ils ont été compactés. En outre, Milvus compacte également les <a href="https://milvus.io/docs/v2.0.x/glossary.md#Segment">segments</a> - fichiers de données créés automatiquement par Milvus pour contenir les données insérées.</p>
<h2 id="How-to-configure-compaction" class="common-anchor-header">Comment configurer le compactage ?<button data-href="#How-to-configure-compaction" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>La configuration du compactage dans Milvus implique principalement deux paramètres : <code translate="no">dataCoord.enableCompaction</code> et <code translate="no">common.retentionDuration</code>.</p>
<p><code translate="no">dataCoord.enableCompaction</code> spécifie si le compactage doit être activé. Sa valeur par défaut est <code translate="no">true</code>.</p>
<p><code translate="no">common.retentionDuration</code> spécifie une période pendant laquelle le compactage ne s'exécute pas. Son unité est la seconde. Lorsque vous compactez des données, toutes les entités supprimées seront rendues indisponibles pour la recherche avec Time Travel. Par conséquent, si vous envisagez d'effectuer des recherches avec Time Travel, vous devez spécifier une période pendant laquelle le compactage ne s'exécute pas et n'affecte pas les données supprimées. Pour garantir des résultats précis des recherches avec Time Travel, Milvus conserve les données exploitées au cours d'une période spécifiée par <code translate="no">common.retentionDuration</code>. En d'autres termes, les données exploitées au cours de cette période ne seront pas compactées. Pour plus de détails, voir <a href="https://milvus.io/docs/v2.0.x/timetravel.md">Recherche avec voyage dans le temps</a>.</p>
<p>Le compactage est activé par défaut dans Milvus. Si vous avez désactivé le compactage mais que vous souhaitez l'activer manuellement par la suite, vous pouvez suivre les étapes ci-dessous :</p>
<ol>
<li>Appelez la méthode <code translate="no">collection.compact()</code> pour déclencher manuellement un processus de compactage global. Notez toutefois que cette opération peut prendre beaucoup de temps.</li>
<li>Après avoir appelé la méthode, un ID de compactage est renvoyé. Vous pouvez consulter l'état du compactage en appelant la méthode <code translate="no">collection.get_compaction_state()</code>.</li>
</ol>
<p>Une fois le compactage activé, il s'exécute automatiquement en arrière-plan. Étant donné que le processus de compactage peut prendre beaucoup de temps, les demandes de compactage sont traitées de manière asynchrone pour gagner du temps.</p>
<h2 id="How-to-implement-compaction" class="common-anchor-header">Comment mettre en œuvre le compactage ?<button data-href="#How-to-implement-compaction" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Dans Milvus, vous pouvez mettre en œuvre le compactage manuellement ou automatiquement.</p>
<p>Le compactage manuel de binlogs ou de segments ne nécessite pas de satisfaire à des conditions de déclenchement. Par conséquent, si vous invoquez manuellement le compactage, les binlogs ou les segments seront compactés quoi qu'il arrive.</p>
<p>Toutefois, si vous souhaitez activer le compactage automatique, certaines conditions de déclenchement du compactage doivent être remplies pour que le système compacte vos segments ou vos binlogs.</p>
<p>En général, deux types d'objets peuvent être compactés dans Milvus : les journaux et les segments.</p>
<h2 id="Binlog-compaction" class="common-anchor-header">Compactage des binglogs<button data-href="#Binlog-compaction" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Un binlog est un journal binaire, ou une unité plus petite dans un segment, qui enregistre et gère les mises à jour et les modifications apportées aux données dans la base de données vectorielles Milvus. Les données d'un segment sont conservées dans plusieurs binlogs. Le compactage des binlogs implique deux types de binlogs dans Milvus : les binlogs d'insertion et les binlogs delta.</p>
<p>Les binlogs delta sont générés lorsque des données sont supprimées, tandis que les binlogs d'insertion sont générés dans les trois circonstances suivantes.</p>
<ul>
<li>Lorsque des données insérées sont ajoutées, le segment atteint la limite supérieure de taille et est automatiquement évacué sur le disque.</li>
<li>DataCoord vide automatiquement les segments qui restent non scellés pendant une longue période.</li>
<li>Certaines API comme <code translate="no">collection.num_entities</code>, <code translate="no">collection.load()</code>, et d'autres encore, invoquent automatiquement le rinçage pour écrire des segments sur le disque.</li>
</ul>
<p>Par conséquent, le compactage des journaux, comme son nom l'indique, fait référence au compactage des journaux à l'intérieur d'un segment. Plus précisément, lors du compactage de binlogs, tous les binlogs delta et les binlogs d'insertion qui ne sont pas conservés sont compactés.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/binlog_compaction_d7f8f910c8.png" alt="Binlog compaction" class="doc-image" id="binlog-compaction" />
   </span> <span class="img-wrapper"> <span>Compactage des binlogs</span> </span></p>
<p>Lorsqu'un segment est transféré sur le disque ou lorsque Milvus demande un compactage global parce que le compactage n'a pas été exécuté depuis longtemps, au moins l'une des deux conditions suivantes doit être remplie pour déclencher le compactage automatique :</p>
<ol>
<li>Les lignes dans les delta binlogs représentent plus de 20 % du nombre total de lignes.</li>
<li>La taille des delta binlogs dépasse 10 Mo.</li>
</ol>
<h2 id="Segment-compaction" class="common-anchor-header">Compactage de segments<button data-href="#Segment-compaction" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Un <a href="https://milvus.io/docs/v2.0.x/glossary.md#Segment">segment</a> est un fichier de données créé automatiquement par Milvus pour contenir les données insérées. Il existe deux types de segments dans Milvus : le segment croissant et le segment scellé.</p>
<p>Un segment croissant continue à recevoir les données nouvellement insérées jusqu'à ce qu'il soit scellé. Un segment scellé ne reçoit plus de nouvelles données et sera évacué vers le stockage d'objets, laissant les nouvelles données à insérer dans un segment croissant nouvellement créé.</p>
<p>Par conséquent, le compactage de segments fait référence au compactage de plusieurs segments scellés. Plus précisément, lors du compactage de segments, les petits segments sont compactés en segments plus grands.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/segment_compaction_92eecc0e55.jpeg" alt="Segment compaction" class="doc-image" id="segment-compaction" />
   </span> <span class="img-wrapper"> <span>Compactage de segments</span> </span></p>
<p>Chaque segment généré après le compactage ne peut pas dépasser la limite supérieure de la taille d'un segment, qui est de 512 Mo par défaut. Consultez les <a href="https://milvus.io/docs/v2.0.x/system_configuration.md">configurations du système</a> pour savoir comment modifier la limite supérieure de la taille d'un segment.</p>
<p>Lorsqu'un segment se vide sur le disque, ou lorsque Milvus demande un compactage global parce que le compactage n'a pas été exécuté depuis longtemps, la condition suivante doit être remplie pour déclencher le compactage automatique :</p>
<ul>
<li>Segments inférieurs à 0,5 * <code translate="no">MaxSegmentSize</code> est supérieur à 10.</li>
</ul>
<h2 id="Whats-next" class="common-anchor-header">Que faire ensuite ?<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Que faire après avoir appris les bases du compactage dans Milvus ? Actuellement, tous les paramètres de configuration du compactage ne figurent pas dans le fichier <code translate="no">milvus.yaml</code> et les stratégies de génération de plans sont relativement basiques. Si vous êtes intéressé, venez contribuer à Milvus, <a href="https://github.com/milvus-io">le projet open-source</a>!</p>
<p>Par ailleurs, dans la série de blogs sur les nouvelles fonctionnalités de la version 2.0, nous nous efforçons d'expliquer la conception des nouvelles fonctionnalités. En savoir plus sur cette série de blogs !</p>
<ul>
<li><a href="https://milvus.io/blog/2022-02-07-how-milvus-deletes-streaming-data-in-distributed-cluster.md">Comment Milvus supprime les données en continu dans un cluster distribué</a></li>
<li><a href="https://milvus.io/blog/2022-2-21-compact.md">Comment compacter les données dans Milvus ?</a></li>
<li><a href="https://milvus.io/blog/2022-02-28-how-milvus-balances-query-load-across-nodes.md">Comment Milvus équilibre la charge des requêtes entre les nœuds ?</a></li>
<li><a href="https://milvus.io/blog/2022-2-14-bitset.md">Comment Bitset permet la polyvalence de la recherche par similarité vectorielle</a></li>
</ul>
<h2 id="About-the-author" class="common-anchor-header">A propos de l'auteur<button data-href="#About-the-author" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Bingyi Sun, ingénieur logiciel principal du projet Milvus, a obtenu sa maîtrise en ingénierie logicielle à l'université Jiao Tong de Shanghai. Il est principalement responsable du développement des composants liés au stockage dans Milvus 2.0. Son domaine d'intérêt est la base de données et les systèmes distribués. C'est un grand fan de projets open source et un gourmet qui aime jouer aux jeux vidéo et lire pendant son temps libre.</p>


Comment compacter les données dans Milvus ?

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Bitset_cd54487e7b.png" alt="Bitset Cover Image" class="doc-image" id="bitset-cover-image" />
   </span> <span class="img-wrapper"> <span>Image de couverture de Bitset</span> </span></p>
<p>Par <a href="https://github.com/cydrain">Yudong Cai</a> et <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni</a>.</p>
<p>Plusieurs <a href="https://milvus.io/blog/2022-1-27-milvus-2-0-a-glimpse-at-new-features.md">nouvelles fonctionnalités essentielles</a> d'une base de données vectorielle sont fournies avec la <a href="https://milvus.io/blog/2022-1-25-annoucing-general-availability-of-milvus-2-0.md">sortie de</a> Milvus 2.0. Parmi les nouvelles fonctionnalités, les <a href="https://milvus.io/blog/2022-02-07-how-milvus-deletes-streaming-data-in-distributed-cluster.md">opérations de</a> <a href="https://milvus.io/docs/v2.0.x/timetravel_ref.md">déplacement dans le temps</a>, de filtrage des attributs et de <a href="https://milvus.io/blog/2022-02-07-how-milvus-deletes-streaming-data-in-distributed-cluster.md">suppression</a> sont corrélées, car ces trois fonctionnalités sont réalisées par un mécanisme commun, le bitset.</p>
<p>Cet article vise donc à clarifier le concept de bitset dans Milvus et à expliquer comment il fonctionne pour prendre en charge les opérations de suppression, le voyage dans le temps et le filtrage d'attributs à l'aide de trois exemples.</p>
<h2 id="What-is-bitset" class="common-anchor-header">Qu'est-ce qu'un ensemble de bits ?<button data-href="#What-is-bitset" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Un ensemble de bits est un tableau de nombres de bits ("0" et "1") qui peut être utilisé pour représenter certaines informations de données. Avec les bitsets, vous pouvez stocker certains types de données de manière compacte et efficace, plutôt que de les stocker dans des Ints, des floats ou des chars. Les bitsets fonctionnent selon la <a href="https://milvus.io/docs/v2.0.x/boolean.md">logique booléenne</a>, selon laquelle la valeur d'une sortie est soit valide, soit invalide, généralement désignée par "1" et "0" respectivement. La valeur "1" correspond à une valeur valide et la valeur "0" à une valeur non valide. Étant donné que les ensembles de bits sont très efficaces et permettent d'économiser de l'espace de stockage, ils peuvent également être utilisés pour réaliser de nombreuses fonctionnalités telles que le filtrage d'attributs, les opérations de suppression, le voyage dans le temps, etc.</p>
<p>À partir de la version 0.7.0, le concept de bitset a été introduit dans Milvus pour permettre la <a href="https://milvus.io/blog/deleting-data-in-milvus.md">fonction de suppression</a>. Plus précisément, le jeu de bits est utilisé pour indiquer si chaque ligne du segment est supprimée. Les entités supprimées sont marquées d'un "1" dans l'ensemble de bits correspondant et, par conséquent, les entités supprimées ne seront pas calculées lors d'une recherche ou d'une interrogation.</p>
<p>Dans la version 2.0 de Milvus, l'application de l'ensemble de bits est étendue à d'autres fonctions, telles que le filtrage d'attributs et le voyage dans le temps. Le principe général d'un jeu de bits reste le même. C'est-à-dire que si une entité est marquée d'un "1" dans le jeu de bits correspondant, l'entité sera ignorée lors d'une recherche ou d'une interrogation. Les jeux de bits sont utilisés pour activer 3 fonctions dans Milvus :</p>
<ul>
<li>le filtrage des attributs</li>
<li>Suppression de données</li>
<li>Requête avec voyage dans le temps</li>
</ul>
<h2 id="How-does-bitset-work-in-Milvus" class="common-anchor-header">Comment les bitsets fonctionnent-ils dans Milvus ?<button data-href="#How-does-bitset-work-in-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Les exemples ci-dessous illustrent le fonctionnement des bitsets dans Milvus.</p>
<h3 id="Prerequisites" class="common-anchor-header">Conditions préalables</h3><p>Supposons qu'il y ait un segment avec huit entités et qu'une série d'événements de langage de manipulation de données (DML) se produise dans l'ordre indiqué dans la figure ci-dessous.</p>
<ul>
<li>Quatre des entités, dont les <code translate="no">primary_keys</code> sont respectivement [1, 2, 3, 4], sont insérées lorsque l'horodatage <code translate="no">ts</code> est égal à 100.</li>
<li>Les quatre entités restantes, dont les <code translate="no">primary_keys</code> sont [5, 6, 7, 8], sont insérées lorsque l'horodatage <code translate="no">ts</code> est égal à 200.</li>
<li>Les entités dont les <code translate="no">primary_keys</code> sont [7, 8] sont supprimées lorsque l'horodatage <code translate="no">ts</code> est égal à 300.</li>
<li>Seules les entités dont les <code translate="no">primary_keys</code> sont [1, 3, 5, 7] satisfont aux conditions de filtrage des attributs.</li>
</ul>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/UML_1_0a3605808c.jpg" alt="DML events" class="doc-image" id="dml-events" />
   </span> <span class="img-wrapper"> <span>Événements DML</span> </span></p>
<h3 id="Case-one" class="common-anchor-header">Premier cas</h3><p>Supposons que la valeur définie par un utilisateur pour <code translate="no">time_travel</code> soit 150. En d'autres termes, l'utilisateur effectue une requête sur les données stockées dans Milvus lorsque <code translate="no">ts</code> = 150. Le processus de génération de l'ensemble de bits est illustré par la figure 1.</p>
<p>Au cours de l'étape de filtrage initiale, le résultat du site <code translate="no">filter_bitset</code> devrait être [1, 0, 1, 0, 1, 0, 1, 0] car les entités [1, 3, 5, 7] sont des résultats de filtrage valides et marqués comme "1" dans le jeu de bits. Toutefois, les entités [4, 5, 6, 7] n'ont même pas été insérées dans la base de données vectorielle lorsque <code translate="no">ts</code> est égal à 150. Par conséquent, ces quatre entités doivent être marquées comme "0", quelle que soit la condition de filtrage. Le résultat de l'ensemble de bits devrait être [1, 0, 1, 0, 0, 0, 0, 0]. Étant donné que dans Milvus, le principe général du calcul de l'ensemble de bits est que les entités marquées d'un "1" dans l'ensemble de bits sont ignorées lors d'une recherche ou d'une requête, le résultat de l'ensemble de bits après le voyage dans le temps et le filtrage des attributs doit être inversé afin d'être combiné avec le schéma binaire de suppression. Le résultat inversé de <code translate="no">filter_bitset</code> devrait être [0, 1, 0, 1, 1, 1, 1, 1, 1].</p>
<p>Quant à l'ensemble de bits de suppression <code translate="no">del_bitset</code>, sa valeur initiale devrait être [0, 0, 0, 0, 0, 0, 1, 1]. Cependant, les entités 7 et 8 ne sont pas supprimées tant que <code translate="no">ts</code> n'a pas atteint la valeur 300. Par conséquent, lorsque <code translate="no">ts</code> vaut 150, les entités 7 et 8 sont encore valides. Par conséquent, la valeur de <code translate="no">del_bitset</code> après Time Travel devrait être [0, 0, 0, 0, 0, 0, 0, 0].</p>
<p>Nous avons maintenant deux ensembles de bits après le voyage dans le temps et le filtrage des attributs : <code translate="no">filter_bitset</code> [0, 1, 0, 1, 1, 1, 1, 1] et <code translate="no">del_bitset</code> [0, 0, 0, 0, 0, 0, 0, 0].  Combinez ces deux ensembles de bits avec l'opérateur logique binaire "OR". La valeur finale de <code translate="no">result_bitset</code> est [0, 1, 0, 1, 1, 1, 1, 1]. En d'autres termes, seules les entités 1 et 3 seront calculées lors de l'étape suivante de recherche ou d'interrogation.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/bitset_figure1_1b5852f7a7.jpeg" alt="Figure 1" class="doc-image" id="figure-1" />
   </span> <span class="img-wrapper"> <span>Figure 1</span> </span></p>
<h3 id="Case-two" class="common-anchor-header">Deuxième cas</h3><p>Supposons que la valeur fixée par l'utilisateur pour <code translate="no">time_travel</code> soit 250. En d'autres termes, l'utilisateur effectue une requête sur les données stockées dans Milvus lorsque <code translate="no">ts</code> = 250. Le processus de génération de l'ensemble de bits est illustré par la figure 2.</p>
<p>Comme dans le premier cas, le résultat <code translate="no">filter_bitset</code> de l'étape initiale de filtrage des attributs devrait être [1, 0, 1, 0, 1, 0, 1, 0].</p>
<p>Toutes les entités [1, 2, 3, 4, 5, 6, 7, 8] sont insérées dans la base de données vectorielle lorsque <code translate="no">ts</code>= 250. Par conséquent, le résultat précédent de <code translate="no">filter_bitset</code> reste le même. Une fois encore, nous devons inverser le résultat de <code translate="no">filter_bitset</code>, et nous obtiendrons [0, 1, 0, 1, 0, 1, 0, 1].</p>
<p>Quant à l'ensemble de bits de suppression <code translate="no">del_bitset</code>, sa valeur initiale devrait être [0, 0, 0, 0, 0, 0, 1, 1]. Cependant, les entités 7 et 8 n'ont pas été supprimées avant que <code translate="no">ts</code> ne soit à 300. Par conséquent, lorsque <code translate="no">ts</code> vaut 250, les entités 7 et 8 sont encore valides. Par conséquent, la valeur de <code translate="no">del_bitset</code> après Time Travel devrait être [0, 0, 0, 0, 0, 0, 0, 0].</p>
<p>Nous avons maintenant deux ensembles de bits après le voyage dans le temps et le filtrage des attributs : <code translate="no">filter_bitset</code> [0, 1, 0, 1, 0, 1, 0, 1] et <code translate="no">del_bitset</code> [0, 0, 0, 0, 0, 0, 0].  Combinez ces deux ensembles de bits avec l'opérateur logique binaire "OR". La valeur finale de <code translate="no">result_bitset</code> est [0, 1, 0, 1, 0, 1, 0, 1]. En d'autres termes, seules les entités [1, 3, 5, 7] seront calculées lors de l'étape suivante de recherche ou d'interrogation.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/bitset_figure2_7cbaa7c719.jpeg" alt="Figure 2" class="doc-image" id="figure-2" />
   </span> <span class="img-wrapper"> <span>Figure 2</span> </span></p>
<h3 id="Case-three" class="common-anchor-header">Troisième cas</h3><p>Supposons que la valeur fixée par l'utilisateur pour <code translate="no">time_travel</code> soit 350. En d'autres termes, l'utilisateur effectue une requête sur les données stockées dans Milvus lorsque <code translate="no">ts</code> = 350. Le processus de génération de l'ensemble de bits est illustré par la figure 3.</p>
<p>Comme dans les cas 1 et 2, le résultat <code translate="no">filter_bitset</code> de l'étape initiale de filtrage des attributs est [0, 1, 0, 1, 0, 1, 0, 1].</p>
<p>Toutes les entités [1, 2, 3, 4, 5, 6, 7, 8] sont insérées dans la base de données vectorielle lorsque <code translate="no">ts</code>= 350. Par conséquent, le résultat final inversé de <code translate="no">filter_bitset</code> est [0, 1, 0, 1, 0, 1, 0, 1], comme dans le deuxième cas.</p>
<p>En ce qui concerne l'ensemble binaire de suppression <code translate="no">del_bitset</code>, les entités 7 et 8 étant déjà supprimées lorsque <code translate="no">ts</code>=350, le résultat de <code translate="no">del_bitset</code> devrait être [0, 0, 0, 0, 0, 1, 1].</p>
<p>Nous avons maintenant deux ensembles de bits après le voyage dans le temps et le filtrage des attributs : <code translate="no">filter_bitset</code> [0, 1, 0, 1, 0, 1, 0, 1] et <code translate="no">del_bitset</code> [0, 0, 0, 0, 0, 0, 1, 1].  Combinez ces deux ensembles de bits avec l'opérateur logique binaire "OR". La valeur finale de <code translate="no">result_bitset</code> est [0, 1, 0, 1, 0, 1, 1, 1]. En d'autres termes, seules les entités [1, 3, 5] seront calculées lors de l'étape suivante de recherche ou d'interrogation.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/bitset_figure3_dd46a6aecf.jpeg" alt="Figure 3" class="doc-image" id="figure-3" />
   </span> <span class="img-wrapper"> <span>Figure 3</span> </span></p>
<h2 id="Whats-next" class="common-anchor-header">Quelles sont les prochaines nouveautés ?<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Dans la série de blogs sur les nouvelles fonctionnalités de la version 2.0, nous expliquons la conception des nouvelles fonctionnalités. En savoir plus sur cette série de blogs !</p>
<ul>
<li><a href="https://milvus.io/blog/2022-02-07-how-milvus-deletes-streaming-data-in-distributed-cluster.md">Comment Milvus supprime les données en continu dans un cluster distribué</a></li>
<li><a href="https://milvus.io/blog/2022-2-21-compact.md">Comment compacter les données dans Milvus ?</a></li>
<li><a href="https://milvus.io/blog/2022-02-28-how-milvus-balances-query-load-across-nodes.md">Comment Milvus équilibre la charge des requêtes entre les nœuds ?</a></li>
<li><a href="https://milvus.io/blog/2022-2-14-bitset.md">Comment Bitset permet la polyvalence de la recherche par similarité vectorielle</a></li>
</ul>


Comment Bitset permet la polyvalence de la recherche par similarité vectorielle

<custom-h1>Comment Milvus supprime les données en continu dans un cluster distribué</custom-h1><p>Doté d'un traitement unifié par lots et en continu et d'une architecture cloud-native, Milvus 2.0 représente un défi plus important que son prédécesseur lors du développement de la fonction DELETE. Grâce à sa conception avancée de désagrégation du stockage et du calcul et au mécanisme flexible de publication/abonnement, nous sommes fiers d'annoncer que nous y sommes parvenus. Dans Milvus 2.0, vous pouvez supprimer une entité dans une collection donnée avec sa clé primaire afin que l'entité supprimée ne soit plus répertoriée dans le résultat d'une recherche ou d'une requête.</p>
<p>Veuillez noter que l'opération DELETE dans Milvus se réfère à la suppression logique, alors que le nettoyage physique des données a lieu pendant le compactage des données. La suppression logique permet non seulement d'améliorer considérablement les performances de recherche limitées par la vitesse d'E/S, mais aussi de faciliter la récupération des données. Les données supprimées logiquement peuvent toujours être récupérées à l'aide de la fonction Time Travel.</p>
<h2 id="Usage" class="common-anchor-header">Utilisation<button data-href="#Usage" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Essayons d'abord la fonction DELETE dans Milvus 2.0. (L'exemple suivant utilise PyMilvus 2.0.0 sur Milvus 2.0.0).</p>
<pre><code translate="no" class="language-python"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> connections, utility, Collection, DataType, FieldSchema, CollectionSchema
<span class="hljs-comment"># Connect to Milvus</span>
connections.connect(
    alias=<span class="hljs-string">&quot;default&quot;</span>, 
    host=<span class="hljs-string">&#x27;x.x.x.x&#x27;</span>, 
    port=<span class="hljs-string">&#x27;19530&#x27;</span>
)
<span class="hljs-comment"># Create a collection with Strong Consistency level</span>
pk_field = FieldSchema(
    name=<span class="hljs-string">&quot;id&quot;</span>, 
    dtype=DataType.INT64, 
    is_primary=<span class="hljs-literal">True</span>, 
)
vector_field = FieldSchema(
    name=<span class="hljs-string">&quot;vector&quot;</span>, 
    dtype=DataType.FLOAT_VECTOR, 
    dim=<span class="hljs-number">2</span>
)
schema = CollectionSchema(
    fields=[pk_field, vector_field], 
    description=<span class="hljs-string">&quot;Test delete&quot;</span>
)
collection_name = <span class="hljs-string">&quot;test_delete&quot;</span>
collection = Collection(
    name=collection_name, 
    schema=schema, 
    using=<span class="hljs-string">&#x27;default&#x27;</span>, 
    shards_num=<span class="hljs-number">2</span>,
    consistency_level=<span class="hljs-string">&quot;Strong&quot;</span>
)
<span class="hljs-comment"># Insert randomly generated vectors</span>
<span class="hljs-keyword">import</span> random
data = [
    [i <span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-number">100</span>)],
    [[random.random() <span class="hljs-keyword">for</span> _ <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-number">2</span>)] <span class="hljs-keyword">for</span> _ <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-number">100</span>)],
]
collection.insert(data)
<span class="hljs-comment"># Query to make sure the entities to delete exist</span>
collection.load()
expr = <span class="hljs-string">&quot;id in [2,4,6,8,10]&quot;</span>
pre_del_res = collection.query(
    expr,
    output_fields = [<span class="hljs-string">&quot;id&quot;</span>, <span class="hljs-string">&quot;vector&quot;</span>]
)
<span class="hljs-built_in">print</span>(pre_del_res)
<span class="hljs-comment"># Delete the entities with the previous expression</span>
collection.delete(expr)
<span class="hljs-comment"># Query again to check if the deleted entities exist</span>
post_del_res = collection.query(
    expr,
    output_fields = [<span class="hljs-string">&quot;id&quot;</span>, <span class="hljs-string">&quot;vector&quot;</span>]
)
<span class="hljs-built_in">print</span>(post_del_res)
<button class="copy-code-btn"></button></code></pre>
<h2 id="Implementation" class="common-anchor-header">Mise en œuvre<button data-href="#Implementation" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Dans une instance Milvus, un nœud de données est principalement responsable de l'empaquetage des données en continu (journaux dans le courtier de journaux) en tant que données historiques (instantanés de journaux) et de leur vidage automatique vers le stockage d'objets. Un nœud d'interrogation exécute les demandes de recherche sur des données complètes, c'est-à-dire à la fois des données en continu et des données historiques.</p>
<p>Pour tirer le meilleur parti de la capacité d'écriture de données des nœuds parallèles d'une grappe, Milvus adopte une stratégie de partage basée sur le hachage de clés primaires afin de répartir uniformément les opérations d'écriture entre les différents nœuds de travail. En d'autres termes, le proxy achemine les messages DML (Data Manipulation Language) (c'est-à-dire les demandes) d'une entité vers le même nœud de données et le même nœud d'interrogation. Ces messages sont publiés via le canal DML et consommés par le nœud de données et le nœud d'interrogation séparément afin de fournir des services de recherche et d'interrogation ensemble.</p>
<h3 id="Data-node" class="common-anchor-header">Nœud de données</h3><p>Après avoir reçu les messages INSERT de données, le nœud de données insère les données dans un segment croissant, qui est un nouveau segment créé pour recevoir des données en continu dans la mémoire. Si le nombre de lignes de données ou la durée du segment croissant atteint le seuil, le nœud de données le scelle pour empêcher toute entrée de données. Le nœud de données évacue ensuite le segment scellé, qui contient les données historiques, vers le stockage d'objets. Pendant ce temps, le nœud de données génère un filtre bloom basé sur les clés primaires des nouvelles données, et l'envoie dans le stockage d'objets avec le segment scellé, en sauvegardant le filtre bloom dans le journal binaire des statistiques (binlog), qui contient les informations statistiques du segment.</p>
<blockquote>
<p>Un filtre de Bloom est une structure de données probabiliste composée d'un long vecteur binaire et d'une série de fonctions de mappage aléatoires. Il peut être utilisé pour tester si un élément est membre d'un ensemble, mais peut renvoyer des résultats faussement positifs.           -- Wikipedia</p>
</blockquote>
<p>Lorsque des messages de suppression de données arrivent, le nœud de données met en mémoire tampon tous les filtres Bloom dans le shard correspondant, et les fait correspondre aux clés primaires fournies dans les messages pour récupérer tous les segments (à la fois les segments en croissance et les segments scellés) qui pourraient inclure les entités à supprimer. Après avoir repéré les segments correspondants, le nœud de données les met en mémoire tampon pour générer les binlogs Delta afin d'enregistrer les opérations de suppression, puis renvoie ces binlogs ainsi que les segments vers le stockage d'objets.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/data_node_2397ad70c3.png" alt="Data Node" class="doc-image" id="data-node" />
   </span> <span class="img-wrapper"> <span>Nœud de données</span> </span></p>
<p>Étant donné qu'un canal DML n'est attribué qu'à un seul shard, les nœuds de requête supplémentaires ajoutés au cluster ne pourront pas s'abonner au canal DML. Pour s'assurer que tous les nœuds de requête peuvent recevoir les messages DELETE, les nœuds de données filtrent les messages DELETE du canal DML et les transmettent au canal Delta pour notifier les opérations de suppression à tous les nœuds de requête.</p>
<h3 id="Query-node" class="common-anchor-header">Nœud de requête</h3><p>Lors du chargement d'une collection à partir du stockage d'objets, le nœud d'interrogation obtient d'abord le point de contrôle de chaque tesson, qui marque les opérations DML depuis la dernière opération de vidage. Sur la base du point de contrôle, le nœud d'interrogation charge tous les segments scellés avec leur binlog Delta et leurs filtres Bloom. Une fois toutes les données chargées, le nœud de requête s'abonne à DML-Channel, Delta-Channel et Query-Channel.</p>
<p>Si d'autres messages INSERT de données arrivent après le chargement de la collection en mémoire, le nœud d'interrogation identifie d'abord les segments croissants en fonction des messages et met à jour les filtres de floraison correspondants en mémoire à des fins d'interrogation uniquement. Ces filtres de floraison dédiés à la requête ne seront pas évacués vers le stockage d'objets une fois la requête terminée.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/query_node_a78b1d664f.png" alt="Query Node" class="doc-image" id="query-node" />
   </span> <span class="img-wrapper"> <span>Nœud de requête</span> </span></p>
<p>Comme indiqué ci-dessus, seul un certain nombre de nœuds de requête peuvent recevoir des messages DELETE du canal DML, ce qui signifie qu'ils sont les seuls à pouvoir exécuter les requêtes DELETE dans des segments croissants. Les nœuds de requête qui se sont abonnés au canal DML filtrent d'abord les messages DELETE dans les segments croissants, localisent les entités en faisant correspondre les clés primaires fournies avec les filtres de Bloom des segments croissants dédiés aux requêtes, puis enregistrent les opérations de suppression dans les segments correspondants.</p>
<p>Les nœuds de requête qui ne peuvent pas s'abonner au canal DML sont uniquement autorisés à traiter des demandes de recherche ou de requête sur des segments scellés, car ils ne peuvent s'abonner qu'au canal Delta et recevoir les messages DELETE transmis par les nœuds de données. Après avoir collecté tous les messages DELETE dans les segments scellés du canal Delta, les nœuds de requête localisent les entités en faisant correspondre les clés primaires fournies avec les filtres Bloom des segments scellés, puis enregistrent les opérations de suppression dans les segments correspondants.</p>
<p>Enfin, lors d'une recherche ou d'une interrogation, les nœuds d'interrogation génèrent un jeu de bits basé sur les enregistrements de suppression afin d'omettre les entités supprimées et de rechercher parmi les entités restantes de tous les segments, quel que soit l'état du segment. Enfin, le niveau de cohérence influe sur la visibilité des données supprimées. Avec un niveau de cohérence fort (comme le montre l'exemple de code précédent), les entités supprimées sont immédiatement invisibles après la suppression. Si le niveau de cohérence limité est adopté, il y aura plusieurs secondes de latence avant que les entités supprimées ne deviennent invisibles.</p>
<h2 id="Whats-next" class="common-anchor-header">Quelles sont les prochaines étapes ?<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Dans la série de blogs sur les nouvelles fonctionnalités de la version 2.0, nous nous efforcerons d'expliquer la conception des nouvelles fonctionnalités. En savoir plus sur cette série de blogs !</p>
<ul>
<li><a href="https://milvus.io/blog/2022-02-07-how-milvus-deletes-streaming-data-in-distributed-cluster.md">Comment Milvus supprime les données en continu dans un cluster distribué</a></li>
<li><a href="https://milvus.io/blog/2022-2-21-compact.md">Comment compacter les données dans Milvus ?</a></li>
<li><a href="https://milvus.io/blog/2022-02-28-how-milvus-balances-query-load-across-nodes.md">Comment Milvus équilibre la charge des requêtes entre les nœuds ?</a></li>
<li><a href="https://milvus.io/blog/2022-2-14-bitset.md">Comment Bitset permet la polyvalence de la recherche par similarité vectorielle</a></li>
</ul>


Utilisation

Milvus 2.0 - Un aperçu des nouvelles fonctionnalités

<p>Chers membres et amis de la communauté Milvus :</p>
<p>Aujourd'hui, six mois après que la première version candidate (RC) a été rendue publique, nous sommes ravis d'annoncer que Milvus 2.0 est <a href="https://milvus.io/docs/v2.0.x/release_notes.md#v200">disponible en version générale (GA)</a> et prêt pour la production ! Le chemin a été long et nous remercions tous les contributeurs de la communauté, les utilisateurs et la LF AI &amp; Data Foundation qui nous ont aidés à atteindre cet objectif.</p>
<p>La capacité à traiter des milliards de données de haute dimension est un enjeu majeur pour les systèmes d'IA de nos jours, et ce pour de bonnes raisons :</p>
<ol>
<li>Les données non structurées occupent des volumes dominants par rapport aux données structurées traditionnelles.</li>
<li>La fraîcheur des données n'a jamais été aussi importante. Les scientifiques des données sont avides de solutions de données opportunes plutôt que du compromis traditionnel T+1.</li>
<li>Les coûts et les performances sont devenus encore plus critiques, et pourtant il existe toujours un écart important entre les solutions actuelles et les cas d'utilisation réels. D'où Milvus 2.0. Milvus est une base de données qui permet de traiter des données de haute dimension à grande échelle. Elle est conçue pour le cloud et peut fonctionner partout. Si vous avez suivi nos versions RC, vous savez que nous avons consacré beaucoup d'efforts à rendre Milvus plus stable et plus facile à déployer et à maintenir.</li>
</ol>
<h2 id="Milvus-20-GA-now-offers" class="common-anchor-header">Milvus 2.0 GA offre désormais<button data-href="#Milvus-20-GA-now-offers" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><strong>Suppression d'entités</strong></p>
<p>En tant que base de données, Milvus supporte maintenant la <a href="https://milvus.io/docs/v2.0.x/delete_data.md">suppression d'entités par clé primaire</a> et supportera plus tard la suppression d'entités par expression.</p>
<p><strong>Équilibre de charge automatique</strong></p>
<p>Milvus prend désormais en charge la politique d'équilibrage de charge plugin pour équilibrer la charge de chaque nœud de requête et de chaque nœud de données. Grâce à la désagrégation du calcul et du stockage, l'équilibrage sera effectué en quelques minutes seulement.</p>
<p><strong>Transfert</strong></p>
<p>Une fois que les segments croissants sont scellés par le flush, les tâches de handoff remplacent les segments croissants par des segments historiques indexés afin d'améliorer les performances de recherche.</p>
<p><strong>Compactage des données</strong></p>
<p>Le compactage des données est une tâche d'arrière-plan qui permet de fusionner les petits segments en grands segments et de nettoyer les données logiques supprimées.</p>
<p><strong>Prise en charge de etcd intégré et du stockage local des données</strong></p>
<p>En mode autonome Milvus, nous pouvons supprimer la dépendance etcd/MinIO avec seulement quelques configurations. Le stockage local des données peut également être utilisé comme cache local pour éviter de charger toutes les données dans la mémoire principale.</p>
<p><strong>SDKs multi-langues</strong></p>
<p>En plus de <a href="https://github.com/milvus-io/pymilvus">PyMilvus</a>, les SDK <a href="https://github.com/milvus-io/milvus-sdk-node">Node.js</a>, <a href="https://github.com/milvus-io/milvus-sdk-java">Java</a> et <a href="https://github.com/milvus-io/milvus-sdk-go">Go</a> sont maintenant prêts à l'emploi.</p>
<p><strong>Milvus K8s Operator</strong></p>
<p><a href="https://milvus.io/docs/v2.0.x/install_cluster-milvusoperator.md">Milvus Operator</a> fournit une solution facile pour déployer et gérer une pile de services Milvus complète, y compris les composants Milvus et ses dépendances pertinentes (par exemple, etcd, Pulsar et MinIO), vers les clusters <a href="https://kubernetes.io/">Kubernetes</a> cibles d'une manière évolutive et hautement disponible.</p>
<p><strong>Outils qui aident à gérer Milvus</strong></p>
<p>Nous devons remercier <a href="https://zilliz.com/">Zilliz</a> pour la fantastique contribution des outils de gestion. Nous avons maintenant <a href="https://milvus.io/docs/v2.0.x/attu.md">Attu</a>, qui nous permet d'interagir avec Milvus via une interface graphique intuitive, et <a href="https://milvus.io/docs/v2.0.x/cli_overview.md">Milvus_CLI</a>, un outil de ligne de commande pour gérer Milvus.</p>
<p>Grâce aux 212 contributeurs, la communauté a terminé 6718 commits au cours des 6 derniers mois, et des tonnes de problèmes de stabilité et de performance ont été résolus. Nous publierons notre rapport sur la stabilité et les performances peu après la sortie de la version 2.0 GA.</p>
<h2 id="Whats-next" class="common-anchor-header">Quelles sont les prochaines étapes ?<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><strong>Fonctionnalité</strong></p>
<p>La prise en charge des types de chaînes sera la prochaine fonctionnalité phare de Milvus 2.1. Nous introduirons également un mécanisme de temps de vie (TTL) et une gestion ACL de base afin de mieux répondre aux besoins des utilisateurs.</p>
<p><strong>Disponibilité</strong></p>
<p>Nous travaillons à la refonte du mécanisme de planification de la coordination des requêtes afin de prendre en charge plusieurs répliques de mémoire pour chaque segment. Avec plusieurs répliques actives, Milvus peut prendre en charge un basculement plus rapide et une exécution spéculative afin de réduire le temps d'arrêt à quelques secondes.</p>
<p><strong>Performances</strong></p>
<p>Les résultats des tests de performance seront bientôt disponibles sur nos sites web. Les versions suivantes devraient connaître une amélioration impressionnante des performances. Notre objectif est de réduire de moitié la latence de recherche pour les petits ensembles de données et de doubler le débit du système.</p>
<p><strong>Facilité d'utilisation</strong></p>
<p>Milvus est conçu pour fonctionner partout. Nous prendrons en charge Milvus sur MacOS (M1 et X86) et sur les serveurs ARM dans les prochaines petites versions. Nous proposerons également PyMilvus intégré afin que vous puissiez simplement <code translate="no">pip install</code> Milvus sans configuration complexe de l'environnement.</p>
<p><strong>Gouvernance de la communauté</strong></p>
<p>Nous allons affiner les règles d'adhésion et clarifier les exigences et les responsabilités des rôles des contributeurs. Un programme de mentorat est également en cours de développement ; si vous êtes intéressé par les bases de données cloud-natives, la recherche vectorielle et/ou la gouvernance de la communauté, n'hésitez pas à nous contacter.</p>
<p>Nous sommes très enthousiastes à propos de la dernière version de Milvus GA ! Comme toujours, nous sommes heureux de recevoir vos commentaires. Si vous rencontrez des problèmes, n'hésitez pas à nous contacter sur <a href="https://github.com/milvus-io/milvus">GitHub</a> ou via <a href="http://milvusio.slack.com/">Slack</a>.</p>
<p><br/></p>
<p>Meilleures salutations,</p>
<p>Xiaofan Luan</p>
<p>Responsable du projet Milvus</p>
<p><br/></p>
<blockquote>
<p><em>Édité par <a href="https://github.com/claireyuw">Claire Yu</a>.</em></p>
</blockquote>


Annonce de la disponibilité générale de Milvus 2.0

<p>Cet article est traduit par <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni.</a></p>
<p>L'information est omniprésente dans nos vies. Meta (anciennement connu sous le nom de Facebook), Instagram, Twitter et d'autres plateformes de médias sociaux rendent les flux d'informations d'autant plus omniprésents. Par conséquent, les moteurs qui traitent ces flux d'informations sont devenus incontournables dans la plupart des architectures de systèmes. Cependant, en tant qu'utilisateur de plateformes de médias sociaux et d'applications pertinentes, je parie que vous avez dû être gêné par des articles, des nouvelles, des mèmes et bien d'autres choses encore en double. L'exposition au contenu dupliqué entrave le processus de recherche d'informations et conduit à une mauvaise expérience utilisateur.</p>
<p>Pour un produit traitant des flux d'informations, il est prioritaire pour les développeurs de trouver un processeur de données flexible qui peut être intégré de manière transparente dans l'architecture du système afin de dédupliquer les nouvelles ou les publicités identiques.</p>
<p><a href="https://www.smartnews.com/en/">SmartNews</a>, évaluée à <a href="https://techcrunch.com/2021/09/15/news-aggregator-smartnews-raises-230-million-valuing-its-business-at-2-billion/">2 milliards de dollars américains</a>, est la société d'applications d'actualités la plus valorisée aux États-Unis. Elle était auparavant un utilisateur de Milvus, une base de données vectorielles open-source, avant de devenir un contributeur actif au projet Milvus.</p>
<p>Cet article raconte l'histoire de SmartNews et explique pourquoi elle a décidé de contribuer au projet Milvus.</p>
<h2 id="An-overview-of-SmartNews" class="common-anchor-header">Aperçu de SmartNews<button data-href="#An-overview-of-SmartNews" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>SmartNews, fondée en 2012, a son siège à Tokyo, au Japon. L'application d'actualités développée par SmartNews a toujours été <a href="https://www.businessinsider.com/guides/smartnews-free-news-app-2018-9">la mieux notée</a> sur le marché japonais. SmartNews est l'application d'actualités <a href="https://about.smartnews.com/en/2019/06/12/smartnews-builds-global-momentum-with-over-500-us-growth-new-executives-and-three-new-offices/">qui connaît la croissance la plus rapide</a> et se targue également d'une <a href="https://about.smartnews.com/en/2018/07/21/smartnews-reaches-more-than-10-million-monthly-active-users-in-the-united-states-and-japan/">grande viscosité d'utilisateurs</a> sur le marché américain. Selon les statistiques d'<a href="https://www.appannie.com/en/">APP Annie</a>, la durée de session moyenne mensuelle de SmartNews était la première parmi toutes les applications d'actualités à la fin du mois de juillet 2021, supérieure à la durée de session cumulée d'AppleNews et de Google News.</p>
<p>Avec la croissance rapide de la base d'utilisateurs et de la viscosité, SmartNews doit faire face à davantage de défis en termes de mécanisme de recommandation et d'algorithme d'IA. Ces défis comprennent l'utilisation de caractéristiques discrètes massives dans l'apprentissage automatique à grande échelle, l'accélération de la recherche de données non structurées avec la recherche de similarité vectorielle, et plus encore.</p>
<p>Au début de l'année 2021, l'équipe chargée de l'algorithme publicitaire dynamique de SmartNews a demandé à l'équipe chargée de l'infrastructure d'IA d'optimiser les fonctions de rappel et d'interrogation des publicités. Après deux mois de recherche, l'ingénieur de l'infrastructure d'IA Shu a décidé d'utiliser Milvus, une base de données vectorielle open-source qui prend en charge plusieurs index et métriques de similarité ainsi que des mises à jour de données en ligne. Plus d'un millier d'organisations dans le monde font confiance à Milvus.</p>
<h2 id="Advertisement-recommendation-powered-by-vector-similarity-search" class="common-anchor-header">Recommandation publicitaire basée sur la recherche de similarités vectorielles<button data-href="#Advertisement-recommendation-powered-by-vector-similarity-search" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>La base de données vectorielles open-source Milvus est adoptée dans le système publicitaire de SmartNews pour faire correspondre et recommander à ses utilisateurs des publicités dynamiques provenant d'un ensemble de données à l'échelle de 10 millions. Ce faisant, SmartNews peut créer une relation de correspondance entre deux ensembles de données qui n'étaient pas compatibles auparavant - les données des utilisateurs et les données des publicités. Au deuxième trimestre 2021, Shu a réussi à déployer Milvus 1.0 sur Kubernetes. En savoir plus sur le <a href="https://milvus.io/docs">déploiement de Milvus</a>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/image1_2a88ed162f.png" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<p>Après le déploiement réussi de Milvus 1.0, le premier projet à utiliser Milvus a été le projet de rappel de publicité lancé par l'équipe publicitaire de SmartNews. Au cours de la phase initiale, l'ensemble de données publicitaires était à l'échelle d'un million. Parallèlement, la latence P99 était strictement contrôlée à moins de 10 millisecondes.</p>
<p>En juin 2021, Shu et ses collègues de l'équipe chargée des algorithmes ont appliqué Milvus à d'autres scénarios commerciaux et ont tenté d'agréger des données et de mettre à jour des données/index en ligne en temps réel.</p>
<p>À ce jour, Milvus, la base de données vectorielles open-source, a été utilisée dans divers scénarios commerciaux chez SmartNews, y compris la recommandation d'annonces.</p>
<h2 id="From-a-user-to-an-active-contributor" class="common-anchor-header"><strong>D'un utilisateur à un contributeur actif</strong><button data-href="#From-a-user-to-an-active-contributor" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Lors de l'intégration de Milvus dans l'architecture du produit Smartnews, Shu et d'autres développeurs ont formulé des demandes de fonctions telles que le rechargement à chaud, le TTL (time-to-live) des articles, la mise à jour/remplacement des articles, etc. Ces fonctions sont également souhaitées par de nombreux utilisateurs de la communauté Milvus. C'est pourquoi Dennis Zhao, chef de l'équipe de l'infrastructure de l'IA à SmartNews, a décidé de développer la fonction de rechargement à chaud et d'en faire profiter la communauté. Dennis estime que "l'équipe de SmartNews a bénéficié de la communauté Milvus, nous sommes donc plus que disposés à contribuer si nous avons quelque chose à partager avec la communauté".</p>
<p>Le rechargement des données permet d'éditer le code tout en l'exécutant. Grâce au rechargement des données, les développeurs n'ont plus besoin de s'arrêter à un point d'arrêt ou de redémarrer l'application. Au lieu de cela, ils peuvent modifier le code directement et voir le résultat en temps réel.</p>
<p>Fin juillet, Yusup, ingénieur chez SmartNews, a proposé l'idée d'utiliser les <a href="https://milvus.io/docs/v2.0.x/collection_alias.md#Collection-Alias">alias de collection</a> pour réaliser le rechargement à chaud.</p>
<p>La création d'alias de collection fait référence à la spécification de noms d'alias pour une collection. Une collection peut avoir plusieurs alias. Cependant, un alias correspond à un maximum d'une collection. Il suffit de faire une analogie entre une collection et un casier. Un casier, comme une collection, a son propre numéro et sa propre position, qui resteront toujours inchangés. Cependant, il est toujours possible d'y déposer ou d'en retirer des objets différents. De même, le nom de la collection est fixe, mais les données qu'elle contient sont dynamiques. Vous pouvez toujours insérer ou supprimer des vecteurs dans une collection, car la suppression de données est prise en charge dans la <a href="https://milvus.io/docs/v2.0.x/release_notes.md#v200-PreGA">version pré-GA</a> de Milvus.</p>
<p>Dans le cas de l'activité publicitaire de SmartNews, près de 100 millions de vecteurs sont insérés ou mis à jour à mesure que de nouveaux vecteurs publicitaires dynamiques sont générés. Il existe plusieurs solutions à ce problème :</p>
<ul>
<li>Solution 1 : supprimer d'abord les anciennes données et en insérer de nouvelles.</li>
<li>Solution 2 : créer une nouvelle collection pour les nouvelles données.</li>
<li>Solution 3 : utiliser un alias de collection.</li>
</ul>
<p>Pour la solution 1, l'un des défauts les plus évidents est qu'elle prend énormément de temps, en particulier lorsque l'ensemble de données à mettre à jour est énorme. Il faut généralement des heures pour mettre à jour un ensemble de données à l'échelle de 100 millions.</p>
<p>Quant à la solution 2, le problème est que la nouvelle collection n'est pas immédiatement disponible pour la recherche. En d'autres termes, une collection n'est pas consultable pendant le chargement. De plus, Milvus ne permet pas à deux collections d'utiliser le même nom de collection. Le passage à une nouvelle collection nécessiterait toujours que les utilisateurs modifient manuellement le code côté client. En d'autres termes, les utilisateurs doivent réviser la valeur du paramètre <code translate="no">collection_name</code> chaque fois qu'ils doivent passer d'une collection à l'autre.</p>
<p>La solution 3 serait la solution miracle. Il vous suffit d'insérer les nouvelles données dans une nouvelle collection et d'utiliser l'alias de collection. Ce faisant, il vous suffit de changer d'alias de collection chaque fois que vous devez passer d'une collection à l'autre pour effectuer une recherche. Vous n'avez pas besoin d'efforts supplémentaires pour réviser le code. Cette solution vous évite les problèmes mentionnés dans les deux solutions précédentes.</p>
<p>Yusup est parti de cette demande et a aidé toute l'équipe de SmartNews à comprendre l'architecture de Milvus. Après un mois et demi, le projet Milvus a reçu de Yusup une PR sur le rechargement à chaud. Plus tard, cette fonction est officiellement disponible avec la sortie de Milvus 2.0.0-RC7.</p>
<p>Actuellement, l'équipe chargée de l'infrastructure de l'IA prend l'initiative de déployer Milvus 2.0 et de migrer progressivement toutes les données de Milvus 1.0 vers 2.0.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/image2_96c064a627.png" alt="img_collection alias" class="doc-image" id="img_collection-alias" />
   </span> <span class="img-wrapper"> <span>alias de collection img</span> </span></p>
<p>La prise en charge des alias de collection peut grandement améliorer l'expérience de l'utilisateur, en particulier pour les grandes entreprises Internet qui reçoivent un grand nombre de demandes d'utilisateurs. Chenglong Li, ingénieur de données de la communauté Milvus, qui a aidé à construire le pont entre Milvus et Smartnews, a déclaré : "La fonction d'alias de collection découle d'une demande commerciale réelle de SmartNews, un utilisateur de Milvus. Et SmartNews a fourni le code à la communauté Milvus. Cet acte de réciprocité est un excellent exemple de l'esprit open-source : de la communauté et pour la communauté. Nous espérons voir plus de contributeurs comme SmartNews et construire ensemble une communauté Milvus plus prospère".</p>
<p>"Actuellement, une partie de l'activité publicitaire adopte Milvus comme base de données vectorielles hors ligne. La sortie officielle de Milvus 2.0 approche, et nous espérons pouvoir utiliser Milvus pour construire des systèmes plus fiables et fournir des services en temps réel pour davantage de scénarios commerciaux", a déclaré Dennis.</p>
<blockquote>
<p>Mise à jour : Milvus 2.0 est maintenant disponible ! <a href="/blog/fr/2022-1-25-annoucing-general-availability-of-milvus-2-0.md">En savoir plus</a></p>
</blockquote>


L'histoire de SmartNews - d'un utilisateur de Milvus à un contributeur actif

<p>2021 a été une année extraordinaire pour Milvus en tant que projet open-source. Je tiens à prendre un moment pour remercier tous les contributeurs et utilisateurs de Milvus, ainsi que les partenaires, pour avoir contribué à une année aussi exceptionnelle.</p>
<p><strong>L'un des moments les plus impressionnants de cette année pour moi est la sortie de Milvus 2.0. Avant que nous ne commencions ce projet, seuls quelques membres de la communauté pensaient que nous pouvions fournir la base de données vectorielles la plus avancée au monde, mais je suis maintenant fier de dire que Milvus 2.0 GA est prêt pour la production.</strong></p>
<p>Nous travaillons déjà sur une nouvelle série de défis passionnants pour 2022, mais j'ai pensé qu'il serait amusant de célébrer quelques-unes des grandes étapes que nous avons franchies l'année dernière. En voici quelques-unes :</p>
<h2 id="Community-Growth" class="common-anchor-header">Croissance de la communauté<button data-href="#Community-Growth" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Tout d'abord, voici un résumé des statistiques de la communauté provenant de GitHub et de Slack. À la fin du mois de décembre 2021 :</p>
<ul>
<li><p><strong>Les contributeurs</strong> sont passés de 121 en décembre 2020 à 209 en décembre 2021 (soit une augmentation de 172 %).</p></li>
<li><p>Les<strong>étoiles</strong> sont passées de 4828 en décembre 2020 à 9090 en décembre 2021 (soit une augmentation de 188 %).</p></li>
<li><p>Les<strong>fourchettes</strong> sont passées de 756 en décembre 2020 à 1383 en décembre 2021 (+ 182 %).</p></li>
<li><p>Les<strong>membres de Slack</strong> sont passés de 541 en décembre 2020 à 1233 en décembre 2021 (+ 227 %).</p></li>
</ul>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_1_e94deb087f.png" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<h2 id="Community-Governance-and-Advocacy" class="common-anchor-header">Gouvernance de la communauté et plaidoyer<button data-href="#Community-Governance-and-Advocacy" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Lorsque Milvus est devenu open source pour la première fois en octobre 2019, nous avions une équipe relativement petite et une petite communauté, de sorte que le projet était naturellement principalement gouverné par quelques membres de l'équipe centrale. Mais depuis lors, la communauté s'est considérablement développée, nous avons réalisé que nous avions besoin d'un meilleur système pour gérer le projet afin que nous puissions accueillir de nouveaux contributeurs plus efficacement.</p>
<p>En conséquence, nous avons nommé 5 nouveaux mainteneurs en 2021 pour suivre le travail en cours et les problèmes signalés afin de s'assurer qu'ils sont révisés et fusionnés en temps voulu. Les identifiants GitHub des cinq responsables sont @xiaofan-luan ; @congqixia ; @scsven ; @czs007 ; @yanliang567. N'hésitez pas à contacter ces responsables si vous avez besoin d'aide pour vos PR.</p>
<p>Nous avons également lancé le <a href="https://milvus.io/community/milvus_advocate.md">programme Milvus Advocate</a>, et nous invitons d'autres personnes à nous rejoindre pour partager leurs expériences, offrir de l'aide aux membres de la communauté et obtenir une reconnaissance en retour.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_2_835f379fb0.png" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<p>(Image : Milvus GitHub contributors, réalisée avec le <a href="https://github.com/dynamicwebpaige/nanowrimo-2021/blob/main/15_VS_Code_contributors.ipynb">projet de</a> dynamicwebpaige )</p>
<h2 id="Milvus-Project-Announcements-and-Milestones" class="common-anchor-header">Annonces et étapes du projet Milvus<button data-href="#Milvus-Project-Announcements-and-Milestones" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ol>
<li><strong>Nombre de versions：14</strong></li>
</ol>
<ul>
<li><a href="https://milvus.io/blog/Whats-Inside-Milvus-1.0.md">Version Milvus 1.0</a></li>
<li><a href="https://milvus.io/blog/milvus2.0-redefining-vector-database.md">Version Milvus 2.0 RC</a></li>
<li><a href="https://milvus.io/docs/v2.0.x/release_notes.md#v200-PreGA">Version Milvus 2.0 PreGA</a></li>
</ul>
<ol>
<li><strong>SDKs supportés par Milvus v2.0.0 GA</strong></li>
</ol>
<ul>
<li><p>PyMilvus (Disponible)</p></li>
<li><p>Go SDK (disponible)</p></li>
<li><p>SDK Java (disponible)</p></li>
<li><p>SDK Node.js (disponible)</p></li>
<li><p>SDK C++ (en cours de développement)</p></li>
</ul>
<ol start="3">
<li><strong>Lancement de nouveaux outils Milvus :</strong></li>
</ol>
<ul>
<li><a href="https://github.com/zilliztech/milvus_cli#community">Milvus_CLI</a> (ligne de commande Milvus)</li>
<li><a href="https://github.com/zilliztech/attu">Attu</a> (interface graphique de gestion Milvus)</li>
<li><a href="https://github.com/milvus-io/milvus-operator">Opérateur Milvus K8s</a></li>
</ul>
<ol start="4">
<li><p><strong><a href="https://lfaidata.foundation/blog/2021/06/23/lf-ai-data-foundation-announces-graduation-of-milvus-project/">Milvus est devenu un projet de fin d'études de la LF AI &amp; Data Foundation.</a></strong></p></li>
<li><p><strong><a href="https://www.cs.purdue.edu/homes/csjgwang/pubs/SIGMOD21_Milvus.pdf">Milvus : A Purpose-Built Vector Data Management System publié dans SIGMOD'2021.</a>)</strong></p></li>
<li><p><strong><a href="https://discuss.milvus.io/">Lancement du forum communautaire Milvus.</a></strong></p></li>
</ol>
<h2 id="Community-Events" class="common-anchor-header">Événements de la communauté<button data-href="#Community-Events" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Nous avons accueilli et participé à de nombreux événements cette année afin que les membres de notre communauté mondiale puissent se rencontrer (principalement virtuellement) malgré la situation actuelle du Covid-19. Au total, nous avons assisté à 21 conférences et accueilli :</p>
<ul>
<li>6 réunions techniques</li>
<li>7 heures de bureau Milvus</li>
<li>34 webinaires</li>
<li>3 réunions hors ligne</li>
</ul>
<p>Nous prévoyons d'autres événements en 2022. Si vous souhaitez participer aux événements organisés près de chez vous, consultez la catégorie <a href="https://discuss.milvus.io/c/events-and-meetups/13">Événements et rencontres de</a> notre forum communautaire pour connaître les événements à venir et leur emplacement. Si vous souhaitez devenir conférencier ou animateur pour les événements à venir, veuillez nous contacter à l'adresse <a href="mailto:community@milvus.io">community@milvus.io.</a></p>
<h2 id="Looking-Ahead-to-2022--Roadmap--Announcement" class="common-anchor-header">Envisager 2022 - Feuille de route et annonce<button data-href="#Looking-Ahead-to-2022--Roadmap--Announcement" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><strong>Communauté :</strong></p>
<ol>
<li>Améliorer l'adhésion au projet Milvus pour attirer/élire plus de mainteneurs et de committers afin de construire la communauté ensemble.</li>
<li>Lancer un programme de mentorat pour offrir plus d'aide aux nouveaux arrivants qui veulent rejoindre la communauté et contribuer.</li>
<li>Améliorer la gouvernance des documents de la communauté, y compris les <strong>documents techniques, les guides d'utilisation et les documents de la communauté</strong>. En 2022, nous espérons que les membres de notre communauté pourront rédiger ensemble un manuel Milvus afin que les gens puissent apprendre à mieux utiliser Milvus.</li>
<li>Renforcer la coopération et l'interaction avec d'autres communautés open source, y compris les communautés d'IA en amont et les communautés telles que Kubernetes, MinIO, etcd et Pulsar sur lesquelles Milvus s'appuie.</li>
<li>Devenir plus orienté vers la communauté en organisant des réunions SIG plus régulières. Outre le sig-pymilvus qui fonctionne actuellement, notre plan est d'avoir plus de SIG en 2022.</li>
</ol>
<p><strong>Projet Milvus :</strong></p>
<ol>
<li>Optimisation des performances</li>
</ol>
<p>L'excellence des performances a toujours été une raison importante pour laquelle les utilisateurs choisissent Milvus. En 2022, nous prévoyons de lancer un projet d'optimisation des performances afin d'augmenter le débit et le délai d'au moins deux fois. Nous prévoyons également d'introduire des répliques de mémoire pour améliorer le débit et la stabilité du système avec de petits ensembles de données, et de prendre en charge le GPU pour accélérer la construction d'index et le service en ligne.</p>
<ol start="2">
<li>Fonctionnalité</li>
</ol>
<p>Milvus 2.0 a déjà pris en charge des fonctionnalités telles que la recherche hybride vecteur/scalaire, la suppression d'entités et le voyage dans le temps. Nous prévoyons de prendre en charge les fonctionnalités suivantes dans les deux prochaines versions majeures :</p>
<ul>
<li>Prise en charge de types de données plus riches : Chaîne, Blob, Géospatial, etc.</li>
<li>Contrôle d'accès basé sur les rôles</li>
<li>Déduplication des clés primaires</li>
<li>Prise en charge de la recherche par plage sur les vecteurs (recherche lorsque la distance est inférieure à 0,8)</li>
<li>Prise en charge de l'API Restful et d'autres SDK linguistiques</li>
</ul>
<ol start="3">
<li>Facilité d'utilisation</li>
</ol>
<p>Au cours de l'année à venir, nous prévoyons de développer plusieurs outils pour faciliter le déploiement et la gestion de Milvus.</p>
<ul>
<li><p>Milvus up :  Un composant de déploiement qui aide les utilisateurs à mettre en service Milvus dans un environnement hors ligne sans cluster K8s. Il permet également de déployer la surveillance, le traçage et d'autres développements de Milvus.</p></li>
<li><p>Attu - Nous continuerons à améliorer Attu, notre système de gestion de clusters. Nous prévoyons d'ajouter des fonctionnalités telles que le diagnostic de santé et l'optimisation de l'index.</p></li>
<li><p>Milvus DM : outil de migration de données pour migrer des vecteurs d'une autre base de données ou de fichiers vers Milvus. Nous prendrons d'abord en charge FAISS, HNSW, Milvus 1.0/2.0, puis d'autres bases de données telles que MySQL et Elasticsearch.</p></li>
</ul>
<h2 id="About-the-author" class="common-anchor-header">A propos de l'auteur<button data-href="#About-the-author" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Xiaofan Luan, associé et directeur de l'ingénierie de Zilliz, et membre du comité consultatif technique de la LF AI &amp; Data Foundation. Il a travaillé successivement au siège américain d'Oracle et chez Hedvig, une startup spécialisée dans le stockage défini par logiciel. Il a rejoint l'équipe Alibaba Cloud Database et a été en charge du développement des bases de données NoSQL HBase et Lindorm. Luan a obtenu un master en ingénierie électronique et informatique à l'université de Cornell.</p>


Milvus en 2021 - Bilan de l'année

<p>À l'ère de l'explosion de l'information, nous produisons en permanence des voix, des images, des vidéos et d'autres données non structurées. Comment analyser efficacement cette masse de données ? L'émergence des réseaux neuronaux permet d'intégrer les données non structurées sous forme de vecteurs, et la base de données Milvus est un logiciel de service de données de base qui permet de compléter le stockage, la recherche et l'analyse des données vectorielles.</p>
<p>Mais comment utiliser rapidement la base de données vectorielles Milvus ?</p>
<p>Certains utilisateurs se sont plaints que les API étaient difficiles à mémoriser et ont souhaité qu'il y ait des lignes de commande simples pour utiliser la base de données Milvus.</p>
<p>Nous sommes ravis de présenter Milvus_CLI, un outil de ligne de commande dédié à la base de données vectorielles Milvus.</p>
<p>Milvus_CLI est un CLI pratique pour la base de données Milvus, qui prend en charge la connexion à la base de données, l'importation et l'exportation de données et le calcul de vecteurs à l'aide de commandes interactives dans des shells. La dernière version de Milvus_CLI présente les caractéristiques suivantes.</p>
<ul>
<li><p>Prise en charge de toutes les plates-formes, y compris Windows, Mac et Linux</p></li>
<li><p>Installation en ligne et hors ligne avec pip prise en charge</p></li>
<li><p>Portable, peut être utilisé n'importe où</p></li>
<li><p>Construit sur le SDK Milvus pour Python</p></li>
<li><p>Documentation d'aide incluse</p></li>
<li><p>Prise en charge de l'auto-complétion</p></li>
</ul>
<h2 id="Installation" class="common-anchor-header">Installation de Milvus_CLI<button data-href="#Installation" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Vous pouvez installer Milvus_CLI en ligne ou hors ligne.</p>
<h3 id="Install-MilvusCLI-online" class="common-anchor-header">Installer Milvus_CLI en ligne</h3><p>Exécutez la commande suivante pour installer Milvus_CLI en ligne avec pip. Python 3.8 ou supérieur est requis.</p>
<pre><code translate="no">pip install milvus-cli
<button class="copy-code-btn"></button></code></pre>
<h3 id="Install-MilvusCLI-offline" class="common-anchor-header">Installer Milvus_CLI hors ligne</h3><p>Pour installer Milvus_CLI hors ligne, <a href="https://github.com/milvus-io/milvus_cli/releases">téléchargez</a> d'abord la dernière version de l'archive à partir de la page de publication.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_af0e832119.png" alt="1.png" class="doc-image" id="1.png" />
   </span> <span class="img-wrapper"> <span>1.png</span> </span></p>
<p>Une fois l'archive téléchargée, exécutez la commande suivante pour installer Milvus_CLI.</p>
<pre><code translate="no">pip install milvus_cli-&lt;version&gt;.tar.gz
<button class="copy-code-btn"></button></code></pre>
<p>Une fois Milvus_CLI installé, exécutez <code translate="no">milvus_cli</code>. L'invite <code translate="no">milvus_cli &gt;</code> qui apparaît indique que la ligne de commande est prête.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/2_b50f5d2a5a.png" alt="2.png" class="doc-image" id="2.png" />
   </span> <span class="img-wrapper"> <span>2.png</span> </span></p>
<p>Si vous utilisez un Mac avec la puce M1 ou un PC sans environnement Python, vous pouvez choisir d'utiliser une application portable à la place. Pour ce faire, <a href="https://github.com/milvus-io/milvus_cli/releases">téléchargez</a> un fichier sur la page de publication correspondant à votre système d'exploitation, exécutez <code translate="no">chmod +x</code> sur le fichier pour le rendre exécutable, puis exécutez <code translate="no">./</code> sur le fichier pour l'exécuter.</p>
<h4 id="Example" class="common-anchor-header"><strong>Exemple</strong></h4><p>L'exemple suivant rend <code translate="no">milvus_cli-v0.1.8-fix2-macOS</code> exécutable et l'exécute.</p>
<pre><code translate="no"><span class="hljs-built_in">sudo</span> <span class="hljs-built_in">chmod</span> +x milvus_cli-v0.1.8-fix2-macOS
./milvus_cli-v0.1.8-fix2-macOS
<button class="copy-code-btn"></button></code></pre>
<h2 id="Usage" class="common-anchor-header">Utilisation<button data-href="#Usage" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="Connect-to-Milvus" class="common-anchor-header">Connexion à Milvus</h3><p>Avant de vous connecter à Milvus, assurez-vous que Milvus est installé sur votre serveur. Voir <a href="https://milvus.io/docs/v2.0.x/install_standalone-docker.md">Installer Milvus Standalone</a> ou <a href="https://milvus.io/docs/v2.0.x/install_cluster-docker.md">Installer Milvus Cluster</a> pour plus d'informations.</p>
<p>Si Milvus est installé sur votre hôte local avec le port par défaut, exécutez <code translate="no">connect</code>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/3_f950d3739a.png" alt="3.png" class="doc-image" id="3.png" />
   </span> <span class="img-wrapper"> <span>3.png</span> </span></p>
<p>Sinon, exécuter la commande suivante avec l'adresse IP de votre serveur Milvus. L'exemple suivant utilise <code translate="no">172.16.20.3</code> comme adresse IP et <code translate="no">19530</code> comme numéro de port.</p>
<pre><code translate="no">connect -h 172.16.20.3
<button class="copy-code-btn"></button></code></pre>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/4_9ff2db9855.png" alt="4.png" class="doc-image" id="4.png" />
   </span> <span class="img-wrapper"> <span>4.png</span> </span></p>
<h3 id="Create-a-collection" class="common-anchor-header">Créer une collection</h3><p>Cette section explique comment créer une collection.</p>
<p>Une collection se compose d'entités et est similaire à une table dans un SGBDR. Voir le <a href="https://milvus.io/docs/v2.0.x/glossary.md">glossaire</a> pour plus d'informations.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/5_95a88c1cbf.png" alt="5.png" class="doc-image" id="5.png" />
   </span> <span class="img-wrapper"> <span>5.png</span> </span></p>
<h4 id="Example" class="common-anchor-header">Exemple de création d'une collection</h4><p>L'exemple suivant crée une collection nommée <code translate="no">car</code>. La collection <code translate="no">car</code> comporte quatre champs : <code translate="no">id</code>, <code translate="no">vector</code>, <code translate="no">color</code> et <code translate="no">brand</code>. Le champ de clé primaire est <code translate="no">id</code>. Pour plus d'informations, reportez-vous à la section <a href="https://milvus.io/docs/v2.0.x/cli_commands.md#create-collection">Créer une collection</a>.</p>
<pre><code translate="no">create collection -c car -f <span class="hljs-built_in">id</span>:INT64:primary_field -f vector:FLOAT_VECTOR:<span class="hljs-number">128</span> -f color:INT64:color -f brand:INT64:brand -p <span class="hljs-built_in">id</span> -a -d <span class="hljs-string">&#x27;car_collection&#x27;</span>
<button class="copy-code-btn"></button></code></pre>
<h3 id="List-collections" class="common-anchor-header">Répertorier les collections</h3><p>Exécutez la commande suivante pour répertorier toutes les collections de cette instance Milvus.</p>
<pre><code translate="no">list collections
<button class="copy-code-btn"></button></code></pre>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/6_1331f4c8bc.png" alt="6.png" class="doc-image" id="6.png" />
   </span> <span class="img-wrapper"> <span>6.png</span> </span></p>
<p>Exécutez la commande suivante pour vérifier les détails de la collection <code translate="no">car</code>.</p>
<pre><code translate="no">describe collection -c car 
<button class="copy-code-btn"></button></code></pre>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/7_1d70beee54.png" alt="7.png" class="doc-image" id="7.png" />
   </span> <span class="img-wrapper"> <span>7.png</span> </span></p>
<h3 id="Calculate-the-distance-between-two-vectors" class="common-anchor-header">Calculer la distance entre deux vecteurs</h3><p>Exécutez la commande suivante pour importer des données dans la collection <code translate="no">car</code>.</p>
<pre><code translate="no"><span class="hljs-keyword">import</span> -c car <span class="hljs-string">&#x27;https://raw.githubusercontent.com/zilliztech/milvus_cli/main/examples/import_csv/vectors.csv&#x27;</span>
<button class="copy-code-btn"></button></code></pre>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/8_7609a4359a.png" alt="8.png" class="doc-image" id="8.png" />
   </span> <span class="img-wrapper"> <span>8.png</span> </span></p>
<p>Exécutez la commande <code translate="no">query</code> et saisissez <code translate="no">car</code> comme nom de collection et <code translate="no">id&gt;0</code> comme expression de requête lorsque vous y êtes invité. Les identifiants des entités qui répondent aux critères sont renvoyés comme le montre la figure suivante.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/9_f0755589f6.png" alt="9.png" class="doc-image" id="9.png" />
   </span> <span class="img-wrapper"> <span>9.png</span> </span></p>
<p>Exécutez <code translate="no">calc</code> et entrez les valeurs appropriées lorsque vous y êtes invité pour calculer les distances entre les tableaux de vecteurs.</p>
<h3 id="Delete-a-collection" class="common-anchor-header">Suppression d'une collection</h3><p>Exécutez la commande suivante pour supprimer la collection <code translate="no">car</code>.</p>
<pre><code translate="no"><span class="hljs-keyword">delete</span> collection -c car
<button class="copy-code-btn"></button></code></pre>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/10_16b2b01935.png" alt="10.png" class="doc-image" id="10.png" />
   </span> <span class="img-wrapper"> <span>10.png</span> </span></p>
<h2 id="More" class="common-anchor-header">Plus d'informations<button data-href="#More" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus_CLI ne se limite pas aux fonctions précédentes. Exécutez <code translate="no">help</code> pour afficher toutes les commandes que Milvus_CLI inclut et leurs descriptions respectives. Exécutez <code translate="no">&lt;command&gt; --help</code> pour afficher les détails d'une commande spécifiée.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/11_5f31ccb1e8.png" alt="11.png" class="doc-image" id="11.png" />
   </span> <span class="img-wrapper"> <span>11.png</span> </span></p>
<p><strong>Voir aussi :</strong></p>
<p><a href="https://milvus.io/docs/v2.0.x/cli_commands.md">Référence des commandes Milvus_CLI</a> sous Milvus Docs</p>
<p>Nous espérons que Milvus_CLI vous aidera à utiliser facilement la base de données vectorielles Milvus. Nous continuerons à optimiser Milvus_CLI et vos contributions sont les bienvenues.</p>
<p>Si vous avez des questions, n'hésitez pas à <a href="https://github.com/zilliztech/milvus_cli/issues">déposer un problème</a> sur GitHub.</p>


Démarrer avec Milvus_CLI

Évolution de la base de données vectorielles évolutive Milvus

<p>Ces dernières années, la question de la protection de la propriété intellectuelle s'est retrouvée sous les feux de la rampe, les gens étant de plus en plus conscients des atteintes à la propriété intellectuelle. En particulier, le géant multinational de la technologie Apple Inc. a activement <a href="https://en.wikipedia.org/wiki/Apple_Inc._litigation">intenté des actions en justice contre diverses entreprises pour atteinte à la propriété intellectuelle</a>, notamment en matière de marques, de brevets et de dessins et modèles. Outre ces affaires les plus célèbres, Apple Inc. a également <a href="https://www.smh.com.au/business/apple-bites-over-woolworths-logo-20091005-ghzr.html">contesté</a> en 2009 <a href="https://www.smh.com.au/business/apple-bites-over-woolworths-logo-20091005-ghzr.html">une demande d'enregistrement de marque déposée par Woolworths Limited</a>, une chaîne de supermarchés australienne, au motif d'une contrefaçon de marque.  Apple. Inc. a fait valoir que le logo de la marque australienne, un &quot;w&quot; stylisé, ressemblait à son propre logo représentant une pomme. Apple Inc. s'est donc opposée à la gamme de produits, y compris les appareils électroniques, que Woolworths a demandé à vendre avec le logo. L'histoire se termine par la modification du logo de Woolworths et le retrait de l'opposition d'Apple.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Logo_of_Woolworths_b04ece5b20.png" alt="Logo of Woolworths.png" class="doc-image" id="logo-of-woolworths.png" />
   </span> <span class="img-wrapper"> <span>Logo de Woolworths.png</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Logo_of_Apple_Inc_181e5bd5f8.png" alt="Logo of Apple Inc.png" class="doc-image" id="logo-of-apple-inc.png" />
   </span> <span class="img-wrapper"> <span>Logo d'Apple Inc.png</span> </span></p>
<p>Avec la prise de conscience croissante de la culture de marque, les entreprises surveillent de plus près toute menace susceptible de porter atteinte à leurs droits de propriété intellectuelle (PI). Les atteintes à la propriété intellectuelle comprennent</p>
<ul>
<li>la violation des droits d'auteur</li>
<li>la contrefaçon de brevet</li>
<li>la contrefaçon de marque</li>
<li>la contrefaçon de dessins et modèles</li>
<li>le cybersquattage.</li>
</ul>
<p>Le litige susmentionné entre Apple et Woolworths porte principalement sur la contrefaçon de marque, et plus précisément sur la similitude entre les images des marques des deux entités. Pour éviter de devenir un autre Woolworths, une recherche exhaustive de similitudes entre les marques est une étape cruciale pour les déposants, tant avant le dépôt que pendant l'examen des demandes d'enregistrement de marques. Le recours le plus courant consiste à effectuer une recherche dans la <a href="https://tmsearch.uspto.gov/search/search-information">base de données de l'Office américain des brevets et des marques (USPTO</a> ), qui contient tous les enregistrements et demandes de marques actifs et inactifs. En dépit d'une interface utilisateur peu charmante, ce processus de recherche est également profondément défectueux en raison de sa nature textuelle, car il repose sur des mots et des codes de dessins ou modèles de marques (qui sont des étiquettes annotées à la main de caractéristiques de dessins ou modèles) pour la recherche d'images.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/image_8_b2fff6ca11.png" alt="8.png" class="doc-image" id="8.png" />
   </span> <span class="img-wrapper"> <span>8.png</span> </span></p>
<p>Cet article vise donc à montrer comment construire un système efficace de recherche de similitudes entre marques basé sur des images en utilisant <a href="https://milvus.io">Milvus</a>, une base de données vectorielles à source ouverte.</p>
<h2 id="A-vector-similarity-search-system-for-trademarks" class="common-anchor-header">Un système de recherche de similitudes vectorielles pour les marques<button data-href="#A-vector-similarity-search-system-for-trademarks" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Pour construire un système de recherche de similitudes vectorielles pour les marques, vous devez suivre les étapes suivantes :</p>
<ol>
<li>Préparer un vaste ensemble de données de logos. Il est probable que le système puisse utiliser un tel ensemble de données (voir <a href="https://developer.uspto.gov/product/trademark-24-hour-box-and-supplemental">ci-dessous</a>).</li>
<li>Entraîner un modèle d'extraction de caractéristiques d'image à l'aide de l'ensemble de données et de modèles pilotés par les données ou d'algorithmes d'intelligence artificielle.</li>
<li>Convertir les logos en vecteurs à l'aide du modèle ou de l'algorithme formé à l'étape 2.</li>
<li>Stocker les vecteurs et effectuer des recherches de similarité vectorielle dans Milvus, la base de données vectorielle open-source.</li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/trademark_system_e9700df555.png" alt="Nike.png" class="doc-image" id="nike.png" />
   </span> <span class="img-wrapper"> <span>Nike.png</span> </span></p>
<p>Dans les sections suivantes, nous allons examiner de plus près les deux principales étapes de la construction d'un système de recherche de similitudes vectorielles pour les marques : l'utilisation de modèles d'intelligence artificielle pour l'extraction des caractéristiques des images et l'utilisation de Milvus pour la recherche de similitudes vectorielles. Dans notre cas, nous avons utilisé VGG16, un réseau neuronal convolutionnel (CNN), pour extraire les caractéristiques des images et les convertir en vecteurs d'intégration.</p>
<h3 id="Using-VGG16-for-image-feature-extraction" class="common-anchor-header">Utilisation du VGG16 pour l'extraction des caractéristiques des images</h3><p><a href="https://medium.com/@mygreatlearning/what-is-vgg16-introduction-to-vgg16-f2d63849f615">VGG16</a> est un CNN conçu pour la reconnaissance d'images à grande échelle. Le modèle est rapide et précis dans la reconnaissance d'images et peut être appliqué à des images de toutes tailles. Voici deux illustrations de l'architecture du VGG16.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/vgg16_layers_9e621f62cc.png" alt="9.png" class="doc-image" id="9.png" />
   </span> <span class="img-wrapper"> <span>9.png</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/vgg16_architecture_992614e882.png" alt="10.png" class="doc-image" id="10.png" />
   </span> <span class="img-wrapper"> <span>10.png</span> </span></p>
<p>Le modèle VGG16, comme son nom l'indique, est un CNN à 16 couches. Tous les modèles VGG, y compris le VGG16 et le VGG19, contiennent 5 blocs VGG, avec une ou plusieurs couches convolutives dans chaque bloc VGG. À la fin de chaque bloc, une couche de regroupement maximal est connectée pour réduire la taille de l'image d'entrée. Le nombre de noyaux est équivalent dans chaque couche convolutive mais double dans chaque bloc VGG. Par conséquent, le nombre de noyaux dans le modèle passe de 64 dans le premier bloc à 512 dans les quatrième et cinquième blocs. Tous les noyaux convolutifs sont de<em>taille 33, tandis que les noyaux de mise en commun sont tous de taille 22</em>. Cela permet de préserver davantage d'informations sur l'image d'entrée.</p>
<p>Par conséquent, VGG16 est un modèle approprié pour la reconnaissance d'images d'ensembles de données massives dans ce cas. Vous pouvez utiliser Python, Tensorflow et Keras pour entraîner un modèle d'extraction de caractéristiques d'image sur la base du VGG16.</p>
<h3 id="Using-Milvus-for-vector-similarity-search" class="common-anchor-header">Utilisation de Milvus pour la recherche de similarités vectorielles</h3><p>Après avoir utilisé le modèle VGG16 pour extraire des caractéristiques d'image et convertir des images de logo en vecteurs d'intégration, vous devez rechercher des vecteurs similaires à partir d'un vaste ensemble de données.</p>
<p>Milvus est une base de données "cloud-native" qui se caractérise par une grande évolutivité et une grande élasticité. En outre, en tant que base de données, elle peut garantir la cohérence des données. Pour un système de recherche de similitudes de marques comme celui-ci, de nouvelles données, telles que les derniers enregistrements de marques, sont téléchargées dans le système en temps réel. Ces données nouvellement téléchargées doivent être disponibles immédiatement pour la recherche. C'est pourquoi cet article adopte Milvus, la base de données vectorielles à code source ouvert, pour effectuer la recherche de similitudes vectorielles.</p>
<p>Lors de l'insertion des vecteurs de logos, vous pouvez créer des collections dans Milvus pour différents types de vecteurs de logos selon la <a href="https://en.wikipedia.org/wiki/International_(Nice)_Classification_of_Goods_and_Services">classification internationale (Nice) des produits et des services</a>, un système de classification des produits et des services pour l'enregistrement des marques. Par exemple, vous pouvez insérer un groupe de vecteurs de logos de marques de vêtements dans une collection appelée &quot;vêtements&quot; dans Milvus et insérer un autre groupe de vecteurs de logos de marques technologiques dans une autre collection appelée &quot;technologie&quot;. Ce faisant, vous pouvez augmenter considérablement l'efficacité et la vitesse de votre recherche de similarité vectorielle.</p>
<p>Milvus prend non seulement en charge plusieurs index pour la recherche de similarité vectorielle, mais fournit également des API et des outils riches pour faciliter le DevOps. Le diagramme suivant illustre l'<a href="https://milvus.io/docs/v2.0.x/architecture_overview.md">architecture de Milvus</a>. Vous pouvez en savoir plus sur Milvus en lisant son <a href="https://milvus.io/docs/v2.0.x/overview.md">introduction</a>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/milvus_architecture_ea45a5ab53.png" alt="11.png" class="doc-image" id="11.png" />
   </span> <span class="img-wrapper"> <span>11.png</span> </span></p>
<h2 id="Looking-for-more-resources" class="common-anchor-header">Vous cherchez d'autres ressources ?<button data-href="#Looking-for-more-resources" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p>Créez d'autres systèmes de recherche de similarités vectorielles pour d'autres scénarios d'application avec Milvus :</p>
<ul>
<li><a href="https://milvus.io/blog/dna-sequence-classification-based-on-milvus.md">Classification des séquences ADN basée sur Milvus</a></li>
<li><a href="https://milvus.io/blog/audio-retrieval-based-on-milvus.md">Recherche audio basée sur Milvus</a></li>
<li><a href="https://milvus.io/blog/building-video-search-system-with-milvus.md">4 étapes pour construire un système de recherche vidéo</a></li>
<li><a href="https://milvus.io/blog/building-intelligent-chatbot-with-nlp-and-milvus.md">Construction d'un système d'assurance qualité intelligent avec NLP et Milvus</a></li>
<li><a href="https://milvus.io/blog/molecular-structure-similarity-with-milvus.md">Accélérer la découverte de nouveaux médicaments</a></li>
</ul></li>
<li><p>Participez à notre communauté open-source :</p>
<ul>
<li>Trouvez ou contribuez à Milvus sur <a href="https://bit.ly/307b7jC">GitHub</a>.</li>
<li>Interagissez avec la communauté via le <a href="https://bit.ly/3qiyTEk">Forum</a>.</li>
<li>Connectez-vous avec nous sur <a href="https://bit.ly/3ob7kd8">Twitter</a>.</li>
</ul></li>
</ul>


Milvus dans la protection de la propriété intellectuelle：Construction d'un système de recherche de similitudes de marques avec Milvus

<p>Pour vous aider à démarrer rapidement avec Milvus, la base de données vectorielle open-source, nous avons publié un autre projet open-source affilié, <a href="https://github.com/milvus-io/bootcamp">Milvus Bootcamp</a> sur GitHub. Le Milvus Bootcamp fournit non seulement des scripts et des données pour les tests de référence, mais il inclut également des projets qui utilisent Milvus pour créer des produits minimum viables (MVP), tels qu'un système de recherche d'images inversées, un système d'analyse vidéo, un chatbot d'assurance qualité ou un système de recommandation. Vous pouvez apprendre à appliquer la recherche de similarité vectorielle dans un monde rempli de données non structurées et acquérir une expérience pratique dans le Milvus Bootcamp.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/2_5b60157b4d.png" alt="2.png" class="doc-image" id="2.png" />
   </span> <span class="img-wrapper"> <span>2.png</span> </span></p>
<p>Nous fournissons des services frontaux et dorsaux pour les projets de Milvus Bootcamp. Cependant, nous avons récemment pris la décision de changer le cadre web adopté de Flask à FastAPI.</p>
<p>Cet article vise à expliquer notre motivation derrière un tel changement dans le cadre web adopté pour Milvus Bootcamp en clarifiant pourquoi nous avons choisi FastAPI plutôt que Flask.</p>
<h2 id="Web-frameworks-for-Python" class="common-anchor-header">Cadres web pour Python<button data-href="#Web-frameworks-for-Python" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Un cadre web fait référence à une collection de paquets ou de modules. Il s'agit d'un ensemble d'architectures logicielles pour le développement web qui vous permet d'écrire des applications ou des services web et vous évite de gérer des détails de bas niveau tels que les protocoles, les sockets ou la gestion des processus/threads. L'utilisation d'un cadre web peut réduire considérablement la charge de travail liée au développement d'applications web, car vous pouvez simplement "brancher" votre code dans le cadre, sans avoir à vous préoccuper davantage de la mise en cache des données, de l'accès à la base de données et de la vérification de la sécurité des données. Pour plus d'informations sur ce qu'est un framework web pour Python, voir <a href="https://wiki.python.org/moin/WebFrameworks">Frameworks web</a>.</p>
<p>Il existe différents types de frameworks web Python. Les plus courants sont Django, Flask, Tornado et FastAPI.</p>
<h3 id="Flask" class="common-anchor-header">Flask</h3><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/3_1abd170939.png" alt="3.png" class="doc-image" id="3.png" />
   </span> <span class="img-wrapper"> <span>3.png</span> </span></p>
<p><a href="https://flask.palletsprojects.com/en/2.0.x/">Flask</a> est un micro-cadre léger conçu pour Python, avec un noyau simple et facile à utiliser qui vous permet de développer vos propres applications web. En outre, le noyau de Flask est également extensible. Par conséquent, Flask prend en charge l'extension à la demande de différentes fonctions pour répondre à vos besoins personnalisés au cours du développement d'une application web. En d'autres termes, avec une bibliothèque de divers plug-ins dans Flask, vous pouvez développer des sites web puissants.</p>
<p>Flask présente les caractéristiques suivantes :</p>
<ol>
<li>Flask est un micro-cadre qui ne s'appuie pas sur d'autres outils spécifiques ou composants de bibliothèques tierces pour fournir des fonctionnalités partagées. Flask n'a pas de couche d'abstraction de base de données et ne nécessite pas de validation de formulaire. Cependant, Flask est très extensible et permet d'ajouter des fonctionnalités d'application d'une manière similaire aux implémentations au sein de Flask lui-même. Les extensions pertinentes comprennent les mappeurs objet-relationnel, la validation des formulaires, le traitement des téléchargements, les technologies d'authentification ouvertes et certains outils courants conçus pour les cadres d'application web.</li>
<li>Flask est un cadre d'application web basé sur <a href="https://wsgi.readthedocs.io/">WSGI</a> (Web Server Gateway Interface). WSGI est une interface simple qui relie un serveur web à une application web ou à un cadre défini pour le langage Python.</li>
<li>Flask comprend deux bibliothèques de fonctions principales, <a href="https://www.palletsprojects.com/p/werkzeug">Werkzeug</a> et <a href="https://www.palletsprojects.com/p/jinja">Jinja2</a>. Werkzeug est une boîte à outils WSGI qui met en œuvre des objets de demande et de réponse ainsi que des fonctions pratiques, ce qui vous permet de construire des cadres web par-dessus. Jinja2 est un moteur de templates complet et populaire pour Python. Il prend totalement en charge l'Unicode et dispose d'un environnement d'exécution sandbox intégré, facultatif mais largement adopté.</li>
</ol>
<h3 id="FastAPI" class="common-anchor-header">FastAPI</h3><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/4_05cb0dac4e.png" alt="4.png" class="doc-image" id="4.png" />
   </span> <span class="img-wrapper"> <span>4.png</span> </span></p>
<p><a href="https://fastapi.tiangolo.com/">FastAPI</a> est un framework moderne d'applications web en Python qui offre le même niveau de performance que Go et NodeJS. Le cœur de FastAPI est basé sur <a href="https://www.starlette.io/">Starlette</a> et <a href="https://pydantic-docs.helpmanual.io/">Pydantic</a>. Starlette est une boîte à outils <a href="https://asgi.readthedocs.io/">ASGI</a>(Asynchronous Server Gateway Interface) légère pour construire des services <a href="https://docs.python.org/3/library/asyncio.html">Asyncio</a> de haute performance. Pydantic est une bibliothèque qui définit la validation, la sérialisation et la documentation des données sur la base des indications de type de Python.</p>
<p>FastAPI présente les caractéristiques suivantes :</p>
<ol>
<li>FastAPI est un cadre d'application web basé sur ASGI, une interface de protocole de passerelle asynchrone reliant les services de protocole de réseau et les applications Python. FastAPI peut gérer une variété de types de protocoles communs, y compris HTTP, HTTP2 et WebSocket.</li>
<li>FastAPI est basé sur Pydantic, qui fournit la fonction de vérification du type de données de l'interface. Vous n'avez pas besoin de vérifier en plus les paramètres de votre interface, ni d'écrire du code supplémentaire pour vérifier si les paramètres sont vides ou si le type de données est correct. L'utilisation de FastAPI permet d'éviter les erreurs humaines dans le code et d'améliorer l'efficacité du développement.</li>
<li>FastAPI supporte les documents dans deux formats - <a href="https://swagger.io/specification/">OpenAPI</a> (anciennement Swagger) et <a href="https://www.redoc.com/">Redoc</a>. Par conséquent, en tant qu'utilisateur, vous n'avez pas besoin de passer du temps à écrire des documents d'interface supplémentaires. Le document OpenAPI fourni par FastAPI est montré dans la capture d'écran ci-dessous.</li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/5_d91d34cb0f.png" alt="5.png" class="doc-image" id="5.png" />
   </span> <span class="img-wrapper"> <span>5.png</span> </span></p>
<h3 id="Flask-Vs-FastAPI" class="common-anchor-header">Flask et FastAPI</h3><p>Le tableau ci-dessous montre les différences entre Flask et FastAPI à plusieurs égards.</p>
<table>
<thead>
<tr><th></th><th><strong>FastAPI</strong></th><th><strong>Flask</strong></th></tr>
</thead>
<tbody>
<tr><td><strong>Passerelle d'interface</strong></td><td>ASGI</td><td>WSGI</td></tr>
<tr><td><strong>Cadre asynchrone</strong></td><td>✅</td><td>❌</td></tr>
<tr><td><strong>Performance</strong></td><td>Plus rapide</td><td>Plus lentes</td></tr>
<tr><td><strong>Document interactif</strong></td><td>OpenAPI, Redoc</td><td>Aucune</td></tr>
<tr><td><strong>Vérification des données</strong></td><td>✅</td><td>❌</td></tr>
<tr><td><strong>Coûts de développement</strong></td><td>Plus bas</td><td>Plus élevés</td></tr>
<tr><td><strong>Facilité d'utilisation</strong></td><td>Plus faible</td><td>Plus élevée</td></tr>
<tr><td><strong>Flexibilité</strong></td><td>Moins flexible</td><td>Plus flexible</td></tr>
<tr><td><strong>Communauté</strong></td><td>Plus petite</td><td>Plus active</td></tr>
</tbody>
</table>
<h2 id="Why-FastAPI" class="common-anchor-header">Pourquoi FastAPI ?<button data-href="#Why-FastAPI" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Avant de décider quel framework d'application web Python choisir pour les projets de Milvus Bootcamp, nous avons fait des recherches sur plusieurs frameworks courants, y compris Django, Flask, FastAPI, Tornado, et bien d'autres. Étant donné que les projets de Milvus Bootcamp servent de référence pour vous, notre priorité est d'adopter un framework externe extrêmement léger et habile. Selon cette règle, nous avons réduit nos choix à Flask et FastAPI.</p>
<p>Vous pouvez voir la comparaison entre les deux frameworks web dans la section précédente. Ce qui suit est une explication détaillée de notre motivation à choisir FastAPI plutôt que Flask pour les projets de Milvus Bootcamp. Il y a plusieurs raisons à cela :</p>
<h3 id="1-Performance" class="common-anchor-header">1. Performance</h3><p>La plupart des projets de Milvus Bootcamp sont construits autour de systèmes de recherche d'images inversées, de chatbots d'assurance qualité, de moteurs de recherche de texte, qui ont tous des exigences élevées en matière de traitement de données en temps réel. Par conséquent, nous avons besoin d'un cadre avec des performances exceptionnelles, ce qui est exactement un point fort de FastAPI. Par conséquent, du point de vue de la performance du système, nous avons décidé de choisir FastAPI.</p>
<h3 id="2-Efficiency" class="common-anchor-header">2. Efficacité</h3><p>Lorsque vous utilisez Flask, vous devez écrire du code pour la vérification du type de données dans chacune des interfaces afin que le système puisse déterminer si les données d'entrée sont vides ou non. Cependant, en prenant en charge la vérification automatique du type de données, FastAPI permet d'éviter les erreurs humaines de codage pendant le développement du système et peut considérablement améliorer l'efficacité du développement. Bootcamp se positionne comme un type de ressource de formation. Cela signifie que le code et les composants que nous utilisons doivent être intuitifs et très efficaces. À cet égard, nous avons choisi FastAPI pour améliorer l'efficacité du système et l'expérience de l'utilisateur.</p>
<h3 id="3-Asynchronous-framework" class="common-anchor-header">3. Cadre asynchrone</h3><p>FastAPI est par nature un framework asynchrone. À l'origine, nous avons publié quatre <a href="https://zilliz.com/milvus-demos?isZilliz=true">démonstrations</a>, la recherche d'images inversées, l'analyse vidéo, le chatbot d'assurance qualité et la recherche de similarités moléculaires. Dans ces démonstrations, vous pouvez télécharger des ensembles de données et le message &quot;demande reçue&quot; s'affiche immédiatement. Lorsque les données sont téléchargées vers le système de démonstration, vous recevez un autre message indiquant que le téléchargement des données a été effectué avec succès. Il s'agit d'un processus asynchrone qui nécessite un cadre de travail prenant en charge cette fonctionnalité. FastAPI est lui-même un cadre asynchrone. Afin d'aligner toutes les ressources Milvus, nous avons décidé d'adopter un ensemble unique d'outils de développement et de logiciels pour Milvus Bootcamp et Milvus Demos. Par conséquent, nous avons changé le cadre de Flask à FastAPI.</p>
<h3 id="4-Automatic-interactive-documents" class="common-anchor-header">4. Documents interactifs automatiques</h3><p>De manière traditionnelle, lorsque vous avez fini d'écrire le code pour le côté serveur, vous devez écrire un document supplémentaire pour créer une interface, puis utiliser des outils tels que <a href="https://www.postman.com/">Postman</a> pour les tests d'API et le débogage. Qu'en est-il si vous voulez seulement commencer rapidement avec la partie développement côté serveur web des projets dans Milvus Bootcamp sans écrire de code supplémentaire pour créer une interface ? FastAPI est la solution. En fournissant un document OpenAPI, FastAPI peut vous éviter de tester ou de déboguer les API et de collaborer avec les équipes frontales pour développer une interface utilisateur. Avec FastAPI, vous pouvez toujours essayer rapidement l'application construite avec une interface automatique mais intuitive sans effort supplémentaire de codage.</p>
<h3 id="5-User-friendliness" class="common-anchor-header">5. Convivialité</h3><p>FastAPI est plus facile à utiliser et à développer, ce qui vous permet d'accorder plus d'attention à la mise en œuvre spécifique du projet lui-même. Sans passer trop de temps à développer des cadres web, vous pouvez vous concentrer davantage sur la compréhension des projets dans Milvus Bootcamp.</p>
<h2 id="Recap" class="common-anchor-header">Récapitulatif<button data-href="#Recap" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Flask et FlastAPI ont leurs propres avantages et inconvénients. En tant que framework d'application web émergent, FlastAPI, à la base, est construit sur des toolkits et des bibliothèques matures, Starlette et Pydantic. FastAPI est un framework asynchrone très performant. Sa dextérité, son extensibilité et sa prise en charge de la vérification automatique des types de données, ainsi que de nombreuses autres caractéristiques puissantes, nous ont incités à adopter FastAPI comme cadre de travail pour les projets Milvus Bootcamp.</p>
<p>Veuillez noter que vous devez choisir le framework approprié en fonction de votre scénario d'application si vous souhaitez construire un système de recherche de similarités vectorielles en production.</p>
<h2 id="About-the-author" class="common-anchor-header">A propos de l'auteur<button data-href="#About-the-author" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Yunmei Li, ingénieur de données chez Zilliz, est diplômée en informatique de l'Université des sciences et technologies de Huazhong. Depuis qu'elle a rejoint Zilliz, elle travaille à l'exploration de solutions pour le projet open source Milvus et aide les utilisateurs à appliquer Milvus dans des scénarios réels. Elle se concentre principalement sur le NLP et les systèmes de recommandation, et elle aimerait approfondir ses connaissances dans ces deux domaines. Elle aime passer du temps seule et lire.</p>
<h2 id="Looking-for-more-resources" class="common-anchor-header">Vous cherchez d'autres ressources ?<button data-href="#Looking-for-more-resources" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p>Commencez à construire un système d'IA avec Milvus et obtenez plus d'expérience pratique en lisant nos tutoriels !</p>
<ul>
<li><a href="https://milvus.io/blog/2021-10-10-milvus-helps-analys-vedios.md">Qu'est-ce que c'est ? Qui est-elle ? Milvus aide à analyser les vidéos de manière intelligente</a></li>
<li><a href="https://milvus.io/blog/2021-09-26-onnx.md">Combiner des modèles d'IA pour la recherche d'images en utilisant ONNX et Milvus</a></li>
<li><a href="https://milvus.io/blog/dna-sequence-classification-based-on-milvus.md">Classification des séquences d'ADN basée sur Milvus</a></li>
<li><a href="https://milvus.io/blog/audio-retrieval-based-on-milvus.md">Recherche audio basée sur Milvus</a></li>
<li><a href="https://milvus.io/blog/building-video-search-system-with-milvus.md">4 étapes pour construire un système de recherche vidéo</a></li>
<li><a href="https://milvus.io/blog/building-intelligent-chatbot-with-nlp-and-milvus.md">Création d'un système d'assurance qualité intelligent avec NLP et Milvus</a></li>
<li><a href="https://milvus.io/blog/molecular-structure-similarity-with-milvus.md">Accélérer la découverte de nouveaux médicaments</a></li>
</ul></li>
<li><p>Participez à notre communauté open-source :</p>
<ul>
<li>Trouvez ou contribuez à Milvus sur <a href="https://bit.ly/307b7jC">GitHub</a>.</li>
<li>Interagissez avec la communauté via le <a href="https://bit.ly/3qiyTEk">Forum</a>.</li>
<li>Connectez-vous avec nous sur <a href="https://bit.ly/3ob7kd8">Twitter</a>.</li>
</ul></li>
</ul>


Pourquoi choisir FastAPI plutôt que Flask ?

Accélérer la génération de candidats dans les systèmes de recommandation en utilisant Milvus associé à PaddlePaddle

<p>Ce didacticiel explique comment exécuter Milvus 2.0 sous Windows. Si vous souhaitez commencer à utiliser Milvus 2.0 sous Windows, ou si vous devez simplement exécuter Milvus sous Windows en raison des limites de l'environnement, ce tutoriel peut être une bonne référence. Cet article a été écrit à l'origine par <a href="https://github.com/matrixji">@matrixji</a>.</p>
<p>Il existe deux façons d'exécuter Milvus 2.0 sous Windows :</p>
<ul>
<li><a href="#Compile-from-source-code">Compiler à partir du code source</a></li>
<li><a href="#Install-from-the-binary-package">Installer à partir du paquetage binaire</a></li>
</ul>
<h2 id="Compile-from-source-code" class="common-anchor-header">Compiler à partir du code source<button data-href="#Compile-from-source-code" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="Prerequisites" class="common-anchor-header">Conditions préalables</h3><p>Vous devez installer la chaîne d'outils MinGW64/MSYS avant de compiler Milvus 2.0 sous Windows. Voir <a href="https://www.msys2.org/">MSYS2</a> pour le guide d'installation. La compilation dans ce tutoriel est réalisée dans le shell de MSYS2 MinGW 64-bit. Vous pouvez exécuter <code translate="no">$ pacman -Su</code> pour mettre à jour la chaîne d'outils.</p>
<p>Nous vous recommandons également d'exécuter <code translate="no">$ pacman -S git</code> pour installer git.</p>
<h3 id="Step-1-Clone-code" class="common-anchor-header">Etape 1. Cloner le code</h3><p>Exécutez la commande suivante pour cloner le code de la branche <strong>windows-dev</strong> dans le dépôt <strong>matrixji/milvus</strong>. Actuellement, tous les commits peuvent être tracés dans <strong>windows-dev</strong>, qui rebase les commits de la branche principale en amont <a href="https://github.com/milvus-io/milvus"><strong>milvus-io/milvus</strong></a> sur une base hebdomadaire.</p>
<pre><code translate="no" class="language-python">$ git <span class="hljs-built_in">clone</span> git@github.com:matrixji/milvus.git -b windows-dev
<button class="copy-code-btn"></button></code></pre>
<h3 id="Step-2-Compile-Milvus" class="common-anchor-header">Étape 2. Compiler Milvus</h3><h4 id="1-Install-dependencies-and-toolchain" class="common-anchor-header">1. Installer les dépendances et la chaîne d'outils</h4><p>Exécutez la commande suivante pour installer les dépendances et la chaîne d'outils nécessaires. Après l'installation, vous devez redémarrer le shell MinGW/MYSY pour vous assurer que les configurations de certains outils sont correctement appliquées.</p>
<pre><code translate="no" class="language-python">$ <span class="hljs-built_in">cd</span> milvus
$ scripts/install_deps_msys.sh
<button class="copy-code-btn"></button></code></pre>
<h4 id="2-Compile-Milvus" class="common-anchor-header">2. Compiler Milvus</h4><p>Exécutez la commande suivante pour compiler et empaqueter Milvus.</p>
<pre><code translate="no" class="language-python">$ make
$ sh scripts/package_windows.sh
<button class="copy-code-btn"></button></code></pre>
<p>En cas de succès, vous trouverez un fichier zip dans le sous-répertoire de <code translate="no">windows_package</code>. Le fichier zip contient tous les fichiers nécessaires à l'exécution de <code translate="no">milvus.exe</code>, y compris <code translate="no">minio.exe</code> et <code translate="no">etcd.exe</code>.</p>
<div class="alert note">
Milvus 2.0 est développé en Go. Il se peut que vous deviez configurer <a href='https://goproxy.cn/'>Goproxy</a> pour installer des modules tiers.</div>
<h2 id="Install-from-the-binary-package" class="common-anchor-header">Installation à partir du paquetage binaire<button data-href="#Install-from-the-binary-package" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Vous pouvez également télécharger le paquet binaire qui a déjà été compilé à partir de <a href="https://github.com/matrixji/milvus/releases">Releases - matrixji/milvus</a>. Chaque version a pour préfixe <strong>windows-test-</strong>, par exemple, <strong>windows-test-v8</strong>. Trouvez la version que vous voulez et téléchargez le paquetage zip correspondant.</p>
<h3 id="Step-1-Start-Milvus" class="common-anchor-header">Etape 1. Démarrer Milvus</h3><h4 id="1-Unzip-the-package" class="common-anchor-header">1. Décompressez le paquet</h4><p>Décompressez le paquetage, et vous trouverez un répertoire <code translate="no">milvus</code>, qui contient tous les fichiers nécessaires.</p>
<h4 id="2-Start-a-MinIO-service" class="common-anchor-header">2. Démarrer un service MinIO</h4><p>Double-cliquez sur le fichier <code translate="no">run_minio.bat</code> pour démarrer un service MinIO avec les configurations par défaut. Les données seront stockées dans le sous-répertoire <code translate="no">s3data</code>.</p>
<h4 id="3-Start-an-etcd-service" class="common-anchor-header">3. Démarrer un service etcd</h4><p>Double-cliquez sur le fichier <code translate="no">run_etcd.bat</code> pour démarrer un service etcd avec les configurations par défaut.</p>
<h4 id="4-Start-Milvus-service" class="common-anchor-header">4. Démarrer le service Milvus</h4><p>Double-cliquez sur le fichier <code translate="no">run_milvus.bat</code> pour démarrer le service Milvus.</p>
<h3 id="Step-2-Run-hellomilvuspy" class="common-anchor-header">Étape 2. Exécuter <code translate="no">hello_milvus.py</code></h3><p>Après avoir démarré le service Milvus, vous pouvez le tester en exécutant <code translate="no">hello_milvus.py</code>. Voir <a href="https://milvus.io/docs/v2.0.x/example_code.md">Hello Milvus</a> pour plus d'informations.</p>
<h2 id="Engage-with-our-open-source-community" class="common-anchor-header">Participez à notre communauté open-source :<button data-href="#Engage-with-our-open-source-community" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li>Trouvez ou contribuez à Milvus sur <a href="https://bit.ly/3khejQB">GitHub</a>.</li>
<li>Interagissez avec la communauté via le <a href="https://bit.ly/307HVsY">forum</a>.</li>
<li>Connectez-vous avec nous sur <a href="https://bit.ly/3wn5aek">Twitter</a>.</li>
</ul>


Exécuter Milvus 2.0 sous Windows

<custom-h1>C'est terminé - Milvus Hacktoberfest 2021</custom-h1><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Blog_cover_a6ce8748d7.jpeg" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<p>Le Hacktoberfest est terminé, mais il n'y a pas de fin à la contribution aux projets open-source !</p>
<p>Tout au long du mois d'octobre, nous avons reçu un total de <strong>44 pull requests</strong> (PRs) à travers nos dépôts de la part de <strong>36 contributeurs</strong> (à l'exclusion de notre équipe principale). Bien que ce soit la première année que la communauté Milvus participe à Hacktoberfest, le nombre de participants que nous avons vu était au-delà de nos attentes, une indication de la prise de conscience croissante de l'esprit open-source.</p>
<p>Nous espérons que tous ceux qui ont participé à cet événement ont acquis une expérience pratique ou une connaissance de l'open source, de la communauté et des compétences techniques utiles dans le processus.️️️</p>
<p>Dans ce billet, nous aimerions vous inviter à célébrer nos réalisations ensemble et comment continuer à contribuer à Milvus après Hacktoberfest.</p>
<h2 id="📣-Shout-out-to-our-contributors" class="common-anchor-header"><strong>📣 Coup de chapeau à nos contributeurs :</strong><button data-href="#📣-Shout-out-to-our-contributors" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Pendant le Hacktoberfest de cette année, les dépôts du projet Milvus ont vu <strong>44 pull requests fusionnées</strong>! C'est un énorme accomplissement de tous les côtés. Bon travail à tous ! 🎉</p>
<p><a href="https://github.com/parthiv11">parthiv11</a>, <a href="https://github.com/joremysh">joremysh</a>, <a href="https://github.com/noviicee">noviicee</a>, <a href="https://github.com/Biki-das">Biki-das</a>, <a href="https://github.com/Nadyamilona">Nadyamilona</a>, <a href="https://github.com/ashish4arora">ashish4arora</a>, <a href="https://github.com/Dhruvacube">Dhruvacube</a>, <a href="https://github.com/iamartyaa">iamartyaa</a>, <a href="https://github.com/RafaelDSS">RafaelDSS</a>, <a href="https://github.com/kartikcho">kartikcho</a>, <a href="https://github.com/GuyKh">GuyKh</a>, <a href="https://github.com/Deep1Shikha">Deep1Shikha</a>, <a href="https://github.com/shreemaan-abhishek">shreemaan-abhishek</a>, <a href="https://github.com/daniel-shuy">daniel-shuy</a>, <a href="https://github.com/Hard-Coder05">Hard-Coder05</a>, <a href="https://github.com/sapora1">sapora1</a>, <a href="https://github.com/Rutam21">Rutam21</a>, <a href="https://github.com/idivyanshbansal">idivyanshbansal</a>, <a href="https://github.com/Mihir501">Mihir501</a>, <a href="https://github.com/Ayushchaudhary-Github">YushChaudhary</a>, <a href="https://github.com/sreyan-ghosh">sreyan-ghosh</a>, <a href="https://github.com/chiaramistro">chiaramistro</a>, <a href="https://github.com/appledora">appledora</a>, <a href="https://github.com/luisAzcuaga">luisAzcuaga</a>, <a href="https://github.com/matteomessmer">matteomessmer</a>, <a href="https://github.com/Nadyamilona">Nadyamilona</a>, <a href="https://github.com/Tititesouris">Tititesouris</a>, <a href="https://github.com/amusfq">amusfq</a>, <a href="https://github.com/matrixji">matrixji</a> &amp; <a href="https://github.com/zamanmub">généralZman</a></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/_80b0d87746.png" alt="image-20211110180357460" class="doc-image" id="image-20211110180357460" />
   </span> <span class="img-wrapper"> <span>image-20211110180357460</span> </span></p>
<h3 id="Here-are-some-extraordinary-Milvus-Hacktoberfest-2021-contributions" class="common-anchor-header">Voici quelques contributions extraordinaires du Milvus Hacktoberfest 2021 :</h3><p><strong>⚙️ Nouvelles fonctionnalités</strong></p>
<p><a href="https://github.com/milvus-io/milvus/issues/7706">Compiler et exécuter Milvus sur plusieurs plateformes</a> par <a href="https://github.com/matrixji">matrixji</a></p>
<p><strong>(🏆 Top Contributor 🏆 )</strong></p>
<p><strong>📝 Documentation</strong></p>
<ul>
<li><a href="https://github.com/milvus-io/bootcamp/issues/720">Traduire Hello Milvus (example_code.md) dans n'importe quelle langue</a> par <a href="https://github.com/chiaramistro">chiaramistro</a>, <a href="https://github.com/appledora">appledora</a>, <a href="https://github.com/luisAzcuaga">luisAzcuaga</a>, <a href="https://github.com/matteomessmer">matteomessmer</a>, <a href="https://github.com/Nadyamilona">Nadyamilona</a>, <a href="https://github.com/Tititesouris">Tititesouris</a> &amp; <a href="https://github.com/amusfq">amusfq</a></li>
<li><a href="https://github.com/milvus-io/bootcamp/issues/720">Ajout d'un exemple NodeJS à example_code.md</a> par <a href="https://github.com/GuyKh">GuyKh</a></li>
<li><a href="https://github.com/milvus-io/milvus-docs/pull/921/files">Traduction de upgrade.md</a> et <a href="https://github.com/milvus-io/milvus-docs/pull/892">ajout et traduction de paramètres dans le guide de l'utilisateur vers CN</a> par <a href="https://github.com/joremysh">joremysh</a></li>
<li><a href="https://github.com/milvus-io/milvus-docs/pull/752">Traduire</a><a href="https://github.com/milvus-io/milvus-docs/pull/753">tutorials/dna_sequence_classification.md en CN</a> &amp; <a href="https://github.com/milvus-io/milvus-docs/pull/752">Traduire reference/schema/collection_schema.md en CN</a> par <a href="https://github.com/daniel-shuy">daniel-shuy</a></li>
</ul>
<p><strong>🚀 Bootcamp</strong></p>
<ul>
<li><a href="https://github.com/milvus-io/bootcamp/pull/858">Amélioration du tutoriel Jupyter Notebook pour la recherche de hachage d'images </a>par <a href="https://github.com/zamanmub">generalZman</a></li>
<li><a href="https://github.com/milvus-io/bootcamp/pull/792">Correction du bogue TOPK de reverse_image_search</a> par <a href="https://github.com/RafaelDSS">RafaelDSS</a></li>
</ul>
<p><strong>🐍 PyMilvus</strong></p>
<ul>
<li><a href="https://github.com/milvus-io/pymilvus/issues/741">Mise à jour des formulaires de problèmes GitHub </a>(plusieurs dépôts) par <a href="https://github.com/Hard-Coder05">Hard-Coder05</a></li>
</ul>
<h3 id="Share-your-feedback-with-us" class="common-anchor-header">Faites-nous part de vos commentaires !</h3><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/h3_412b0f649b.png" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<p>Vous êtes les bienvenus pour partager votre expérience du Milvus Hacktoberfest 2021 avec nous ! Qu'il s'agisse d'un article de blog, d'un tweet (@milvusio) ou simplement d'un message sur notre <a href="https://discuss.milvus.io/c/hacktoberfest/9">forum</a>, tout sera grandement apprécié !</p>
<h2 id="Whats-Next" class="common-anchor-header">Prochaines étapes？<button data-href="#Whats-Next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="👩‍💻-Code--Documentation" class="common-anchor-header"><strong>👩‍💻</strong> <strong>Code et documentation</strong></h3><p>Si vous avez une connaissance limitée de Milvus, vous pouvez vous familiariser avec le fonctionnement de la communauté en contribuant aux dépôts <a href="https://github.com/milvus-io/pymilvus">pymilvus</a> ou <a href="https://github.com/milvus-io/milvus-docs">docs</a>. Vous pouvez également rechercher des tags tels que <strong>#goodfirsttissue</strong> ou <strong>#helpwanted</strong>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/h4_f18c9b6c2c.png" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/h5_a4f90c24a8.png" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<p>Si vous avez des questions sur la contribution, vous pouvez toujours les poser à la communauté dans la catégorie <strong>Contributeur</strong> du Forum : https://discuss.milvus.io/t/things-you-need-to-know-before-you-get-started/64.</p>
<h3 id="🏆-Be-a-Milvus-Advocate" class="common-anchor-header">🏆 Soyez un défenseur de Milvus</h3><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/advocate_1052d8249a.jpg" alt="image-20211110180730866" class="doc-image" id="image-20211110180730866" />
   </span> <span class="img-wrapper"> <span>image-20211110180730866</span> </span></p>
<p>Partagez votre expérience et les choses que vous avez apprises avec la communauté；proposez des idées sur la façon dont nous pouvons nous améliorer ; répondez aux questions et aidez les autres sur le forum Milvus, etc. Il existe de nombreuses façons de participer à la communauté. Nous avons listé quelques exemples ci-dessous, mais toutes les formes de contribution sont les bienvenues :</p>
<ul>
<li><p><strong>Démonstrations et solutions :</strong> Montrez aux utilisateurs de Milvus comment exploiter la plate-forme dans des scénarios spécifiques (par exemple, un système de recommandation musicale). Des exemples sont disponibles dans le <a href="https://github.com/milvus-io/bootcamp">Milvus Bootcamp</a>.</p></li>
<li><p><strong>Articles de blog, récits d'utilisateurs ou livres blancs :</strong> Rédiger un contenu de haute qualité qui explique clairement et précisément les détails techniques de Milvus.</p></li>
<li><p><strong>Conférences techniques/émissions en direct :</strong> Donner des conférences ou animer des émissions en direct qui contribuent à faire connaître Milvus.</p></li>
<li><p><strong>Autres :</strong> Tout contenu jouant un rôle positif dans le développement de Milvus et de sa communauté open-source sera considéré comme éligible.</p></li>
</ul>
<p>Pour plus de détails, veuillez consulter : https://milvus.io/community/milvus_advocate.md</p>
<p>Enfin, merci encore d'avoir participé au Hacktoberfest de cette année avec nous et de nous avoir permis d'être vos mentors et vos étudiants. Merci à <a href="https://hacktoberfest.digitalocean.com/">Digital Ocean</a> d'avoir accueilli cette année encore cet événement extraordinaire. Jusqu'à la prochaine fois !</p>
<p>Bon codage !</p>
<p>L'équipe de la communauté Milvus</p>


C'est terminé ! Milvus Hacktoberfest 2021

<p><em>Yufen Zong, ingénieur en développement de tests chez Zilliz, est titulaire d'une maîtrise en technologie informatique de l'université des sciences et technologies de Huazhong. Elle s'occupe actuellement de l'assurance qualité de la base de données vectorielles Milvus, notamment des tests d'intégration des interfaces, des tests SDK, des tests d'évaluation des performances, etc. Yufen est une chercheuse de problèmes enthousiaste dans le cadre des essais et du développement de Milvus, et une grande fan de la théorie de l'ingénierie du chaos et de la pratique de l'exercice des fautes.</em></p>
<h2 id="Background" class="common-anchor-header">Contexte<button data-href="#Background" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Lors de l'utilisation de la base de données vectorielle Milvus, vous devrez modifier la configuration par défaut pour répondre aux exigences de différents scénarios. Précédemment, un utilisateur de Milvus a partagé <a href="/blog/fr/2021-10-22-apply-configuration-changes-on-milvus-2.md">comment modifier la configuration de Milvus déployé à l'aide de Docker Compose</a>. Dans cet article, j'aimerais partager avec vous comment modifier la configuration de Milvus déployé sur Kubernetes.</p>
<h2 id="Modify-configuration-of-Milvus-on-Kubernetes" class="common-anchor-header">Modifier la configuration de Milvus sur Kubernetes<button data-href="#Modify-configuration-of-Milvus-on-Kubernetes" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Vous pouvez choisir différents plans de modification en fonction des paramètres de configuration que vous souhaitez modifier. Tous les fichiers de configuration de Milvus sont stockés sous <strong>milvus/configs</strong>. Lors de l'installation de Milvus sur Kubernetes, un dépôt Milvus Helm Chart sera ajouté localement. En exécutant <code translate="no">helm show values milvus/milvus</code>, vous pouvez vérifier les paramètres qui peuvent être modifiés directement avec Chart. Pour les paramètres modifiables avec Chart, vous pouvez passer le paramètre à l'aide de <code translate="no">--values</code> ou <code translate="no">--set</code>. Pour plus d'informations, voir <a href="https://artifacthub.io/packages/helm/milvus/milvus">Milvus Helm Chart</a> et <a href="https://helm.sh/docs/">Helm</a>.</p>
<p>Si les paramètres que vous souhaitez modifier ne figurent pas dans la liste, vous pouvez suivre les instructions ci-dessous.</p>
<p>Dans les étapes suivantes, le paramètre <code translate="no">rootcoord.dmlChannelNum</code> dans <strong>/milvus/configs/advanced/root_coord.yaml</strong> sera modifié à des fins de démonstration. La gestion des fichiers de configuration de Milvus sur Kubernetes est mise en œuvre par le biais de l'objet de ressource ConfigMap. Pour modifier le paramètre, vous devez d'abord mettre à jour l'objet ConfigMap de la version Chart correspondante, puis modifier les fichiers de ressources de déploiement des pods correspondants.</p>
<p>Attention, cette méthode ne s'applique qu'à la modification des paramètres de l'application Milvus déployée. Pour modifier les paramètres dans <strong>/milvus/configs/advanced/*.yaml</strong> avant le déploiement, vous devrez redévelopper le Milvus Helm Chart.</p>
<h3 id="Modify-ConfigMap-YAML" class="common-anchor-header">Modifier le ConfigMap YAML</h3><p>Comme indiqué ci-dessous, votre version de Milvus exécutée sur Kubernetes correspond à un objet ConfigMap portant le même nom que la version. La section <code translate="no">data</code> de l'objet ConfigMap inclut uniquement les configurations dans <strong>milvus.yaml</strong>. Pour modifier le site <code translate="no">rootcoord.dmlChannelNum</code> dans <strong>root_coord.yaml</strong>, vous devez ajouter les paramètres de <strong>root_coord.yaml</strong> à la section <code translate="no">data</code> du ConfigMap YAML et modifier le paramètre spécifique.</p>
<pre><code translate="no">kind: ConfigMap
apiVersion: v1
metadata:
  name: milvus-chaos
  ...
data:
  milvus.yaml: &gt;
    ......
  root_coord.yaml: |
    rootcoord:
      dmlChannelNum: 128
      maxPartitionNum: 4096
      minSegmentSizeToEnableIndex: 1024
      <span class="hljs-built_in">timeout</span>: 3600 <span class="hljs-comment"># time out, 5 seconds</span>
      timeTickInterval: 200 <span class="hljs-comment"># ms</span>
<button class="copy-code-btn"></button></code></pre>
<h3 id="Modify-Deployment-YAML" class="common-anchor-header">Modifier le YAML de déploiement</h3><p>Les données stockées dans un ConfigMap peuvent être référencées dans un volume de type configMap puis consommées par des applications conteneurisées s'exécutant dans un pod. Pour diriger les pods vers les nouveaux fichiers de configuration, vous devez modifier les modèles de pods qui ont besoin de charger les configurations dans <strong>root_coord.yaml</strong>. Plus précisément, vous devez ajouter une déclaration mount sous la section <code translate="no">spec.template.spec.containers.volumeMounts</code> dans le YAML de déploiement.</p>
<p>En prenant le YAML de déploiement du pod rootcoord comme exemple, un volume de type <code translate="no">configMap</code> nommé <strong>milvus-config</strong> est spécifié dans la section <code translate="no">.spec.volumes</code>. Et, dans la section <code translate="no">spec.template.spec.containers.volumeMounts</code>, le volume est déclaré pour monter <strong>milvus.yaml</strong> de votre version de Milvus sur <strong>/milvus/configs/milvus.yaml</strong>. De même, il suffit d'ajouter une déclaration de montage spécifique au conteneur rootcoord pour monter le <strong>fichier root_coord.yaml</strong> sur <strong>/milvus/configs/advanced/root_coord.yaml</strong>, et le conteneur peut ainsi accéder au nouveau fichier de configuration.</p>
<pre><code translate="no" class="language-yaml">spec:
  replicas: 1
  selector:
    ......
  template:
    metadata:
      ...
    spec:
      volumes:
        - name: milvus-config
          configMap:
            name: milvus-chaos
            defaultMode: 420
      containers:
        - name: rootcoord
          image: <span class="hljs-string">&#x27;milvusdb/milvus-dev:master-20210906-86afde4&#x27;</span>
          args:
            ...
          ports:
            ...
          resources: {}
          volumeMounts:
            - name: milvus-config
              readOnly: <span class="hljs-literal">true</span>
              mountPath: /milvus/configs/milvus.yaml
              subPath: milvus.yaml
            - name: milvus-config
              readOnly: <span class="hljs-literal">true</span>
              mountPath: /milvus/configs/advanced/`root_coord.yaml
              subPath: root_coord.yaml
          terminationMessagePath: /dev/termination-log
          terminationMessagePolicy: File
          imagePullPolicy: IfNotPresent
      restartPolicy: Always
      terminationGracePeriodSeconds: 30
      dnsPolicy: ClusterFirst
      securityContext: {}
      schedulerName: default-scheduler
<button class="copy-code-btn"></button></code></pre>
<h3 id="Verify-the-result" class="common-anchor-header">Vérifier le résultat</h3><p>Le kubelet vérifie si la ConfigMap montée est fraîche à chaque synchronisation périodique. Lorsque la ConfigMap consommée dans le volume est mise à jour, les clés projetées sont automatiquement mises à jour également. Lorsque le nouveau pod fonctionne à nouveau, vous pouvez vérifier si la modification a été effectuée avec succès dans le pod. Les commandes pour vérifier le paramètre <code translate="no">rootcoord.dmlChannelNum</code> sont partagées ci-dessous.</p>
<pre><code translate="no" class="language-bash">$ kctl <span class="hljs-built_in">exec</span> -ti milvus-chaos-rootcoord-6f56794f5b-xp2zs -- sh
<span class="hljs-comment"># cd configs/advanced</span>
<span class="hljs-comment"># pwd</span>
/milvus/configs/advanced
<span class="hljs-comment"># ls</span>
channel.yaml  common.yaml  data_coord.yaml  data_node.yaml  etcd.yaml  proxy.yaml  query_node.yaml  root_coord.yaml
<span class="hljs-comment"># cat root_coord.yaml</span>
rootcoord:
  dmlChannelNum: 128
  maxPartitionNum: 4096
  minSegmentSizeToEnableIndex: 1024
  <span class="hljs-built_in">timeout</span>: 3600 <span class="hljs-comment"># time out, 5 seconds</span>
  timeTickInterval: 200 <span class="hljs-comment"># ms</span>
<span class="hljs-comment"># exit</span>
<button class="copy-code-btn"></button></code></pre>
<p>La méthode ci-dessus permet de modifier les configurations avancées dans Milvus déployé sur Kubernetes. La prochaine version de Milvus intégrera toutes les configurations dans un seul fichier et prendra en charge la mise à jour de la configuration via le diagramme helm. Mais avant cela, j'espère que cet article pourra vous aider en tant que solution temporaire.</p>
<h2 id="Engage-with-our-open-source-community" class="common-anchor-header">Participez à notre communauté open-source :<button data-href="#Engage-with-our-open-source-community" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p>Trouvez ou contribuez à Milvus sur <a href="https://bit.ly/307b7jC">GitHub</a>.</p></li>
<li><p>Interagissez avec la communauté via le <a href="https://bit.ly/3qiyTEk">Forum</a>.</p></li>
<li><p>Connectez-vous avec nous sur <a href="https://bit.ly/3ob7kd8">Twitter</a>.</p></li>
</ul>


Comment modifier les configurations avancées de Milvus ?

Introduction

<custom-h1>Partage technique : Appliquer des changements de configuration sur Milvus 2.0 à l'aide de Docker Compose</custom-h1><p><em>Jingjing Jia, ingénieur de données chez Zilliz, est diplômée en informatique de l'université Xi'an Jiaotong. Depuis qu'elle a rejoint Zilliz, elle travaille principalement sur le prétraitement des données, le déploiement de modèles d'IA, la recherche sur les technologies liées à Milvus et l'aide aux utilisateurs de la communauté pour mettre en œuvre des scénarios d'application. Elle est très patiente, aime communiquer avec les partenaires de la communauté et aime écouter de la musique et regarder des dessins animés.</em></p>
<p>En tant qu'utilisateur fréquent de Milvus, j'étais très enthousiaste à l'idée de la nouvelle version de Milvus 2.0 RC. D'après l'introduction sur le site officiel, Milvus 2.0 semble surpasser de loin ses prédécesseurs. J'étais impatient de l'essayer moi-même.</p>
<p>Et c'est ce que j'ai fait.  Cependant, lorsque j'ai réellement mis la main sur Milvus 2.0, j'ai réalisé que je n'étais pas en mesure de modifier le fichier de configuration dans Milvus 2.0 aussi facilement que je l'avais fait avec Milvus 1.1.1. Je ne pouvais pas modifier le fichier de configuration à l'intérieur du conteneur Docker de Milvus 2.0 démarré avec Docker Compose, et même une modification forcée ne prenait pas effet. Plus tard, j'ai appris que Milvus 2.0 RC n'était pas en mesure de détecter les modifications apportées au fichier de configuration après l'installation. La prochaine version stable corrigera ce problème.</p>
<p>Après avoir essayé différentes approches, j'ai trouvé un moyen fiable d'appliquer des modifications aux fichiers de configuration pour Milvus 2.0 standalone &amp; cluster, et voici comment.</p>
<p>Notez que toutes les modifications apportées à la configuration doivent être effectuées avant de redémarrer Milvus à l'aide de Docker Compose.</p>
<h2 id="Modify-configuration-file-in-Milvus-standalone" class="common-anchor-header">Modifier le fichier de configuration dans Milvus autonome<button data-href="#Modify-configuration-file-in-Milvus-standalone" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Tout d'abord, vous devrez <a href="https://github.com/milvus-io/milvus/blob/master/configs/milvus.yaml">télécharger</a> une copie du fichier <strong>milvus.yaml</strong> sur votre périphérique local.</p>
<p>Ensuite, vous pouvez modifier les configurations dans le fichier. Par exemple, vous pouvez modifier le format du journal comme suit : <code translate="no">.json</code>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_1_ee4a16a3ee.png" alt="1.1.png" class="doc-image" id="1.1.png" />
   </span> <span class="img-wrapper"> <span>1.1.png</span> </span></p>
<p>Une fois le fichier <strong>milvus.y</strong> aml modifié, vous devrez également <a href="https://github.com/milvus-io/milvus/blob/master/deployments/docker/standalone/docker-compose.yml">télécharger</a> et modifier le fichier <strong>docker-compose.yaml</strong> pour le mode autonome en faisant correspondre le chemin d'accès local à milvus.yaml au chemin d'accès correspondant du conteneur docker au fichier de configuration <code translate="no">/milvus/configs/milvus.yaml</code> dans la section <code translate="no">volumes</code>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_2_5e7c73708c.png" alt="1.2.png" class="doc-image" id="1.2.png" />
   </span> <span class="img-wrapper"> <span>1.2.png</span> </span></p>
<p>Enfin, démarrez Milvus standalone à l'aide de <code translate="no">docker-compose up -d</code> et vérifiez si les modifications sont réussies. Par exemple, exécutez <code translate="no">docker logs</code> pour vérifier le format du journal.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_3_a0406df3ab.png" alt="1.3.png" class="doc-image" id="1.3.png" />
   </span> <span class="img-wrapper"> <span>1.3.png</span> </span></p>
<h2 id="Modify-configuration-file-in-Milvus-cluster" class="common-anchor-header">Modifier le fichier de configuration dans le cluster Milvus<button data-href="#Modify-configuration-file-in-Milvus-cluster" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Tout d'abord, <a href="https://github.com/milvus-io/milvus/blob/master/configs/milvus.yaml">téléchargez</a> et modifiez le fichier <strong>milvus.yaml</strong> en fonction de vos besoins.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_4_758b182846.png" alt="1.4.png" class="doc-image" id="1.4.png" />
   </span> <span class="img-wrapper"> <span>1.4.png</span> </span></p>
<p>Ensuite, vous devrez <a href="https://github.com/milvus-io/milvus/blob/master/deployments/docker/cluster/docker-compose.yml">télécharger</a> et modifier le fichier <strong>docker-compose.yml</strong> du cluster en faisant correspondre le chemin local vers <strong>milvus.yaml</strong> au chemin correspondant aux fichiers de configuration de tous les composants, c'est-à-dire root coord, data coord, data node, query coord, query node, index coord, index node et proxy.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_5_80e15811b8.png" alt="1.5.png" class="doc-image" id="1.5.png" />
   </span> <span class="img-wrapper"> <span>1.5.png</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_6_b2f3e4e47f.png" alt="1.6.png" class="doc-image" id="1.6.png" />
   </span> <span class="img-wrapper"> <span>1.6.png</span> </span> <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_7_4d1eb5e1e5.png" alt="1.7.png" class="doc-image" id="1.7.png" /></span> <span class="img-wrapper">1 </span>. <span class="img-wrapper">7 </span>. <span class="img-wrapper"> <span>png</span> </span></p>
<p>Enfin, vous pouvez démarrer le cluster Milvus à l'aide de <code translate="no">docker-compose up -d</code> et vérifier si les modifications ont été effectuées avec succès.</p>
<h2 id="Change-log-file-path-in-configuration-file" class="common-anchor-header">Modifier le chemin du fichier journal dans le fichier de configuration<button data-href="#Change-log-file-path-in-configuration-file" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Tout d'abord, <a href="https://github.com/milvus-io/milvus/blob/master/configs/milvus.yaml">téléchargez</a> le fichier <strong>milvus.yaml</strong> et modifiez la section <code translate="no">rootPath</code> en indiquant le répertoire dans lequel vous souhaitez stocker les fichiers journaux dans le conteneur Docker.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_8_e3bdc4843f.png" alt="1.8.png" class="doc-image" id="1.8.png" />
   </span> <span class="img-wrapper"> <span>1.8.png</span> </span></p>
<p>Ensuite, téléchargez le fichier <strong>docker-compose.yml</strong> correspondant pour Milvus <a href="https://github.com/milvus-io/milvus/blob/master/deployments/docker/standalone/docker-compose.yml">standalone</a> ou <a href="https://github.com/milvus-io/milvus/blob/master/deployments/docker/cluster/docker-compose.yml">cluster</a>.</p>
<p>Pour le mode autonome, vous devez faire correspondre le chemin local vers <strong>milvus.yaml</strong> au chemin correspondant du conteneur Docker vers le fichier de configuration <code translate="no">/milvus/configs/milvus.yaml</code>, et faire correspondre le répertoire du fichier journal local au répertoire du conteneur Docker que vous avez créé précédemment.</p>
<p>Pour les clusters, vous devrez mapper les deux chemins dans chaque composant.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_9_22d8929d92.png" alt="1.9.png" class="doc-image" id="1.9.png" />
   </span> <span class="img-wrapper"> <span>1.9.png</span> </span></p>
<p>Enfin, démarrez Milvus standalone ou cluster à l'aide de <code translate="no">docker-compose up -d</code> et vérifiez les fichiers journaux pour voir si la modification est réussie.</p>


Technical Sharing:Appliquer des changements de configuration sur Milvus 2.0 en utilisant Docker Compose

<custom-h1>Construction d'un système d'analyse vidéo avec la base de données vectorielle Milvus</custom-h1><p><em>Shiyu Chen, ingénieur en données chez Zilliz, est diplômée en informatique de l'université de Xidian. Depuis qu'elle a rejoint Zilliz, elle a exploré des solutions pour Milvus dans divers domaines, tels que l'analyse audio et vidéo, la recherche de formules moléculaires, etc., ce qui a considérablement enrichi les scénarios d'application de la communauté. Elle explore actuellement d'autres solutions intéressantes. Pendant son temps libre, elle aime le sport et la lecture.</em></p>
<p>En regardant <em>Free Guy</em> le week-end dernier, j'ai eu l'impression d'avoir déjà vu l'acteur qui joue Buddy, l'agent de sécurité, quelque part, mais je ne me souvenais d'aucune de ses œuvres. J'avais la tête pleine de "qui est ce type ?". J'étais sûr d'avoir vu ce visage et j'essayais tant bien que mal de me souvenir de son nom. De même, j'ai vu une fois l'acteur principal d'une vidéo boire une boisson que j'aimais beaucoup, mais je n'ai pas réussi à me souvenir du nom de la marque.</p>
<p>La réponse était sur le bout de ma langue, mais mon cerveau était complètement bloqué.</p>
<p>Le phénomène du bout de la langue (TOT) me rend fou lorsque je regarde des films. Si seulement il existait un moteur de recherche d'images inversées pour les vidéos qui me permette de trouver des vidéos et d'analyser leur contenu. Auparavant, j'avais construit un <a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/reverse_image_search/quick_deploy">moteur de recherche d'images inversées à l'aide de Milvus</a>. Étant donné que l'analyse de contenu vidéo ressemble quelque peu à l'analyse d'images, j'ai décidé de construire un moteur d'analyse de contenu vidéo basé sur Milvus.</p>
<h2 id="Object-detection" class="common-anchor-header">Détection d'objets<button data-href="#Object-detection" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="Overview" class="common-anchor-header">Vue d'ensemble</h3><p>Avant d'être analysés, les objets d'une vidéo doivent d'abord être détectés. La détection efficace et précise d'objets dans une vidéo est le principal défi de la tâche. Il s'agit également d'une tâche importante pour des applications telles que le pilotage automatique, les dispositifs portables et l'IdO.</p>
<p>Développés à partir d'algorithmes de traitement d'image traditionnels vers des réseaux neuronaux profonds (DNN), les modèles courants actuels pour la détection d'objets incluent R-CNN, FRCNN, SSD et YOLO. Le système d'analyse vidéo par apprentissage profond basé sur Milvus présenté dans ce sujet peut détecter des objets de manière intelligente et rapide.</p>
<h3 id="Implementation" class="common-anchor-header">Mise en œuvre</h3><p>Pour détecter et reconnaître des objets dans une vidéo, le système doit d'abord extraire des images d'une vidéo et détecter des objets dans les images à l'aide de la détection d'objets, puis extraire des vecteurs de caractéristiques des objets détectés et, enfin, analyser l'objet en fonction des vecteurs de caractéristiques.</p>
<ul>
<li>Extraction d'images</li>
</ul>
<p>L'analyse vidéo est convertie en analyse d'images grâce à l'extraction de trames. Actuellement, la technologie d'extraction d'images est très mature. Des programmes tels que FFmpeg et OpenCV permettent d'extraire des images à des intervalles spécifiques. Cet article explique comment extraire des images d'une vidéo toutes les secondes à l'aide d'OpenCV.</p>
<ul>
<li>Détection d'objets</li>
</ul>
<p>La détection d'objets consiste à trouver des objets dans les images extraites et à extraire des captures d'écran des objets en fonction de leur position. Comme le montrent les figures suivantes, un vélo, un chien et une voiture ont été détectés. Cette rubrique explique comment détecter des objets à l'aide de YOLOv3, qui est couramment utilisé pour la détection d'objets.</p>
<ul>
<li>Extraction de caractéristiques</li>
</ul>
<p>L'extraction de caractéristiques consiste à convertir des données non structurées, difficiles à reconnaître par les machines, en vecteurs de caractéristiques. Par exemple, les images peuvent être converties en vecteurs de caractéristiques multidimensionnelles à l'aide de modèles d'apprentissage profond. Actuellement, les modèles d'IA de reconnaissance d'images les plus populaires comprennent VGG, GNN et ResNet. Cette rubrique explique comment extraire les caractéristiques des objets détectés à l'aide de ResNet-50.</p>
<ul>
<li>Analyse des vecteurs</li>
</ul>
<p>Les vecteurs de caractéristiques extraits sont comparés aux vecteurs de la bibliothèque et les informations correspondant aux vecteurs les plus similaires sont renvoyées. Pour les ensembles de données de vecteurs de caractéristiques à grande échelle, le calcul est un énorme défi. Cette rubrique explique comment analyser les vecteurs de caractéristiques à l'aide de Milvus.</p>
<h2 id="Key-technologies" class="common-anchor-header">Technologies clés<button data-href="#Key-technologies" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="OpenCV" class="common-anchor-header">OpenCV</h3><p>Open Source Computer Vision Library (OpenCV) est une bibliothèque de vision par ordinateur multiplateforme qui fournit de nombreux algorithmes universels pour le traitement d'images et la vision par ordinateur. OpenCV est couramment utilisé dans le domaine de la vision par ordinateur.</p>
<p>L'exemple suivant montre comment capturer des images vidéo à des intervalles spécifiés et les enregistrer en tant qu'images à l'aide d'OpenCV et de Python.</p>
<pre><code translate="no" class="language-python"><span class="hljs-keyword">import</span> cv2 
<span class="hljs-built_in">cap</span> = cv2.VideoCapture(file_path)   
framerate = <span class="hljs-built_in">cap</span>.get(cv2.CAP_PROP_FPS)   
allframes = <span class="hljs-type">int</span>(cv2.VideoCapture.get(<span class="hljs-built_in">cap</span>, <span class="hljs-type">int</span>(cv2.CAP_PROP_FRAME_COUNT)))  
success, image = <span class="hljs-built_in">cap</span>.read() 
cv2.imwrite(file_name, image)
<button class="copy-code-btn"></button></code></pre>
<h3 id="YOLOv3" class="common-anchor-header">YOLOv3</h3><p>You Only Look Once, Version 3 (YOLOv3 [5]) est un algorithme de détection d'objets en une seule étape proposé ces dernières années. Comparé aux algorithmes traditionnels de détection d'objets avec la même précision, YOLOv3 est deux fois plus rapide. YOLOv3 mentionné dans ce sujet est la version améliorée de PaddlePaddle [6]. Il utilise plusieurs méthodes d'optimisation avec une vitesse d'inférence plus élevée.</p>
<h3 id="ResNet-50" class="common-anchor-header">ResNet-50</h3><p>ResNet [7] est le vainqueur de l'ILSVRC 2015 en classification d'images en raison de sa simplicité et de sa praticité. À la base de nombreuses méthodes d'analyse d'images, ResNet s'avère être un modèle populaire spécialisé dans la détection, la segmentation et la reconnaissance d'images.</p>
<h3 id="Milvus" class="common-anchor-header">Milvus</h3><p><a href="https://milvus.io/">Milvus</a> est une base de données vectorielles open-source et native pour le cloud, conçue pour gérer les vecteurs d'intégration générés par les modèles d'apprentissage automatique et les réseaux neuronaux. Elle est largement utilisée dans des scénarios tels que la vision artificielle, le traitement du langage naturel, la chimie informatique, les systèmes de recommandation personnalisés, etc.</p>
<p>Les procédures suivantes décrivent le fonctionnement de Milvus.</p>
<ol>
<li>Les données non structurées sont converties en vecteurs de caractéristiques à l'aide de modèles d'apprentissage profond et sont importées dans Milvus.</li>
<li>Milvus stocke et indexe les vecteurs de caractéristiques.</li>
<li>Milvus renvoie les vecteurs les plus similaires au vecteur interrogé par les utilisateurs.</li>
</ol>
<h2 id="Deployment" class="common-anchor-header">Déploiement<button data-href="#Deployment" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Vous avez maintenant une certaine compréhension des systèmes d'analyse vidéo basés sur Milvus. Le système se compose principalement de deux parties, comme le montre la figure suivante.</p>
<ul>
<li><p>Les flèches rouges indiquent le processus d'importation des données. Utilisez ResNet-50 pour extraire les vecteurs de caractéristiques de l'ensemble de données d'images et importez les vecteurs de caractéristiques dans Milvus.</p></li>
<li><p>Les flèches noires indiquent le processus d'analyse vidéo. Premièrement, extraire les images d'une vidéo et les enregistrer en tant qu'images. Ensuite, détecter et extraire les objets dans les images à l'aide de YOLOv3. Ensuite, nous utilisons ResNet-50 pour extraire les vecteurs de caractéristiques des images. Enfin, Milvus recherche et renvoie les informations sur les objets avec les vecteurs de caractéristiques correspondants.</p></li>
</ul>
<p>Pour plus d'informations, voir <a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/video_similarity_search/object_detection">Milvus Bootcamp : Système de détection d'objets vidéo</a>.</p>
<p><strong>Importation de données</strong></p>
<p>Le processus d'importation des données est simple. Convertissez les données en vecteurs à 2 048 dimensions et importez les vecteurs dans Milvus.</p>
<pre><code translate="no" class="language-python">vector = image_encoder.execute(filename)
entities = [vector]
collection.insert(data=entities)
<button class="copy-code-btn"></button></code></pre>
<p><strong>Analyse vidéo</strong></p>
<p>Comme indiqué ci-dessus, le processus d'analyse vidéo comprend la capture d'images vidéo, la détection d'objets dans chaque image, l'extraction de vecteurs à partir des objets, le calcul de la similarité des vecteurs à l'aide de la distance euclidienne (L2) et la recherche de résultats à l'aide de Milvus.</p>
<pre><code translate="no" class="language-python">images = extract_frame(filename, 1, prefix)   
detector = Detector()   
run(detector, DATA_PATH)       
vectors = get_object_vector(image_encoder, DATA_PATH)
search_params = {<span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&quot;L2&quot;</span>, <span class="hljs-string">&quot;params&quot;</span>: {<span class="hljs-string">&quot;nprobe&quot;</span>: 10}}
results = collection.search(vectors, param=search_params, <span class="hljs-built_in">limit</span>=10)
<button class="copy-code-btn"></button></code></pre>
<h2 id="Conclusion" class="common-anchor-header">Conclusion<button data-href="#Conclusion" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Actuellement, plus de 80 % des données sont non structurées. Avec le développement rapide de l'IA, un nombre croissant de modèles d'apprentissage profond ont été développés pour analyser les données non structurées. Des technologies telles que la détection d'objets et le traitement d'images ont réalisé de grandes percées tant dans le monde universitaire que dans l'industrie. Grâce à ces technologies, de plus en plus de plateformes d'IA répondent à des besoins pratiques.</p>
<p>Le système d'analyse vidéo dont il est question dans ce sujet est construit avec Milvus, qui peut analyser rapidement le contenu vidéo.</p>
<p>En tant que base de données vectorielles open-source, Milvus prend en charge les vecteurs de caractéristiques extraits à l'aide de divers modèles d'apprentissage profond. Intégré à des bibliothèques telles que Faiss, NMSLIB et Annoy, Milvus fournit un ensemble d'API intuitives, prenant en charge la commutation des types d'index en fonction des scénarios. En outre, Milvus prend en charge le filtrage scalaire, qui augmente le taux de rappel et la flexibilité de la recherche. Milvus a été appliqué à de nombreux domaines tels que le traitement d'images, la vision par ordinateur, le traitement du langage naturel, la reconnaissance vocale, les systèmes de recommandation et la découverte de nouveaux médicaments.</p>
<h2 id="References" class="common-anchor-header">Références<button data-href="#References" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>[1] A. D. Bagdanov, L. Ballan, M. Bertini, A. Del Bimbo. "Trademark matching and retrieval in sports video databases". Proceedings of the international workshop on Workshop on multimedia information retrieval, ACM, 2007. https://www.researchgate.net/publication/210113141_Trademark_matching_and_retrieval_in_sports_video_databases</p>
<p>[2] J. Kleban, X. Xie, W.-Y. Ma. "Spatial pyramid mining for logo detection in natural scenes". IEEE International Conference, 2008. https://ieeexplore.ieee.org/document/4607625</p>
<p>[3] R. Boia, C. Florea, L. Florea, R. Dogaru. "Localisation et reconnaissance de logos dans des images naturelles à l'aide de graphes de classes homographiques". Machine Vision and Applications 27 (2), 2016. https://link.springer.com/article/10.1007/s00138-015-0741-7</p>
<p>[4] R. Boia, C. Florea, L. Florea. "Elliptical asift agglomeration in class prototype for logo detection". BMVC, 2015. http://citeseerx.ist.psu.edu/viewdoc/download;jsessionid=5C87F52DE38AB0C90F8340DFEBB841F7?doi=10.1.1.707.9371&amp;rep=rep1&amp;type=pdf</p>
<p>[5] https://arxiv.org/abs/1804.02767</p>
<p>[6] https://paddlepaddle.org.cn/modelbasedetail/yolov3</p>
<p>[7] https://arxiv.org/abs/1512.03385</p>


Détection d'objets

<custom-h1>Milvus participera au Hacktoberfest 2021</custom-h1><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Hacktoberfest_89c929cace.png" alt="hacktoberfestCover" class="doc-image" id="hacktoberfestcover" />
   </span> <span class="img-wrapper"> <span>hacktoberfestCover</span> </span></p>
<p><strong>Milvus, la base de données vectorielle qui renforce les applications d'IA, a annoncé aujourd'hui sa participation à la 8e édition annuelle de l'événement Hacktoberfest sponsorisé par DigitalOcean !</strong></p>
<p>En 2014, DigitalOcean a lancé <a href="https://hacktoberfest.digitalocean.com/">Hacktoberfest</a> avec l'idée de célébrer les projets de logiciels libres. Au fil des ans, l'événement a connu une croissance constante, passant de quelques dizaines à des milliers de participants.  Cette année, l'événement d'une durée d'un mois espère dépasser les 200 000 participants actifs !</p>
<p>À partir du 1er octobre, les développeurs chevronnés, les étudiants, les débutants, les rédacteurs techniques et les concepteurs UX pourront contribuer aux communautés open source et développer leurs compétences, avec l'avantage de gagner des articles en édition limitée et bien d'autres choses encore.</p>
<h2 id="Everyone-is-welcome" class="common-anchor-header">Tout le monde est le bienvenu<button data-href="#Everyone-is-welcome" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Il existe de nombreuses façons de contribuer au projet Milvus - il n'est pas nécessaire d'être une superstar du code pour contribuer ! En fait, vous n'avez même pas besoin d'une expérience approfondie ou d'une longue liste de compétences pour apporter votre aide. Vous êtes un excellent rédacteur ou éditeur, génial !  Vous aimez créer des graphiques ou des illustrations - parfait !  Voici quelques façons de contribuer à l'événement, ainsi qu'une liste de "questions" GitHub auxquelles les nouveaux contributeurs pourront s'attaquer !</p>
<p>Pour en savoir plus <a href="https://discuss.milvus.io/t/join-hacktoberfest-2021-with-us/72#how-to-participate-1">, cliquez ici</a>.</p>
<h2 id="Contribute-get-noticed--earn-swag" class="common-anchor-header">Contribuez, faites-vous remarquer et gagnez des cadeaux<button data-href="#Contribute-get-noticed--earn-swag" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/swag_cae44023e8.png" alt="swag" class="doc-image" id="swag" />
   </span> <span class="img-wrapper"> <span>swag</span> </span></p>
<p>Contribuer à l'open source, ou au concept d'open source, est en soi une incarnation de l'altruisme, mais un peu de swag ne fait pas de mal. Nous avons à gagner des autocollants exclusifs, des t-shirts, des claviers et même un drone ! Consultez les détails sur notre <a href="https://discuss.milvus.io/t/join-hacktoberfest-2021-with-us/72#prizes-8">page du forum</a>.</p>
<p>DigitalOcean fournit également des cadeaux aux participants, consultez les règles sur le site officiel du Hacktoberfest.</p>
<h2 id="Whats-next" class="common-anchor-header">Prochaines étapes<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p>Nous avons récemment organisé un appel virtuel de questions-réponses sur le Hacktoberfest.  Vous pouvez visionner l'enregistrement <a href="https://www.youtube.com/watch?v=cHjSTEHoiF8">ici</a>.</p></li>
<li><p>Pour participer à l'événement, nous vous recommandons de commencer sur notre page milvus.io Hacktoberfest et de consulter le <a href="https://hacktoberfest.com/">guide de démarrage rapide.</a></p></li>
<li><p>Consultez notre <a href="https://github.com/milvus-io">dépôt GitHub</a> (et donnez-nous une étoile) !</p></li>
<li><p>Consultez notre liste de <a href="https://github.com/milvus-io/milvus/issues?q=is%3Aopen+is%3Aissue+label%3AHacktoberfest">"problèmes"</a> pour les participants qui peuvent vous aider à devenir une rockstar !</p></li>
</ul>
<h2 id="Helpful-links" class="common-anchor-header">Liens utiles<button data-href="#Helpful-links" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p><a href="https://hacktoberfest.com/"><strong>Page de l'événement Milvus x Hactoberfest</strong></a></p></li>
<li><p><a href="https://discuss.milvus.io/c/hacktoberfest/9"><strong>Forum de discussion Milvus</strong></a> - Rejoignez notre forum Milvus pour vous tenir au courant des versions de Milvus, interagir avec d'autres utilisateurs et poser des questions pendant l'événement.</p></li>
<li><p><strong>Suivez-nous sur <a href="https://twitter.com/milvusio">Twitter</a></strong> et si votre contribution est mise en avant pendant l'événement, vous pourrez gagner un swag spécial !</p></li>
</ul>


Tout le monde est le bienvenu

<custom-h1>Combiner des modèles d'IA pour la recherche d'images à l'aide d'ONNX et de Milvus</custom-h1><p>Open Neural Network Exchange (ONNX) est un format ouvert construit pour représenter les modèles d'apprentissage automatique. Depuis son ouverture en 2017, ONNX est devenu une norme pour l'IA, fournissant des blocs de construction pour les modèles d'apprentissage automatique et d'apprentissage profond. ONNX définit un format de fichier commun pour permettre aux développeurs d'IA d'utiliser des modèles avec différents frameworks, outils, runtimes et compilateurs, et contribue à augmenter la vitesse d'innovation dans la communauté de l'intelligence artificielle.</p>
<p>Milvus est une base de données vectorielles open-source très flexible, fiable et extrêmement rapide. Elle prend en charge l'ajout, la suppression, la mise à jour et la recherche en temps quasi réel de vecteurs. Milvus dispose d'un ensemble complet d'API intuitives et prend en charge de nombreuses bibliothèques d'index largement adoptées (par exemple Faiss, NMSLIB et Annoy), ce qui simplifie la sélection de l'index pour un scénario donné. Milvus est simple d'utilisation et a été utilisé dans des centaines d'organisations et d'institutions dans le monde entier, notamment pour la recherche d'images, d'audio et de vidéo, la recommandation, le chatbot, la recherche de nouveaux médicaments, etc.</p>
<p>Cet article vous présentera comment utiliser plusieurs modèles pour la recherche d'images en se basant sur ONNX et Milvus. Il prend les modèles VGG16 et ResNet50 comme exemples, utilise ONNX pour exécuter différents modèles d'IA afin de générer des vecteurs de caractéristiques, et enfin effectue une recherche de vecteurs de caractéristiques dans Milvus pour renvoyer des images similaires.</p>
<h2 id="Process-Models-with-ONNX" class="common-anchor-header">Traiter les modèles avec ONNX<button data-href="#Process-Models-with-ONNX" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Le format ONNX peut être facilement échangé entre les modèles d'IA. Par exemple, le modèle TensorFlow peut être converti au format ONNX et exécuté dans l'environnement Caffe. Dans cet exemple, nous convertissons le modèle ResNet50 pré-entraîné sous le cadre Keras au format ONNX, puis nous appelons le modèle VGG16 au format ONNX pour analyser différents modèles.</p>
<pre><code translate="no" class="language-python"><span class="hljs-keyword">from</span> keras.applications.resnet50 <span class="hljs-keyword">import</span> ResNet50
<span class="hljs-keyword">import</span> tensorflow <span class="hljs-keyword">as</span> tf

<span class="hljs-comment"># load keras-resnet50 model and save as a floder</span>
model_resnet50 = ResNet50(include_top=<span class="hljs-literal">False</span>, pooling=<span class="hljs-string">&#x27;max&#x27;</span>, weights=<span class="hljs-string">&#x27;imagenet&#x27;</span>)
tf.saved_model.save(model_resnet50, <span class="hljs-string">&quot;keras_resnet50_model&quot;</span>)

<span class="hljs-comment"># convert resnet50 model to onnx</span>
! python -m tf2onnx.convert --saved-model <span class="hljs-string">&quot;keras_resnet50_model&quot;</span> --output <span class="hljs-string">&quot;onnx_resnet50.onnx&quot;</span>
<button class="copy-code-btn"></button></code></pre>
<p>Remarque : lorsque nous avons utilisé l'interface <code translate="no">keras2onnx.convert_keras(model, model.name)</code> pour convertir le modèle, elle renvoie l'erreur <code translate="no">AttributeError:'KerasTensor' object has no attribute'graph'</code>. Nous pouvons alors utiliser la commande Bash de Python pour convertir le modèle en suivant la solution proposée par Stack Overflow.</p>
<h2 id="Extract-Feature-Vectors-using-Models" class="common-anchor-header">Extraction des vecteurs de caractéristiques à l'aide des modèles<button data-href="#Extract-Feature-Vectors-using-Models" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Après avoir converti le modèle ResNet50 au format ONNX, vous pouvez extraire le vecteur de caractéristiques de l'image directement par l'inférence. Remarque : les vecteurs de caractéristiques doivent être normalisés après l'extraction.</p>
<pre><code translate="no" class="language-python"><span class="hljs-comment"># get the image vectors with onnx model</span>
<span class="hljs-keyword">def</span> <span class="hljs-title function_">get_onnx_vectors</span>(<span class="hljs-params">onnx_model, img_path</span>):
    img = image.load_img(img_path, target_size=(<span class="hljs-number">224</span>, <span class="hljs-number">224</span>))
    x = image.img_to_array(img)
    x = np.expand_dims(x, axis=<span class="hljs-number">0</span>)
    x = preprocess_input(x)
    
    sess = onnxruntime.InferenceSession(onnx_model)
    x = x <span class="hljs-keyword">if</span> <span class="hljs-built_in">isinstance</span>(x, <span class="hljs-built_in">list</span>) <span class="hljs-keyword">else</span> [x]
    feed = <span class="hljs-built_in">dict</span>([(<span class="hljs-built_in">input</span>.name, x[n]) <span class="hljs-keyword">for</span> n, <span class="hljs-built_in">input</span> <span class="hljs-keyword">in</span> <span class="hljs-built_in">enumerate</span>(sess.get_inputs())])
    feat = sess.run(<span class="hljs-literal">None</span>, feed)[<span class="hljs-number">0</span>]
    
    norm_feat = feat[<span class="hljs-number">0</span>] / LA.norm(feat[<span class="hljs-number">0</span>])
    norm_feat = [i.item() <span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> norm_feat]
    <span class="hljs-keyword">return</span> norm_feat
<button class="copy-code-btn"></button></code></pre>
<p>Utilisez le modèle VGG16 au format ONNX pour traiter les données d'image :</p>
<pre><code translate="no" class="language-python"><span class="hljs-comment"># generate vectors with ResNet50 and VGG16 ONNX model</span>
2vec_resnet = get_onnx_vectors(<span class="hljs-string">&quot;onnx_resnet50.onnx&quot;</span>, <span class="hljs-string">&quot;./pic/example.jpg&quot;</span>)
3vec_vgg = get_onnx_vectors(<span class="hljs-string">&quot;onnx_vgg16.onnx&quot;</span>, <span class="hljs-string">&quot;./pic/example.jpg&quot;</span>)
<button class="copy-code-btn"></button></code></pre>
<h2 id="Store-Vector-Data" class="common-anchor-header">Stocker les données vectorielles<button data-href="#Store-Vector-Data" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Les données non structurées telles que les images ne peuvent pas être traitées directement par un ordinateur, mais elles peuvent être converties en vecteurs par le biais d'un modèle d'IA, puis analysées par un ordinateur. La base de données vectorielles Milvus est conçue pour l'analyse massive de données non structurées. Elle peut stocker des données vectorielles et effectuer des analyses en temps quasi réel. Tout d'abord, créez une collection du modèle correspondant dans Milvus, puis insérez les vecteurs d'image.</p>
<pre><code translate="no" class="language-python"><span class="hljs-keyword">from</span> milvus <span class="hljs-keyword">import</span> *

<span class="hljs-comment"># create collections in Milvus</span>
milvus.create_collection(resnet_collection_param)
milvus.create_collection(vgg_collection_param)

<span class="hljs-comment"># insert data to Milvus and return ids</span>
status, resnet_ids = milvus.insert(resnet_collection_name, resnet_vectors)
status, vgg_ids = milvus.insert(vgg_collection_name, vgg_vectors)
<button class="copy-code-btn"></button></code></pre>
<p>Après avoir inséré les données avec succès, Milvus renvoie l'ID correspondant au vecteur, ce qui permet de trouver l'image par ID. Étant donné que Milvus 1.1 utilisé dans ce cas ne prend pas en charge le filtrage scalaire (que Milvus 2.0 prend désormais en charge), Redis est utilisé pour stocker l'ID du vecteur et la clé-valeur du chemin d'accès à l'image.</p>
<pre><code translate="no" class="language-python"><span class="hljs-keyword">import</span> redis
<span class="hljs-keyword">def</span> <span class="hljs-title function_">img_ids_to_redis</span>(<span class="hljs-params">img_directory, res_ids</span>):
  <span class="hljs-keyword">for</span> img, ids <span class="hljs-keyword">in</span> <span class="hljs-built_in">zip</span>(images, res_ids):
    redis.<span class="hljs-built_in">set</span>(ids, img)
<button class="copy-code-btn"></button></code></pre>
<h2 id="Search-for-Similar-Images" class="common-anchor-header">Recherche d'images similaires<button data-href="#Search-for-Similar-Images" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Après avoir stocké les données, nous pouvons récupérer le vecteur. Milvus prend en charge plusieurs méthodes de calcul de la distance, notamment la distance euclidienne, le produit intérieur et la distance de Hamming. La recherche de similarité d'images dans cet article adopte le calcul de la distance euclidienne entre les vecteurs dans Milvus, renvoie l'ID du vecteur similaire, puis trouve l'image correspondant à l'ID dans Redis.</p>
<pre><code translate="no" class="language-python"><span class="hljs-comment"># search in Milvus and return the similarly results with ids</span>
<span class="hljs-keyword">def</span> <span class="hljs-title function_">search_in_milvus</span>(<span class="hljs-params">collection_name, search_vector</span>):
    status, results = milvus.search(collection_name, TOP_K, [search_vector])
    <span class="hljs-built_in">print</span>(status)
    re_ids = [x.<span class="hljs-built_in">id</span> <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> results[<span class="hljs-number">0</span>]]
    re_distance = [x.distance <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> results[<span class="hljs-number">0</span>]]
    <span class="hljs-keyword">return</span> re_ids, re_distance
    
<span class="hljs-comment"># get the images according the result ids</span>
<span class="hljs-keyword">def</span> <span class="hljs-title function_">get_sim_imgs</span>(<span class="hljs-params">collection_name, search_vector</span>):
    ids, distance = search_in_milvus(collection_name, search_vector)
    img = [red.get(i).decode(<span class="hljs-string">&quot;utf-8&quot;</span>) <span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> ids]
    <span class="hljs-keyword">return</span> ids, distance, img
<button class="copy-code-btn"></button></code></pre>
<p>En prenant les modèles VGG16 et ResNet50 comme exemples, cet article montre le traitement de plusieurs modèles par ONNX et la combinaison de plusieurs modèles avec Milvus pour la recherche de vecteurs similaires afin d'obtenir des images similaires. Les deux modèles ci-dessus sont basés sur le cadre Keras, qui peut rapidement extraire des vecteurs de caractéristiques. Le carnet de notes montre que, bien que les résultats de la recherche d'images par Milvus sur l'ensemble de données COCO basée sur ces deux modèles soient similaires, leurs distances euclidiennes ne sont pas les mêmes. Vous pouvez également essayer de comparer les résultats de recherche des deux modèles en utilisant d'autres ensembles de données.</p>
<p>Milvus est une base de données vectorielles hautement performante et disponible qui peut être utilisée pour traiter les vecteurs de caractéristiques générés à partir de données massives non structurées. Pour plus de solutions, vous pouvez vous référer à <a href="https://github.com/milvus-io/bootcamp">Milvus bootcamp</a>.</p>
<h2 id="References" class="common-anchor-header">Références<button data-href="#References" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ol>
<li>https://github.com/onnx/onnx</li>
<li>https://onnx.ai/</li>
<li>https://milvus.io/cn/</li>
<li>https://github.com/milvus-io/bootcamp</li>
</ol>
<h3 id="About-author" class="common-anchor-header">À propos de l'auteur</h3><p>Shiyu Chen, ingénieur en données chez Zilliz, est diplômée en informatique de l'université de Xidian. Depuis qu'elle a rejoint Zilliz, elle a exploré des solutions pour Milvus dans divers domaines, tels que l'analyse audio et vidéo, la recherche de formules de molécules, etc. Elle explore actuellement d'autres solutions intéressantes. Pendant son temps libre, elle aime le sport et la lecture.</p>


Traiter les modèles avec ONNX

DiskANN, une solution ANNS basée sur un disque avec un rappel élevé et un QPS élevé sur un ensemble de données à l'échelle du milliard

Vue d'ensemble

<custom-h1>Classification des séquences d'ADN basée sur Milvus</custom-h1><blockquote>
<p>Auteur : Mengjia Gu, ingénieur en données chez Zilliz, est titulaire d'un master en sciences de l'information de l'université McGill. Elle s'intéresse aux applications de l'intelligence artificielle et à la recherche de similarités dans les bases de données vectorielles. En tant que membre de la communauté du projet open-source Milvus, elle a fourni et amélioré diverses solutions, comme le système de recommandation et le modèle de classification des séquences d'ADN. Elle aime les défis et n'abandonne jamais !</p>
</blockquote>
<custom-h1>Introduction</custom-h1><p>La séquence d'ADN est un concept populaire tant dans la recherche universitaire que dans les applications pratiques, telles que la traçabilité des gènes, l'identification des espèces et le diagnostic des maladies. Alors que toutes les industries sont à la recherche d'une méthode de recherche plus intelligente et plus efficace, l'intelligence artificielle a attiré beaucoup d'attention, en particulier dans les domaines biologique et médical. De plus en plus de scientifiques et de chercheurs contribuent à l'apprentissage automatique et à l'apprentissage profond en bio-informatique. Pour rendre les résultats expérimentaux plus convaincants, une option courante consiste à augmenter la taille de l'échantillon. La collaboration avec le big data en génomique apporte également plus de possibilités de cas d'utilisation dans la réalité. Cependant, l'alignement traditionnel des séquences présente des limites qui le rendent <a href="https://www.frontiersin.org/articles/10.3389/fbioe.2020.01032/full#h5">inadapté aux données volumineuses</a>. Afin de faire moins de compromis dans la réalité, la vectorisation est un bon choix pour un grand ensemble de données de séquences d'ADN.</p>
<p>La base de données vectorielles open source <a href="https://milvus.io/docs/v2.0.x/overview.md">Milvus</a> est adaptée aux données massives. Elle est capable de stocker des vecteurs de séquences d'acides nucléiques et d'effectuer des recherches très efficaces. Elle peut également contribuer à réduire les coûts de production ou de recherche. Le système de classification des séquences d'ADN basé sur Milvus ne prend que quelques millisecondes pour classer les gènes. En outre, il présente une précision supérieure à celle d'autres classificateurs courants dans le domaine de l'apprentissage automatique.</p>
<custom-h1>Traitement des données</custom-h1><p>Un gène qui code l'information génétique est constitué d'une petite section de séquences d'ADN, qui se compose de 4 bases nucléotidiques [A, C, G, T]. Le génome humain compte environ 30 000 gènes, soit près de 3 milliards de paires de bases d'ADN, et chaque paire de bases a deux bases correspondantes. Pour permettre diverses utilisations, les séquences d'ADN peuvent être classées en plusieurs catégories. Afin de réduire le coût et de faciliter l'utilisation des données des longues séquences d'ADN, le <a href="https://en.wikipedia.org/wiki/K-mer#:~:text=Usually%2C%20the%20term%20k%2Dmer,total%20possible%20k%2Dmers%2C%20where">k-mer </a>est introduit dans le prétraitement des données. En même temps, il rend les données de séquences d'ADN plus semblables à du texte brut. En outre, les données vectorisées peuvent accélérer les calculs dans l'analyse des données ou l'apprentissage automatique.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_a7469e9eac.png" alt="1.png" class="doc-image" id="1.png" />
   </span> <span class="img-wrapper"> <span>1.png</span> </span></p>
<p><strong>k-mer</strong></p>
<p>La méthode k-mer est couramment utilisée dans le prétraitement des séquences d'ADN. Elle extrait une petite section de longueur k à partir de chaque base de la séquence originale, convertissant ainsi une longue séquence de longueur s en (s-k+1) courtes séquences de longueur k. L'ajustement de la valeur de k permet d'améliorer les performances du modèle. Les listes de séquences courtes sont plus faciles à lire, à extraire et à vectoriser.</p>
<p><strong>Vectorisation</strong></p>
<p>Les séquences d'ADN sont vectorisées sous forme de texte. Une séquence transformée par k-mer devient une liste de séquences courtes, qui ressemble à une liste de mots individuels dans une phrase. Par conséquent, la plupart des modèles de traitement du langage naturel devraient également fonctionner pour les données relatives aux séquences d'ADN. Des méthodologies similaires peuvent être appliquées à la formation des modèles, à l'extraction des caractéristiques et à l'encodage. Chaque modèle ayant ses propres avantages et inconvénients, la sélection des modèles dépend des caractéristiques des données et de l'objectif de la recherche. Par exemple, CountVectorizer, un modèle de sac de mots, met en œuvre l'extraction de caractéristiques par le biais d'une simple tokenisation. Il ne fixe aucune limite à la longueur des données, mais le résultat obtenu est moins évident en termes de comparaison de similarité.</p>
<custom-h1>Démonstration de Milvus</custom-h1><p>Milvus peut facilement gérer des données non structurées et rappeler les résultats les plus similaires parmi des trillions de vecteurs dans un délai moyen de quelques millisecondes. Sa recherche de similarité est basée sur l'algorithme de recherche ANN (Approximate Nearest Neighbor). Ces caractéristiques font de Milvus une excellente option pour gérer les vecteurs de séquences d'ADN et promouvoir ainsi le développement et les applications de la bio-informatique.</p>
<p>Voici une démonstration montrant comment construire un système de classification de séquences d'ADN avec Milvus. L'<a href="https://www.kaggle.com/nageshsingh/dna-sequence-dataset">ensemble de données expérimentales </a>comprend 3 organismes et 7 familles de gènes. Toutes les données sont converties en listes de séquences courtes par k-mers. Avec un modèle CountVectorizer pré-entraîné, le système encode ensuite les données de séquences en vecteurs. L'organigramme ci-dessous décrit la structure du système et les processus d'insertion et de recherche.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_ebd89660f6.png" alt="1.png" class="doc-image" id="1.png" />
   </span> <span class="img-wrapper"> <span>1.png</span> </span></p>
<p>Essayez cette démo au <a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/dna_sequence_classification">camp d'entraînement Milvus</a>.</p>
<p>Dans Milvus, le système crée une collection et insère les vecteurs correspondants de séquences d'ADN dans la collection (ou la partition si elle est activée). Lorsqu'il reçoit une requête, Milvus renvoie les distances entre le vecteur de la séquence d'ADN d'entrée et les résultats les plus similaires dans la base de données. La classe de la séquence d'entrée et la similarité entre les séquences d'ADN peuvent être déterminées par les distances entre les vecteurs dans les résultats.</p>
<pre><code translate="no"><span class="hljs-comment"># Insert vectors to Milvus collection (partition &quot;human&quot;)</span>
DNA_human = collection.insert([human_ids, human_vectors], partition_name=<span class="hljs-string">&#x27;human&#x27;</span>)
<span class="hljs-comment"># Search topK results (in partition &quot;human&quot;) for test vectors</span>
res = collection.search(test_vectors, <span class="hljs-string">&quot;vector_field&quot;</span>, search_params, limit=topK, partition_names=[<span class="hljs-string">&#x27;human&#x27;</span>])
<span class="hljs-keyword">for</span> results <span class="hljs-keyword">in</span> res:
    res_ids = results.ids <span class="hljs-comment"># primary keys of topK results</span>
    res_distances = results.distances <span class="hljs-comment"># distances between topK results &amp; search input</span>
<button class="copy-code-btn"></button></code></pre>
<p><strong>Classification des séquences d'ADN</strong>La recherche des séquences d'ADN les plus similaires dans Milvus pourrait impliquer la famille de gènes d'un échantillon inconnu, ce qui permettrait d'en apprendre davantage sur sa fonctionnalité éventuelle.<a href="https://www.nature.com/scitable/topicpage/gpcr-14047471/"> Si une séquence est classée comme GPCR, elle a probablement une influence sur les fonctions de l'organisme. </a>Dans cette démonstration, Milvus a permis au système d'identifier les familles de gènes des séquences d'ADN humain recherchées.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/3_1616da5bb0.png" alt="3.png" class="doc-image" id="3.png" />
   </span> <span class="img-wrapper"> <span>3.png</span> </span> <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/4_d719b22fc7.png" alt="4.png" class="doc-image" id="4.png" /><span>4.png</span> </span></p>
<p><strong>Similitude génétique</strong></p>
<p>La similarité moyenne des séquences d'ADN entre les organismes illustre la proximité de leurs génomes. La démo recherche dans les données humaines les séquences d'ADN les plus similaires à celles du chimpanzé et du chien respectivement. Elle calcule et compare ensuite les distances moyennes entre les produits intérieurs (0,97 pour le chimpanzé et 0,70 pour le chien), ce qui prouve que le chimpanzé partage plus de gènes similaires avec l'homme que le chien. Avec des données et une conception de système plus complexes, Milvus est en mesure de soutenir la recherche génétique à un niveau encore plus élevé.</p>
<pre><code translate="no">search_params = {<span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&quot;IP&quot;</span>, <span class="hljs-string">&quot;params&quot;</span>: {<span class="hljs-string">&quot;nprobe&quot;</span>: <span class="hljs-number">20</span>}}
<button class="copy-code-btn"></button></code></pre>
<p><strong>Performances</strong></p>
<p>La démo entraîne le modèle de classification avec 80 % des données de l'échantillon humain (3629 au total) et utilise le reste comme données de test. Elle compare les performances du modèle de classification des séquences d'ADN qui utilise Milvus avec celui qui est alimenté par Mysql et 5 classificateurs d'apprentissage automatique populaires. Le modèle basé sur Milvus surpasse ses homologues en termes de précision.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> sklearn.<span class="hljs-property">model_selection</span> <span class="hljs-keyword">import</span> train_test_split
X, y = human_sequence_kmers, human_labels
X_train, X_test, y_train, y_test = <span class="hljs-title function_">train_test_split</span>(X, y, test_size=<span class="hljs-number">0.2</span>, random_state=<span class="hljs-number">42</span>)
<button class="copy-code-btn"></button></code></pre>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_6541a7dec6.png" alt="1.png" class="doc-image" id="1.png" />
   </span> <span class="img-wrapper"> <span>1.png</span> </span></p>
<custom-h1>Exploration plus poussée</custom-h1><p>Avec le développement de la technologie du big data, la vectorisation des séquences d'ADN jouera un rôle plus important dans la recherche et la pratique génétiques. Combinées aux connaissances professionnelles en bioinformatique, les études connexes peuvent bénéficier davantage de l'implication de la vectorisation des séquences d'ADN. Milvus peut donc présenter de meilleurs résultats dans la pratique. En fonction des différents scénarios et des besoins des utilisateurs, la recherche de similarité et le calcul de distance alimentés par Milvus présentent un grand potentiel et de nombreuses possibilités.</p>
<ul>
<li><strong>Étudier des séquences inconnues</strong>: <a href="https://iopscience.iop.org/article/10.1088/1742-6596/1453/1/012071/pdf">Selon certains chercheurs, la vectorisation permet de compresser les données relatives aux séquences d'ADN.</a> En même temps, l'étude de la structure, de la fonction et de l'évolution de séquences d'ADN inconnues demande moins d'efforts. Milvus peut stocker et récupérer un très grand nombre de vecteurs de séquences d'ADN sans perdre en précision.</li>
<li><strong>Adapter les appareils</strong>: Limitée par les algorithmes traditionnels d'alignement de séquences, la recherche de similarités peut à peine bénéficier de l'amélioration des appareils<a href="https://www.ncbi.nlm.nih.gov/pmc/articles/PMC7884812/">(</a><a href="https://mjeer.journals.ekb.eg/article_146090.html">CPU/GPU</a>). Milvus, qui prend en charge à la fois le calcul CPU normal et l'accélération GPU, résout ce problème grâce à l'algorithme approximatif du plus proche voisin.</li>
<li><strong>Détecter les virus et retracer leurs origines</strong>: <a href="https://www.nature.com/articles/s41586-020-2012-7?fbclid=IwAR2hxnXb9nLWgA8xexEoNrCNH8WHqvHhhbN38aSm48AaH6fTzGMB1BLljf4">Les scientifiques ont comparé les séquences génomiques et rapporté que le virus COVID19, probablement d'origine chauve-souris, appartient au SARS-COV</a>. Sur la base de cette conclusion, les chercheurs peuvent augmenter la taille de l'échantillon pour obtenir davantage de preuves et de modèles.</li>
<li><strong>Diagnostiquer des maladies</strong>: D'un point de vue clinique, les médecins pourraient comparer les séquences d'ADN entre les patients et les groupes sains afin d'identifier les gènes variants à l'origine des maladies. Il est possible d'extraire des caractéristiques et d'encoder ces données à l'aide d'algorithmes appropriés. Milvus est capable de renvoyer les distances entre les vecteurs, qui peuvent être liées aux données relatives aux maladies. Outre l'aide au diagnostic des maladies, cette application peut également inspirer l'étude des <a href="https://www.frontiersin.org/articles/10.3389/fgene.2021.680117/full">thérapies ciblées</a>.</li>
</ul>
<custom-h1>En savoir plus sur Milvus</custom-h1><p>Milvus est un outil puissant capable d'alimenter une vaste gamme d'applications d'intelligence artificielle et de recherche de similarités vectorielles. Pour en savoir plus sur le projet, consultez les ressources suivantes :</p>
<ul>
<li>Lisez notre <a href="https://milvus.io/blog">blog</a>.</li>
<li>Interagissez avec notre communauté open-source sur <a href="https://milvusio.slack.com/join/shared_invite/zt-e0u4qu3k-bI2GDNys3ZqX1YCJ9OM~GQ#/shared-invite/email">Slack</a>.</li>
<li>Utilisez ou contribuez à la base de données vectorielles la plus populaire au monde sur <a href="https://github.com/milvus-io/milvus/">GitHub</a>.</li>
<li>Testez et déployez rapidement des applications d'IA grâce à notre nouveau <a href="https://github.com/milvus-io/bootcamp">bootcamp</a>.</li>
</ul>


Classification des séquences d'ADN sur la base de Milvus

Paper Reading｜HM-ANN Quand l'ANNS rencontre la mémoire hétérogène

Milvus 2.0 Redéfinir la base de données vectorielle

<custom-h1>Création d'un système de recommandation de produits personnalisé avec Vipshop et Milvus</custom-h1><p>Avec la croissance explosive de l'échelle des données Internet, la quantité et la catégorie des produits dans les plateformes de commerce électronique courantes augmentent d'une part, et la difficulté pour les utilisateurs de trouver les produits dont ils ont besoin s'accroît d'autre part.</p>
<p><a href="https://www.vip.com/">Vipshop</a> est l'un des principaux détaillants en ligne de produits de marque à prix réduits en Chine. La société propose des produits de marque populaires et de haute qualité aux consommateurs dans toute la Chine, avec une réduction significative par rapport aux prix de vente au détail. Afin d'optimiser l'expérience d'achat de ses clients, l'entreprise a décidé de mettre en place un système de recommandation de recherche personnalisé basé sur les mots-clés de la requête de l'utilisateur et les portraits de l'utilisateur.</p>
<p>La fonction principale du système de recommandation de recherche pour le commerce électronique est d'extraire les produits appropriés d'un grand nombre de produits et de les afficher aux utilisateurs en fonction de leur intention de recherche et de leurs préférences. Dans ce processus, le système doit calculer la similarité entre les produits et les intentions et préférences de recherche des utilisateurs, et recommander aux utilisateurs les produits TopK présentant la plus grande similarité.</p>
<p>Les données telles que les informations sur les produits, les intentions de recherche des utilisateurs et leurs préférences sont toutes des données non structurées. Nous avons essayé de calculer la similarité de ces données en utilisant CosineSimilarity(7.x) du moteur de recherche Elasticsearch (ES), mais cette approche présente les inconvénients suivants.</p>
<ul>
<li><p>Temps de réponse long - le temps de latence moyen pour récupérer les résultats du TopK à partir de millions d'éléments est d'environ 300 ms.</p></li>
<li><p>Coût de maintenance élevé des index ES - le même ensemble d'index est utilisé pour les vecteurs de caractéristiques des produits de base et d'autres données connexes, ce qui facilite à peine la construction de l'index, mais produit une quantité massive de données.</p></li>
</ul>
<p>Nous avons essayé de développer notre propre plug-in de hachage sensible localement pour accélérer le calcul de la similitude cosinus de l'ES. Bien que les performances et le débit aient été considérablement améliorés après l'accélération, la latence de plus de 100 ms était encore difficile à satisfaire pour les besoins réels de recherche de produits en ligne.</p>
<p>Après une recherche approfondie, nous avons décidé d'utiliser Milvus, une base de données vectorielle open source, qui présente l'avantage de prendre en charge le déploiement distribué, les SDK multilingues, la séparation lecture/écriture, etc. par rapport à Faiss, une base de données autonome couramment utilisée.</p>
<p>À l'aide de divers modèles d'apprentissage profond, nous convertissons des données massives non structurées en vecteurs de caractéristiques et importons les vecteurs dans Milvus. Grâce aux excellentes performances de Milvus, notre système de recommandation de recherche de commerce électronique peut interroger efficacement les vecteurs TopK qui sont similaires aux vecteurs cibles.</p>
<h2 id="Overall-Architecture" class="common-anchor-header">Architecture générale<button data-href="#Overall-Architecture" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Architecture] (https://assets.zilliz.com/1_01551e7b2b.jpg &quot;Architecture.&quot;) Comme le montre le diagramme, l'architecture globale du système se compose de deux parties principales.</p>
<ul>
<li><p>Processus d'écriture : les vecteurs de caractéristiques d'éléments (ci-après dénommés vecteurs d'éléments) générés par le modèle d'apprentissage profond sont normalisés et écrits dans MySQL. MySQL lit ensuite les vecteurs d'éléments traités à l'aide de l'outil de synchronisation des données (ETL) et les importe dans la base de données vectorielle Milvus.</p></li>
<li><p>Processus de lecture : Le service de recherche obtient les vecteurs de caractéristiques des préférences de l'utilisateur (ci-après dénommés vecteurs de l'utilisateur) sur la base des mots clés et des portraits de l'utilisateur, interroge les vecteurs similaires dans Milvus et rappelle les vecteurs d'éléments TopK.</p></li>
</ul>
<p>Milvus prend en charge à la fois la mise à jour incrémentielle des données et la mise à jour complète des données. Chaque mise à jour incrémentale doit supprimer le vecteur d'éléments existant et insérer un nouveau vecteur d'éléments, ce qui signifie que chaque collection nouvellement mise à jour sera réindexée. Cette méthode convient mieux au scénario dans lequel il y a plus de lectures et moins d'écritures. C'est pourquoi nous choisissons la méthode de mise à jour de l'ensemble des données. En outre, il ne faut que quelques minutes pour écrire l'ensemble des données par lots de plusieurs partitions, ce qui équivaut à des mises à jour en temps quasi réel.</p>
<p>Les nœuds d'écriture Milvus effectuent toutes les opérations d'écriture, y compris la création de collections de données, la construction d'index, l'insertion de vecteurs, etc. et fournissent des services au public avec des noms de domaine d'écriture. Les nœuds de lecture Milvus exécutent toutes les opérations de lecture et fournissent des services au public avec des noms de domaine en lecture seule.</p>
<p>Alors que la version actuelle de Milvus ne prend pas en charge le changement d'alias de collection, nous introduisons Redis pour changer d'alias de manière transparente entre plusieurs collections de données entières.</p>
<p>Le nœud de lecture n'a besoin que de lire les informations de métadonnées existantes et les données vectorielles ou les index de MySQL, Milvus et du système de fichiers distribué GlusterFS, de sorte que la capacité de lecture peut être étendue horizontalement en déployant plusieurs instances.</p>
<h2 id="Implementation-Details" class="common-anchor-header">Détails de la mise en œuvre<button data-href="#Implementation-Details" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="Data-Update" class="common-anchor-header">Mise à jour des données</h3><p>Le service de mise à jour des données comprend non seulement l'écriture des données vectorielles, mais aussi la détection du volume de données des vecteurs, la construction de l'index, le préchargement de l'index, le contrôle des alias, etc. Le processus global est le suivant : <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/2_6052b01334.jpg" alt="Process" class="doc-image" id="process" /><span>Processus</span> </span></p>
<ol>
<li><p>Supposons qu'avant de construire l'ensemble des données, la CollectionA fournisse un service de données au public et que l'ensemble des données utilisées soit dirigé vers la CollectionA (<code translate="no">redis key1 = CollectionA</code>). L'objectif de la construction de l'ensemble des données est de créer une nouvelle collection, la CollectionB.</p></li>
<li><p>Vérification des données sur les marchandises - vérification du numéro d'article des données sur les marchandises dans la table MySQL, comparaison des données sur les marchandises avec les données existantes dans la CollectionA. L'alerte peut être définie en fonction de la quantité ou du pourcentage. Si la quantité (pourcentage) définie n'est pas atteinte, l'ensemble des données ne sera pas construit et sera considéré comme un échec de cette opération de construction, ce qui déclenchera l'alerte ; une fois que la quantité (pourcentage) définie est atteinte, l'ensemble du processus de construction des données démarre.</p></li>
<li><p>Commencer à construire l'ensemble des données - initialiser l'alias de l'ensemble des données en cours de construction et mettre à jour Redis. Après la mise à jour, l'alias de l'ensemble des données en cours de construction est dirigé vers la collection B (<code translate="no">redis key2 = CollectionB</code>).</p></li>
<li><p>Créer une nouvelle collection entière - déterminer si la CollectionB existe. Si c'est le cas, supprimez-la avant d'en créer une nouvelle.</p></li>
<li><p>Écriture des données par lots - calculer l'ID de partition de chaque donnée de produit avec son propre ID en utilisant l'opération modulo, et écrire les données sur plusieurs partitions dans la collection nouvellement créée par lots.</p></li>
<li><p>Construction et préchargement de l'index - Création d'un index (<code translate="no">createIndex()</code>) pour la nouvelle collection. Le fichier d'index est stocké dans le serveur de stockage distribué GlusterFS. Le système simule automatiquement une requête sur la nouvelle collection et précharge l'index pour l'échauffement de la requête.</p></li>
<li><p>Vérification des données de la collection - vérification du nombre d'éléments de données dans la nouvelle collection, comparaison des données avec la collection existante et définition d'alarmes basées sur la quantité et le pourcentage. Si le nombre (pourcentage) fixé n'est pas atteint, la collection ne sera pas commutée et le processus de construction sera considéré comme un échec, ce qui déclenchera l'alerte.</p></li>
<li><p>Commutation de la collection - Contrôle des alias. Après la mise à jour de Redis, l'ensemble de l'alias de données utilisé est dirigé vers la collection B (<code translate="no">redis key1 = CollectionB</code>), la clé Redis2 d'origine est supprimée et le processus de construction est terminé.</p></li>
</ol>
<h3 id="Data-Recall" class="common-anchor-header">Rappel des données</h3><p>Les données de partition Milvus sont appelées plusieurs fois pour calculer la similarité entre les vecteurs d'utilisateur, obtenus sur la base des mots clés de la requête de l'utilisateur et du portrait de l'utilisateur, et le vecteur d'élément, et les vecteurs d'élément TopK sont renvoyés après la fusion. Le schéma général du flux de travail est le suivant : <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/3_93518602b1.jpg" alt="workflow" class="doc-image" id="workflow" /><span>Flux de travail</span>Le </span>tableau suivant énumère les principaux services impliqués dans ce processus. On peut constater que la latence moyenne pour le rappel des vecteurs TopK est d'environ 30 ms.</p>
<table>
<thead>
<tr><th><strong>Service</strong></th><th><strong>Rôle</strong></th><th><strong>Paramètres d'entrée</strong></th><th><strong>Paramètres de sortie</strong></th><th><strong>Temps de réponse</strong></th></tr>
</thead>
<tbody>
<tr><td>Acquisition des vecteurs utilisateurs</td><td>Obtention du vecteur utilisateur</td><td>informations sur l'utilisateur + requête</td><td>vecteur utilisateur</td><td>10 ms</td></tr>
<tr><td>Recherche Milvus</td><td>Calculer la similarité des vecteurs et renvoyer les résultats TopK</td><td>vecteur utilisateur</td><td>vecteur de l'article</td><td>10 ms</td></tr>
<tr><td>Logique d'ordonnancement</td><td>Rappel et fusion simultanés des résultats</td><td>Vecteurs d'éléments rappelés par plusieurs canaux et score de similarité</td><td>TopK éléments</td><td>10 ms</td></tr>
</tbody>
</table>
<p><strong>Processus de mise en œuvre :</strong></p>
<ol>
<li>Sur la base des mots-clés de la requête de l'utilisateur et du portrait de l'utilisateur, le vecteur de l'utilisateur est calculé par le modèle d'apprentissage profond.</li>
<li>Obtenir l'alias de collection de l'ensemble des données utilisées à partir de Redis currentInUseKeyRef et obtenir Milvus CollectionName. Ce processus est un service de synchronisation des données, c'est-à-dire qu'il bascule l'alias vers Redis après la mise à jour de l'ensemble des données.</li>
<li>Milvus est appelé simultanément et de manière asynchrone avec le vecteur utilisateur pour obtenir les données de différentes partitions de la même collection, et Milvus calcule la similarité entre le vecteur utilisateur et le vecteur élément, et renvoie les TopK vecteurs élément similaires dans chaque partition.</li>
<li>Fusionner les TopK vecteurs d'éléments renvoyés par chaque partition et classer les résultats dans l'ordre inverse de la distance de similarité, qui est calculée à l'aide du produit intérieur IP (plus la distance entre les vecteurs est grande, plus ils sont similaires). Les vecteurs d'éléments TopK finaux sont renvoyés.</li>
</ol>
<h2 id="Looking-Ahead" class="common-anchor-header">Perspectives d'avenir<button data-href="#Looking-Ahead" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>À l'heure actuelle, la recherche vectorielle basée sur Milvus peut être utilisée régulièrement dans la recherche de scénarios de recommandation, et ses performances élevées nous laissent une plus grande marge de manœuvre dans la dimensionnalité du modèle et la sélection des algorithmes.</p>
<p>Milvus jouera un rôle crucial en tant que logiciel intermédiaire pour un plus grand nombre de scénarios, y compris le rappel de la recherche sur le site principal et les recommandations tous scénarios.</p>
<p>Les trois caractéristiques les plus attendues de Milvus à l'avenir sont les suivantes.</p>
<ul>
<li>Logique de changement d'alias de collection - coordonner le changement entre les collections sans composants externes.</li>
<li>Mécanisme de filtrage - Milvus v0.11.0 ne prend en charge que le mécanisme de filtrage ES DSL dans la version autonome. La nouvelle version Milvus 2.0 prend en charge le filtrage scalaire et la séparation lecture/écriture.</li>
<li>Prise en charge du stockage pour Hadoop Distributed File System (HDFS) - La version Milvus v0.10.6 que nous utilisons ne prend en charge que l'interface de fichier POSIX, et nous avons déployé GlusterFS avec prise en charge FUSE en tant que backend de stockage. Cependant, HDFS est un meilleur choix en termes de performances et de facilité de mise à l'échelle.</li>
</ul>
<h2 id="Lessons-Learned-and-Best-Practices" class="common-anchor-header">Leçons apprises et meilleures pratiques<button data-href="#Lessons-Learned-and-Best-Practices" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ol>
<li>Pour les applications où les opérations de lecture sont les plus importantes, le déploiement d'une séparation lecture-écriture peut augmenter de manière significative la puissance de traitement et améliorer les performances.</li>
<li>Le client Java Milvus ne dispose pas d'un mécanisme de reconnexion car le client Milvus utilisé par le service de rappel réside en mémoire. Nous devons créer notre propre pool de connexion pour garantir la disponibilité de la connexion entre le client Java et le serveur par le biais d'un test de battement de cœur.</li>
<li>Des requêtes lentes se produisent occasionnellement sur Milvus. Cela est dû à un échauffement insuffisant de la nouvelle collection. En simulant la requête sur la nouvelle collection, le fichier d'index est chargé dans la mémoire pour réaliser le réchauffement de l'index.</li>
<li>nlist est le paramètre de construction de l'index et nprobe est le paramètre de requête. Vous devez déterminer une valeur seuil raisonnable en fonction de votre scénario d'entreprise par le biais d'expériences de test de pression afin d'équilibrer les performances et la précision de la recherche.</li>
<li>Dans le cas de données statiques, il est plus efficace d'importer d'abord toutes les données dans la collection et de construire les index plus tard.</li>
</ol>


Architecture générale

<custom-h1>Extraction audio basée sur Milvus</custom-h1><p>Le son est un type de données dense en informations. Bien qu'il puisse sembler désuet à l'ère du contenu vidéo, l'audio reste une source d'information primaire pour de nombreuses personnes. Malgré un déclin à long terme du nombre d'auditeurs, 83 % des Américains âgés de 12 ans ou plus ont écouté la radio terrestre (AM/FM) au cours d'une semaine donnée en 2020 (contre 89 % en 2019). À l'inverse, l'audio en ligne a connu une augmentation constante du nombre d'auditeurs au cours des deux dernières décennies, 62 % des Américains déclarant en écouter une forme ou une autre sur une base hebdomadaire, selon la même <a href="https://www.journalism.org/fact-sheet/audio-and-podcasting/">étude du Pew Research Center</a>.</p>
<p>En tant qu'onde, le son comprend quatre propriétés : la fréquence, l'amplitude, la forme de l'onde et la durée. Dans la terminologie musicale, ces propriétés sont appelées hauteur, dynamique, ton et durée. Les sons aident également les humains et les autres animaux à percevoir et à comprendre notre environnement, en fournissant des indices contextuels sur l'emplacement et le mouvement des objets qui nous entourent.</p>
<p>En tant que vecteur d'information, le son peut être classé en trois catégories :</p>
<ol>
<li><strong>La parole :</strong> Un moyen de communication composé de mots et de grammaire. Les algorithmes de reconnaissance vocale permettent de convertir la parole en texte.</li>
<li><strong>La musique :</strong> Sons vocaux et/ou instrumentaux combinés pour produire une composition composée de mélodie, d'harmonie, de rythme et de timbre. La musique peut être représentée par une partition.</li>
<li><strong>Forme d'onde :</strong> Signal audio numérique obtenu par numérisation de sons analogiques. Les formes d'onde peuvent représenter la parole, la musique et les sons naturels ou synthétisés.</li>
</ol>
<p>La recherche audio peut être utilisée pour rechercher et surveiller les médias en ligne en temps réel afin de réprimer les violations des droits de propriété intellectuelle. Elle joue également un rôle important dans la classification et l'analyse statistique des données audio.</p>
<h2 id="Processing-Technologies" class="common-anchor-header">Technologies de traitement<button data-href="#Processing-Technologies" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>La parole, la musique et les autres sons génériques ont chacun des caractéristiques uniques et nécessitent des méthodes de traitement différentes. En règle générale, les données audio sont séparées en groupes contenant de la parole et en groupes n'en contenant pas :</p>
<ul>
<li>Les sons vocaux sont traités par la reconnaissance automatique de la parole.</li>
<li>Les sons non vocaux, y compris les sons musicaux, les effets sonores et les signaux vocaux numérisés, sont traités à l'aide de systèmes de recherche audio.</li>
</ul>
<p>Cet article explique comment utiliser un système de recherche audio pour traiter des données audio non vocales. La reconnaissance vocale n'est pas abordée dans cet article</p>
<h3 id="Audio-feature-extraction" class="common-anchor-header">Extraction de caractéristiques audio</h3><p>L'extraction de caractéristiques est la technologie la plus importante dans les systèmes de recherche audio, car elle permet la recherche de similarités audio. Les méthodes d'extraction des caractéristiques audio sont divisées en deux catégories :</p>
<ul>
<li>Les modèles traditionnels d'extraction de caractéristiques audio tels que les modèles de mélange gaussien (GMM) et les modèles de Markov cachés (HMM) ;</li>
<li>Les modèles d'extraction de caractéristiques audio basés sur l'apprentissage profond, tels que les réseaux neuronaux récurrents (RNN), les réseaux de mémoire à long terme (LSTM), les cadres d'encodage-décodage, les mécanismes d'attention, etc.</li>
</ul>
<p>Les modèles basés sur l'apprentissage profond ont un taux d'erreur inférieur d'un ordre de grandeur à celui des modèles traditionnels, et gagnent donc en importance en tant que technologie de base dans le domaine du traitement des signaux audio.</p>
<p>Les données audio sont généralement représentées par les caractéristiques audio extraites. Le processus d'extraction recherche et compare ces caractéristiques et attributs plutôt que les données audio elles-mêmes. Par conséquent, l'efficacité de la recherche de similarités audio dépend largement de la qualité de l'extraction des caractéristiques.</p>
<p>Dans cet article, les <a href="https://github.com/qiuqiangkong/audioset_tagging_cnn">réseaux neuronaux audio pré-entraînés à grande échelle pour la reconnaissance des formes audio (PANN)</a> sont utilisés pour extraire les vecteurs de caractéristiques pour sa précision moyenne (mAP) de 0,439 (Hershey et al., 2017).</p>
<p>Après avoir extrait les vecteurs de caractéristiques des données audio, nous pouvons mettre en œuvre une analyse de vecteurs de caractéristiques haute performance à l'aide de Milvus.</p>
<h3 id="Vector-similarity-search" class="common-anchor-header">Recherche de similarité vectorielle</h3><p><a href="https://milvus.io/">Milvus</a> est une base de données vectorielles open-source native dans le cloud, construite pour gérer les vecteurs d'intégration générés par des modèles d'apprentissage automatique et des réseaux neuronaux. Elle est largement utilisée dans des scénarios tels que la vision artificielle, le traitement du langage naturel, la chimie informatique, les systèmes de recommandation personnalisés, etc.</p>
<p>Le diagramme suivant illustre le processus général de recherche de similarités à l'aide de Milvus : <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/how_does_milvus_work_6926180543.png" alt="how-does-milvus-work.png" class="doc-image" id="how-does-milvus-work.png" /><span>how-does-milvus-work.png</span> </span></p>
<ol>
<li>Les données non structurées sont converties en vecteurs de caractéristiques par des modèles d'apprentissage profond et insérées dans Milvus.</li>
<li>Milvus stocke et indexe ces vecteurs de caractéristiques.</li>
<li>Sur demande, Milvus recherche et renvoie les vecteurs les plus similaires au vecteur de la requête.</li>
</ol>
<h2 id="System-overview" class="common-anchor-header">Vue d'ensemble du système<button data-href="#System-overview" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Le système de recherche audio se compose principalement de deux parties : l'insertion (ligne noire) et la recherche (ligne rouge).</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/audio_retrieval_system_663a911c95.png" alt="audio-retrieval-system.png" class="doc-image" id="audio-retrieval-system.png" />
   </span> <span class="img-wrapper"> <span>audio-retrieval-system.png</span> </span></p>
<p>L'échantillon de données utilisé dans ce projet contient des sons de jeux open-source, et le code est détaillé dans le <a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/audio_similarity_search">bootcamp Milvus</a>.</p>
<h3 id="Step-1-Insert-data" class="common-anchor-header">Étape 1 : Insérer des données</h3><p>Vous trouverez ci-dessous un exemple de code permettant de générer des embeddings audio à l'aide du modèle d'inférence PANNs pré-entraîné et de les insérer dans Milvus, qui attribue un ID unique à chaque embedding vectoriel.</p>
<pre><code translate="no"><span class="hljs-number">1</span> wav_name, vectors_audio = get_audio_embedding(audio_path)  
<span class="hljs-number">2</span> <span class="hljs-keyword">if</span> vectors_audio:    
<span class="hljs-number">3</span>     embeddings.<span class="hljs-built_in">append</span>(vectors_audio)  
<span class="hljs-number">4</span>     wav_names.<span class="hljs-built_in">append</span>(wav_name)  
<span class="hljs-number">5</span> ids_milvus = insert_vectors(milvus_client, table_name, embeddings)  
<span class="hljs-number">6</span> 
<button class="copy-code-btn"></button></code></pre>
<p>Les <strong>ids_milvus</strong> renvoyés sont ensuite stockés avec d'autres informations pertinentes (par exemple, <strong>wav_name</strong>) pour les données audio conservées dans une base de données MySQL en vue d'un traitement ultérieur.</p>
<pre><code translate="no">1 get_ids_correlation(ids_milvus, wav_name)  
2 load_data_to_mysql(conn, cursor, table_name)    
3  
<button class="copy-code-btn"></button></code></pre>
<h3 id="Step-2-Audio-search" class="common-anchor-header">Étape 2 : Recherche audio</h3><p>Milvus calcule la distance du produit intérieur entre les vecteurs de caractéristiques préenregistrés et les vecteurs de caractéristiques d'entrée, extraits des données audio de la requête à l'aide du modèle d'inférence PANNs, et renvoie les <strong>ids_milvus</strong> des vecteurs de caractéristiques similaires, qui correspondent aux données audio recherchées.</p>
<pre><code translate="no"><span class="hljs-number">1</span> _, vectors_audio = get_audio_embedding(audio_filename)    
<span class="hljs-number">2</span> results = search_vectors(milvus_client, table_name, [vectors_audio], METRIC_TYPE, TOP_K)  
<span class="hljs-number">3</span> ids_milvus = [x.<span class="hljs-built_in">id</span> <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> results[<span class="hljs-number">0</span>]]  
<span class="hljs-number">4</span> audio_name = search_by_milvus_ids(conn, cursor, ids_milvus, table_name)    
<span class="hljs-number">5</span>
<button class="copy-code-btn"></button></code></pre>
<h2 id="API-reference-and-demo" class="common-anchor-header">Référence API et démo<button data-href="#API-reference-and-demo" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="API" class="common-anchor-header">API</h3><p>Ce système de recherche audio est construit à partir d'un code source ouvert. Ses principales fonctionnalités sont l'insertion et la suppression de données audio. Toutes les API peuvent être consultées en tapant <strong>127.0.0.1 :<port></strong> /docs dans le navigateur.</p>
<h3 id="Demo" class="common-anchor-header">Démonstration</h3><p>Nous hébergeons une <a href="https://zilliz.com/solutions">démo en</a> ligne du système de recherche audio basé sur Milvus que vous pouvez essayer avec vos propres données audio.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/audio_search_demo_cae60625db.png" alt="audio-search-demo.png" class="doc-image" id="audio-search-demo.png" />
   </span> <span class="img-wrapper"> <span>audio-search-demo.png</span> </span></p>
<h2 id="Conclusion" class="common-anchor-header">Conclusion<button data-href="#Conclusion" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>À l'ère du big data, les gens découvrent que leur vie regorge de toutes sortes d'informations. Pour en tirer le meilleur parti, la recherche de texte traditionnelle ne suffit plus. Aujourd'hui, la technologie de recherche d'informations a un besoin urgent de récupérer différents types de données non structurées, telles que les vidéos, les images et les sons.</p>
<p>Les données non structurées, difficiles à traiter par les ordinateurs, peuvent être converties en vecteurs de caractéristiques à l'aide de modèles d'apprentissage profond. Ces données converties peuvent facilement être traitées par des machines, ce qui nous permet d'analyser des données non structurées comme nos prédécesseurs n'ont jamais pu le faire. Milvus, une base de données vectorielle open-source, peut traiter efficacement les vecteurs caractéristiques extraits par les modèles d'IA et fournit une variété de calculs de similarité vectorielle courants.</p>
<h2 id="References" class="common-anchor-header">Références<button data-href="#References" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Hershey, S., Chaudhuri, S., Ellis, D.P., Gemmeke, J.F., Jansen, A., Moore, R.C., Plakal, M., Platt, D., Saurous, R.A., Seybold, B. et Slaney, M., 2017, mars. CNN architectures for large-scale audio classification. In 2017 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 131-135, 2017</p>
<h2 id="Dont-be-a-stranger" class="common-anchor-header">Ne soyez pas un inconnu<button data-href="#Dont-be-a-stranger" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p>Trouvez ou contribuez à Milvus sur <a href="https://github.com/milvus-io/milvus/">GitHub</a>.</p></li>
<li><p>Interagissez avec la communauté via <a href="https://join.slack.com/t/milvusio/shared_invite/zt-e0u4qu3k-bI2GDNys3ZqX1YCJ9OM~GQ">Slack</a>.</p></li>
<li><p>Connectez-vous avec nous sur <a href="https://twitter.com/milvusio">Twitter</a>.</p></li>
</ul>


Technologies de traitement

<custom-h1>MilMil : Un chatbot FAQ alimenté par Milvus qui répond aux questions sur Milvus</custom-h1><p>La communauté open-source a récemment créé MilMil, un chatbot FAQ Milvus conçu par et pour les utilisateurs de Milvus. MilMil est disponible 24 heures sur 24 et 7 jours sur 7 sur <a href="https://milvus.io/">Milvus.io</a> pour répondre aux questions les plus courantes sur Milvus, la base de données vectorielles open-source la plus avancée au monde.</p>
<p>Ce système de réponse aux questions permet non seulement de résoudre plus rapidement les problèmes courants rencontrés par les utilisateurs de Milvus, mais aussi d'identifier de nouveaux problèmes sur la base des soumissions des utilisateurs. La base de données MilMil comprend les questions que les utilisateurs ont posées depuis que le projet a été publié pour la première fois sous une licence open-source en 2019. Les questions sont stockées dans deux collections, l'une pour Milvus 1.x et les versions antérieures et l'autre pour Milvus 2.0.</p>
<p>MilMil n'est actuellement disponible qu'en anglais.</p>
<h2 id="How-does-MilMil-work" class="common-anchor-header">Comment fonctionne MilMil ?<button data-href="#How-does-MilMil-work" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>MilMil s'appuie sur le modèle <em>sentence-transformers/paraphrase-mpnet-base-v2</em> pour obtenir des représentations vectorielles de la base de données FAQ, puis Milvus est utilisé pour la recherche par similarité vectorielle afin de renvoyer des questions sémantiquement similaires.</p>
<p>Tout d'abord, les données de la FAQ sont converties en vecteurs sémantiques à l'aide de BERT, un modèle de traitement du langage naturel (NLP). Les vecteurs sémantiques sont ensuite insérés dans Milvus et un identifiant unique est attribué à chacun d'entre eux. Enfin, les questions et les réponses sont insérées dans PostgreSQL, une base de données relationnelle, avec leurs vecteurs ID.</p>
<p>Lorsque les utilisateurs soumettent une question, le système la convertit en un vecteur de caractéristiques à l'aide de BERT. Ensuite, il recherche dans Milvus les cinq vecteurs les plus similaires au vecteur de la question et récupère leurs identifiants. Enfin, les questions et les réponses correspondant aux vecteurs identifiés sont renvoyées à l'utilisateur.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/system_process_dca67a80a6.png" alt="system-process.png" class="doc-image" id="system-process.png" />
   </span> <span class="img-wrapper"> <span>processus-systeme.png</span> </span></p>
<p>Consultez le projet de <a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/question_answering_system">système de réponse aux questions</a> dans le Milvus bootcamp pour explorer le code utilisé pour construire des chatbots d'IA.</p>
<h2 id="Ask-MilMil-about-Milvus" class="common-anchor-header">Poser des questions à MilMil sur Milvus<button data-href="#Ask-MilMil-about-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Pour discuter avec MilMil, naviguez vers n'importe quelle page de <a href="https://milvus.io/">Milvus.io</a> et cliquez sur l'icône de l'oiseau dans le coin inférieur droit. Tapez votre question dans la zone de saisie de texte et cliquez sur Envoyer. MilMil vous répondra en quelques millisecondes ! En outre, la liste déroulante dans le coin supérieur gauche peut être utilisée pour basculer entre la documentation technique des différentes versions de Milvus.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/milvus_chatbot_icon_f3c25708ca.png" alt="milvus-chatbot-icon.png" class="doc-image" id="milvus-chatbot-icon.png" />
   </span> <span class="img-wrapper"> <span>milvus-chatbot-icon.png</span> </span></p>
<p>Après avoir soumis une question, le robot renvoie immédiatement trois questions qui sont sémantiquement similaires à la question posée. Vous pouvez cliquer sur "Voir la réponse" pour parcourir les réponses potentielles à votre question, ou cliquer sur "Voir plus" pour afficher d'autres questions liées à votre recherche. Si aucune réponse appropriée n'est disponible, cliquez sur "Donnez votre avis ici" pour poser votre question en indiquant une adresse électronique. L'aide de la communauté Milvus ne tardera pas à arriver !</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/chatbot_UI_0f4a7655d4.png" alt="chatbot_UI.png" class="doc-image" id="chatbot_ui.png" />
   </span> <span class="img-wrapper"> <span>chatbot_UI.png</span> </span></p>
<p>Essayez MilMil et dites-nous ce que vous en pensez. Toutes les questions, tous les commentaires et toutes les formes de réactions sont les bienvenus.</p>
<h2 id="Dont-be-a-stranger" class="common-anchor-header">Ne soyez pas un étranger<button data-href="#Dont-be-a-stranger" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li>Trouvez ou contribuez à Milvus sur <a href="https://github.com/milvus-io/milvus/">GitHub</a>.</li>
<li>Interagissez avec la communauté via <a href="https://join.slack.com/t/milvusio/shared_invite/zt-e0u4qu3k-bI2GDNys3ZqX1YCJ9OM~GQ">Slack</a>.</li>
<li>Connectez-vous avec nous sur <a href="https://twitter.com/milvusio">Twitter</a>.</li>
</ul>


MilMil Un chatbot FAQ alimenté par Milvus qui répond aux questions sur Milvus

<custom-h1>Tester et déployer rapidement des solutions de recherche vectorielle avec le camp d'entraînement Milvus 2.0</custom-h1><p>Avec la sortie de Milvus 2.0, l'équipe a réorganisé le <a href="https://github.com/milvus-io/bootcamp">camp d'entraînement</a> Milvus. Le nouveau bootcamp amélioré propose des guides mis à jour et des exemples de code plus faciles à suivre pour une variété de cas d'utilisation et de déploiements. En outre, cette nouvelle version est mise à jour pour <a href="https://milvus.io/blog/milvus2.0-redefining-vector-database.md">Milvus 2.0</a>, une version réimaginée de la base de données vectorielles la plus avancée au monde.</p>
<h3 id="Stress-test-your-system-against-1M-and-100M-dataset-benchmarks" class="common-anchor-header">Testez votre système contre des ensembles de données de référence de 1M et 100M</h3><p>Le <a href="https://github.com/milvus-io/bootcamp/tree/master/benchmark_test">répertoire de référence</a> contient des tests de référence de 1 million et 100 millions de vecteurs qui indiquent comment votre système réagira à des ensembles de données de tailles différentes.</p>
<p><br/></p>
<h3 id="Explore-and-build-popular-vector-similarity-search-solutions" class="common-anchor-header">Explorer et construire des solutions populaires de recherche de similarités vectorielles</h3><p>Le <a href="https://github.com/milvus-io/bootcamp/tree/master/solutions">répertoire des solutions</a> comprend les cas d'utilisation les plus populaires en matière de recherche de similarités vectorielles. Chaque cas d'utilisation contient une solution notebook et une solution déployable sur docker. Les cas d'utilisation incluent :</p>
<ul>
<li><a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/reverse_image_search">Recherche de similarité d'images</a></li>
<li><a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/video_similarity_search">Recherche de similarité vidéo</a></li>
<li><a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/audio_similarity_search">Recherche de similarité audio</a></li>
<li><a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/recommendation_system">Système de recommandation</a></li>
<li><a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/molecular_similarity_search">Recherche moléculaire</a></li>
<li><a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/question_answering_system">Système de réponse aux questions</a></li>
</ul>
<p><br/></p>
<h3 id="Quickly-deploy-a-fully-built-application-on-any-system" class="common-anchor-header">Déployer rapidement une application complète sur n'importe quel système</h3><p>Les solutions de déploiement rapide sont des solutions dockerisées qui permettent aux utilisateurs de déployer des applications entièrement construites sur n'importe quel système. Ces solutions sont idéales pour de brèves démonstrations, mais nécessitent un travail supplémentaire de personnalisation et de compréhension par rapport aux notebooks.</p>
<p><br/></p>
<h3 id="Use-scenario-specific-notebooks-to-easily-deploy-pre-configured-applications" class="common-anchor-header">Utiliser des notebooks spécifiques à un scénario pour déployer facilement des applications préconfigurées</h3><p>Les carnets contiennent un exemple simple de déploiement de Milvus pour résoudre le problème dans un cas d'utilisation donné. Chacun des exemples peut être exécuté du début à la fin sans qu'il soit nécessaire de gérer des fichiers ou des configurations. Chaque notebook est également facile à suivre et modifiable, ce qui en fait des fichiers de base idéaux pour d'autres projets.</p>
<p><br/></p>
<h3 id="Image-similarity-search-notebook-example" class="common-anchor-header">Exemple de cahier de recherche de similarités d'images</h3><p>La recherche de similitudes d'images est l'une des idées fondamentales qui sous-tendent de nombreuses technologies, notamment la reconnaissance d'objets par les voitures autonomes. Cet exemple explique comment construire facilement des programmes de vision artificielle avec Milvus.</p>
<p>Ce bloc-notes s'articule autour de trois éléments :</p>
<ul>
<li>le serveur Milvus</li>
<li>Serveur Redis (pour le stockage des métadonnées)</li>
<li>Le modèle Resnet-18 pré-entraîné.</li>
</ul>
<h4 id="Step-1-Download-required-packages" class="common-anchor-header">Étape 1 : Télécharger les paquets nécessaires</h4><p>Commencez par télécharger tous les paquets nécessaires à ce projet. Ce carnet comprend un tableau listant les paquets à utiliser.</p>
<pre><code translate="no">pip install -r requirements.txt
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-2-Server-startup" class="common-anchor-header">Étape 2 : Démarrage du serveur</h4><p>Une fois les paquets installés, démarrez les serveurs et assurez-vous qu'ils fonctionnent correctement. Veillez à suivre les instructions correctes pour le démarrage des serveurs <a href="https://milvus.io/docs/v2.0.x/install_standalone-docker.md">Milvus</a> et <a href="https://hub.docker.com/_/redis">Redis</a>.</p>
<h4 id="Step-3-Download-project-data" class="common-anchor-header">Étape 3 : Téléchargement des données du projet</h4><p>Par défaut, ce bloc-notes extrait un extrait des données VOCImage pour l'utiliser comme exemple, mais n'importe quel répertoire contenant des images devrait fonctionner tant qu'il suit la structure de fichier visible en haut du bloc-notes.</p>
<pre><code translate="no">! gdown <span class="hljs-string">&quot;https://drive.google.com/u/1/uc?id=1jdudBiUu41kL-U5lhH3ari_WBRXyedWo&amp;export=download&quot;</span>
! tar -xf <span class="hljs-string">&#x27;VOCdevkit.zip&#x27;</span>
! <span class="hljs-built_in">rm</span> <span class="hljs-string">&#x27;VOCdevkit.zip&#x27;</span>
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-4-Connect-to-the-servers" class="common-anchor-header">Étape 4 : Connexion aux serveurs</h4><p>Dans cet exemple, les serveurs fonctionnent sur les ports par défaut de l'hôte local.</p>
<pre><code translate="no">connections.<span class="hljs-title function_">connect</span>(host=<span class="hljs-string">&quot;127.0.0.1&quot;</span>, port=<span class="hljs-number">19537</span>)
red = redis.<span class="hljs-title class_">Redis</span>(host = <span class="hljs-string">&#x27;127.0.0.1&#x27;</span>, port=<span class="hljs-number">6379</span>, db=<span class="hljs-number">0</span>)
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-5-Create-a-collection" class="common-anchor-header">Étape 5 : Créer une collection</h4><p>Après avoir démarré les serveurs, créez une collection dans Milvus pour stocker tous les vecteurs. Dans cet exemple, la taille des dimensions est fixée à 512, soit la taille de la sortie resnet-18, et la métrique de similarité est fixée à la distance euclidienne (L2). Milvus prend en charge un grand nombre de <a href="https://milvus.io/docs/v2.0.x/metric.md">métriques de similarité</a> différentes.</p>
<pre><code translate="no">collection_name = <span class="hljs-string">&quot;image_similarity_search&quot;</span>
dim = <span class="hljs-number">512</span>
default_fields = [
    schema.FieldSchema(name=<span class="hljs-string">&quot;id&quot;</span>, dtype=DataType.INT64, is_primary=<span class="hljs-literal">True</span>, auto_id=<span class="hljs-literal">True</span>),
    schema.FieldSchema(name=<span class="hljs-string">&quot;vector&quot;</span>, dtype=DataType.FLOAT_VECTOR, dim=dim)
]
default_schema = schema.CollectionSchema(fields=default_fields, description=<span class="hljs-string">&quot;Image test collection&quot;</span>)
collection = Collection(name=collection_name, schema=default_schema)
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-6-Build-an-index-for-the-collection" class="common-anchor-header">Étape 6 : Création d'un index pour la collection</h4><p>Une fois la collection constituée, créez un index pour celle-ci. Dans ce cas, l'index IVF_SQ8 est utilisé. Cet index nécessite le paramètre 'nlist', qui indique à Milvus le nombre de clusters à créer dans chaque fichier de données (segment). Différents <a href="https://milvus.io/docs/v2.0.x/index.md">indices</a> nécessitent différents paramètres.</p>
<pre><code translate="no">default_index = {<span class="hljs-string">&quot;index_type&quot;</span>: <span class="hljs-string">&quot;IVF_SQ8&quot;</span>, <span class="hljs-string">&quot;params&quot;</span>: {<span class="hljs-string">&quot;nlist&quot;</span>: <span class="hljs-number">2048</span>}, <span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&quot;L2&quot;</span>}
collection.<span class="hljs-title function_">create_index</span>(field_name=<span class="hljs-string">&quot;vector&quot;</span>, index_params=default_index)
collection.<span class="hljs-title function_">load</span>()
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-7-Set-up-model-and-data-loader" class="common-anchor-header">Étape 7 : configuration du modèle et du chargeur de données</h4><p>Une fois l'indice IVF_SQ8 construit, configurez le réseau neuronal et le chargeur de données. Le réseau neuronal pytorch resnet-18 pré-entraîné utilisé dans cet exemple est dépourvu de sa dernière couche, qui compresse les vecteurs pour la classification et peut perdre des informations précieuses.</p>
<pre><code translate="no">model = torch.hub.load(<span class="hljs-string">&#x27;pytorch/vision:v0.9.0&#x27;</span>, <span class="hljs-string">&#x27;resnet18&#x27;</span>, pretrained=<span class="hljs-literal">True</span>)
encoder = torch.nn.Sequential(*(<span class="hljs-built_in">list</span>(model.children())[:-<span class="hljs-number">1</span>]))
<button class="copy-code-btn"></button></code></pre>
<p>L'ensemble de données et le chargeur de données doivent être modifiés de manière à pouvoir prétraiter et mettre en lots les images tout en fournissant les chemins d'accès aux fichiers des images. Cela peut être fait avec un chargeur de données torchvision légèrement modifié. Pour le prétraitement, les images doivent être recadrées et normalisées car le modèle resnet-18 a été entraîné sur une taille et une plage de valeurs spécifiques.</p>
<pre><code translate="no">dataset = ImageFolderWithPaths(data_dir, transform=transforms.Compose([
                                                transforms.Resize(256),
                                                transforms.CenterCrop(224),
                                                transforms.ToTensor(),
                                                transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])]))

dataloader = torch.utils.data.DataLoader(dataset, num_workers=0, batch_si
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-8-Insert-vectors-into-the-collection" class="common-anchor-header">Étape 8 : Insérer des vecteurs dans la collection</h4><p>Une fois la collection configurée, les images peuvent être traitées et chargées dans la collection créée. Les images sont d'abord extraites par le dataloader et traitées par le modèle resnet-18. Les encastrements vectoriels résultants sont ensuite insérés dans Milvus, qui renvoie un identifiant unique pour chaque vecteur. Les ID des vecteurs et les chemins d'accès aux fichiers d'images sont ensuite insérés sous forme de paires clé-valeur dans le serveur Redis.</p>
<pre><code translate="no">steps = <span class="hljs-built_in">len</span>(dataloader)
step = <span class="hljs-number">0</span>
<span class="hljs-keyword">for</span> inputs, labels, paths <span class="hljs-keyword">in</span> dataloader:
    <span class="hljs-keyword">with</span> torch.no_grad():
        output = encoder(inputs).squeeze()
        output = output.numpy()

    mr = collection.insert([output.tolist()])
    ids = mr.primary_keys
    <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-built_in">len</span>(ids)):
        red.<span class="hljs-built_in">set</span>(<span class="hljs-built_in">str</span>(ids[x]), paths[x])
    <span class="hljs-keyword">if</span> step%<span class="hljs-number">5</span> == <span class="hljs-number">0</span>:
        <span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Insert Step: &quot;</span> + <span class="hljs-built_in">str</span>(step) + <span class="hljs-string">&quot;/&quot;</span> + <span class="hljs-built_in">str</span>(steps))
    step += <span class="hljs-number">1</span>
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-9-Conduct-a-vector-similarity-search" class="common-anchor-header">Étape 9 : Effectuer une recherche de similarité entre les vecteurs</h4><p>Une fois toutes les données insérées dans Milvus et Redis, la recherche de similarité vectorielle proprement dite peut être effectuée. Pour cet exemple, trois images sélectionnées au hasard sont extraites du serveur Redis pour une recherche de similarité vectorielle.</p>
<pre><code translate="no">random_ids = [<span class="hljs-built_in">int</span>(red.randomkey()) <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-number">3</span>)]
search_images = [x.decode(<span class="hljs-string">&quot;utf-8&quot;</span>) <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> red.mget(random_ids)]
<button class="copy-code-btn"></button></code></pre>
<p>Ces images subissent d'abord le même prétraitement qu'à l'étape 7 et sont ensuite passées par le modèle resnet-18.</p>
<pre><code translate="no">transform_ops = transforms.Compose([
                transforms.Resize(<span class="hljs-number">256</span>),
                transforms.CenterCrop(<span class="hljs-number">224</span>),
                transforms.ToTensor(),
                transforms.Normalize(mean=[<span class="hljs-number">0.485</span>, <span class="hljs-number">0.456</span>, <span class="hljs-number">0.406</span>], std=[<span class="hljs-number">0.229</span>, <span class="hljs-number">0.224</span>, <span class="hljs-number">0.225</span>])])

embeddings = [transform_ops(Image.<span class="hljs-built_in">open</span>(x)) <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> search_images]
embeddings = torch.stack(embeddings, dim=<span class="hljs-number">0</span>)

<span class="hljs-keyword">with</span> torch.no_grad():
    embeddings = encoder(embeddings).squeeze().numpy()
<button class="copy-code-btn"></button></code></pre>
<p>Les vecteurs intégrés qui en résultent sont ensuite utilisés pour effectuer une recherche. Tout d'abord, définissez les paramètres de recherche, y compris le nom de la collection à rechercher, nprobe (le nombre de grappes à rechercher) et top_k (le nombre de vecteurs renvoyés). Dans cet exemple, la recherche devrait être très rapide.</p>
<pre><code translate="no">search_params = {<span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&quot;L2&quot;</span>, <span class="hljs-string">&quot;params&quot;</span>: {<span class="hljs-string">&quot;nprobe&quot;</span>: 32}}
start = time.time()
results = collection.search(embeddings, <span class="hljs-string">&quot;vector&quot;</span>, param=search_params, <span class="hljs-built_in">limit</span>=3, <span class="hljs-built_in">expr</span>=None)
end = time.time() - start
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-10-Image-search-results" class="common-anchor-header">Étape 10 : Résultats de la recherche d'images</h4><p>Les ID des vecteurs renvoyés par les requêtes sont utilisés pour trouver les images correspondantes. Matplotlib est ensuite utilisé pour afficher les résultats de la recherche d'images.<br/></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/pic1_c8652c7fae.png" alt="pic1.png" class="doc-image" id="pic1.png" />
   </span> <span class="img-wrapper"> <span>pic1.png</span> </span> <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/pic2_355b054161.png" alt="pic2.png" class="doc-image" id="pic2.png" /><span>pic2.png</span> </span> <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/pic3_01780c6aac.png" alt="pic3.png" class="doc-image" id="pic3.png" /><span>pic3.png</span> </span></p>
<p><br/></p>
<h3 id="Learn-how-to-deploy-Milvus-in-different-enviroments" class="common-anchor-header">Apprendre à déployer Milvus dans différents environnements</h3><p>La <a href="https://github.com/milvus-io/bootcamp/tree/master/deployments">section sur les déploiements</a> du nouveau bootcamp contient toutes les informations nécessaires à l'utilisation de Milvus dans différents environnements et configurations. Elle inclut le déploiement de Mishards, l'utilisation de Kubernetes avec Milvus, l'équilibrage de charge, et plus encore. Chaque environnement est accompagné d'un guide détaillé, étape par étape, expliquant comment faire fonctionner Milvus.</p>
<p><br/></p>
<h3 id="Dont-be-a-stranger" class="common-anchor-header">Ne soyez pas un étranger</h3><ul>
<li>Lisez notre <a href="https://zilliz.com/blog">blog</a>.</li>
<li>Interagissez avec notre communauté open-source sur <a href="https://join.slack.com/t/milvusio/shared_invite/zt-e0u4qu3k-bI2GDNys3ZqX1YCJ9OM~GQ">Slack</a>.</li>
<li>Utilisez ou contribuez à Milvus, la base de données vectorielle la plus populaire au monde, sur <a href="https://github.com/milvus-io/milvus">Github</a>.</li>
</ul>


Tester et déployer rapidement des solutions de recherche vectorielle avec le Bootcamp Milvus 2.0

<custom-h1>Construire une application de planification de garde-robe et de tenue avec Milvus</custom-h1><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/stylepedia_1_5f239a8d48.png" alt="stylepedia-1.png" class="doc-image" id="stylepedia-1.png" />
   </span> <span class="img-wrapper"> <span>stylepedia-1.png</span> </span></p>
<p>Fondée en 2003, <a href="http://www.mozat.com/home">Mozat</a> est une start-up dont le siège se trouve à Singapour et qui possède des bureaux en Chine et en Arabie saoudite. L'entreprise est spécialisée dans la création d'applications de médias sociaux, de communication et de style de vie. <a href="https://stylepedia.com/">Stylepedia</a> est une application de garde-robe créée par Mozat qui aide les utilisateurs à découvrir de nouveaux styles et à entrer en contact avec d'autres passionnés de mode. Ses principales caractéristiques sont la possibilité de créer une garde-robe numérique, des recommandations de style personnalisées, une fonctionnalité de médias sociaux et un outil de recherche d'images pour trouver des articles similaires à ceux vus en ligne ou dans la vie réelle.</p>
<p><a href="https://milvus.io">Milvus</a> est utilisé pour alimenter le système de recherche d'images de Stylepedia. L'application traite trois types d'images : les images d'utilisateurs, les images de produits et les photographies de mode. Chaque image peut inclure un ou plusieurs éléments, ce qui complique encore plus chaque requête. Pour être utile, un système de recherche d'images doit être précis, rapide et stable, des caractéristiques qui constituent une base technique solide pour l'ajout de nouvelles fonctionnalités à l'application, telles que les suggestions de tenues et les recommandations de contenu de mode.</p>
<h2 id="System-overview" class="common-anchor-header">Vue d'ensemble du système<button data-href="#System-overview" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/stylepedia_system_process_8e7e2ab3e4.png" alt="stylepedia-system-process.png" class="doc-image" id="stylepedia-system-process.png" />
   </span> <span class="img-wrapper"> <span>stylepedia-system-process.png</span> </span></p>
<p>Le système de recherche d'images est divisé en deux parties, l'une hors ligne et l'autre en ligne.</p>
<p>Hors ligne, les images sont vectorisées et insérées dans une base de données vectorielle (Milvus). Dans le flux de données, les images de produits et les photographies de mode pertinentes sont converties en vecteurs de caractéristiques à 512 dimensions à l'aide de modèles de détection d'objets et d'extraction de caractéristiques. Les données vectorielles sont ensuite indexées et ajoutées à la base de données vectorielle.</p>
<p>En ligne, la base de données d'images est interrogée et les images similaires sont renvoyées à l'utilisateur. Comme pour la composante hors ligne, l'image interrogée est traitée par des modèles de détection d'objets et d'extraction de caractéristiques afin d'obtenir un vecteur de caractéristiques. À l'aide de ce vecteur, Milvus recherche les vecteurs similaires TopK et obtient les identifiants des images correspondantes. Enfin, après un post-traitement (filtrage, tri, etc.), une collection d'images similaires à l'image de la requête est renvoyée.</p>
<h2 id="Implementation" class="common-anchor-header">Mise en œuvre<button data-href="#Implementation" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>L'implémentation se décompose en quatre modules :</p>
<ol>
<li>Détection de vêtements</li>
<li>Extraction des caractéristiques</li>
<li>Recherche de similarité vectorielle</li>
<li>Post-traitement</li>
</ol>
<h3 id="Garment-detection" class="common-anchor-header">Détection de vêtements</h3><p>Dans le module de détection de vêtements, <a href="https://pytorch.org/hub/ultralytics_yolov5/">YOLOv5</a>, un cadre de détection de cibles en une étape, basé sur l'ancrage, est utilisé comme modèle de détection d'objets en raison de sa petite taille et de son inférence en temps réel. Il propose quatre tailles de modèle (YOLOv5s/m/l/x), et chaque taille spécifique présente des avantages et des inconvénients. Les modèles plus grands sont plus performants (plus grande précision) mais nécessitent beaucoup plus de puissance de calcul et s'exécutent plus lentement. Dans le cas présent, les objets étant relativement grands et faciles à détecter, le plus petit modèle, YOLOv5s, suffit.</p>
<p>Les vêtements de chaque image sont reconnus et découpés pour servir d'entrées au modèle d'extraction des caractéristiques utilisé dans le traitement ultérieur. Simultanément, le modèle de détection d'objets prédit également la classification des vêtements selon des classes prédéfinies (hauts, vêtements d'extérieur, pantalons, jupes, robes et barboteuses).</p>
<h3 id="Feature-extraction" class="common-anchor-header">Extraction des caractéristiques</h3><p>Le modèle d'extraction des caractéristiques est la clé de la recherche de similitudes. Les images de vêtements recadrées sont intégrées dans des vecteurs à virgule flottante de 512 dimensions qui représentent leurs attributs dans un format de données numériques lisible par une machine. La méthodologie d'<a href="https://github.com/Joon-Park92/Survey_of_Deep_Metric_Learning">apprentissage métrique profond (DML)</a> est adoptée avec <a href="https://arxiv.org/abs/1905.11946">EfficientNet</a> comme modèle de base.</p>
<p>L'apprentissage métrique vise à former un module d'extraction de caractéristiques non linéaires basé sur le CNN (ou un encodeur) afin de réduire la distance entre les vecteurs de caractéristiques correspondant à la même classe d'échantillons et d'augmenter la distance entre les vecteurs de caractéristiques correspondant à des classes d'échantillons différentes. Dans ce scénario, la même classe d'échantillons correspond au même vêtement.</p>
<p>EfficientNet tient compte à la fois de la vitesse et de la précision lors de la mise à l'échelle uniforme de la largeur, de la profondeur et de la résolution du réseau. EfficientNet-B4 est utilisé comme réseau d'extraction de caractéristiques, et la sortie de la dernière couche entièrement connectée est constituée des caractéristiques d'image nécessaires pour effectuer la recherche de similarité vectorielle.</p>
<h3 id="Vector-similarity-search" class="common-anchor-header">Recherche de similarité vectorielle</h3><p>Milvus est une base de données vectorielles open-source qui prend en charge les opérations de création, de lecture, de mise à jour et de suppression (CRUD) ainsi que la recherche en temps quasi réel sur des ensembles de données d'un trillion d'octets. Dans Stylepedia, elle est utilisée pour la recherche de similarités vectorielles à grande échelle parce qu'elle est très élastique, stable, fiable et rapide comme l'éclair. Milvus étend les capacités des bibliothèques d'index vectoriels largement utilisées (Faiss, NMSLIB, Annoy, etc.) et fournit un ensemble d'API simples et intuitives qui permettent aux utilisateurs de sélectionner le type d'index idéal pour un scénario donné.</p>
<p>Compte tenu des exigences du scénario et de l'échelle des données, les développeurs de Stylepedia ont utilisé la distribution CPU-only de Milvus associée à l'index HNSW. Deux collections indexées, l'une pour les produits et l'autre pour les photographies de mode, sont construites pour alimenter différentes fonctionnalités de l'application. Chaque collection est ensuite divisée en six partitions en fonction des résultats de la détection et de la classification afin de réduire la portée de la recherche. Milvus effectue des recherches sur des dizaines de millions de vecteurs en quelques millisecondes, offrant ainsi des performances optimales tout en maintenant les coûts de développement à un niveau bas et en minimisant la consommation de ressources.</p>
<h3 id="Post-processing" class="common-anchor-header">Post-traitement</h3><p>Pour améliorer la similarité entre les résultats de la recherche d'images et l'image de la requête, nous utilisons le filtrage des couleurs et des étiquettes clés (longueur de la manche, longueur du vêtement, style de col, etc.) pour filtrer les images non admissibles. En outre, un algorithme d'évaluation de la qualité des images est utilisé pour s'assurer que les images de meilleure qualité sont présentées aux utilisateurs en premier.</p>
<h2 id="Application" class="common-anchor-header">Application<button data-href="#Application" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="User-uploads-and-image-search" class="common-anchor-header">Téléchargement par l'utilisateur et recherche d'images</h3><p>Les utilisateurs peuvent prendre des photos de leurs propres vêtements et les télécharger dans leur placard numérique Stylepedia, puis récupérer les images de produits les plus similaires à leurs téléchargements.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/stylepedia_search_results_0568e20dc0.png" alt="stylepedia-search-results.png" class="doc-image" id="stylepedia-search-results.png" />
   </span> <span class="img-wrapper"> <span>stylepedia-recherche-résultats.png</span> </span></p>
<h3 id="Outfit-suggestions" class="common-anchor-header">Suggestions de tenues</h3><p>En effectuant une recherche de similarité dans la base de données Stylepedia, les utilisateurs peuvent trouver des photos de mode qui contiennent un article de mode spécifique. Il peut s'agir de nouveaux vêtements que quelqu'un envisage d'acheter ou d'un article de sa propre collection qui pourrait être porté ou associé différemment. Ensuite, grâce au regroupement des articles avec lesquels l'article est souvent associé, des suggestions de tenues sont générées. Par exemple, une veste de motard noire peut être associée à différents articles, tels qu'une paire de jeans noirs. Les utilisateurs peuvent alors parcourir des photographies de mode pertinentes où cette association se produit dans la formule sélectionnée.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/stylepedia_jacket_outfit_e84914da9e.png" alt="stylepedia-jacket-outfit.png" class="doc-image" id="stylepedia-jacket-outfit.png" />
   </span> <span class="img-wrapper"> <span>stylepedia-veste-tailleur.png</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/stylepedia_jacket_snapshot_25f53cc09b.png" alt="stylepedia-jacket-snapshot.png" class="doc-image" id="stylepedia-jacket-snapshot.png" />
   </span> <span class="img-wrapper"> <span>stylepedia-veste-capture.png</span> </span></p>
<h3 id="Fashion-photograph-recommendations" class="common-anchor-header">Recommandations de photographies de mode</h3><p>Sur la base de l'historique de navigation de l'utilisateur, de ses goûts et du contenu de sa garde-robe numérique, le système calcule la similarité et fournit des recommandations personnalisées de photographies de mode susceptibles de l'intéresser.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/stylepedia_user_wardrobe_6770c856b9.png" alt="stylepedia-user-wardrobe.png" class="doc-image" id="stylepedia-user-wardrobe.png" />
   </span> <span class="img-wrapper"> <span>stylepedia-user-wardrobe.png</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/stylepedia_streetsnap_rec_901601a34d.png" alt="stylepedia-streetsnap-rec.png" class="doc-image" id="stylepedia-streetsnap-rec.png" />
   </span> <span class="img-wrapper"> <span>stylepedia-streetsnap-rec.png</span> </span></p>
<p>En combinant des méthodologies d'apprentissage profond et de vision par ordinateur, Mozat a pu construire un système de recherche de similarité d'images rapide, stable et précis en utilisant Milvus pour alimenter diverses fonctionnalités de l'application Stylepedia.</p>
<h2 id="Dont-be-a-stranger" class="common-anchor-header">Ne soyez pas un inconnu<button data-href="#Dont-be-a-stranger" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li>Trouvez ou contribuez à Milvus sur <a href="https://github.com/milvus-io/milvus/">GitHub</a>.</li>
<li>Interagissez avec la communauté via <a href="https://join.slack.com/t/milvusio/shared_invite/zt-e0u4qu3k-bI2GDNys3ZqX1YCJ9OM~GQ">Slack</a>.</li>
<li>Connectez-vous avec nous sur <a href="https://twitter.com/milvusio">Twitter</a>.</li>
</ul>


Vue d'ensemble du système

<custom-h1>Construction d'un cluster Milvus basé sur JuiceFS</custom-h1><p>Les collaborations entre les communautés open-source sont une chose magique. Non seulement des bénévoles passionnés, intelligents et créatifs assurent l'innovation des solutions open-source, mais ils s'efforcent également de réunir différents outils de manière intéressante et utile. <a href="https://milvus.io/">Milvus</a>, la base de données vectorielles la plus populaire au monde, et <a href="https://github.com/juicedata/juicefs">JuiceFS</a>, un système de fichiers partagé conçu pour les environnements cloud-native, ont été réunis dans cet esprit par leurs communautés open-source respectives. Cet article explique ce qu'est JuiceFS, comment construire un cluster Milvus basé sur le stockage de fichiers partagés JuiceFS et les performances que les utilisateurs peuvent attendre de cette solution.</p>
<h2 id="What-is-JuiceFS" class="common-anchor-header"><strong>Qu'est-ce que JuiceFS ?</strong><button data-href="#What-is-JuiceFS" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>JuiceFS est un système de fichiers POSIX distribué open-source haute performance, qui peut être construit au-dessus de Redis et de S3. Il a été conçu pour les environnements cloud-native et prend en charge la gestion, l'analyse, l'archivage et la sauvegarde de données de tout type. JuiceFS est couramment utilisé pour résoudre les défis liés au big data, créer des applications d'intelligence artificielle (IA) et collecter des logs. Le système prend également en charge le partage de données entre plusieurs clients et peut être utilisé directement comme stockage partagé dans Milvus.</p>
<p>Une fois que les données et les métadonnées correspondantes sont persistées dans le stockage d'objets et <a href="https://redis.io/">Redis</a> respectivement, JuiceFS sert d'intergiciel sans état. Le partage des données est réalisé en permettant à différentes applications de s'amarrer les unes aux autres de manière transparente par le biais d'une interface de système de fichiers standard. JuiceFS s'appuie sur Redis, un magasin de données en mémoire open-source, pour le stockage des métadonnées. Redis est utilisé parce qu'il garantit l'atomicité et fournit des opérations de métadonnées très performantes. Toutes les données sont stockées dans le stockage d'objets par le client JuiceFS. Le schéma de l'architecture est le suivant :</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/juicefs_architecture_2023b37a4e.png" alt="juicefs-architecture.png" class="doc-image" id="juicefs-architecture.png" />
   </span> <span class="img-wrapper"> <span>juicefs-architecture.png</span> </span></p>
<h2 id="Build-a-Milvus-cluster-based-on-JuiceFS" class="common-anchor-header"><strong>Construire un cluster Milvus basé sur JuiceFS</strong><button data-href="#Build-a-Milvus-cluster-based-on-JuiceFS" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Un cluster Milvus construit avec JuiceFS (voir le diagramme d'architecture ci-dessous) fonctionne en divisant les demandes en amont à l'aide de Mishards, un intergiciel de partage de cluster, pour faire descendre les demandes en cascade vers ses sous-modules. Lors de l'insertion de données, Mishards attribue les demandes en amont au nœud d'écriture Milvus, qui stocke les données nouvellement insérées dans JuiceFS. Lors de la lecture de données, Mishards charge les données de JuiceFS via un nœud de lecture Milvus vers la mémoire pour traitement, puis collecte et renvoie les résultats des sous-services en amont.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/milvus_cluster_built_with_juicefs_3a43cd262c.png" alt="milvus-cluster-built-with-juicefs.png" class="doc-image" id="milvus-cluster-built-with-juicefs.png" />
   </span> <span class="img-wrapper"> <span>milvus-cluster-built-with-juicefs.png</span> </span></p>
<h3 id="Step-1-Launch-MySQL-service" class="common-anchor-header"><strong>Étape 1 : Lancer le service MySQL</strong></h3><p>Lancez le service MySQL sur <strong>n'importe quel</strong> nœud du cluster. Pour plus de détails, voir <a href="https://milvus.io/docs/v1.1.0/data_manage.md">Gérer les métadonnées avec MySQL</a>.</p>
<h3 id="Step-2-Create-a-JuiceFS-file-system" class="common-anchor-header"><strong>Étape 2 : Créer un système de fichiers JuiceFS</strong></h3><p>À des fins de démonstration, le programme binaire JuiceFS précompilé est utilisé. Téléchargez le <a href="https://github.com/juicedata/juicefs/releases">paquet d'installation</a> adapté à votre système et suivez le <a href="https://github.com/juicedata/juicefs-quickstart">Guide de démarrage rapide de</a> JuiceFS pour obtenir des instructions d'installation détaillées. Pour créer un système de fichiers JuiceFS, configurez d'abord une base de données Redis pour le stockage des métadonnées. Il est recommandé d'héberger le service Redis sur le même cloud que l'application pour les déploiements dans les clouds publics. En outre, configurez le stockage d'objets pour JuiceFS. Dans cet exemple, Azure Blob Storage est utilisé, mais JuiceFS prend en charge presque tous les services d'objets. Sélectionnez le service de stockage d'objets qui répond le mieux aux exigences de votre scénario.</p>
<p>Après avoir configuré le service Redis et le stockage d'objets, formatez un nouveau système de fichiers et montez JuiceFS dans le répertoire local :</p>
<pre><code translate="no">1 $  <span class="hljs-built_in">export</span> AZURE_STORAGE_CONNECTION_STRING=<span class="hljs-string">&quot;DefaultEndpointsProtocol=https;AccountName=XXX;AccountKey=XXX;EndpointSuffix=core.windows.net&quot;</span>
2 $ ./juicefs format \
3     --storage wasb \
4     --bucket https://&lt;container&gt; \
5     ... \
6     localhost <span class="hljs-built_in">test</span> <span class="hljs-comment">#format</span>
7 $ ./juicefs mount -d localhost ~/jfs  <span class="hljs-comment">#mount</span>
8
<button class="copy-code-btn"></button></code></pre>
<blockquote>
<p>Si le serveur Redis n'est pas exécuté localement, remplacez localhost par l'adresse suivante : <code translate="no">redis://&lt;user:password&gt;@host:6379/1</code>.</p>
</blockquote>
<p>Lorsque l'installation réussit, JuiceFS renvoie la page de stockage partagé <strong>/root/jfs</strong>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/installation_success_9d05279ecd.png" alt="installation-success.png" class="doc-image" id="installation-success.png" />
   </span> <span class="img-wrapper"> <span>installation-success.png</span> </span></p>
<h3 id="Step-3-Start-Milvus" class="common-anchor-header"><strong>Étape 3 : Démarrer Milvus</strong></h3><p>Milvus doit être installé sur tous les nœuds du cluster et chaque nœud Milvus doit être configuré avec une autorisation de lecture ou d'écriture. Un seul nœud Milvus peut être configuré comme nœud en écriture, les autres devant être des nœuds en lecture. Tout d'abord, définissez les paramètres des sections <code translate="no">cluster</code> et <code translate="no">general</code> dans le fichier de configuration du système Milvus <strong>server_config.yaml</strong>:</p>
<p><strong>Section</strong> <code translate="no">cluster</code></p>
<table>
<thead>
<tr><th style="text-align:left"><strong>Paramètre</strong></th><th style="text-align:left"><strong>Paramètre Description</strong></th><th style="text-align:left"><strong>Configuration</strong></th></tr>
</thead>
<tbody>
<tr><td style="text-align:left"><code translate="no">enable</code></td><td style="text-align:left">Activation ou non du mode cluster</td><td style="text-align:left"><code translate="no">true</code></td></tr>
<tr><td style="text-align:left"><code translate="no">role</code></td><td style="text-align:left">Rôle de déploiement Milvus</td><td style="text-align:left"><code translate="no">rw</code>/<code translate="no">ro</code></td></tr>
</tbody>
</table>
<p><strong>Section</strong> <code translate="no">general</code></p>
<pre><code translate="no"><span class="hljs-comment"># meta_uri is the URI for metadata storage, using MySQL (for Milvus Cluster). Format: mysql://&lt;username:password&gt;@host:port/database</span>
general:
  timezone: UTC+8
  meta_uri: mysql://root:milvusroot@host:3306/milvus
<button class="copy-code-btn"></button></code></pre>
<p>Pendant l'installation, le chemin d'accès au stockage partagé JuiceFS configuré est défini comme <strong>/root/jfs/milvus/db</strong>.</p>
<pre><code translate="no">1 <span class="hljs-built_in">sudo</span> docker run -d --name milvus_gpu_1.0.0 --gpus all \
2 -p 19530:19530 \
3 -p 19121:19121 \
4 -v /root/jfs/milvus/db:/var/lib/milvus/db \  <span class="hljs-comment">#/root/jfs/milvus/db is the shared storage path</span>
5 -v /home/<span class="hljs-variable">$USER</span>/milvus/conf:/var/lib/milvus/conf \
6 -v /home/<span class="hljs-variable">$USER</span>/milvus/logs:/var/lib/milvus/logs \
7 -v /home/<span class="hljs-variable">$USER</span>/milvus/wal:/var/lib/milvus/wal \
8 milvusdb/milvus:1.0.0-gpu-d030521-1ea92e
9
<button class="copy-code-btn"></button></code></pre>
<p>Une fois l'installation terminée, démarrez Milvus et vérifiez qu'il est lancé correctement. Enfin, démarrez le service Mishards sur l <strong>'un des</strong> nœuds du cluster. L'image ci-dessous montre un lancement réussi de Mishards. Pour plus d'informations, consultez le <a href="https://github.com/milvus-io/bootcamp/tree/new-bootcamp/deployments/juicefs">tutoriel</a> GitHub.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/mishards_launch_success_921695d3a8.png" alt="mishards-launch-success.png" class="doc-image" id="mishards-launch-success.png" />
   </span> <span class="img-wrapper"> <span>mishards-launch-success.png</span> </span></p>
<h2 id="Performance-benchmarks" class="common-anchor-header"><strong>Critères de performance</strong><button data-href="#Performance-benchmarks" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Les solutions de stockage partagé sont généralement mises en œuvre par des systèmes de stockage en réseau (NAS). Les types de systèmes NAS couramment utilisés comprennent le système de fichiers réseau (NFS) et le bloc de messages serveur (SMB). Les plateformes de cloud public fournissent généralement des services de stockage gérés compatibles avec ces protocoles, tels que Amazon Elastic File System (EFS).</p>
<p>Contrairement aux systèmes NAS traditionnels, JuiceFS est mis en œuvre sur la base du système de fichiers dans l'espace utilisateur (FUSE), où toutes les lectures et écritures de données ont lieu directement du côté de l'application, ce qui réduit encore la latence d'accès. JuiceFS possède également des caractéristiques uniques que l'on ne retrouve pas dans les autres systèmes NAS, telles que la compression et la mise en cache des données.</p>
<p>Les tests de référence révèlent que JuiceFS offre des avantages majeurs par rapport à EFS. Dans le benchmark des métadonnées (Figure 1), JuiceFS enregistre des opérations d'E/S par seconde (IOPS) jusqu'à dix fois supérieures à celles d'EFS. En outre, le benchmark du débit d'E/S (Figure 2) montre que JuiceFS surpasse EFS dans les scénarios à tâche unique et à tâches multiples.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/performance_benchmark_1_b7fcbb4439.png" alt="performance-benchmark-1.png" class="doc-image" id="performance-benchmark-1.png" />
   </span> <span class="img-wrapper"> <span>performance-benchmark-1.png</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/performance_benchmark_2_e311098123.png" alt="performance-benchmark-2.png" class="doc-image" id="performance-benchmark-2.png" />
   </span> <span class="img-wrapper"> <span>performance-benchmark-2.png</span> </span></p>
<p>En outre, les tests de référence montrent que le temps de récupération de la première requête, ou le temps de chargement des données nouvellement insérées du disque vers la mémoire, pour le cluster Milvus basé sur JuiceFS n'est que de 0,032 seconde en moyenne, ce qui indique que les données sont chargées du disque vers la mémoire presque instantanément. Pour ce test, le temps de récupération de la première requête est mesuré en utilisant un million de lignes de données vectorielles à 128 dimensions insérées par lots de 100k à des intervalles de 1 à 8 secondes.</p>
<p>JuiceFS est un système de stockage de fichiers partagés stable et fiable, et le cluster Milvus construit sur JuiceFS offre à la fois des performances élevées et une capacité de stockage flexible.</p>
<h2 id="Learn-more-about-Milvus" class="common-anchor-header"><strong>En savoir plus sur Milvus</strong><button data-href="#Learn-more-about-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus est un outil puissant capable d'alimenter une vaste gamme d'applications d'intelligence artificielle et de recherche de similarités vectorielles. Pour en savoir plus sur le projet, consultez les ressources suivantes :</p>
<ul>
<li>Lisez notre <a href="https://zilliz.com/blog">blog</a>.</li>
<li>Interagissez avec notre communauté open-source sur <a href="https://join.slack.com/t/milvusio/shared_invite/zt-e0u4qu3k-bI2GDNys3ZqX1YCJ9OM~GQ">Slack</a>.</li>
<li>Utilisez ou contribuez à la base de données vectorielles la plus populaire au monde sur <a href="https://github.com/milvus-io/milvus/">GitHub</a>.</li>
<li>Testez et déployez rapidement des applications d'IA grâce à notre nouveau <a href="https://github.com/milvus-io/bootcamp">camp d'entraînement</a>.</li>
</ul>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/writer_bio_changjian_gao_68018f7716.png" alt="writer bio-changjian gao.png" class="doc-image" id="writer-bio-changjian-gao.png" />
   </span> <span class="img-wrapper"> <span>writer bio-changjian gao.png</span> </span> <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/writer_bio_jingjing_jia_a85d1c2e3b.png" alt="writer bio-jingjing jia.png" class="doc-image" id="writer-bio-jingjing-jia.png" /><span>writer bio-jingjing jia.png</span> </span></p>


Qu'est-ce que JuiceFS ?

<custom-h1>Création d'un système intelligent de recommandation d'actualités dans l'application Sohu News</custom-h1><p>Avec <a href="https://www.socialmediatoday.com/news/new-research-shows-that-71-of-americans-now-get-news-content-via-social-pl/593255/">71 % des Américains</a> qui obtiennent leurs recommandations d'actualités à partir de plateformes sociales, le contenu personnalisé est rapidement devenu le mode de découverte des nouveaux médias. Qu'il s'agisse de rechercher des sujets spécifiques ou d'interagir avec des contenus recommandés, tout ce que les utilisateurs voient est optimisé par des algorithmes pour améliorer le taux de clics, l'engagement et la pertinence. Sohu est un groupe chinois de médias en ligne, de vidéo, de recherche et de jeux, coté au NASDAQ. Il s'est appuyé sur <a href="https://milvus.io/">Milvus</a>, une base de données vectorielles open-source créée par <a href="https://zilliz.com/">Zilliz</a>, pour créer un moteur de recherche vectorielle sémantique dans son application d'actualités. Cet article explique comment l'entreprise a utilisé les profils des utilisateurs pour affiner les recommandations de contenu personnalisées au fil du temps, améliorant ainsi l'expérience et l'engagement des utilisateurs.</p>
<h2 id="Recommending-content-using-semantic-vector-search" class="common-anchor-header">Recommandation de contenu à l'aide de la recherche vectorielle sémantique<button data-href="#Recommending-content-using-semantic-vector-search" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Les profils des utilisateurs de Sohu News sont construits à partir de l'historique de navigation et ajustés au fur et à mesure que les utilisateurs recherchent et interagissent avec le contenu des actualités. Le système de recommandation de Sohu utilise la recherche vectorielle sémantique pour trouver des articles d'actualité pertinents. Le système identifie un ensemble de tags susceptibles d'intéresser chaque utilisateur en fonction de son historique de navigation. Il recherche ensuite rapidement les articles pertinents et trie les résultats en fonction de leur popularité (mesurée par le CTR moyen), avant de les proposer aux utilisateurs.</p>
<p>Le New York Times publie à lui seul <a href="https://www.theatlantic.com/technology/archive/2016/05/how-many-stories-do-newspapers-publish-per-day/483845/">230 articles</a> par jour, ce qui donne une idée de l'ampleur du nouveau contenu qu'un système de recommandation efficace doit être capable de traiter. L'ingestion de gros volumes d'informations exige une recherche de similarités à la milliseconde et une mise en correspondance des étiquettes avec le nouveau contenu toutes les heures. Sohu a choisi Milvus parce qu'il traite des ensembles de données massifs de manière efficace et précise, réduit l'utilisation de la mémoire pendant la recherche et prend en charge les déploiements à hautes performances.</p>
<h2 id="Understanding-a-news-recommendation-system-workflow" class="common-anchor-header">Comprendre le flux de travail d'un système de recommandation de nouvelles<button data-href="#Understanding-a-news-recommendation-system-workflow" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>La recommandation de contenu basée sur la recherche sémantique vectorielle de Sohu repose sur le modèle sémantique structuré profond (DSSM), qui utilise deux réseaux neuronaux pour représenter les requêtes des utilisateurs et les articles d'actualité sous forme de vecteurs. Le modèle calcule la similarité en cosinus des deux vecteurs sémantiques, puis le lot d'actualités le plus similaire est envoyé au pool de candidats à la recommandation. Ensuite, les articles sont classés en fonction de leur CTR estimé, et ceux dont le taux de clics prédit est le plus élevé sont affichés aux utilisateurs.</p>
<h3 id="Encoding-news-articles-into-semantic-vectors-with-BERT-as-service" class="common-anchor-header">Codage des articles d'actualité en vecteurs sémantiques avec BERT-as-service</h3><p>Pour encoder les articles d'actualité en vecteurs sémantiques, le système utilise l'outil <a href="https://github.com/hanxiao/bert-as-service.git">BERT-as-service</a>. Si le nombre de mots d'un élément de contenu dépasse 512 lors de l'utilisation de ce modèle, une perte d'informations se produit au cours du processus d'intégration. Pour y remédier, le système extrait d'abord un résumé et l'encode dans un vecteur sémantique à 768 dimensions. Ensuite, les deux sujets les plus pertinents de chaque article sont extraits, et les vecteurs de sujets pré-entraînés correspondants (200 dimensions) sont identifiés sur la base de l'ID du sujet. Ensuite, les vecteurs thématiques sont intégrés au vecteur sémantique de 768 dimensions extrait du résumé de l'article, formant ainsi un vecteur sémantique de 968 dimensions.</p>
<p>De nouveaux contenus arrivent en permanence par Kafta et sont convertis en vecteurs sémantiques avant d'être insérés dans la base de données Milvus.</p>
<h3 id="Extracting-semantically-similar-tags-from-user-profiles-with-BERT-as-service" class="common-anchor-header">Extraction d'étiquettes sémantiquement similaires à partir de profils d'utilisateurs avec BERT-as-service</h3><p>L'autre réseau neuronal du modèle est le vecteur sémantique de l'utilisateur. Des étiquettes sémantiquement similaires (par exemple, coronavirus, covid, COVID-19, pandémie, nouvelle souche, pneumonie) sont extraites des profils d'utilisateurs en fonction des intérêts, des requêtes de recherche et de l'historique de navigation. La liste des balises acquises est triée en fonction de leur poids et les 200 premières sont divisées en différents groupes sémantiques. Les permutations des étiquettes au sein de chaque groupe sémantique sont utilisées pour générer de nouvelles phrases d'étiquettes, qui sont ensuite encodées dans des vecteurs sémantiques par l'intermédiaire de BERT-aservice</p>
<p>Pour chaque profil d'utilisateur, les ensembles de mots-clés ont un <a href="https://github.com/baidu/Familia">ensemble correspondant de sujets</a> qui sont marqués par un poids indiquant le niveau d'intérêt de l'utilisateur. Les deux sujets les plus importants parmi tous les sujets pertinents sont sélectionnés et encodés par le modèle d'apprentissage machine (ML) pour être insérés dans le vecteur sémantique de l'étiquette correspondante, formant ainsi un vecteur sémantique de l'utilisateur à 968 dimensions. Même si le système génère les mêmes étiquettes pour différents utilisateurs, des poids différents pour les étiquettes et leurs sujets correspondants, ainsi qu'une variance explicite entre les vecteurs de sujets de chaque utilisateur, garantissent que les recommandations sont uniques</p>
<p>Le système est capable de faire des recommandations d'actualités personnalisées en calculant la similarité en cosinus des vecteurs sémantiques extraits à la fois des profils d'utilisateurs et des articles d'actualité.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Sohu01_1e466fe0c3.jpg" alt="Sohu01.jpg" class="doc-image" id="sohu01.jpg" />
   </span> <span class="img-wrapper"> <span>Sohu01.jpg</span> </span></p>
<h3 id="Computing-new-semantic-user-profile-vectors-and-inserting-them-to-Milvus" class="common-anchor-header">Calcul de nouveaux vecteurs sémantiques de profils d'utilisateurs et insertion dans Milvus</h3><p>Les vecteurs sémantiques des profils d'utilisateurs sont calculés quotidiennement, les données de la période de 24 heures précédente étant traitées le soir suivant. Les vecteurs sont insérés individuellement dans Milvus et exécutés dans le processus d'interrogation afin de fournir aux utilisateurs des résultats d'actualité pertinents. Le contenu des actualités est intrinsèquement d'actualité, ce qui nécessite un calcul toutes les heures pour générer un fil d'actualité contenant un contenu dont le taux de clics prédit est élevé et qui est pertinent pour les utilisateurs. Le contenu des actualités est également trié en partitions par date, et les anciennes actualités sont éliminées quotidiennement.</p>
<h3 id="Decreasing-semantic-vector-extraction-time-from-days-to-hours" class="common-anchor-header">Réduction du temps d'extraction des vecteurs sémantiques de plusieurs jours à quelques heures</h3><p>L'extraction de contenu à l'aide de vecteurs sémantiques nécessite de convertir chaque jour des dizaines de millions de mots-clés en vecteurs sémantiques. Il s'agit d'un processus fastidieux qui prendrait plusieurs jours, même en utilisant des processeurs graphiques (GPU), qui accélèrent ce type de calcul. Pour résoudre ce problème technique, les vecteurs sémantiques issus de l'intégration précédente doivent être optimisés de manière à ce que les vecteurs sémantiques correspondants soient directement récupérés lorsque des mots-clés similaires font surface.</p>
<p>Le vecteur sémantique de l'ensemble existant de phrases-clés est stocké, et un nouvel ensemble de phrases-clés généré quotidiennement est encodé dans des vecteurs MinHash. La <a href="https://milvus.io/docs/v1.1.1/metric.md">distance de Jaccard</a> est utilisée pour calculer la similarité entre le vecteur MinHash de la nouvelle phrase-clé et le vecteur de la phrase-clé sauvegardée. Si la distance de Jaccard dépasse un seuil prédéfini, les deux ensembles sont considérés comme similaires. Si le seuil de similarité est atteint, les nouvelles phrases peuvent exploiter les informations sémantiques des enregistrements précédents. Les tests suggèrent qu'une distance supérieure à 0,8 devrait garantir une précision suffisante dans la plupart des situations.</p>
<p>Grâce à ce processus, la conversion quotidienne des dizaines de millions de vecteurs mentionnés ci-dessus est ramenée de plusieurs jours à environ deux heures. Bien que d'autres méthodes de stockage des vecteurs sémantiques puissent être plus appropriées en fonction des exigences spécifiques d'un projet, le calcul de la similarité entre deux mots-clés à l'aide de la distance de Jaccard dans une base de données Milvus reste une méthode efficace et précise dans une grande variété de scénarios.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Sohu02_d50fccc538.jpg" alt="Sohu02.jpg" class="doc-image" id="sohu02.jpg" />
   </span> <span class="img-wrapper"> <span>Sohu02.jpg</span> </span></p>
<h2 id="Overcoming-bad-cases-of-short-text-classification" class="common-anchor-header">Surmonter les "mauvais cas" de la classification des textes courts<button data-href="#Overcoming-bad-cases-of-short-text-classification" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Lors de la classification de textes d'actualité, les articles courts ont moins de caractéristiques à extraire que les articles plus longs. C'est pourquoi les algorithmes de classification échouent lorsque des contenus de différentes longueurs sont traités par le même classificateur. Milvus aide à résoudre ce problème en recherchant plusieurs éléments d'information sur la classification des textes longs avec une sémantique similaire et des scores fiables, puis en utilisant un mécanisme de vote pour modifier la classification des textes courts.</p>
<h3 id="Identifying-and-resolving-misclassified-short-text" class="common-anchor-header">Identification et résolution des textes courts mal classés</h3><p>La classification précise de chaque article d'actualité est essentielle pour fournir des recommandations de contenu utiles. Étant donné que les articles courts ont moins de caractéristiques, l'application du même classificateur à des articles de longueurs différentes entraîne un taux d'erreur plus élevé pour la classification des textes courts. L'étiquetage humain est trop lent et imprécis pour cette tâche, c'est pourquoi BERT-as-service et Milvus sont utilisés pour identifier rapidement les textes courts mal classés dans les lots, les reclasser correctement, puis utiliser les lots de données comme corpus pour l'entraînement contre ce problème.</p>
<p>BERT-as-service est utilisé pour coder en vecteurs sémantiques un nombre total de cinq millions d'articles d'actualité longs dont le score du classificateur est supérieur à 0,9. Après avoir inséré les articles longs dans Milvus, les nouvelles courtes sont codées en vecteurs sémantiques. Chaque vecteur sémantique de nouvelles courtes est utilisé pour interroger la base de données Milvus et obtenir les 20 premiers articles longs présentant la plus grande similarité en cosinus avec la nouvelle courte cible. Si 18 des 20 articles longs les plus similaires sur le plan sémantique semblent appartenir à la même classification et que celle-ci diffère de celle de l'article court interrogé, la classification de l'article court est considérée comme incorrecte et doit être ajustée pour s'aligner sur les 18 articles longs.</p>
<p>Ce processus permet d'identifier et de corriger rapidement les classifications inexactes des textes courts. Les statistiques d'échantillonnage aléatoire montrent qu'une fois les classifications de textes courts corrigées, la précision globale de la classification des textes dépasse 95 %. En tirant parti de la classification de textes longs à haute fiabilité pour corriger la classification de textes courts, la majorité des cas de mauvaise classification sont corrigés en peu de temps. Il s'agit également d'un bon corpus pour l'entraînement d'un classificateur de textes courts.</p>
<p>![Sohu03.jpg](https://assets.zilliz.com/Sohu03_a43074cf5f.jpg "Organigramme de découverte des "mauvais cas" de classification de textes courts.")</p>
<h2 id="Milvus-can-power-real-time-news-content-recommendation-and-more" class="common-anchor-header">Milvus peut alimenter la recommandation de contenu d'actualités en temps réel et plus encore<button data-href="#Milvus-can-power-real-time-news-content-recommendation-and-more" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus a considérablement amélioré les performances en temps réel du système de recommandation de nouvelles de Sohu et a également renforcé l'efficacité de l'identification des textes courts mal classés. Si vous souhaitez en savoir plus sur Milvus et ses différentes applications :</p>
<ul>
<li>Lisez notre <a href="https://zilliz.com/blog">blog</a>.</li>
<li>Interagissez avec notre communauté open-source sur <a href="https://join.slack.com/t/milvusio/shared_invite/zt-e0u4qu3k-bI2GDNys3ZqX1YCJ9OM~GQ">Slack</a>.</li>
<li>Utilisez ou contribuez à la base de données vectorielle la plus populaire au monde sur <a href="https://github.com/milvus-io/milvus/">GitHub</a>.</li>
<li>Testez et déployez rapidement des applications d'IA avec notre nouveau <a href="https://github.com/milvus-io/bootcamp">bootcamp</a>.</li>
</ul>


Recommandation de contenu à l'aide de la recherche vectorielle sémantique

<custom-h1>Accélérer la compilation de 2,5 fois avec le découplage des dépendances et la conteneurisation des tests</custom-h1><p>Le temps de compilation peut être compliqué par des dépendances internes et externes complexes qui évoluent tout au long du processus de développement, ainsi que par des changements dans les environnements de compilation tels que le système d'exploitation ou les architectures matérielles. Voici quelques problèmes courants que l'on peut rencontrer lorsqu'on travaille sur des projets d'IA ou de MLOps à grande échelle :</p>
<p><strong>Compilation excessivement longue</strong> - L'intégration du code se fait des centaines de fois par jour. Avec des centaines de milliers de lignes de code en place, même une petite modification peut entraîner une compilation complète qui prend généralement une ou plusieurs heures.</p>
<p><strong>Environnement de compilation complexe</strong> - Le code du projet doit être compilé dans différents environnements, qui impliquent différents systèmes d'exploitation, tels que CentOS et Ubuntu, des dépendances sous-jacentes, telles que GCC, LLVM et CUDA, et des architectures matérielles. La compilation dans un environnement spécifique peut normalement ne pas fonctionner dans un environnement différent.</p>
<p><strong>Dépendances complexes</strong> - La compilation d'un projet implique plus de 30 dépendances entre composants et avec des tiers. Le développement d'un projet entraîne souvent des changements dans les dépendances, ce qui provoque inévitablement des conflits de dépendances. Le contrôle de version entre les dépendances est si complexe que la mise à jour de la version des dépendances affectera facilement les autres composants.</p>
<p>Le<strong>téléchargement de dépendances tierces est lent ou échoue</strong> - Les retards de réseau ou les bibliothèques de dépendances tierces instables entraînent des téléchargements de ressources lents ou des échecs d'accès, ce qui affecte sérieusement l'intégration du code.</p>
<p>En découplant les dépendances et en mettant en œuvre la conteneurisation des tests, nous avons réussi à réduire le temps de compilation moyen de 60 % lorsque nous travaillions sur le projet open-source de recherche de similarité d'embeddings <a href="https://milvus.io/">Milvus</a>.</p>
<p><br/></p>
<h3 id="Decouple-the-dependencies-of-the-project" class="common-anchor-header">Découpler les dépendances du projet</h3><p>La compilation d'un projet implique généralement un grand nombre de dépendances internes et externes. Plus un projet a de dépendances, plus il devient complexe de les gérer. Au fur et à mesure que le logiciel se développe, il devient plus difficile et plus coûteux de modifier ou de supprimer les dépendances, ainsi que d'identifier les effets de ces modifications. Une maintenance régulière est nécessaire tout au long du processus de développement pour garantir le bon fonctionnement des dépendances. Une mauvaise maintenance, des dépendances complexes ou défectueuses peuvent provoquer des conflits qui ralentissent ou bloquent le développement. En pratique, cela peut se traduire par des téléchargements de ressources tardifs, des échecs d'accès qui ont un impact négatif sur l'intégration du code, et bien d'autres choses encore. Le découplage des dépendances d'un projet peut atténuer les défauts et réduire le temps de compilation, en accélérant les tests du système et en évitant de ralentir inutilement le développement du logiciel.</p>
<p>Nous vous recommandons donc de découpler les dépendances de votre projet :</p>
<ul>
<li>Séparer les composants ayant des dépendances complexes</li>
<li>Utiliser différents référentiels pour la gestion des versions.</li>
<li>Utiliser des fichiers de configuration pour gérer les informations sur les versions, les options de compilation, les dépendances, etc.</li>
<li>Ajoutez les fichiers de configuration aux bibliothèques de composants afin qu'ils soient mis à jour au fur et à mesure de l'itération du projet.</li>
</ul>
<p><strong>Optimisation de la compilation entre les composants</strong> - Tirer et compiler le composant approprié en fonction des dépendances et des options de compilation enregistrées dans les fichiers de configuration. Marquez et emballez les résultats de la compilation binaire et les fichiers manifestes correspondants, puis téléchargez-les dans votre dépôt privé. Si aucune modification n'est apportée à un composant ou aux composants dont il dépend, lire ses résultats de compilation conformément aux fichiers manifestes. En cas de problèmes tels que des retards de réseau ou des bibliothèques de dépendances tierces instables, essayez de mettre en place un référentiel interne ou d'utiliser des référentiels miroirs.</p>
<p>Pour optimiser la compilation entre les composants :</p>
<p>1. créer un graphe de relations de dépendance - Utilisez les fichiers de configuration des bibliothèques de composants pour créer un graphe de relations de dépendance. Utilisez la relation de dépendance pour récupérer les informations de version (Git Branch, Tag, et Git commit ID) et les options de compilation et plus encore des composants dépendants en amont et en aval.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_949dffec32.png" alt="1.png" class="doc-image" id="1.png" />
   </span> <span class="img-wrapper"> <span>1.png</span> </span></p>
<p>2<strong>. vérifier les dépendances</strong> - générer des alertes pour les dépendances circulaires, les conflits de version et d'autres problèmes qui surviennent entre les composants.</p>
<p>3<strong>. aplanir les dépendances</strong> - Trier les dépendances par recherche en profondeur (DFS) et fusionner les composants ayant des dépendances en double pour former un graphe de dépendances.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/2_45130c55e4.png" alt="2.png" class="doc-image" id="2.png" />
   </span> <span class="img-wrapper"> <span>2.png</span> </span></p>
<p>4. utiliser l'algorithme MerkleTree pour générer un hachage (Root Hash) contenant les dépendances de chaque composant sur la base des informations de version, des options de compilation, etc. Combiné à des informations telles que le nom du composant, l'algorithme forme une étiquette unique pour chaque composant.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/3_6a4fcdf4e3.png" alt="3.png" class="doc-image" id="3.png" />
   </span> <span class="img-wrapper"> <span>3.png</span> </span></p>
<p>5. en se basant sur les informations de l'étiquette unique du composant, vérifier si une archive de compilation correspondante existe dans le repo privé. Si une archive de compilation est récupérée, décompressez-la pour obtenir le fichier manifeste pour la lecture ; sinon, compilez le composant, marquez les fichiers objets de compilation et le fichier manifeste générés, et téléchargez-les dans le répertoire privé.</p>
<p><br/></p>
<p><strong>Mettre en œuvre des optimisations de compilation dans les composants</strong> - Choisissez un outil de cache de compilation spécifique au langage pour mettre en cache les fichiers objets compilés, puis téléchargez-les et stockez-les dans votre dépôt privé. Pour la compilation C/C++, choisissez un outil de cache de compilation comme CCache pour mettre en cache les fichiers intermédiaires de compilation C/C++, puis archivez le cache CCache local après la compilation. Ces outils de cache de compilation mettent simplement en cache les fichiers de code modifiés un par un après la compilation, et copient les composants compilés du fichier de code inchangé afin qu'ils puissent être directement impliqués dans la compilation finale. L'optimisation de la compilation au sein des composants comprend les étapes suivantes :</p>
<ol>
<li>Ajouter les dépendances de compilation nécessaires au fichier Dockerfile. Utiliser Hadolint pour effectuer des contrôles de conformité sur Dockerfile afin de s'assurer que l'image est conforme aux meilleures pratiques de Docker.</li>
<li>Mettre en miroir l'environnement de compilation en fonction de la version sprint du projet (version + build), du système d'exploitation et d'autres informations.</li>
<li>Exécutez le conteneur de l'environnement de compilation miroir et transférez l'identifiant de l'image au conteneur en tant que variable d'environnement. Voici un exemple de commande pour obtenir l'ID de l'image : "docker inspect ' - type=image' - format '{{.ID}}' repository/build-env:v0.1-centos7".</li>
<li>Choisissez l'outil de cache de compilation approprié : Entrez votre conteneur pour intégrer et compiler vos codes et vérifiez dans votre dépôt privé si un cache de compilation approprié existe. Si c'est le cas, téléchargez-le et extrayez-le dans le répertoire spécifié. Une fois que tous les composants ont été compilés, le cache généré par l'outil de cache de compilation est empaqueté et téléchargé dans votre dépôt privé en fonction de la version du projet et de l'ID de l'image.</li>
</ol>
<p><br/></p>
<h3 id="Further-compilation-optimization" class="common-anchor-header">Optimisation de la compilation</h3><p>Notre version initiale occupe trop d'espace disque et de bande passante, et prend beaucoup de temps à déployer, nous avons pris les mesures suivantes :</p>
<ol>
<li>Choisir l'image de base la plus légère pour réduire la taille de l'image, par exemple alpine, busybox, etc.</li>
<li>Réduire le nombre de couches d'images. Réutiliser les dépendances autant que possible. Fusionner plusieurs commandes avec "&amp;&amp;".</li>
<li>Nettoyer les produits intermédiaires pendant la construction de l'image.</li>
<li>Utiliser le cache d'image pour construire l'image autant que possible.</li>
</ol>
<p>Au fur et à mesure de l'avancement de notre projet, l'utilisation du disque et des ressources réseau a commencé à monter en flèche à mesure que le cache de compilation augmentait, alors que certains des caches de compilation étaient sous-utilisés. Nous avons donc procédé aux ajustements suivants :</p>
<p>Nettoyer<strong>régulièrement les fichiers de cache</strong> - Vérifier régulièrement le dépôt privé (à l'aide de scripts par exemple), et nettoyer les fichiers de cache qui n'ont pas été modifiés depuis un certain temps ou qui n'ont pas été beaucoup téléchargés.</p>
<p><strong>Mise en cache sélective</strong> des compilations - Ne mettre en cache que les compilations exigeant des ressources, et ne pas mettre en cache les compilations ne nécessitant pas beaucoup de ressources.</p>
<p><br/></p>
<h3 id="Leveraging-containerized-testing-to-reduce-errors-improve-stability-and-reliability" class="common-anchor-header">Exploiter les tests conteneurisés pour réduire les erreurs, améliorer la stabilité et la fiabilité</h3><p>Les codes doivent être compilés dans différents environnements, ce qui implique une variété de systèmes d'exploitation (par exemple CentOS et Ubuntu), de dépendances sous-jacentes (par exemple GCC, LLVM et CUDA) et d'architectures matérielles spécifiques. Le code qui se compile avec succès dans un environnement spécifique échoue dans un environnement différent. En exécutant les tests dans des conteneurs, le processus de test devient plus rapide et plus précis.</p>
<p>La conteneurisation garantit que l'environnement de test est cohérent et qu'une application fonctionne comme prévu. L'approche des tests conteneurisés consiste à emballer les tests sous forme de conteneurs d'images et à créer un environnement de test véritablement isolé. Nos testeurs ont trouvé cette approche très utile, ce qui a permis de réduire les temps de compilation de 60 %.</p>
<p><strong>Assurer un environnement de compilation cohérent</strong> - Comme les produits compilés sont sensibles aux changements dans l'environnement du système, des erreurs inconnues peuvent se produire dans différents systèmes d'exploitation. Nous devons étiqueter et archiver le cache des produits compilés en fonction des changements survenus dans l'environnement de compilation, mais il est difficile de les classer. Nous avons donc introduit la technologie de conteneurisation pour unifier l'environnement de compilation afin de résoudre ces problèmes.</p>
<p><br/></p>
<h3 id="Conclusion" class="common-anchor-header">Conclusion</h3><p>En analysant les dépendances du projet, cet article présente différentes méthodes d'optimisation de la compilation entre et au sein des composants, en fournissant des idées et des bonnes pratiques pour construire une intégration de code continue stable et efficace. Ces méthodes ont permis de résoudre les problèmes de lenteur de l'intégration du code causés par des dépendances complexes, d'unifier les opérations à l'intérieur du conteneur pour assurer la cohérence de l'environnement, et d'améliorer l'efficacité de la compilation grâce à la lecture des résultats de la compilation et à l'utilisation d'outils de cache de compilation pour mettre en cache les résultats intermédiaires de la compilation.</p>
<p>Les pratiques susmentionnées ont permis de réduire le temps de compilation du projet de 60 % en moyenne, améliorant ainsi considérablement l'efficacité globale de l'intégration du code. À l'avenir, nous continuerons à paralléliser la compilation entre les composants et à l'intérieur de ceux-ci afin de réduire davantage les temps de compilation.</p>
<p><br/></p>
<p><em>Les sources suivantes ont été utilisées pour cet article :</em></p>
<ul>
<li>"Découplage des arbres de sources dans les composants de niveau bâtiment"</li>
<li>"<a href="https://dev.to/brpaz/factors-to-consider-when-adding-third-party-dependencies-to-a-project-46hf">Facteurs à prendre en compte lors de l'ajout de dépendances tierces à un projet</a></li>
<li>"<a href="https://queue.acm.org/detail.cfm?id=3344149">Survivre aux dépendances logicielles</a>"</li>
<li>"<a href="https://www.cc.gatech.edu/~beki/t1.pdf">Comprendre les dépendances : Une étude des défis de coordination dans le développement de logiciels</a>"</li>
</ul>
<p><br/></p>
<h3 id="About-the-author" class="common-anchor-header">A propos de l'auteur</h3><p>Zhifeng Zhang est ingénieur DevOps senior chez Zilliz.com et travaille sur Milvus, une base de données vectorielle open-source, et instructeur autorisé de l'université de logiciels open-source LF en Chine. Il a obtenu sa licence en Internet des objets (IOT) à l'Institut de génie logiciel de Guangzhou. Il passe sa carrière à participer et à diriger des projets dans le domaine du CI/CD, du DevOps, de la gestion de l'infrastructure informatique, de la boîte à outils Cloud-Native, de la conteneurisation et de l'optimisation du processus de compilation.</p>


Recherche sémantique multimodale avec des images et du texte