<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Multimodal_Semantic_Search_with_Images_and_Text_180d89d5aa.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Als Menschen interpretieren wir die Welt mit unseren Sinnen. Wir hören Geräusche, sehen Bilder, Videos und Texte, die sich oft überlagern. Wir verstehen die Welt durch diese verschiedenen Modalitäten und die Beziehungen zwischen ihnen. Damit künstliche Intelligenz den menschlichen Fähigkeiten wirklich ebenbürtig ist oder sie sogar übertrifft, muss sie die gleiche Fähigkeit entwickeln, die Welt durch mehrere Linsen gleichzeitig zu verstehen.</p>
<p>In diesem Beitrag, dem dazugehörigen Video (in Kürze) und dem Notebook werden wir die jüngsten Durchbrüche bei Modellen vorstellen, die sowohl Text als auch Bilder gleichzeitig verarbeiten können. Wir werden dies anhand einer semantischen Suchanwendung demonstrieren, die über den einfachen Abgleich von Schlüsselwörtern hinausgeht - sie versteht die Beziehung zwischen dem, wonach Benutzer fragen, und den visuellen Inhalten, die sie durchsuchen.</p>
<p>Was dieses Projekt besonders aufregend macht, ist die Tatsache, dass es vollständig mit Open-Source-Tools erstellt wurde: die Vektordatenbank Milvus, die Bibliotheken für maschinelles Lernen von HuggingFace und ein Datensatz von Amazon-Kundenrezensionen. Es ist bemerkenswert, wenn man sich vorstellt, dass noch vor einem Jahrzehnt für die Entwicklung eines solchen Projekts erhebliche firmeneigene Ressourcen erforderlich gewesen wären. Heute sind diese leistungsstarken Komponenten frei verfügbar und können von jedem, der neugierig ist, auf innovative Weise kombiniert werden.</p>
<custom-h1>Überblick</custom-h1><p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/overview_97a124bc9a.jpg" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Unsere multimodale Suchanwendung ist vom Typ <em>Retrieve-and-Rerank.</em> Wenn Sie mit <em>Retrieval-Augmented-Generation</em> (RAG) vertraut sind, ist sie sehr ähnlich, nur dass die endgültige Ausgabe eine Liste von Bildern ist, die durch ein großes Sprach-Vision-Modell (LLVM) neu bewertet wurden. Die Suchanfrage des Benutzers enthält sowohl Text als auch Bild, und das Ziel ist eine Reihe von Bildern, die in einer Vektordatenbank indiziert sind. Die Architektur besteht aus drei Schritten - <em>Indizierung</em>, <em>Abruf</em> und <em>Neueinstufung</em> (ähnlich wie bei der "Generierung") - die wir nacheinander zusammenfassen.</p>
<h2 id="Indexing" class="common-anchor-header">Indizierung<button data-href="#Indexing" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Unsere Suchanwendung muss etwas zu durchsuchen haben. In unserem Fall verwenden wir eine kleine Teilmenge des "Amazon Reviews 2023"-Datensatzes, der sowohl Text als auch Bilder von Amazon-Kundenrezensionen für alle Arten von Produkten enthält. Sie können sich vorstellen, dass eine semantische Suche wie diese, die wir aufbauen, eine nützliche Ergänzung für eine E-Commerce-Website ist. Wir verwenden 900 Bilder und verwerfen den Text. Beachten Sie jedoch, dass dieses Notebook mit der richtigen Datenbank und dem richtigen Einsatz von Inferenzen auf Produktionsgröße skaliert werden kann.</p>
<p>Das erste "magische" Element in unserer Pipeline ist die Wahl des Einbettungsmodells. Wir verwenden ein kürzlich entwickeltes multimodales Modell namens <a href="https://huggingface.co/BAAI/bge-visualized">Visualized BGE</a>, das in der Lage ist, Text und Bilder gemeinsam oder getrennt in denselben Raum mit einem einzigen Modell einzubetten, in dem nahe beieinander liegende Punkte semantisch ähnlich sind. In jüngster Zeit wurden weitere Modelle dieser Art entwickelt, z. B. <a href="https://github.com/google-deepmind/magiclens">MagicLens</a>.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/indexing_1937241be5.jpg" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Die obige Abbildung veranschaulicht: Die Einbettung für [ein Bild eines Löwen von der Seite] plus den Text "front view of this" liegt nahe an einer Einbettung für [ein Bild eines Löwen von vorne] ohne Text. Dasselbe Modell wird sowohl für Text- und Bildeingaben als auch für reine Bildeingaben (wie auch für reine Texteingaben) verwendet. <em>Auf diese Weise ist das Modell in der Lage, die Absicht des Benutzers zu verstehen, wie der Suchtext mit dem Suchbild zusammenhängt.</em></p>
<p>Wir betten unsere 900 Produktbilder ohne entsprechenden Text ein und speichern die Einbettungen in einer Vektordatenbank mit <a href="https://milvus.io/docs">Milvus</a>.</p>
<h2 id="Retrieval" class="common-anchor-header">Abruf<button data-href="#Retrieval" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Nun, da unsere Datenbank aufgebaut ist, können wir eine Benutzerabfrage durchführen. Stellen Sie sich vor, ein Benutzer kommt mit der Anfrage: "eine Handyhülle mit diesem" plus [ein Bild eines Leoparden]. Das heißt, er sucht nach Handytaschen mit Leopardenfellmuster.</p>
<p>Beachten Sie, dass der Text der Benutzeranfrage "dies" und nicht "ein Leopardenfell" lautet. Unser Einbettungsmodell muss in der Lage sein, "dies" mit dem zu verbinden, worauf es sich bezieht, was eine beeindruckende Leistung ist, wenn man bedenkt, dass frühere Modelle nicht in der Lage waren, solche offenen Anweisungen zu verarbeiten. Das <a href="https://arxiv.org/abs/2403.19651">MagicLens-Papier</a> enthält weitere Beispiele.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Retrieval_ad64f48e49.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Wir betten den Abfragetext und das Bild gemeinsam ein und führen eine Ähnlichkeitssuche in unserer Vektordatenbank durch, wobei die neun besten Treffer zurückgegeben werden. Die Ergebnisse sind in der obigen Abbildung zusammen mit dem Suchbild des Leoparden dargestellt. Es zeigt sich, dass der oberste Treffer nicht derjenige ist, der für die Abfrage am relevantesten ist. Das siebte Ergebnis scheint am relevantesten zu sein - es handelt sich um eine Handyhülle mit einem Leopardenfellaufdruck.</p>
<h2 id="Generation" class="common-anchor-header">Generation<button data-href="#Generation" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Es scheint, dass unsere Suche fehlgeschlagen ist, da das oberste Ergebnis nicht das relevanteste ist. Wir können dies jedoch mit einem Reranking-Schritt beheben. Sie wissen vielleicht, dass das Reranking der abgerufenen Elemente ein wichtiger Schritt in vielen RAG-Pipelines ist. Wir verwenden <a href="https://huggingface.co/microsoft/Phi-3-vision-128k-instruct">Phi-3 Vision</a> als Re-Ranking-Modell.</p>
<p>Zunächst bitten wir eine LLVM, eine Bildunterschrift für das angefragte Bild zu generieren. Der LLVM gibt aus:</p>
<p><em>"Das Bild zeigt eine Nahaufnahme des Gesichts eines Leoparden mit Fokus auf sein geflecktes Fell und seine grünen Augen."</em></p>
<p>Wir füttern dann diese Beschriftung, ein einzelnes Bild mit den neun Ergebnissen und das Abfragebild und erstellen eine Textaufforderung, die das Modell auffordert, die Ergebnisse neu zu ordnen, die Antwort als Liste anzugeben und eine Begründung für die Wahl der besten Übereinstimmung zu liefern.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Generation_b016a6c26a.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Das Ergebnis ist in der obigen Abbildung zu sehen - das relevanteste Element ist nun die erste Übereinstimmung - und die Begründung lautet:</p>
<p><em>"Der am besten geeignete Artikel ist der mit dem Leopardenmotiv, der mit der Suchanfrage des Benutzers nach einer Handyhülle mit einem ähnlichen Motiv übereinstimmt."</em></p>
<p>Unser LLVM-Rankingsystem war in der Lage, Bilder und Text zu verstehen und die Relevanz der Suchergebnisse zu verbessern. <em>Ein interessantes Artefakt ist, dass der Re-Ranker nur acht Ergebnisse lieferte und eines verworfen hat, was die Notwendigkeit von Leitplanken und strukturierter Ausgabe unterstreicht.</em></p>
<h2 id="Summary" class="common-anchor-header">Zusammenfassung<button data-href="#Summary" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>In diesem Beitrag und dem dazugehörigen Video (in Kürze) sowie dem <a href="https://github.com/milvus-io/bootcamp/blob/master/bootcamp/tutorials/quickstart/multimodal_retrieval_amazon_reviews.ipynb">Notebook</a> haben wir eine Anwendung für die multimodale semantische Suche in Text und Bild entwickelt. Das Einbettungsmodell war in der Lage, Text und Bilder gemeinsam oder getrennt in denselben Raum einzubetten, und das Basismodell war in der Lage, Text und Bild einzugeben und gleichzeitig Text als Antwort zu generieren. <em>Wichtig ist, dass das Einbettungsmodell in der Lage war, die Absicht des Benutzers einer offenen Anweisung mit dem Abfragebild in Beziehung zu setzen und auf diese Weise zu spezifizieren, wie der Benutzer die Ergebnisse mit dem eingegebenen Bild in Beziehung setzen wollte.</em></p>
<p>Dies ist nur ein Vorgeschmack auf das, was uns in naher Zukunft erwarten wird. Wir werden viele Anwendungen der multimodalen Suche, des multimodalen Verstehens und Schlussfolgerns usw. in verschiedenen Modalitäten sehen: Bilder, Video, Audio, Moleküle, soziale Netzwerke, Tabellendaten, Zeitreihen - das Potenzial ist grenzenlos.</p>
<p>Und das Herzstück dieser Systeme ist eine Vektordatenbank, die das externe "Gedächtnis" des Systems enthält. Milvus ist eine ausgezeichnete Wahl für diesen Zweck. Es ist quelloffen, voll funktionsfähig (siehe <a href="https://milvus.io/blog/get-started-with-hybrid-semantic-full-text-search-with-milvus-2-5.md">diesen Artikel über die Volltextsuche in Milvus 2.5</a>) und skaliert effizient auf Milliarden von Vektoren mit Datenverkehr im Web und einer Latenzzeit von unter 100 ms. Erfahren Sie mehr in den <a href="https://milvus.io/docs">Milvus-Dokumenten</a>, treten Sie unserer <a href="https://milvus.io/discord">Discord-Community</a> bei, und wir hoffen, Sie bei unserem nächsten <a href="https://lu.ma/unstructured-data-meetup">Unstructured Data Meetup</a> zu sehen. Bis dahin!</p>
<h2 id="Resources" class="common-anchor-header">Ressourcen<button data-href="#Resources" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p>Notizbuch: <a href="https://github.com/milvus-io/bootcamp/blob/master/bootcamp/tutorials/quickstart/multimodal_retrieval_amazon_reviews.ipynb">"Multimodale Suche mit Amazon-Rezensionen und LLVM-Reranking</a>"</p></li>
<li><p>Youtube AWS Developers Video (bald verfügbar)</p></li>
<li><p><a href="https://milvus.io/docs">Milvus-Dokumentation</a></p></li>
<li><p><a href="https://lu.ma/unstructured-data-meetup">Treffen für unstrukturierte Daten</a></p></li>
<li><p>Modell einbetten: <a href="https://huggingface.co/BAAI/bge-visualized">Visualisierte BGE-Modellkarte</a></p></li>
<li><p>Alternatives Einbettungsmodell: <a href="https://github.com/google-deepmind/magiclens">MagicLens-Modell-Repositorium</a></p></li>
<li><p>LLVM: <a href="https://huggingface.co/microsoft/Phi-3-vision-128k-instruct">Phi-3 Vision Modellkarte</a></p></li>
<li><p>Papier: "<a href="https://arxiv.org/abs/2403.19651">MagicLens: Self-Supervised Image Retrieval with Open-Ended Instructions</a>"</p></li>
<li><p>Datensatz: <a href="https://amazon-reviews-2023.github.io/">Amazon Bewertungen 2023</a></p></li>
</ul>


Multimodale semantische Suche mit Bildern und Text

Wie Sie mit Milvus beginnen

<p>Inzwischen weiß jeder, dass die hybride Suche die <a href="https://zilliz.com/learn/Retrieval-Augmented-Generation">RAG-Suchqualität</a> (Retrieval-Augmented Generation) verbessert hat. Während die Suche <a href="https://zilliz.com/learn/sparse-and-dense-embeddings">mit dichter Einbettung</a> beeindruckende Fähigkeiten bei der Erfassung tiefer semantischer Beziehungen zwischen Abfragen und Dokumenten gezeigt hat, weist sie immer noch bemerkenswerte Einschränkungen auf. Dazu gehören mangelnde Erklärbarkeit und suboptimale Leistung bei Long-Tail-Anfragen und seltenen Begriffen.</p>
<p>Viele RAG-Anwendungen haben damit zu kämpfen, dass den vortrainierten Modellen oft domänenspezifisches Wissen fehlt. In einigen Szenarien übertrifft das einfache BM25-Schlüsselwortmatching diese hochentwickelten Modelle. Hier schließt die hybride Suche die Lücke, indem sie das semantische Verständnis des Dense Vector Retrieval mit der Präzision des Keyword Matching kombiniert.</p>
<h2 id="Why-Hybrid-Search-is-Complex-in-Production" class="common-anchor-header">Warum die hybride Suche in der Produktion komplex ist<button data-href="#Why-Hybrid-Search-is-Complex-in-Production" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Während Frameworks wie <a href="https://zilliz.com/learn/LangChain">LangChain</a> oder <a href="https://zilliz.com/learn/getting-started-with-llamaindex">LlamaIndex</a> den Aufbau eines Proof-of-Concept-Hybrid-Retrievers erleichtern, ist die Skalierung auf die Produktion mit massiven Datensätzen eine Herausforderung. Herkömmliche Architekturen erfordern separate Vektordatenbanken und Suchmaschinen, was zu mehreren zentralen Herausforderungen führt:</p>
<ul>
<li><p>Hohe Wartungskosten für die Infrastruktur und betriebliche Komplexität</p></li>
<li><p>Datenredundanz über mehrere Systeme hinweg</p></li>
<li><p>Schwierige Verwaltung der Datenkonsistenz</p></li>
<li><p>Komplexe Sicherheit und systemübergreifende Zugriffskontrolle</p></li>
</ul>
<p>Der Markt benötigt eine einheitliche Lösung, die lexikalische und semantische Suche unterstützt und gleichzeitig die Systemkomplexität und -kosten reduziert.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/elasticsearch_vs_milvus_5be6e2b69e.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<h2 id="The-Pain-Points-of-Elasticsearch" class="common-anchor-header">Die Schmerzpunkte von Elasticsearch<button data-href="#The-Pain-Points-of-Elasticsearch" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Elasticsearch ist eines der einflussreichsten Open-Source-Suchprojekte des letzten Jahrzehnts. Es basiert auf Apache Lucene und wurde durch seine hohe Leistung, Skalierbarkeit und verteilte Architektur populär. Obwohl in Version 8.0 die Vector ANN-Suche hinzugefügt wurde, stehen Produktionsimplementierungen vor mehreren kritischen Herausforderungen:</p>
<p><strong>Hohe Aktualisierungs- und Indizierungskosten:</strong> Die Architektur von Elasticsearch entkoppelt Schreibvorgänge, Indexaufbau und Abfragen nicht vollständig. Dies führt zu erheblichem CPU- und I/O-Overhead bei Schreiboperationen, insbesondere bei Massenaktualisierungen. Die Ressourcenkonkurrenz zwischen Indizierung und Abfrage wirkt sich auf die Leistung aus und stellt einen erheblichen Engpass für hochfrequente Aktualisierungsszenarien dar.</p>
<p><strong>Schlechte Leistung in Echtzeit:</strong> Als "echtzeitnahe" Suchmaschine führt Elasticsearch zu einer spürbaren Latenz bei der Datensichtbarkeit. Diese Latenz wird besonders problematisch für KI-Anwendungen, wie z. B. Agentensysteme, bei denen hochfrequente Interaktionen und dynamische Entscheidungsfindung einen sofortigen Datenzugriff erfordern.</p>
<p><strong>Schwierige Shard-Verwaltung:</strong> Obwohl Elasticsearch Sharding für eine verteilte Architektur verwendet, stellt das Shard-Management eine große Herausforderung dar. Das Fehlen einer dynamischen Sharding-Unterstützung führt zu einem Dilemma: Zu viele Shards in kleinen Datensätzen führen zu schlechter Leistung, während zu wenige Shards in großen Datensätzen die Skalierbarkeit einschränken und eine ungleichmäßige Datenverteilung verursachen.</p>
<p><strong>Nicht-Cloud-native Architektur:</strong> Elasticsearch wurde entwickelt, bevor sich Cloud-native Architekturen durchsetzten. Das Design von Elasticsearch koppelt Storage und Compute eng aneinander, was die Integration mit modernen Infrastrukturen wie Public Clouds und Kubernetes einschränkt. Die Skalierung der Ressourcen erfordert eine gleichzeitige Erhöhung von Speicher und Rechenleistung, was die Flexibilität einschränkt. In Szenarien mit mehreren Replikaten muss jeder Shard seinen Index unabhängig aufbauen, was die Rechenkosten erhöht und die Ressourceneffizienz verringert.</p>
<p><strong>Schlechte Vektorsuchleistung:</strong> Obwohl Elasticsearch 8.0 die ANN-Vektorsuche eingeführt hat, bleibt seine Leistung deutlich hinter der von dedizierten Vektormaschinen wie Milvus zurück. Die auf dem Lucene-Kernel basierende Indexstruktur erweist sich als ineffizient für hochdimensionale Daten und hat mit den Anforderungen einer groß angelegten Vektorsuche zu kämpfen. Besonders instabil wird die Leistung in komplexen Szenarien mit skalarer Filterung und Mandantenfähigkeit, was es schwierig macht, eine hohe Last oder unterschiedliche Geschäftsanforderungen zu unterstützen.</p>
<p><strong>Übermäßiger Ressourcenverbrauch:</strong> Elasticsearch stellt extreme Anforderungen an Speicher und CPU, insbesondere bei der Verarbeitung großer Datenmengen. Seine JVM-Abhängigkeit erfordert häufige Anpassungen der Heap-Größe und eine Optimierung der Garbage Collection, was die Speichereffizienz stark beeinträchtigt. Vektorsuchoperationen erfordern intensive SIMD-optimierte Berechnungen, für die die JVM-Umgebung alles andere als ideal ist.</p>
<p>Diese grundlegenden Beschränkungen werden zunehmend problematisch, wenn Unternehmen ihre KI-Infrastruktur skalieren, was Elasticsearch zu einer besonderen Herausforderung für moderne KI-Anwendungen macht, die hohe Leistung und Zuverlässigkeit erfordern.</p>
<h2 id="Introducing-Sparse-BM25-Reimagining-Lexical-Search" class="common-anchor-header">Einführung von Sparse-BM25: Lexikalische Suche neu gedacht<button data-href="#Introducing-Sparse-BM25-Reimagining-Lexical-Search" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><a href="https://milvus.io/blog/introduce-milvus-2-5-full-text-search-powerful-metadata-filtering-and-more.md">Milvus 2.5</a> führt native lexikalische Suchunterstützung durch Sparse-BM25 ein, die auf den in Version 2.4 eingeführten hybriden Suchfunktionen aufbaut. Dieser innovative Ansatz umfasst die folgenden Schlüsselkomponenten:</p>
<ul>
<li><p>Erweiterte Tokenisierung und Vorverarbeitung durch Tantivy</p></li>
<li><p>Verteiltes Vokabular und Termfrequenzmanagement</p></li>
<li><p>Sparse-Vektor-Generierung mit Korpus-TF und Abfrage-TF-IDF</p></li>
<li><p>Unterstützung von invertierten Indizes mit dem WAND-Algorithmus (Block-Max WAND und Graph-Index-Unterstützung in Entwicklung)</p></li>
</ul>
<p>Im Vergleich zu Elasticsearch bietet Milvus erhebliche Vorteile bei der Flexibilität des Algorithmus. Seine auf Vektor-Distanz basierende Ähnlichkeitsberechnung ermöglicht ein ausgefeilteres Matching, einschließlich der Implementierung von TW-BERT (Term Weighting BERT) auf der Grundlage der "End-to-End Query Term Weighting"-Forschung. Dieser Ansatz hat sowohl bei In-Domain- als auch bei Out-Domain-Tests eine hervorragende Leistung gezeigt.</p>
<p>Ein weiterer entscheidender Vorteil ist die Kosteneffizienz. Durch die Nutzung des invertierten Index und der Dense Embedding-Komprimierung erreicht Milvus eine fünffache Leistungsverbesserung bei einer Verschlechterung des Recalls um weniger als 1 %. Durch Tail-Term Pruning und Vektorquantisierung wurde die Speichernutzung um über 50 % reduziert.</p>
<p>Die Optimierung langer Abfragen ist eine besondere Stärke. Wo herkömmliche WAND-Algorithmen mit längeren Abfragen zu kämpfen haben, zeichnet sich Milvus durch die Kombination von Sparse Embeddings mit Graph-Indizes aus, was zu einer zehnfachen Leistungsverbesserung in hochdimensionalen Sparse-Vector-Such-Szenarien führt.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/document_in_and_out_b84771bec4.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<h2 id="Milvus-The-Ultimate-Vector-Database-for-RAG" class="common-anchor-header">Milvus: Die ultimative Vektordatenbank für RAG<button data-href="#Milvus-The-Ultimate-Vector-Database-for-RAG" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus ist durch seinen umfassenden Funktionsumfang die erste Wahl für RAG-Anwendungen. Zu den wichtigsten Vorteilen gehören:</p>
<ul>
<li><p>Umfangreiche Metadatenunterstützung mit dynamischen Schemafunktionen und leistungsstarken Filteroptionen</p></li>
<li><p>Mehrmandantenfähigkeit auf Unternehmensebene mit flexibler Isolierung durch Sammlungen, Partitionen und Partitionsschlüssel</p></li>
<li><p>Branchenweit erste Unterstützung für Festplattenvektorindizes mit mehrstufiger Speicherung vom Speicher bis zu S3</p></li>
<li><p>Cloud-native Skalierbarkeit mit nahtloser Skalierung von 10 Mio. bis 1 Mrd. Vektoren</p></li>
<li><p>Umfassende Suchfunktionen, einschließlich Gruppierung, Bereich und hybride Suche</p></li>
<li><p>Tiefgreifende Ökosystemintegration mit LangChain, LlamaIndex, Dify und anderen KI-Tools</p></li>
</ul>
<p>Die vielfältigen Suchfunktionen des Systems umfassen Gruppierungs-, Bereichs- und hybride Suchmethoden. Die tiefe Integration mit Tools wie LangChain, LlamaIndex und Dify sowie die Unterstützung zahlreicher KI-Produkte machen Milvus zum Zentrum des modernen KI-Infrastruktur-Ökosystems.</p>
<h2 id="Looking-Forward" class="common-anchor-header">Blick in die Zukunft<button data-href="#Looking-Forward" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Mit dem Übergang von KI von POC zur Produktion entwickelt sich Milvus weiter. Wir konzentrieren uns darauf, die Vektorsuche zugänglicher und kostengünstiger zu machen und gleichzeitig die Suchqualität zu verbessern. Ob Sie ein Startup oder ein Unternehmen sind, Milvus reduziert die technischen Barrieren für die Entwicklung von KI-Anwendungen.</p>
<p>Dieses Engagement für Zugänglichkeit und Innovation hat uns zu einem weiteren großen Schritt nach vorn geführt. Während unsere Open-Source-Lösung weiterhin als Grundlage für Tausende von Anwendungen weltweit dient, haben wir erkannt, dass viele Unternehmen eine vollständig verwaltete Lösung benötigen, die den operativen Overhead eliminiert.</p>
<h2 id="Zilliz-Cloud-The-Managed-Solution" class="common-anchor-header">Zilliz Cloud: Die verwaltete Lösung<button data-href="#Zilliz-Cloud-The-Managed-Solution" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>In den letzten drei Jahren haben wir <a href="https://zilliz.com/cloud">Zilliz Cloud</a>, einen vollständig verwalteten Vektordatenbankdienst auf der Grundlage von Milvus, entwickelt. Durch eine Cloud-native Neuimplementierung des Milvus-Protokolls bietet er verbesserte Benutzerfreundlichkeit, Kosteneffizienz und Sicherheit.</p>
<p>Mit unserer Erfahrung in der Wartung der weltweit größten Vektorsuchcluster und der Unterstützung von Tausenden von KI-Anwendungsentwicklern reduziert Zilliz Cloud den betrieblichen Aufwand und die Kosten im Vergleich zu selbst gehosteten Lösungen erheblich.</p>
<p>Sind Sie bereit, die Zukunft der Vektorsuche zu erleben? Starten Sie noch heute Ihre kostenlose Testversion mit einem Guthaben von bis zu 200 $, keine Kreditkarte erforderlich.</p>


Elasticsearch ist tot, es lebe die lexikalische Suche

Erste Schritte mit der hybriden semantischen / Volltextsuche mit Milvus 2.5

Einführung von Milvus 2.5: Volltextsuche, leistungsfähigere Metadatenfilterung und Verbesserungen der Benutzerfreundlichkeit!

Semantische Suche vs. Volltextsuche: Wofür entscheide ich mich in Milvus 2.5?

Design von Multi-Tenancy RAG mit Milvus: Best Practices für skalierbare Enterprise Knowledge Bases

Wie man zu Milvus beiträgt: Ein Schnellstart für Entwickler

Getting Started with HNSWlib

Erste Schritte mit HNSWlib

<p>Wir freuen uns, wöchentliche Sprechstunden für Milvus-Benutzer einführen zu können, um praktische Unterstützung bei ihren <a href="https://zilliz.com/learn/what-is-vector-database">Vektordatenbankprojekten</a> zu erhalten! Kommen Sie zu unserem Expertenteam für eine 20-minütige persönliche Sitzung, um Einblicke, Anleitung und Antworten auf Ihre Fragen zu erhalten. Ganz gleich, ob Sie gerade erst anfangen oder Hilfe bei einem bestimmten Problem benötigen, wir sind hier, um Ihnen zu helfen, das Beste aus Milvus herauszuholen.</p>
<p><strong>Buchen Sie Ihre Sprechstunde hier:<a href="https://meetings.hubspot.com/chloe-williams1/milvus-office-hours">https://meetings.hubspot.com/chloe-williams1/milvus-office-hours</a></strong></p>
<h2 id="Why-Book-a-Session" class="common-anchor-header">Warum eine Sitzung buchen?<button data-href="#Why-Book-a-Session" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Hier sind ein paar gute Gründe, eine Sitzung in unserer Sprechstunde zu buchen:</p>
<ul>
<li><p><strong>Optimierung der Milvus-Leistung:</strong> Erhalten Sie Tipps zum Tuning von Konfigurationen zur Steigerung der Datenbankleistung.</p></li>
<li><p><strong>Beratung zum Datenschema-Design:</strong> Lernen Sie Best Practices für Datenschemata und Indextypen, die am besten zu Ihrem Anwendungsfall passen.</p></li>
<li><p><strong>Skalierung Ihrer Milvus-Implementierung:</strong> Erhalten Sie Ratschläge zur Verwaltung und Skalierung von Milvus für größere Datenmengen.</p></li>
<li><p><strong>Fehlersuche bei spezifischen Problemen:</strong> Bleiben Sie bei einem Fehler oder ungewöhnlichen Verhalten hängen? Wir können Ihnen bei der Fehlersuche und -behebung helfen.</p></li>
<li><p><strong>Unterstützung bei der Integration:</strong> Benötigen Sie Hilfe bei der Verwendung von Milvus mit anderen integrierten Frameworks wie LangChain, LlamaIndex, Spark oder Ihren Datenverarbeitungspipelines?</p></li>
<li><p><strong>Lernen Sie über neue Funktionen:</strong> Bleiben Sie auf dem Laufenden über die neuesten Fähigkeiten von Milvus und wie diese Ihrem Projekt zugute kommen können.</p></li>
</ul>
<p>Verpassen Sie nicht die Gelegenheit, Ihre Milvus-Implementierung unter fachkundiger Anleitung auf den neuesten Stand zu bringen.</p>
<p>Wenn Sie nicht live dabei sein können, machen Sie sich keine Sorgen - es gibt immer noch viele Möglichkeiten, Unterstützung zu erhalten! Die Milvus-Community ist sowohl auf <a href="https://discord.com/invite/8uyFbECzPX">Discord</a> als auch auf<a href="https://github.com/search?q=milvus&amp;type=discussions"> GitHub Discussions</a> aktiv und bereit zu helfen. Egal, ob Sie einen Live-Chat oder asynchrone Diskussionen bevorzugen, diese Plattformen sind ein großartiger Ort, um Fragen zu stellen, Wissen auszutauschen und sich mit anderen Milvus-Benutzern und -Mitwirkenden auszutauschen.</p>


Nehmen Sie an den Milvus-Sprechstunden teil und erhalten Sie Unterstützung von Vector DB-Experten!

What are Matryoshka Embeddings?

Matroschka-Einbettungen: Details in verschiedenen Maßstäben

Wie man das Milvus Backup Tool benutzt: Eine Schritt-für-Schritt-Anleitung

Einsatz von Milvus auf Kubernetes: Eine Schritt-für-Schritt-Anleitung für Kubernetes-Benutzer

So stellen Sie die Open-Source-Datenbank Milvus Vector auf Amazon EKS bereit

<p><a href="https://milvus.io/intro">Milvus</a> ist eine Open-Source-Vektordatenbank, die speziell für KI-Anwendungen entwickelt wurde. Egal, ob Sie an maschinellem Lernen, Deep Learning oder einem anderen KI-bezogenen Projekt arbeiten, Milvus bietet eine robuste und effiziente Möglichkeit, große Vektordaten zu verarbeiten.</p>
<p>Mit der <a href="https://milvus.io/docs/embeddings.md">Modellmodul-Integration</a> in PyMilvus, dem Python-SDK für Milvus, ist es jetzt noch einfacher, Embedding- und Reranking-Modelle hinzuzufügen. Diese Integration vereinfacht die Umwandlung Ihrer Daten in durchsuchbare Vektoren oder das Reranking von Ergebnissen für genauere Ergebnisse, wie z. B. bei <a href="https://zilliz.com/learn/Retrieval-Augmented-Generation">Retrieval Augmented Generation (RAG)</a>.</p>
<p>In diesem Blog geben wir einen Überblick über Dense Embedding-Modelle, Sparse Embedding-Modelle und Re-Ranker und zeigen, wie sie in der Praxis mit <a href="https://milvus.io/blog/introducing-milvus-lite.md">Milvus Lite</a>, einer leichtgewichtigen Version von Milvus, die lokal in Ihren Python-Anwendungen ausgeführt werden kann, verwendet werden können.</p>
<h2 id="Dense-vs-Sparse-Embeddings" class="common-anchor-header">Dense vs. Sparse Einbettungen<button data-href="#Dense-vs-Sparse-Embeddings" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Bevor wir Ihnen zeigen, wie Sie unsere Integrationen nutzen können, wollen wir uns zwei Hauptkategorien von Vektoreinbettungen ansehen.</p>
<p><a href="https://zilliz.com/glossary/vector-embeddings">Vektoreinbettungen</a> fallen im Allgemeinen in zwei Hauptkategorien: <a href="https://zilliz.com/learn/sparse-and-dense-embeddings"><strong>Dichte Einbettungen (Dense Embeddings</strong> ) und <strong>dünne Einbettungen (Sparse Embeddings)</strong></a>.</p>
<ul>
<li><p>Dense Embeddings sind hochdimensionale Vektoren, bei denen die meisten oder alle Elemente ungleich Null sind, was sie ideal für die Codierung von Textsemantik oder unscharfer Bedeutung macht.</p></li>
<li><p>Sparse Embeddings sind hochdimensionale Vektoren mit vielen Nullelementen, die sich besser für die Kodierung exakter oder benachbarter Konzepte eignen.</p></li>
</ul>
<p>Milvus unterstützt beide Arten von Einbettungen und bietet eine hybride Suche. Die <a href="https://zilliz.com/blog/hybrid-search-with-milvus">hybride Suche</a> ermöglicht die Suche in verschiedenen Vektorfeldern innerhalb derselben Sammlung. Diese Vektoren können unterschiedliche Facetten von Daten repräsentieren, verschiedene Einbettungsmodelle verwenden oder unterschiedliche Datenverarbeitungsmethoden einsetzen und die Ergebnisse mit Hilfe von Re-Rankern kombinieren.</p>
<h2 id="How-to-Use-Our-Embedding-and-Reranking-Integrations" class="common-anchor-header">So verwenden Sie unsere Einbettungs- und Reranking-Integrationen<button data-href="#How-to-Use-Our-Embedding-and-Reranking-Integrations" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>In den folgenden Abschnitten werden wir drei praktische Beispiele für die Verwendung unserer Integrationen zur Erzeugung von Einbettungen und zur Durchführung von Vektorsuchen demonstrieren.</p>
<h3 id="Example-1-Use-the-Default-Embedding-Function-to-Generate-Dense-Vectors" class="common-anchor-header">Beispiel 1: Verwenden Sie die Standard-Einbettungsfunktion, um dichte Vektoren zu erzeugen</h3><p>Sie müssen den <code translate="no">pymilvus</code> Client mit dem <code translate="no">model</code> Paket installieren, um die Einbettungs- und Reranking-Funktionen mit Milvus zu verwenden.</p>
<pre><code translate="no">pip install <span class="hljs-string">&quot;pymilvus[model]&quot;</span>
<button class="copy-code-btn"></button></code></pre>
<p>In diesem Schritt wird <a href="https://milvus.io/docs/quickstart.md">Milvus Lite</a> installiert, so dass Sie Milvus lokal innerhalb Ihrer Python-Anwendung ausführen können. Es enthält auch das Unterpaket model, das alle Dienstprogramme für Embedding und reranking enthält.</p>
<p>Das Modell-Subpaket unterstützt verschiedene Einbettungsmodelle, einschließlich der Modelle von OpenAI, <a href="https://zilliz.com/learn/Sentence-Transformers-for-Long-Form-Text">Sentence Transformers</a>, <a href="https://zilliz.com/learn/bge-m3-and-splade-two-machine-learning-models-for-generating-sparse-embeddings">BGE-M3</a>, BM25, <a href="https://zilliz.com/learn/bge-m3-and-splade-two-machine-learning-models-for-generating-sparse-embeddings">SPLADE</a> und Jina AI pre-trained models.</p>
<p>In diesem Beispiel wird das Modell <code translate="no">DefaultEmbeddingFunction</code> verwendet, das der Einfachheit halber auf dem Modell <code translate="no">all-MiniLM-L6-v2</code> Sentence Transformer basiert. Das Modell ist etwa 70 MB groß und wird bei der ersten Verwendung heruntergeladen:</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> model

<span class="hljs-comment"># This will download &quot;all-MiniLM-L6-v2&quot;, a lightweight model.</span>
ef = model.DefaultEmbeddingFunction()

<span class="hljs-comment"># Data from which embeddings are to be generated</span>
docs = [
   <span class="hljs-string">&quot;Artificial intelligence was founded as an academic discipline in 1956.&quot;</span>,
   <span class="hljs-string">&quot;Alan Turing was the first person to conduct substantial research in AI.&quot;</span>,
   <span class="hljs-string">&quot;Born in Maida Vale, London, Turing was raised in southern England.&quot;</span>,
]

embeddings = ef.encode_documents(docs)

<span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Embeddings:&quot;</span>, embeddings)
<span class="hljs-comment"># Print dimension and shape of embeddings</span>
<span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Dim:&quot;</span>, ef.dim, embeddings[<span class="hljs-number">0</span>].shape)
<button class="copy-code-btn"></button></code></pre>
<p>Die erwartete Ausgabe sollte in etwa wie folgt aussehen:</p>
<pre><code translate="no">Embeddings: [array([<span class="hljs-number">-3.09392996e-02</span>, <span class="hljs-number">-1.80662833e-02</span>,  <span class="hljs-number">1.34775648e-02</span>,  <span class="hljs-number">2.77156215e-02</span>,
      <span class="hljs-number">-4.86349640e-03</span>, <span class="hljs-number">-3.12581174e-02</span>, <span class="hljs-number">-3.55921760e-02</span>,  <span class="hljs-number">5.76934684e-03</span>,
       <span class="hljs-number">2.80773244e-03</span>,  <span class="hljs-number">1.35783911e-01</span>,  <span class="hljs-number">3.59678417e-02</span>,  <span class="hljs-number">6.17732145e-02</span>,
...
      <span class="hljs-number">-4.61330153e-02</span>, <span class="hljs-number">-4.85207550e-02</span>,  <span class="hljs-number">3.13997865e-02</span>,  <span class="hljs-number">7.82178566e-02</span>,
      <span class="hljs-number">-4.75336798e-02</span>,  <span class="hljs-number">5.21207601e-02</span>,  <span class="hljs-number">9.04406682e-02</span>, <span class="hljs-number">-5.36676683e-02</span>],
     dtype=<span class="hljs-type">float32</span>)]
Dim: <span class="hljs-number">384</span> (<span class="hljs-number">384</span>,)
<button class="copy-code-btn"></button></code></pre>
<h3 id="Example-2-Generate-Sparse-Vectors-Using-The-BM25-Model" class="common-anchor-header">Beispiel 2: Erzeugen von spärlichen Vektoren mit dem BM25-Modell</h3><p>BM25 ist eine bekannte Methode, die die Häufigkeit des Auftretens von Wörtern verwendet, um die Relevanz zwischen Suchanfragen und Dokumenten zu bestimmen. In diesem Beispiel wird gezeigt, wie <code translate="no">BM25EmbeddingFunction</code> verwendet wird, um Sparse Embeddings für Abfragen und Dokumente zu erzeugen.</p>
<p>In BM25 ist es wichtig, die Statistiken in Ihren Dokumenten zu berechnen, um die IDF (Inverse Document Frequency) zu erhalten, die die Muster in Ihren Dokumenten darstellen kann. Die IDF misst, wie viele Informationen ein Wort liefert, ob es in allen Dokumenten häufig oder selten vorkommt.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus.model.sparse <span class="hljs-keyword">import</span> BM25EmbeddingFunction

<span class="hljs-comment"># 1. Prepare a small corpus to search</span>
docs = [
   <span class="hljs-string">&quot;Artificial intelligence was founded as an academic discipline in 1956.&quot;</span>,
   <span class="hljs-string">&quot;Alan Turing was the first person to conduct substantial research in AI.&quot;</span>,
   <span class="hljs-string">&quot;Born in Maida Vale, London, Turing was raised in southern England.&quot;</span>,
]
query = <span class="hljs-string">&quot;Where was Turing born?&quot;</span>
bm25_ef = BM25EmbeddingFunction()

<span class="hljs-comment"># 2. Fit the corpus to get BM25 model parameters on your documents.</span>
bm25_ef.fit(docs)

<span class="hljs-comment"># 3. Store the fitted parameters to expedite future processing.</span>
bm25_ef.save(<span class="hljs-string">&quot;bm25_params.json&quot;</span>)

<span class="hljs-comment"># 4. Load the saved params</span>
new_bm25_ef = BM25EmbeddingFunction()
new_bm25_ef.load(<span class="hljs-string">&quot;bm25_params.json&quot;</span>)

docs_embeddings = new_bm25_ef.encode_documents(docs)
query_embeddings = new_bm25_ef.encode_queries([query])
<span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Dim:&quot;</span>, new_bm25_ef.dim, <span class="hljs-built_in">list</span>(docs_embeddings)[<span class="hljs-number">0</span>].shape)
<button class="copy-code-btn"></button></code></pre>
<h3 id="Example-3-Using-a-ReRanker" class="common-anchor-header">Beispiel 3: Verwendung eines ReRankers</h3><p>Ein Suchsystem zielt darauf ab, die relevantesten Ergebnisse schnell und effizient zu finden. Traditionell wurden Methoden wie BM25 oder TF-IDF verwendet, um Suchergebnisse auf der Grundlage der Übereinstimmung von Schlüsselwörtern zu bewerten. Neuere Methoden wie die auf Einbettung basierende Kosinusähnlichkeit sind zwar einfach, lassen aber manchmal die Feinheiten der Sprache und vor allem die Interaktion zwischen den Dokumenten und der Absicht einer Anfrage außer Acht.</p>
<p>An dieser Stelle hilft der Einsatz eines <a href="https://zilliz.com/learn/optimize-rag-with-rerankers-the-role-and-tradeoffs">Re-Rankers</a>. Ein Re-Ranker ist ein fortschrittliches KI-Modell, das die ursprüngliche Ergebnismenge einer Suche - die häufig von einer auf Einbettungen/Token basierenden Suche bereitgestellt wird - neu bewertet, um sicherzustellen, dass sie besser mit der Absicht des Benutzers übereinstimmt. Dabei wird nicht nur die oberflächliche Übereinstimmung von Begriffen berücksichtigt, sondern auch die tiefere Interaktion zwischen der Suchanfrage und dem Inhalt der Dokumente.</p>
<p>Für dieses Beispiel verwenden wir den <a href="https://milvus.io/docs/integrate_with_jina.md">Jina AI Reranker</a>.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus.model.reranker <span class="hljs-keyword">import</span> JinaRerankFunction

jina_api_key = <span class="hljs-string">&quot;&lt;YOUR_JINA_API_KEY&gt;&quot;</span>

rf = JinaRerankFunction(<span class="hljs-string">&quot;jina-reranker-v1-base-en&quot;</span>, jina_api_key)

query = <span class="hljs-string">&quot;What event in 1956 marked the official birth of artificial intelligence as a discipline?&quot;</span>

documents = [
   <span class="hljs-string">&quot;In 1950, Alan Turing published his seminal paper, &#x27;Computing Machinery and Intelligence,&#x27; proposing the Turing Test as a criterion of intelligence, a foundational concept in the philosophy and development of artificial intelligence.&quot;</span>,
   <span class="hljs-string">&quot;The Dartmouth Conference in 1956 is considered the birthplace of artificial intelligence as a field; here, John McCarthy and others coined the term &#x27;artificial intelligence&#x27; and laid out its basic goals.&quot;</span>,
   <span class="hljs-string">&quot;In 1951, British mathematician and computer scientist Alan Turing also developed the first program designed to play chess, demonstrating an early example of AI in game strategy.&quot;</span>,
   <span class="hljs-string">&quot;The invention of the Logic Theorist by Allen Newell, Herbert A. Simon, and Cliff Shaw in 1955 marked the creation of the first true AI program, which was capable of solving logic problems, akin to proving mathematical theorems.&quot;</span>
]

results = rf(query, documents)

<span class="hljs-keyword">for</span> result <span class="hljs-keyword">in</span> results:
   <span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;Index: <span class="hljs-subst">{result.index}</span>&quot;</span>)
   <span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;Score: <span class="hljs-subst">{result.score:<span class="hljs-number">.6</span>f}</span>&quot;</span>)
   <span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;Text: <span class="hljs-subst">{result.text}</span>\n&quot;</span>)
<button class="copy-code-btn"></button></code></pre>
<p>Die zu erwartende Ausgabe ist ähnlich der folgenden:</p>
<pre><code translate="no">Index: <span class="hljs-number">1</span>
Score: <span class="hljs-number">0.937096</span>
Text: The Dartmouth Conference <span class="hljs-keyword">in</span> <span class="hljs-number">1956</span> <span class="hljs-keyword">is</span> considered the birthplace of artificial intelligence <span class="hljs-keyword">as</span> a field; here, John McCarthy <span class="hljs-keyword">and</span> others coined the term <span class="hljs-string">&#x27;artificial intelligence&#x27;</span> <span class="hljs-keyword">and</span> laid <span class="hljs-keyword">out</span> its basic goals.

Index: <span class="hljs-number">3</span>
Score: <span class="hljs-number">0.354210</span>
Text: The invention of the Logic Theorist <span class="hljs-keyword">by</span> Allen Newell, Herbert A. Simon, <span class="hljs-keyword">and</span> Cliff Shaw <span class="hljs-keyword">in</span> <span class="hljs-number">1955</span> marked the creation of the first <span class="hljs-literal">true</span> AI program, which was capable of solving logic problems, akin to proving mathematical theorems.

Index: <span class="hljs-number">0</span>
Score: <span class="hljs-number">0.349866</span>
Text: In <span class="hljs-number">1950</span>, Alan Turing published his seminal paper, <span class="hljs-string">&#x27;Computing Machinery and Intelligence,&#x27;</span> proposing the Turing Test <span class="hljs-keyword">as</span> a criterion of intelligence, a foundational concept <span class="hljs-keyword">in</span> the philosophy <span class="hljs-keyword">and</span> development of artificial intelligence.

Index: <span class="hljs-number">2</span>
Score: <span class="hljs-number">0.272896</span>
Text: In <span class="hljs-number">1951</span>, British mathematician <span class="hljs-keyword">and</span> computer scientist Alan Turing also developed the first program designed to play chess, demonstrating an early example of AI <span class="hljs-keyword">in</span> game strategy.
<button class="copy-code-btn"></button></code></pre>
<h2 id="Star-Us-On-GitHub-and-Join-Our-Discord" class="common-anchor-header">Bewerten Sie uns auf GitHub und treten Sie unserem Discord bei!<button data-href="#Star-Us-On-GitHub-and-Join-Our-Discord" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Wenn Ihnen dieser Blogbeitrag gefallen hat, sollten Sie Milvus auf <a href="https://github.com/milvus-io/milvus">GitHub</a> mit einem Sternchen versehen und unserem <a href="https://discord.gg/FG6hMJStWu">Discord</a> beitreten! 💙</p>


Einführung in die PyMilvus-Integration mit Einbettungsmodellen

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/2_72e444c8dc.JPG" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Wir freuen uns, <a href="https://milvus.io/docs/milvus_lite.md">Milvus Lite</a> vorstellen zu können, eine leichtgewichtige Vektordatenbank, die lokal in Ihrer Python-Anwendung läuft. Basierend auf der beliebten Open-Source-Vektordatenbank <a href="https://milvus.io/intro">Milvus</a> verwendet Milvus Lite die Kernkomponenten für die Vektorindizierung und das Parsen von Abfragen wieder, entfernt aber Elemente, die für eine hohe Skalierbarkeit in verteilten Systemen ausgelegt sind. Dieses Design macht aus Milvus Lite eine kompakte und effiziente Lösung, die sich ideal für Umgebungen mit begrenzten Rechenressourcen eignet, wie z. B. Laptops, Jupyter Notebooks und mobile oder Edge-Geräte.</p>
<p>Milvus Lite lässt sich in verschiedene KI-Entwicklungsstacks wie LangChain und LlamaIndex integrieren und kann so als Vektorspeicher in Retrieval Augmented Generation (RAG)-Pipelines verwendet werden, ohne dass ein Server eingerichtet werden muss. Führen Sie einfach <code translate="no">pip install pymilvus</code> (Version 2.4.3 oder höher) aus, um es als Python-Bibliothek in Ihre KI-Anwendung einzubinden.</p>
<p>Milvus Lite nutzt die Milvus-API und stellt sicher, dass Ihr clientseitiger Code sowohl für kleine lokale Implementierungen als auch für Milvus-Server, die auf Docker oder Kubernetes mit Milliarden von Vektoren bereitgestellt werden, funktioniert.</p>
<h2 id="Why-We-Built-Milvus-Lite" class="common-anchor-header">Warum wir Milvus Lite entwickelt haben<button data-href="#Why-We-Built-Milvus-Lite" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Viele KI-Anwendungen benötigen eine vektorielle Ähnlichkeitssuche für unstrukturierte Daten, einschließlich Text, Bilder, Stimmen und Videos, für Anwendungen wie Chatbots und Einkaufsassistenten. Vektordatenbanken werden zum Speichern und Durchsuchen von Vektoreinbettungen entwickelt und sind ein wichtiger Teil des KI-Entwicklungsstapels, insbesondere für generative KI-Anwendungsfälle wie <a href="https://zilliz.com/learn/Retrieval-Augmented-Generation">Retrieval Augmented Generation (RAG)</a>.</p>
<p>Trotz der Verfügbarkeit zahlreicher Lösungen für die Vektorsuche fehlte eine einfach zu startende Option, die auch für groß angelegte Produktionseinsätze geeignet ist. Als Entwickler von Milvus haben wir Milvus Lite entwickelt, um KI-Entwicklern zu helfen, Anwendungen schneller zu erstellen und gleichzeitig eine konsistente Erfahrung über verschiedene Bereitstellungsoptionen hinweg zu gewährleisten, einschließlich Milvus auf Kubernetes, Docker und verwalteten Cloud-Diensten.</p>
<p>Milvus Lite ist eine wichtige Ergänzung unserer Angebotspalette innerhalb des Milvus-Ökosystems. Es bietet Entwicklern ein vielseitiges Tool, das jede Phase ihrer Entwicklungsreise unterstützt. Vom Prototyping bis hin zu Produktionsumgebungen und vom Edge Computing bis hin zu groß angelegten Implementierungen ist Milvus jetzt die einzige Vektordatenbank, die Anwendungsfälle jeder Größe und aller Entwicklungsphasen abdeckt.</p>
<h2 id="How-Milvus-Lite-Works" class="common-anchor-header">Wie Milvus Lite funktioniert<button data-href="#How-Milvus-Lite-Works" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus Lite unterstützt alle in Milvus verfügbaren grundlegenden Operationen wie das Erstellen von Sammlungen und das Einfügen, Suchen und Löschen von Vektoren. In Kürze wird es auch erweiterte Funktionen wie die hybride Suche unterstützen. Milvus Lite lädt Daten in den Speicher, um eine effiziente Suche zu ermöglichen, und speichert sie in einer SQLite-Datei.</p>
<p>Milvus Lite ist im <a href="https://github.com/milvus-io/pymilvus">Python-SDK von Milvus</a> enthalten und kann mit einem einfachen <code translate="no">pip install pymilvus</code> bereitgestellt werden. Das folgende Codeschnipsel zeigt, wie man eine Vektordatenbank mit Milvus Lite einrichtet, indem man einen lokalen Dateinamen angibt und dann eine neue Sammlung erstellt. Für diejenigen, die mit der Milvus-API vertraut sind, besteht der einzige Unterschied darin, dass <code translate="no">uri</code> sich auf einen lokalen Dateinamen statt auf einen Netzwerkendpunkt bezieht, z. B. <code translate="no">&quot;milvus_demo.db&quot;</code> statt <code translate="no">&quot;http://localhost:19530&quot;</code> für einen Milvus-Server. Alles andere bleibt gleich. Milvus Lite unterstützt auch die Speicherung von Rohtext und anderen Bezeichnungen als Metadaten, wobei ein dynamisches oder explizit definiertes Schema verwendet wird, wie unten gezeigt.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> MilvusClient

client = MilvusClient(<span class="hljs-string">&quot;milvus_demo.db&quot;</span>)
<span class="hljs-comment"># This collection can take input with mandatory fields named &quot;id&quot;, &quot;vector&quot; and</span>
<span class="hljs-comment"># any other fields as &quot;dynamic schema&quot;. You can also define the schema explicitly.</span>
client.create_collection(
    collection_name=<span class="hljs-string">&quot;demo_collection&quot;</span>,
    dimension=<span class="hljs-number">384</span>  <span class="hljs-comment"># Dimension for vectors.</span>
)
<button class="copy-code-btn"></button></code></pre>
<p>Um die Skalierbarkeit zu gewährleisten, kann eine mit Milvus Lite entwickelte KI-Anwendung problemlos auf Milvus umgestellt werden, das auf Docker oder Kubernetes bereitgestellt wird, indem einfach die <code translate="no">uri</code> mit dem Server-Endpunkt angegeben wird.</p>
<h2 id="Integration-with-AI-Development-Stack" class="common-anchor-header">Integration in den KI-Entwicklungsstapel<button data-href="#Integration-with-AI-Development-Stack" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Zusätzlich zur Einführung von Milvus Lite, um den Einstieg in die Vektorsuche zu erleichtern, integriert sich Milvus auch mit vielen Frameworks und Anbietern des KI-Entwicklungsstacks, darunter <a href="https://python.langchain.com/v0.2/docs/integrations/vectorstores/milvus/">LangChain</a>, <a href="https://docs.llamaindex.ai/en/stable/examples/vector_stores/MilvusIndexDemo/">LlamaIndex</a>, <a href="https://haystack.deepset.ai/integrations/milvus-document-store">Haystack</a>, <a href="https://blog.voyageai.com/2024/05/30/semantic-search-with-milvus-lite-and-voyage-ai/">Voyage AI</a>, <a href="https://milvus.io/docs/integrate_with_ragas.md">Ragas</a>, <a href="https://jina.ai/news/implementing-a-chat-history-rag-with-jina-ai-and-milvus-lite/">Jina AI</a>, <a href="https://dspy-docs.vercel.app/docs/deep-dive/retrieval_models_clients/MilvusRM">DSPy</a>, <a href="https://www.bentoml.com/blog/building-a-rag-app-with-bentocloud-and-milvus-lite">BentoML</a>, <a href="https://chiajy.medium.com/70873c7576f1">WhyHow</a>, <a href="https://blog.relari.ai/case-study-using-synthetic-data-to-benchmark-rag-systems-be324904ace1">Relari AI</a>, <a href="https://docs.airbyte.com/integrations/destinations/milvus">Airbyte</a>, <a href="https://milvus.io/docs/integrate_with_hugging-face.md">HuggingFace</a> und <a href="https://memgpt.readme.io/docs/storage#milvus">MemGPT</a>. Dank ihrer umfangreichen Tools und Dienste vereinfachen diese Integrationen die Entwicklung von KI-Anwendungen mit Vektorsuchfunktionen.</p>
<p>Und das ist erst der Anfang - viele weitere spannende Integrationen werden in Kürze folgen! Bleiben Sie dran!</p>
<h2 id="More-Resources-and-Examples" class="common-anchor-header">Weitere Ressourcen und Beispiele<button data-href="#More-Resources-and-Examples" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>In der <a href="https://milvus.io/docs/quickstart.md">Milvus-Schnellstartdokumentation</a> finden Sie ausführliche Anleitungen und Code-Beispiele zur Verwendung von Milvus Lite für die Entwicklung von KI-Anwendungen wie Retrieval-Augmented Generation<a href="https://github.com/milvus-io/bootcamp/blob/master/bootcamp/tutorials/quickstart/build_RAG_with_milvus.ipynb">(RAG</a>) und <a href="https://github.com/milvus-io/bootcamp/blob/master/bootcamp/tutorials/quickstart/image_search_with_milvus.ipynb">Bildsuche</a>.</p>
<p>Milvus Lite ist ein Open-Source-Projekt, und wir freuen uns über Ihre Beiträge. Schauen Sie sich unseren <a href="https://github.com/milvus-io/milvus-lite/blob/main/CONTRIBUTING.md">Contributing Guide</a> an, um loszulegen. Sie können auch Fehler melden oder neue Funktionen anfordern, indem Sie im <a href="https://github.com/milvus-io/milvus-lite">GitHub-Repository von Milvus Lite</a> einen Fehler melden.</p>


Wir stellen vor: Milvus Lite: Erstellen Sie in Sekundenschnelle eine GenAI-Anwendung

Optimierung von Vektordatenbanken, Verbesserung der RAG-gesteuerten generativen KI

Erste Schritte mit Milvus-Cluster und K8s

<p>Wir freuen uns, die Einführung von Milvus 2.4 ankündigen zu können, eine bedeutende Weiterentwicklung der Suchfunktionen für große Datensätze. Diese neueste Version bietet neue Funktionen wie Unterstützung für den GPU-basierten CAGRA-Index, Beta-Unterstützung für <a href="https://zilliz.com/learn/sparse-and-dense-embeddings">Sparse Embeddings</a>, Gruppensuche und verschiedene andere Verbesserungen der Suchfunktionen. Mit diesen Entwicklungen unterstreichen wir unser Engagement für die Community, indem wir Entwicklern wie Ihnen ein leistungsstarkes und effizientes Tool für die Verarbeitung und Abfrage von Vektordaten bieten. Lassen Sie uns gemeinsam einen Blick auf die wichtigsten Vorteile von Milvus 2.4 werfen.</p>
<h2 id="Enabled-Multi-vector-Search-for-Simplified-Multimodal-Searches" class="common-anchor-header">Aktivierte Multivektorsuche für vereinfachte multimodale Suchvorgänge<button data-href="#Enabled-Multi-vector-Search-for-Simplified-Multimodal-Searches" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.4 bietet die Möglichkeit der Multivektorsuche, die die gleichzeitige Suche und Neuordnung verschiedener Vektortypen innerhalb desselben Milvus-Systems ermöglicht. Diese Funktion rationalisiert die multimodale Suche, verbessert die Wiederfindungsrate erheblich und ermöglicht es Entwicklern, komplexe KI-Anwendungen mit unterschiedlichen Datentypen mühelos zu verwalten. Darüber hinaus vereinfacht diese Funktionalität die Integration und Feinabstimmung von benutzerdefinierten Reranking-Modellen und hilft bei der Erstellung von fortschrittlichen Suchfunktionen wie präzisen <a href="https://zilliz.com/vector-database-use-cases/recommender-system">Empfehlungssystemen</a>, die Erkenntnisse aus mehrdimensionalen Daten nutzen.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/How_the_multi_vector_search_feature_works_6c85961349.png" alt="How the Milti-Vector Search Feature Works" class="doc-image" id="how-the-milti-vector-search-feature-works" />
   </span> <span class="img-wrapper"> <span>So funktioniert die Milti-Vector-Suchfunktion</span> </span></p>
<p>Die Multivektor-Unterstützung in Milvus hat zwei Komponenten:</p>
<ol>
<li><p>Die Fähigkeit, mehrere Vektoren für eine einzelne Entität innerhalb einer Sammlung zu speichern/abzufragen, was eine natürlichere Art ist, Daten zu organisieren</p></li>
<li><p>Die Möglichkeit, einen Reranking-Algorithmus zu erstellen/optimieren, indem man die vorgefertigten Reranking-Algorithmen in Milvus nutzt.</p></li>
</ol>
<p>Abgesehen davon, dass es sich um eine stark <a href="https://github.com/milvus-io/milvus/issues/25639">nachgefragte Funktion</a> handelt, haben wir diese Fähigkeit entwickelt, weil sich die Branche mit der Veröffentlichung von GPT-4 und Claude 3 in Richtung multimodaler Modelle bewegt. Reranking ist eine weit verbreitete Technik, um die Leistung von Suchanfragen weiter zu verbessern. Wir wollten es den Entwicklern leicht machen, ihre Reranker innerhalb des Milvus-Ökosystems zu erstellen und zu optimieren.</p>
<h2 id="Grouping-Search-Support-for-Enhanced-Compute-Efficiency" class="common-anchor-header">Unterstützung der gruppierten Suche für verbesserte Rechenleistung<button data-href="#Grouping-Search-Support-for-Enhanced-Compute-Efficiency" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Die Gruppierungssuche ist eine weitere häufig <a href="https://github.com/milvus-io/milvus/issues/25343">gewünschte Funktion</a>, die wir zu Milvus 2.4 hinzugefügt haben. Sie integriert eine Group-by-Operation für Felder der Typen BOOL, INT oder VARCHAR und schließt damit eine entscheidende Effizienzlücke bei der Ausführung umfangreicher Gruppierungsabfragen.</p>
<p>Traditionell verließen sich Entwickler auf umfangreiche Top-K-Suchen, gefolgt von manueller Nachbearbeitung, um gruppenspezifische Ergebnisse zu destillieren - eine rechenintensive und codelastige Methode. Grouping Search verfeinert diesen Prozess durch die effiziente Verknüpfung von Abfrageergebnissen mit aggregierten Gruppenkennungen wie Dokument- oder Videonamen, was die Handhabung von segmentierten Entitäten innerhalb größerer Datensätze vereinfacht.</p>
<p>Milvus zeichnet sich bei der Grouping Search durch eine Iterator-basierte Implementierung aus, die im Vergleich zu ähnlichen Technologien eine deutliche Verbesserung der Berechnungseffizienz bietet. Diese Wahl gewährleistet eine überragende Skalierbarkeit der Leistung, insbesondere in Produktionsumgebungen, in denen die Optimierung der Rechenressourcen von größter Bedeutung ist. Durch die Reduzierung der Datenüberquerung und des Berechnungs-Overheads unterstützt Milvus eine effizientere Abfrageverarbeitung, wodurch die Antwortzeiten und Betriebskosten im Vergleich zu anderen Vektordatenbanken erheblich reduziert werden.</p>
<p>Grouping Search verbessert die Fähigkeit von Milvus, große Mengen komplexer Abfragen zu verwalten, und entspricht den Praktiken des High-Performance-Computing für robuste Datenverwaltungslösungen.</p>
<h2 id="Beta-Support-for-Sparse-Vector-Embeddings" class="common-anchor-header">Beta-Unterstützung für Sparse-Vektor-Embeddings<button data-href="#Beta-Support-for-Sparse-Vector-Embeddings" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><a href="https://zilliz.com/learn/sparse-and-dense-embeddings">Sparse Embeddings</a> stellen einen Paradigmenwechsel gegenüber den traditionellen Dense-Vector-Ansätzen dar, da sie die Nuancen der semantischen Ähnlichkeit und nicht nur die Häufigkeit der Schlüsselwörter berücksichtigen. Diese Unterscheidung ermöglicht eine nuanciertere Suche, die sich eng an den semantischen Inhalt der Abfrage und der Dokumente anlehnt. Dünne Vektormodelle, die vor allem im Information Retrieval und in der Verarbeitung natürlicher Sprache nützlich sind, bieten im Vergleich zu ihren dichten Gegenstücken leistungsstarke Suchmöglichkeiten außerhalb des Bereichs und eine bessere Interpretierbarkeit.</p>
<p>In Milvus 2.4 haben wir die hybride Suche erweitert, um spärliche Einbettungen einzubeziehen, die von fortgeschrittenen neuronalen Modellen wie SPLADEv2 oder statistischen Modellen wie BM25 erzeugt werden. In Milvus werden spärliche Vektoren gleichberechtigt mit dichten Vektoren behandelt, was die Erstellung von Sammlungen mit spärlichen Vektorfeldern, das Einfügen von Daten, die Indexerstellung und die Durchführung von Ähnlichkeitssuchen ermöglicht. Insbesondere unterstützen spärliche Einbettungen in Milvus die Distanzmetrik <a href="https://zilliz.com/blog/similarity-metrics-for-vector-search#Inner-Product">Inneres Produkt</a> (IP), was angesichts ihrer hochdimensionalen Natur von Vorteil ist, da andere Metriken weniger effektiv sind. Diese Funktionalität unterstützt auch Datentypen mit einer Dimension als vorzeichenlose 32-Bit-Ganzzahl und einer 32-Bit-Fließkommazahl für den Wert, was ein breites Spektrum von Anwendungen ermöglicht, von differenzierten Textsuchen bis hin zu ausgefeilten <a href="https://zilliz.com/learn/information-retrieval-metrics">Information Retrieval</a> Systemen.</p>
<p>Mit dieser neuen Funktion ermöglicht Milvus hybride Suchmethoden, die Schlüsselwort- und Einbettungstechniken miteinander verbinden, und bietet einen nahtlosen Übergang für Benutzer, die von Schlüsselwort-zentrierten Such-Frameworks zu einer umfassenden, wartungsarmen Lösung wechseln.</p>
<p>Wir bezeichnen diese Funktion als "Beta", um unsere Leistungstests der Funktion fortzusetzen und Feedback von der Community zu sammeln. Die allgemeine Verfügbarkeit (GA) der Sparse-Vector-Unterstützung wird mit der Veröffentlichung von Milvus 3.0 erwartet.</p>
<h2 id="CAGRA-Index-Support-for-Advanced-GPU-Accelerated-Graph-Indexing" class="common-anchor-header">CAGRA-Index-Unterstützung für erweiterte GPU-beschleunigte Graph-Indizierung<button data-href="#CAGRA-Index-Support-for-Advanced-GPU-Accelerated-Graph-Indexing" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Die von NVIDIA entwickelte <a href="https://arxiv.org/abs/2308.15136">CAGRA</a> (Cuda Anns GRAph-based) ist eine GPU-basierte Graph-Indexierungstechnologie, die herkömmliche CPU-basierte Methoden wie den HNSW-Index an Effizienz und Leistung deutlich übertrifft, insbesondere in Umgebungen mit hohem Durchsatz.</p>
<p>Mit der Einführung des CAGRA-Index bietet Milvus 2.4 eine verbesserte GPU-beschleunigte Graph-Indizierung. Diese Verbesserung ist ideal für die Entwicklung von Ähnlichkeitssuchanwendungen, die eine minimale Latenzzeit erfordern. Darüber hinaus integriert Milvus 2.4 eine Brute-Force-Suche mit dem CAGRA-Index, um maximale Recall-Raten in Anwendungen zu erzielen. Detaillierte Einblicke finden Sie im <a href="https://zilliz.com/blog/Milvus-introduces-GPU-index-CAGRA">Einführungsblog zu CAGRA</a>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Milvus_raft_cagra_vs_milvus_hnsw_ffe0415ff5.png" alt="Milvus Raft CAGRA vs. Milvus HNSW" class="doc-image" id="milvus-raft-cagra-vs.-milvus-hnsw" />
   </span> <span class="img-wrapper"> <span>Milvus Raft CAGRA vs. Milvus HNSW</span> </span></p>
<h2 id="Additional-Enhancements-and-Features" class="common-anchor-header">Zusätzliche Erweiterungen und Funktionen<button data-href="#Additional-Enhancements-and-Features" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.4 enthält auch andere wichtige Verbesserungen, wie z. B. die Unterstützung von regulären Ausdrücken für ein verbessertes Substring-Matching bei der <a href="https://zilliz.com/blog/metadata-filtering-with-zilliz-cloud-pipelines">Filterung von Metadaten</a>, einen neuen skalaren invertierten Index für eine effiziente Filterung skalarer Datentypen und ein Change Data Capture-Tool zur Überwachung und Replikation von Änderungen in Milvus-Sammlungen. Diese Aktualisierungen verbessern zusammen die Leistung und Vielseitigkeit von Milvus und machen es zu einer umfassenden Lösung für komplexe Datenoperationen.</p>
<p>Weitere Einzelheiten finden Sie in der <a href="https://milvus.io/docs/release_notes.md">Milvus 2.4-Dokumentation</a>.</p>
<h2 id="Stay-Connected" class="common-anchor-header">Bleiben Sie in Verbindung!<button data-href="#Stay-Connected" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Möchten Sie mehr über Milvus 2.4 erfahren? <a href="https://zilliz.com/event/unlocking-advanced-search-capabilities-milvus">Nehmen Sie an unserem bevorstehenden Webinar</a> mit James Luan, VP of Engineering bei Zilliz, <a href="https://zilliz.com/event/unlocking-advanced-search-capabilities-milvus">teil</a> und diskutieren Sie ausführlich über die Möglichkeiten dieser neuesten Version. Wenn Sie Fragen oder Feedback haben, treten Sie unserem <a href="https://discord.com/invite/8uyFbECzPX">Discord-Kanal</a> bei, um sich mit unseren Ingenieuren und Community-Mitgliedern auszutauschen. Vergessen Sie nicht, uns auf <a href="https://twitter.com/milvusio">Twitter</a> oder <a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn</a> zu folgen, um die neuesten Nachrichten und Updates über Milvus zu erhalten.</p>


Milvus 2.4 Supports Multi-vector Search, Sparse Vector, CAGRA, and More!

Enthüllung von Milvus 2.4: Multivektorsuche, Sparse Vector, CAGRA Index und mehr!

<p><a href="https://zilliz.com/what-is-milvus">Milvus</a>, die hoch skalierbare Vektordatenbank, die für ihre Fähigkeit bekannt ist, große Datenmengen zu verarbeiten, macht einen bedeutenden Schritt nach vorn, indem sie in <a href="https://zilliz.com/blog/what-is-new-in-milvus-2-3-4">Version 2.3.4</a> die Unterstützung von Parquet-Dateien einführt. Durch den Einsatz von Apache Parquet können Benutzer ihre Datenimportprozesse rationalisieren und erhebliche Einsparungen bei den Speicher- und Berechnungskosten erzielen.</p>
<p>In unserem letzten Beitrag gehen wir auf die Vorteile von Parquet und die Vorteile für Milvus-Benutzer ein. Wir erörtern die Beweggründe für die Integration dieser Funktion und bieten eine Schritt-für-Schritt-Anleitung für den nahtlosen Import von Parquet-Dateien in Milvus, wodurch neue Möglichkeiten für eine effiziente Datenverwaltung und -analyse erschlossen werden.</p>
<h2 id="What-Is-Apache-Parquet" class="common-anchor-header">Was ist Apache Parquet?<button data-href="#What-Is-Apache-Parquet" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><a href="https://parquet.apache.org/">Apache Parquet</a> ist ein beliebtes, spaltenorientiertes Open-Source-Datendateiformat, das die Effizienz der Speicherung und Verarbeitung großer Datensätze verbessern soll. Im Gegensatz zu herkömmlichen zeilenorientierten Datenformaten wie CSV oder JSON speichert Parquet Daten spaltenweise und bietet effizientere Datenkomprimierungs- und Kodierungsverfahren. Dieser Ansatz führt zu einer verbesserten Leistung, einem geringeren Speicherbedarf und einer verbesserten Verarbeitungsleistung und ist damit ideal für die Verarbeitung komplexer Daten in großen Mengen.</p>
<h2 id="How-Milvus-Users-Benefit-from-the-Support-for-Parquet-File-Imports" class="common-anchor-header">Wie Milvus-Benutzer von der Unterstützung für Parquet-Datei-Importe profitieren<button data-href="#How-Milvus-Users-Benefit-from-the-Support-for-Parquet-File-Imports" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus erweitert die Unterstützung für Parquet-Datei-Importe und bietet den Anwendern optimierte Erfahrungen und verschiedene Vorteile, einschließlich geringerer Speicher- und Rechenkosten, rationalisierter Datenverwaltung und eines vereinfachten Importprozesses.</p>
<h3 id="Optimized-Storage-Efficiency-and-Streamlined-Data-Management" class="common-anchor-header">Optimierte Speichereffizienz und gestrafftes Datenmanagement</h3><p>Parquet bietet flexible Komprimierungsoptionen und effiziente Kodierungsschemata für unterschiedliche Datentypen, die eine optimale Speichereffizienz gewährleisten. Diese Flexibilität ist besonders in Cloud-Umgebungen wertvoll, wo jedes Gramm Speicherplatzersparnis direkt mit einer spürbaren Kostenreduzierung korreliert. Mit dieser neuen Funktion in Milvus können Benutzer mühelos all ihre unterschiedlichen Daten in einer einzigen Datei konsolidieren, was die Datenverwaltung rationalisiert und die allgemeine Benutzererfahrung verbessert. Besonders vorteilhaft ist diese Funktion für Benutzer, die mit Array-Datentypen mit variabler Länge arbeiten, da diese nun von einem vereinfachten Datenimportprozess profitieren können.</p>
<h3 id="Improved-Query-Performance" class="common-anchor-header">Verbesserte Abfrageleistung</h3><p>Das spaltenförmige Speicherdesign von Parquet und die fortschrittlichen Komprimierungsmethoden verbessern die Abfrageleistung erheblich. Bei der Durchführung von Abfragen können sich die Benutzer ausschließlich auf die relevanten Daten konzentrieren, ohne die irrelevanten Daten zu durchsuchen. Dieses selektive Spaltenlesen minimiert die CPU-Auslastung, was zu schnelleren Abfragezeiten führt.</p>
<h3 id="Broad-Language-Compatibility" class="common-anchor-header">Breite Sprachkompatibilität</h3><p>Parquet ist in mehreren Sprachen wie Java, C++ und Python verfügbar und mit einer großen Anzahl von Datenverarbeitungswerkzeugen kompatibel. Durch die Unterstützung von Parquet-Dateien können Milvus-Benutzer, die verschiedene SDKs verwenden, nahtlos Parquet-Dateien zum Parsen innerhalb der Datenbank erzeugen.</p>
<h2 id="How-to-Import-Parquet-Files-into-Milvus" class="common-anchor-header">Wie man Parquet-Dateien in Milvus importiert<button data-href="#How-to-Import-Parquet-Files-into-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Wenn Ihre Daten bereits im Parquet-Dateiformat vorliegen, ist das Importieren einfach. Laden Sie die Parquet-Datei in ein Objektspeichersystem wie MinIO hoch, und schon können Sie importieren.</p>
<p>Das folgende Code-Snippet ist ein Beispiel für den Import von Parquet-Dateien in Milvus.</p>
<pre><code translate="no">remote_files = []
<span class="hljs-keyword">try</span>:
    <span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Prepare upload files&quot;</span>)
    minio_client = Minio(endpoint=MINIO_ADDRESS, access_key=MINIO_ACCESS_KEY, secret_key=MINIO_SECRET_KEY,
                         secure=<span class="hljs-literal">False</span>)
    found = minio_client.bucket_exists(bucket_name)
    <span class="hljs-keyword">if</span> <span class="hljs-keyword">not</span> found:
        minio_client.make_bucket(bucket_name)
        <span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;MinIO bucket &#x27;{}&#x27; doesn&#x27;t exist&quot;</span>.<span class="hljs-built_in">format</span>(bucket_name))
        <span class="hljs-keyword">return</span> <span class="hljs-literal">False</span>, []

    <span class="hljs-comment"># set your remote data path</span>
    remote_data_path = <span class="hljs-string">&quot;milvus_bulkinsert&quot;</span>

    <span class="hljs-keyword">def</span> <span class="hljs-title function_">upload_file</span>(<span class="hljs-params">f: <span class="hljs-built_in">str</span></span>):
        file_name = os.path.basename(f)
        minio_file_path = os.path.join(remote_data_path, <span class="hljs-string">&quot;parquet&quot;</span>, file_name)
        minio_client.fput_object(bucket_name, minio_file_path, f)
        <span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Upload file &#x27;{}&#x27; to &#x27;{}&#x27;&quot;</span>.<span class="hljs-built_in">format</span>(f, minio_file_path))
        remote_files.append(minio_file_path)

    upload_file(data_file)

<span class="hljs-keyword">except</span> S3Error <span class="hljs-keyword">as</span> e:
    <span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Failed to connect MinIO server {}, error: {}&quot;</span>.<span class="hljs-built_in">format</span>(MINIO_ADDRESS, e))
    <span class="hljs-keyword">return</span> <span class="hljs-literal">False</span>, []

<span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Successfully upload files: {}&quot;</span>.<span class="hljs-built_in">format</span>(remote_files))
<span class="hljs-keyword">return</span> <span class="hljs-literal">True</span>, remote_files
<button class="copy-code-btn"></button></code></pre>
<p>Wenn Ihre Daten keine Parquet-Dateien sind oder dynamische Felder haben, können Sie BulkWriter, unser Datenformat-Konvertierungstool, nutzen, um Parquet-Dateien zu erzeugen. BulkWriter hat nun Parquet als Standard-Ausgabeformat übernommen, was eine intuitivere Erfahrung für Entwickler gewährleistet.</p>
<p>Das folgende Code-Snippet ist ein Beispiel für die Verwendung von BulkWriter zur Erzeugung von Parquet-Dateien.</p>
<pre><code translate="no"><span class="hljs-keyword">import</span> numpy <span class="hljs-keyword">as</span> np
<span class="hljs-keyword">import</span> json

<span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> (
    RemoteBulkWriter,
    BulkFileType,
)

remote_writer = RemoteBulkWriter(
        schema=your_collection_schema,
        remote_path=<span class="hljs-string">&quot;your_remote_data_path&quot;</span>,
        connect_param=RemoteBulkWriter.ConnectParam(
            endpoint=YOUR_MINIO_ADDRESS,
            access_key=YOUR_MINIO_ACCESS_KEY,
            secret_key=YOUR_MINIO_SECRET_KEY,
            bucket_name=<span class="hljs-string">&quot;a-bucket&quot;</span>,
        ),
        file_type=BulkFileType.PARQUET,
)

<span class="hljs-comment"># append your data</span>
batch_count = <span class="hljs-number">10000</span>
<span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(batch_count):
    row = {
        <span class="hljs-string">&quot;id&quot;</span>: i,
        <span class="hljs-string">&quot;bool&quot;</span>: <span class="hljs-literal">True</span> <span class="hljs-keyword">if</span> i % <span class="hljs-number">5</span> == <span class="hljs-number">0</span> <span class="hljs-keyword">else</span> <span class="hljs-literal">False</span>,
        <span class="hljs-string">&quot;int8&quot;</span>: i % <span class="hljs-number">128</span>,
        <span class="hljs-string">&quot;int16&quot;</span>: i % <span class="hljs-number">1000</span>,
        <span class="hljs-string">&quot;int32&quot;</span>: i % <span class="hljs-number">100000</span>,
        <span class="hljs-string">&quot;int64&quot;</span>: i,
        <span class="hljs-string">&quot;float&quot;</span>: i / <span class="hljs-number">3</span>,
        <span class="hljs-string">&quot;double&quot;</span>: i / <span class="hljs-number">7</span>,
        <span class="hljs-string">&quot;varchar&quot;</span>: <span class="hljs-string">f&quot;varchar_<span class="hljs-subst">{i}</span>&quot;</span>,
        <span class="hljs-string">&quot;json&quot;</span>: {<span class="hljs-string">&quot;dummy&quot;</span>: i, <span class="hljs-string">&quot;ok&quot;</span>: <span class="hljs-string">f&quot;name_<span class="hljs-subst">{i}</span>&quot;</span>},
        <span class="hljs-string">&quot;vector&quot;</span>: gen_binary_vector() <span class="hljs-keyword">if</span> bin_vec <span class="hljs-keyword">else</span> gen_float_vector(),
        <span class="hljs-string">f&quot;dynamic_<span class="hljs-subst">{i}</span>&quot;</span>: i,
    }
    remote_writer.append_row(row)

<span class="hljs-comment"># append rows by numpy type</span>
<span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(batch_count):
    remote_writer.append_row({
        <span class="hljs-string">&quot;id&quot;</span>: np.int64(i + batch_count),
        <span class="hljs-string">&quot;bool&quot;</span>: <span class="hljs-literal">True</span> <span class="hljs-keyword">if</span> i % <span class="hljs-number">3</span> == <span class="hljs-number">0</span> <span class="hljs-keyword">else</span> <span class="hljs-literal">False</span>,
        <span class="hljs-string">&quot;int8&quot;</span>: np.int8(i % <span class="hljs-number">128</span>),
        <span class="hljs-string">&quot;int16&quot;</span>: np.int16(i % <span class="hljs-number">1000</span>),
        <span class="hljs-string">&quot;int32&quot;</span>: np.int32(i % <span class="hljs-number">100000</span>),
        <span class="hljs-string">&quot;int64&quot;</span>: np.int64(i),
        <span class="hljs-string">&quot;float&quot;</span>: np.float32(i / <span class="hljs-number">3</span>),
        <span class="hljs-string">&quot;double&quot;</span>: np.float64(i / <span class="hljs-number">7</span>),
        <span class="hljs-string">&quot;varchar&quot;</span>: <span class="hljs-string">f&quot;varchar_<span class="hljs-subst">{i}</span>&quot;</span>,
        <span class="hljs-string">&quot;json&quot;</span>: json.dumps({<span class="hljs-string">&quot;dummy&quot;</span>: i, <span class="hljs-string">&quot;ok&quot;</span>: <span class="hljs-string">f&quot;name_<span class="hljs-subst">{i}</span>&quot;</span>}),
        <span class="hljs-string">&quot;vector&quot;</span>: gen_binary_vector() <span class="hljs-keyword">if</span> bin_vec <span class="hljs-keyword">else</span> gen_float_vector(),
        <span class="hljs-string">f&quot;dynamic_<span class="hljs-subst">{i}</span>&quot;</span>: i,
    })

<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;<span class="hljs-subst">{remote_writer.total_row_count}</span> rows appends&quot;</span>)
<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;<span class="hljs-subst">{remote_writer.buffer_row_count}</span> rows in buffer not flushed&quot;</span>)
<span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Generate data files...&quot;</span>)
remote_writer.commit()
<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;Data files have been uploaded: <span class="hljs-subst">{remote_writer.batch_files}</span>&quot;</span>)
remote_files = remote_writer.batch_files
<button class="copy-code-btn"></button></code></pre>
<p>Anschließend können Sie damit beginnen, Ihre Parquet-Dateien in Milvus zu importieren.</p>
<pre><code translate="no">remote_files = [remote_file_path]
task_id = utility.do_bulk_insert(collection_name=collection_name,
                                 files=remote_files)

task_ids = [task_id]         
states = wait_tasks_to_state(task_ids, BulkInsertState.ImportCompleted)
complete_count = 0
for state in states:
    if state.state == BulkInsertState.ImportCompleted:
        complete_count = complete_count + 1
<button class="copy-code-btn"></button></code></pre>
<p>Jetzt sind Ihre Daten nahtlos in Milvus integriert.</p>
<h2 id="Whats-Next" class="common-anchor-header">Was kommt als nächstes?<button data-href="#Whats-Next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Da Milvus immer größere Datenmengen unterstützt, ergibt sich die Herausforderung, große Importe zu verwalten, insbesondere wenn die Parquet-Dateien 10 GB überschreiten. Um diese Herausforderung zu bewältigen, planen wir, die Importdaten in skalare und vektorielle Spalten aufzuteilen und zwei Parquet-Dateien pro Import zu erstellen, um den E/A-Druck zu verringern. Bei Datensätzen, die mehrere hundert Gigabyte überschreiten, empfehlen wir, die Daten mehrfach zu importieren.</p>


Milvus Supports Imports of Apache Parquet Files

Milvus unterstützt den Import von Apache Parquet-Dateien für eine effizientere Datenverarbeitung

<custom-h1>Einführung in die Milvus-Versionen</custom-h1><p>Die Auswahl der richtigen Milvus-Version ist für den Erfolg eines jeden Projekts, das die Vektorsuchtechnologie nutzt, von größter Bedeutung. Da es verschiedene Milvus-Versionen gibt, die auf unterschiedliche Anforderungen zugeschnitten sind, ist das Verständnis für die Bedeutung der Auswahl der richtigen Version entscheidend für das Erreichen der gewünschten Ergebnisse.</p>
<p>Die richtige Milvus-Version kann einem Entwickler dabei helfen, schnell zu lernen und Prototypen zu erstellen, die Ressourcennutzung zu optimieren, die Entwicklungsarbeit zu rationalisieren und die Kompatibilität mit der bestehenden Infrastruktur und den Tools sicherzustellen. Letztendlich geht es darum, die Produktivität der Entwickler zu erhalten und die Effizienz, Zuverlässigkeit und Benutzerzufriedenheit zu verbessern.</p>
<h2 id="Available-Milvus-versions" class="common-anchor-header">Verfügbare Milvus-Versionen<button data-href="#Available-Milvus-versions" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Für Entwickler stehen drei Versionen von Milvus zur Verfügung, die alle Open Source sind. Die drei Versionen sind Milvus Lite, Milvus Standalone und Milvus Cluster, die sich in ihren Funktionen und in der Art und Weise unterscheiden, wie die Benutzer Milvus kurz- und langfristig einsetzen wollen. Schauen wir uns diese also einzeln an.</p>
<h2 id="Milvus-Lite" class="common-anchor-header">Milvus Lite<button data-href="#Milvus-Lite" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Wie der Name schon sagt, ist Milvus Lite eine leichtgewichtige Version, die sich nahtlos in Google Colab und Jupyter Notebook integrieren lässt. Es ist als einzelne Binärdatei ohne zusätzliche Abhängigkeiten verpackt, so dass es einfach zu installieren und auf Ihrem Rechner auszuführen oder in Python-Anwendungen einzubetten ist. Darüber hinaus enthält Milvus Lite einen CLI-basierten Milvus Standalone-Server, der die Flexibilität bietet, Milvus direkt auf Ihrem Rechner auszuführen. Ob Sie Milvus Lite in Ihren Python-Code einbetten oder als Standalone-Server verwenden, hängt ganz von Ihren Vorlieben und spezifischen Anwendungsanforderungen ab.</p>
<h3 id="Features-and-Capabilities" class="common-anchor-header">Funktionen und Möglichkeiten</h3><p>Milvus Lite enthält alle Kernfunktionen der Milvus-Vektorsuche.</p>
<ul>
<li><p><strong>Suchfähigkeiten</strong>: Unterstützt Top-K-, Bereichs- und hybride Suchen, einschließlich Metadatenfilterung, um verschiedenen Suchanforderungen gerecht zu werden.</p></li>
<li><p><strong>Indexarten und Ähnlichkeitsmetriken</strong>: Bietet Unterstützung für 11 Indextypen und fünf Ähnlichkeitsmetriken und bietet damit Flexibilität und Anpassungsmöglichkeiten für Ihren spezifischen Anwendungsfall.</p></li>
<li><p><strong>Datenverarbeitung</strong>: Ermöglicht Batch- (Apache Parquet, Arrays, JSON) und Stream-Verarbeitung, mit nahtloser Integration durch Konnektoren für Airbyte, Apache Kafka und Apache Spark.</p></li>
<li><p><strong>CRUD-Operationen</strong>: Bietet vollständige CRUD-Unterstützung (Erstellen, Lesen, Aktualisieren/Uploaden, Löschen) und ermöglicht den Benutzern umfassende Datenverwaltungsfunktionen.</p></li>
</ul>
<h3 id="Applications-and-limitations" class="common-anchor-header">Anwendungen und Einschränkungen</h3><p>Milvus Lite ist ideal für Rapid Prototyping und lokale Entwicklung und bietet Unterstützung für die schnelle Einrichtung und das Experimentieren mit kleinen Datensätzen auf Ihrem Rechner. Die Grenzen von Milvus Lite werden jedoch beim Übergang zu Produktionsumgebungen mit größeren Datensätzen und anspruchsvolleren Infrastrukturanforderungen deutlich. Daher ist Milvus Lite zwar ein hervorragendes Tool für die erste Erkundung und das Testen, eignet sich aber möglicherweise nicht für den Einsatz von Anwendungen in großen Mengen oder in produktionsreifen Umgebungen.</p>
<h3 id="Available-Resources" class="common-anchor-header">Verfügbare Ressourcen</h3><ul>
<li><p><a href="https://milvus.io/docs/milvus_lite.md">Dokumentation</a></p></li>
<li><p><a href="https://github.com/milvus-io/milvus-lite/">Github-Repository</a></p></li>
<li><p><a href="https://github.com/milvus-io/milvus-lite/tree/main/examples">Google Colab Beispiel</a></p></li>
<li><p><a href="https://www.youtube.com/watch?v=IgJdrGiB5ZY">Video über erste Schritte</a></p></li>
</ul>
<h2 id="Milvus-Standalone" class="common-anchor-header">Milvus Eigenständig<button data-href="#Milvus-Standalone" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus bietet zwei Betriebsmodi: Einzelplatz und Cluster. Beide Modi sind in den Kernfunktionen der Vektordatenbank identisch und unterscheiden sich in der Unterstützung der Datengröße und den Anforderungen an die Skalierbarkeit. Diese Unterscheidung ermöglicht es Ihnen, den Modus zu wählen, der am besten mit der Größe Ihres Datensatzes, dem Verkehrsvolumen und anderen Infrastrukturanforderungen für die Produktion übereinstimmt.</p>
<p>Milvus Standalone ist ein Betriebsmodus für das Milvus-Vektordatenbanksystem, in dem es unabhängig als einzelne Instanz ohne Clustering oder verteiltes Setup arbeitet. Milvus läuft in diesem Modus auf einem einzigen Server oder Rechner und bietet Funktionen wie die Indizierung und Suche nach Vektoren. Es eignet sich für Situationen, in denen das Daten- und Verkehrsaufkommen relativ gering ist und nicht die verteilten Möglichkeiten eines Clusters benötigt werden.</p>
<h3 id="Features-and-Capabilities" class="common-anchor-header">Merkmale und Fähigkeiten</h3><ul>
<li><p><strong>Hohe Leistung</strong>: Führen Sie Vektorsuchen in riesigen Datensätzen (Milliarden oder mehr) mit außergewöhnlicher Geschwindigkeit und Effizienz durch.</p></li>
<li><p><strong>Suchfähigkeiten</strong>: Unterstützt Top-K-, Bereichs- und hybride Suchen, einschließlich Metadatenfilterung, um verschiedenen Suchanforderungen gerecht zu werden.</p></li>
<li><p><strong>Indexarten und Ähnlichkeitsmetriken</strong>: Bietet Unterstützung für 11 Indextypen und 5 Ähnlichkeitsmetriken und bietet damit Flexibilität und Anpassungsmöglichkeiten für Ihren spezifischen Anwendungsfall.</p></li>
<li><p><strong>Datenverarbeitung</strong>: Ermöglicht sowohl Batch- (Apache Parquet, Arrays, Json) als auch Stream-Verarbeitung, mit nahtloser Integration durch Konnektoren für Airbyte, Apache Kafka und Apache Spark.</p></li>
<li><p><strong>Datenreplikation und Ausfallsicherung</strong>: Integrierte Replikations- und Failover-/Failback-Funktionen sorgen für Datenintegrität und Anwendungsverfügbarkeit, selbst bei Störungen oder Ausfällen.</p></li>
<li><p><strong>Skalierbarkeit</strong>: Erreichen Sie dynamische Skalierbarkeit mit Skalierung auf Komponentenebene, die eine nahtlose Skalierung nach oben und unten je nach Bedarf ermöglicht. Milvus kann eine automatische Skalierung auf Komponentenebene vornehmen und so die Ressourcenzuweisung für mehr Effizienz optimieren.</p></li>
<li><p><strong>Multi-Mandantenfähigkeit</strong>: Unterstützt Multi-Tenancy mit der Möglichkeit, bis zu 10.000 Sammlungen/Partitionen in einem Cluster zu verwalten, was eine effiziente Ressourcennutzung und Isolierung für verschiedene Benutzer oder Anwendungen ermöglicht.</p></li>
<li><p><strong>CRUD-Vorgänge</strong>: Bietet vollständige CRUD-Unterstützung (Erstellen, Lesen, Aktualisieren/Uploaden, Löschen) und ermöglicht den Anwendern umfassende Datenverwaltungsfunktionen.</p></li>
</ul>
<h3 id="Essential-components" class="common-anchor-header">Wesentliche Komponenten:</h3><ul>
<li><p>Milvus: Die funktionale Kernkomponente.</p></li>
<li><p>etcd: Die Metadaten-Engine, die für den Zugriff auf und die Speicherung von Metadaten aus den internen Komponenten von Milvus verantwortlich ist, einschließlich Proxys, Indexknoten und mehr.</p></li>
<li><p>MinIO: Die Speicher-Engine, die für die Datenpersistenz innerhalb von Milvus verantwortlich ist.</p></li>
</ul>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Screenshot_2024_02_19_at_4_16_41_PM_5e635586a7.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Abbildung 1: Eigenständige Milvus-Architektur</p>
<h3 id="Available-Resources" class="common-anchor-header">Verfügbare Ressourcen</h3><ul>
<li><p>Dokumentation</p>
<ul>
<li><p><a href="https://milvus.io/docs/prerequisite-docker.md">Umgebungs-Checkliste für Milvus mit Docker Compose</a></p></li>
<li><p><a href="https://milvus.io/docs/install_standalone-docker.md">Installieren Sie Milvus Standalone mit Docker</a></p></li>
</ul></li>
<li><p><a href="https://github.com/milvus-io/milvus">Github-Repository</a></p></li>
</ul>
<h2 id="Milvus-Cluster" class="common-anchor-header">Milvus-Cluster<button data-href="#Milvus-Cluster" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus Cluster ist ein Betriebsmodus für das Vektordatenbanksystem Milvus, in dem es über mehrere Knoten oder Server verteilt betrieben wird. In diesem Modus werden Milvus-Instanzen zu einem einheitlichen System geclustert, das im Vergleich zu einem Standalone-Setup größere Datenmengen und höhere Verkehrslasten bewältigen kann. Milvus Cluster bietet Skalierbarkeit, Fehlertoleranz und Lastausgleichsfunktionen, so dass es sich für Szenarien eignet, in denen große Datenmengen verarbeitet und viele gleichzeitige Abfragen effizient bedient werden müssen.</p>
<h3 id="Features-and-Capabilities" class="common-anchor-header">Funktionen und Möglichkeiten</h3><ul>
<li><p>Übernimmt alle in Milvus Standalone verfügbaren Funktionen, einschließlich hochleistungsfähiger Vektorsuche, Unterstützung für mehrere Indexarten und Ähnlichkeitsmetriken sowie nahtlose Integration mit Batch- und Stream-Processing-Frameworks.</p></li>
<li><p>Bietet unvergleichliche Verfügbarkeit, Leistung und Kostenoptimierung durch die Nutzung von verteiltem Rechnen und Lastausgleich über mehrere Knoten.</p></li>
<li><p>Ermöglicht die Bereitstellung und Skalierung sicherer, unternehmensgerechter Workloads bei geringeren Gesamtkosten durch die effiziente Nutzung von Ressourcen im gesamten Cluster und die Optimierung der Ressourcenzuweisung auf der Grundlage der Workload-Anforderungen.</p></li>
</ul>
<h3 id="Essential-components" class="common-anchor-header">Wesentliche Komponenten:</h3><p>Milvus Cluster umfasst acht Microservice-Komponenten und drei Abhängigkeiten von Drittanbietern. Alle Microservices können unabhängig voneinander auf Kubernetes bereitgestellt werden.</p>
<h4 id="Microservice-components" class="common-anchor-header">Microservice-Komponenten</h4><ul>
<li><p>Root-Koordinator</p></li>
<li><p>Proxy</p></li>
<li><p>Abfrage-Koordinate</p></li>
<li><p>Abfrage-Knoten</p></li>
<li><p>Index-Koordinate</p></li>
<li><p>Index-Knoten</p></li>
<li><p>Daten-Koordinate</p></li>
<li><p>Daten-Knoten</p></li>
</ul>
<h4 id="Third-party-dependencies" class="common-anchor-header">Abhängigkeiten von Drittanbietern</h4><ul>
<li><p>etcd: Speichert Metadaten für verschiedene Komponenten des Clusters.</p></li>
<li><p>MinIO: Verantwortlich für die Datenpersistenz großer Dateien im Cluster, z. B. Index- und binäre Protokolldateien.</p></li>
<li><p>Pulsar: Verwaltet Protokolle der letzten Mutationsoperationen, gibt Streaming-Protokolle aus und bietet Protokollveröffentlichungs- und -abonnementdienste.</p></li>
</ul>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Screenshot_2024_02_19_at_4_18_01_PM_88971280ed.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Abbildung 2: Milvus-Cluster-Architektur</p>
<h4 id="Available-Resources" class="common-anchor-header">Verfügbare Ressourcen</h4><ul>
<li><p><a href="https://milvus.io/docs/install_cluster-milvusoperator.md">Dokumentation</a> | Anleitungen zum Einstieg</p>
<ul>
<li><p><a href="https://milvus.io/docs/install_cluster-milvusoperator.md">Installieren Sie Milvus Cluster mit Milvus Operator</a></p></li>
<li><p><a href="https://milvus.io/docs/install_cluster-helm.md">Installieren von Milvus Cluster mit Helm</a></p></li>
<li><p><a href="https://milvus.io/docs/scaleout.md">Skalierung eines Milvus-Clusters</a></p></li>
</ul></li>
<li><p><a href="https://github.com/milvus-io/milvus">Github-Repository</a></p></li>
</ul>
<h2 id="Making-the-Decision-on-which-Milvus-version-to-use" class="common-anchor-header">Die Entscheidung, welche Milvus-Version verwendet werden soll<button data-href="#Making-the-Decision-on-which-Milvus-version-to-use" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Bei der Entscheidung, welche Milvus-Version für Ihr Projekt verwendet werden soll, müssen Sie Faktoren wie die Größe Ihres Datensatzes, das Verkehrsaufkommen, die Anforderungen an die Skalierbarkeit und die Beschränkungen der Produktionsumgebung berücksichtigen. Milvus Lite eignet sich perfekt für das Prototyping auf Ihrem Laptop. Milvus Standalone bietet eine hohe Leistung und Flexibilität bei der Durchführung von Vektorsuchen in Ihren Datensätzen und eignet sich daher für kleinere Bereitstellungen, CI/CD und Offline-Bereitstellungen, wenn Sie keine Kubernetes-Unterstützung haben... Und schließlich bietet Milvus Cluster eine beispiellose Verfügbarkeit, Skalierbarkeit und Kostenoptimierung für Workloads der Enterprise-Klasse und ist daher die bevorzugte Wahl für große, hochverfügbare Produktionsumgebungen.</p>
<p>Es gibt noch eine weitere Version, die eine problemlose Version ist, und das ist eine verwaltete Version von Milvus namens <a href="https://cloud.zilliz.com/signup">Zilliz Cloud</a>.</p>
<p>Letztendlich hängt die Wahl der Milvus-Version von Ihrem spezifischen Anwendungsfall, Ihren Infrastrukturanforderungen und Ihren langfristigen Zielen ab. Wenn Sie diese Faktoren sorgfältig bewerten und die Funktionen und Möglichkeiten der einzelnen Versionen verstehen, können Sie eine fundierte Entscheidung treffen, die den Anforderungen und Zielen Ihres Projekts entspricht. Unabhängig davon, ob Sie sich für Milvus Standalone oder Milvus Cluster entscheiden, können Sie die Leistungsfähigkeit von Vektordatenbanken nutzen, um die Leistung und Effizienz Ihrer KI-Anwendungen zu verbessern.</p>


Mit welcher Milvus-Version soll ich beginnen?

Top 10 Keywords Dominating the Milvus Community in 2023

Enthüllung der 10 wichtigsten Schlüsselwörter, die die Milvus-Gemeinschaft im Jahr 2023 dominieren

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/What_is_new_in_Milvus_2_3_4_1847b0fa8a.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Wir freuen uns, die neueste Version von Milvus 2.3.4 vorstellen zu können. Dieses Update führt eine Reihe von Funktionen und Verbesserungen ein, die sorgfältig ausgearbeitet wurden, um die Leistung zu optimieren, die Effizienz zu steigern und eine nahtlose Benutzererfahrung zu bieten. In diesem Blogbeitrag stellen wir Ihnen die Highlights von Milvus 2.3.4 vor.</p>
<h2 id="Access-logs-for-improved-monitoring" class="common-anchor-header">Zugriffsprotokolle für verbesserte Überwachung<button data-href="#Access-logs-for-improved-monitoring" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus unterstützt jetzt Zugriffsprotokolle, die unschätzbare Einblicke in die Interaktionen mit externen Schnittstellen bieten. Diese Protokolle zeichnen Methodennamen, Benutzeranfragen, Antwortzeiten, Fehlercodes und andere Interaktionsinformationen auf und ermöglichen Entwicklern und Systemadministratoren die Durchführung von Leistungsanalysen, Sicherheitsüberprüfungen und eine effiziente Fehlerbehebung.</p>
<p><strong><em>Hinweis:</em></strong> <em>Derzeit unterstützen die Zugriffsprotokolle nur gRPC-Interaktionen. Wir bemühen uns jedoch weiterhin um Verbesserungen und werden diese Funktion in zukünftigen Versionen auf RESTful-Anfrageprotokolle ausweiten.</em></p>
<p>Ausführlichere Informationen finden Sie unter <a href="https://milvus.io/docs/configure_access_logs.md">Konfigurieren von Zugriffsprotokollen</a>.</p>
<h2 id="Parquet-file-imports-for-enhanced-data-processing-efficiency" class="common-anchor-header">Parquet-Dateiimporte für eine effizientere Datenverarbeitung<button data-href="#Parquet-file-imports-for-enhanced-data-processing-efficiency" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.3.4 unterstützt jetzt den Import von Parquet-Dateien, einem weit verbreiteten spaltenförmigen Speicherformat, das die Effizienz der Speicherung und Verarbeitung großer Datensätze verbessern soll. Diese Erweiterung bietet den Benutzern mehr Flexibilität und Effizienz bei der Datenverarbeitung. Da die mühsame Konvertierung von Datenformaten entfällt, können Benutzer, die umfangreiche Datensätze im Parquet-Format verwalten, einen rationalisierten Datenimportprozess erleben, der die Zeit von der anfänglichen Datenvorbereitung bis zur anschließenden Vektorabfrage erheblich verkürzt.</p>
<p>Darüber hinaus hat unser Datenformat-Konvertierungstool, BulkWriter, jetzt Parquet als Standard-Ausgabeformat übernommen, was eine intuitivere Erfahrung für Entwickler gewährleistet.</p>
<h2 id="Binlog-index-on-growing-segments-for-faster-searches" class="common-anchor-header">Binlog-Index auf wachsenden Segmenten für schnellere Suche<button data-href="#Binlog-index-on-growing-segments-for-faster-searches" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus nutzt jetzt einen Binlog-Index für wachsende Segmente, was zu einer bis zu zehnmal schnelleren Suche in wachsenden Segmenten führt. Diese Verbesserung steigert die Sucheffizienz erheblich und unterstützt fortgeschrittene Indizes wie IVF oder Fast Scan, was die Benutzerfreundlichkeit insgesamt verbessert.</p>
<h2 id="Support-for-up-to-10000-collectionspartitions" class="common-anchor-header">Unterstützung für bis zu 10.000 Sammlungen/Partitionen<button data-href="#Support-for-up-to-10000-collectionspartitions" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Wie Tabellen und Partitionen in relationalen Datenbanken sind Sammlungen und Partitionen die zentralen Einheiten für die Speicherung und Verwaltung von Vektordaten in Milvus. Milvus 2.3.4 unterstützt jetzt bis zu 10.000 Sammlungen/Partitionen in einem Cluster, ein deutlicher Sprung von der vorherigen Grenze von 4.096. Diese Verbesserung kommt verschiedenen Anwendungsfällen zugute, wie z. B. der Verwaltung von Wissensdatenbanken und mandantenfähigen Umgebungen. Die erweiterte Unterstützung für Sammlungen/Partitionen resultiert aus der Verfeinerung des Zeittick-Mechanismus, der Goroutine-Verwaltung und der Speichernutzung.</p>
<p><strong><em>Hinweis:</em></strong> <em>Die empfohlene Grenze für die Anzahl der Sammlungen/Partitionen liegt bei 10.000, da ein Überschreiten dieser Grenze Auswirkungen auf die Fehlerbehebung und die Ressourcennutzung haben kann.</em></p>
<h2 id="Other-enhancements" class="common-anchor-header">Andere Erweiterungen<button data-href="#Other-enhancements" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Zusätzlich zu den oben genannten Funktionen enthält Milvus 2.3.4 verschiedene Verbesserungen und Fehlerbehebungen. Dazu gehören eine verringerte Speichernutzung während des Datenabrufs und der Handhabung von Daten variabler Länge, eine verfeinerte Fehlermeldung, eine beschleunigte Ladegeschwindigkeit und eine verbesserte Abfrage-Shard-Balance. Diese kollektiven Verbesserungen tragen zu einer reibungsloseren und effizienteren Gesamtbenutzererfahrung bei.</p>
<p>Einen umfassenden Überblick über alle Änderungen, die in Milvus 2.3.4 eingeführt wurden, finden Sie in unseren <a href="https://milvus.io/docs/release_notes.md#v234">Release Notes</a>.</p>
<h2 id="Stay-connected" class="common-anchor-header">Bleiben Sie in Verbindung!<button data-href="#Stay-connected" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Wenn Sie Fragen oder Feedback zu Milvus haben, treten Sie unserem <a href="https://discord.com/invite/8uyFbECzPX">Discord-Kanal</a> bei, um sich direkt mit unseren Ingenieuren und der Community auszutauschen, oder nehmen Sie an unserem <a href="https://discord.com/invite/RjNbk8RR4f">Milvus Community Lunch and Learn</a> teil, das jeden Dienstag von 12-12:30 PM PST stattfindet. Sie können uns auch gerne auf <a href="https://twitter.com/milvusio">Twitter</a> oder <a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn</a> folgen, um die neuesten Nachrichten und Updates über Milvus zu erhalten.</p>


Milvus 2.3.4: Schnellere Suchvorgänge, erweiterte Datenunterstützung, verbesserte Überwachung und mehr

2023: das Jahr der KI

Effiziente Vektorähnlichkeitssuche in Empfehlungsworkflows mit Milvus und NVIDIA Merlin

Wie man die richtigen Vektoreinbettungen erhält

Wie Sie Ihre Daten nahtlos zu Milvus migrieren: Ein umfassender Leitfaden

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Exploring_NATS_878f48c848.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Im komplizierten Geflecht der Datenverarbeitung ist die nahtlose Kommunikation der Faden, der die Abläufe zusammenhält. <a href="https://zilliz.com/what-is-milvus">Milvus</a>, die bahnbrechende <a href="https://zilliz.com/cloud">Open-Source-Vektordatenbank</a>, hat sich mit ihrer neuesten Funktion auf eine transformative Reise begeben: NATS-Messaging-Integration. In diesem umfassenden Blog-Beitrag werden wir die Feinheiten dieser Integration enträtseln und ihre Kernfunktionen, den Einrichtungsprozess, die Migrationsvorteile und den Vergleich mit ihrem Vorgänger RocksMQ untersuchen.</p>
<h2 id="Understanding-the-role-of-message-queues-in-Milvus" class="common-anchor-header">Die Rolle von Message Queues in Milvus verstehen<button data-href="#Understanding-the-role-of-message-queues-in-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>In der Cloud-nativen Architektur von Milvus ist die Nachrichtenwarteschlange oder der Log Broker von zentraler Bedeutung. Sie ist das Rückgrat, das persistente Datenströme, Synchronisierung, Ereignisbenachrichtigungen und Datenintegrität bei Systemwiederherstellungen gewährleistet. Traditionell war RocksMQ die einfachste Wahl im Milvus-Standalone-Modus, insbesondere im Vergleich zu Pulsar und Kafka, aber seine Grenzen wurden bei umfangreichen Daten und komplexen Szenarien deutlich.</p>
<p>Mit Milvus 2.3 wird NATS eingeführt, eine Single-Node-MQ-Implementierung, die die Verwaltung von Datenströmen neu definiert. Im Gegensatz zu seinen Vorgängern befreit NATS die Milvus-Benutzer von Leistungseinschränkungen und bietet eine nahtlose Erfahrung bei der Verarbeitung großer Datenmengen.</p>
<h2 id="What-is-NATS" class="common-anchor-header">Was ist NATS?<button data-href="#What-is-NATS" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>NATS ist eine verteilte Systemverbindungstechnologie, die in Go implementiert ist. Sie unterstützt verschiedene Kommunikationsmodi wie Request-Reply und Publish-Subscribe zwischen Systemen, bietet Datenpersistenz durch JetStream und verteilte Fähigkeiten durch eingebautes RAFT. Auf der <a href="https://nats.io/">offiziellen NATS-Website</a> finden Sie weitere Informationen zu NATS.</p>
<p>Im Milvus 2.3 Standalone-Modus bieten NATS, JetStream und PubSub Milvus robuste MQ-Funktionen.</p>
<h2 id="Enabling-NATS" class="common-anchor-header">Aktivieren von NATS<button data-href="#Enabling-NATS" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.3 bietet eine neue Steuerungsoption, <code translate="no">mq.type</code>, die es den Benutzern ermöglicht, die Art von MQ, die sie verwenden möchten, anzugeben. Um NATS zu aktivieren, setzen Sie <code translate="no">mq.type=natsmq</code>. Wenn Sie nach dem Starten von Milvus-Instanzen ähnliche Protokolle wie die unten stehenden sehen, haben Sie NATS als Nachrichtenwarteschlange erfolgreich aktiviert.</p>
<pre><code translate="no">[INFO] [dependency/factory.go:83] [<span class="hljs-string">&quot;try to init mq&quot;</span>] [standalone=<span class="hljs-literal">true</span>] [mqType=natsmq]
<button class="copy-code-btn"></button></code></pre>
<h2 id="Configuring-NATS-for-Milvus" class="common-anchor-header">NATS für Milvus konfigurieren<button data-href="#Configuring-NATS-for-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Zu den NATS-Anpassungsoptionen gehören die Angabe des Listening Ports, des JetStream-Speicherverzeichnisses, der maximalen Nutzdatengröße und des Initialisierungs-Timeouts. Die Feinabstimmung dieser Einstellungen gewährleistet optimale Leistung und Zuverlässigkeit.</p>
<pre><code translate="no">natsmq:
server: <span class="hljs-comment"># server side configuration for natsmq.</span>
port: <span class="hljs-number">4222</span> <span class="hljs-comment"># 4222 by default, Port for nats server listening.</span>
storeDir: /var/lib/milvus/nats <span class="hljs-comment"># /var/lib/milvus/nats by default, directory to use for JetStream storage of nats.</span>
maxFileStore: <span class="hljs-number">17179869184</span> <span class="hljs-comment"># (B) 16GB by default, Maximum size of the &#x27;file&#x27; storage.</span>
maxPayload: <span class="hljs-number">8388608</span> <span class="hljs-comment"># (B) 8MB by default, Maximum number of bytes in a message payload.</span>
maxPending: <span class="hljs-number">67108864</span> <span class="hljs-comment"># (B) 64MB by default, Maximum number of bytes buffered for a connection Applies to client connections.</span>
initializeTimeout: <span class="hljs-number">4000</span> <span class="hljs-comment"># (ms) 4s by default, waiting for initialization of natsmq finished.</span>
monitor:
trace: false <span class="hljs-comment"># false by default, If true enable protocol trace log messages.</span>
debug: false <span class="hljs-comment"># false by default, If true enable debug log messages.</span>
logTime: true <span class="hljs-comment"># true by default, If set to false, log without timestamps.</span>
logFile: /tmp/milvus/logs/nats.log <span class="hljs-comment"># /tmp/milvus/logs/nats.log by default, Log file path relative to .. of milvus binary if use relative path.</span>
logSizeLimit: <span class="hljs-number">536870912</span> <span class="hljs-comment"># (B) 512MB by default, Size in bytes after the log file rolls over to a new one.</span>
retention:
maxAge: <span class="hljs-number">4320</span> <span class="hljs-comment"># (min) 3 days by default, Maximum age of any message in the P-channel.</span>
maxBytes: <span class="hljs-comment"># (B) None by default, How many bytes the single P-channel may contain. Removing oldest messages if the P-channel exceeds this size.</span>
maxMsgs: <span class="hljs-comment"># None by default, How many message the single P-channel may contain. Removing oldest messages if the P-channel exceeds this limit.</span>
<button class="copy-code-btn"></button></code></pre>
<p><strong>Anmerkung:</strong></p>
<ul>
<li><p>Sie müssen <code translate="no">server.port</code> für das Abhören des NATS-Servers angeben. Wenn es einen Portkonflikt gibt, kann Milvus nicht starten. Stellen Sie <code translate="no">server.port=-1</code> so ein, dass ein Port zufällig ausgewählt wird.</p></li>
<li><p><code translate="no">storeDir</code> gibt das Verzeichnis für die JetStream-Speicherung an. Wir empfehlen, das Verzeichnis auf einem leistungsstarken Solid-State-Laufwerk (SSD) zu speichern, um den Lese-/Schreibdurchsatz von Milvus zu verbessern.</p></li>
<li><p><code translate="no">maxFileStore</code> legt die Obergrenze für die JetStream-Speichergröße fest. Das Überschreiten dieser Grenze verhindert das weitere Schreiben von Daten.</p></li>
<li><p><code translate="no">maxPayload</code> begrenzt die Größe der einzelnen Nachrichten. Sie sollte über 5 MB liegen, um Schreibabweisungen zu vermeiden.</p></li>
<li><p><code translate="no">initializeTimeout</code>steuert die Zeitüberschreitung beim Start des NATS-Servers.</p></li>
<li><p><code translate="no">monitor</code> konfiguriert die unabhängigen Logs von NATS.</p></li>
<li><p><code translate="no">retention</code> steuert den Aufbewahrungsmechanismus von NATS-Nachrichten.</p></li>
</ul>
<p>Weitere Informationen finden Sie in der <a href="https://docs.nats.io/running-a-nats-service/configuration">offiziellen NATS-Dokumentation</a>.</p>
<h2 id="Migrating-from-RocksMQ-to-NATS" class="common-anchor-header">Umstellung von RocksMQ auf NATS<button data-href="#Migrating-from-RocksMQ-to-NATS" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Die Migration von RocksMQ zu NATS ist ein nahtloser Prozess, der Schritte wie das Stoppen von Schreibvorgängen, das Flushen von Daten, das Ändern von Konfigurationen und das Überprüfen der Migration durch Milvus-Protokolle umfasst.</p>
<ol>
<li><p>Bevor Sie die Migration einleiten, stoppen Sie alle Schreibvorgänge in Milvus.</p></li>
<li><p>Führen Sie den Vorgang <code translate="no">FlushALL</code> in Milvus aus und warten Sie auf seinen Abschluss. Dieser Schritt stellt sicher, dass alle ausstehenden Daten geleert werden und das System zum Herunterfahren bereit ist.</p></li>
<li><p>Ändern Sie die Milvus-Konfigurationsdatei, indem Sie <code translate="no">mq.type=natsmq</code> einstellen und die relevanten Optionen im Abschnitt <code translate="no">natsmq</code> anpassen.</p></li>
<li><p>Starten Sie den Milvus 2.3.</p></li>
<li><p>Sichern und bereinigen Sie die Originaldaten, die im Verzeichnis <code translate="no">rocksmq.path</code> gespeichert sind. (Optional)</p></li>
</ol>
<h2 id="NATS-vs-RocksMQ-A-Performance-Showdown" class="common-anchor-header">NATS vs. RocksMQ: Ein Leistungsvergleich<button data-href="#NATS-vs-RocksMQ-A-Performance-Showdown" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="PubSub-Performance-Testing" class="common-anchor-header">Pub/Sub-Leistungstest</h3><ul>
<li><p><strong>Testplattform:</strong> M1 Pro Chip / Speicher: 16GB</p></li>
<li><p><strong>Test-Szenario:</strong> Wiederholtes Abonnieren und Veröffentlichen von Zufallsdatenpaketen an ein Topic, bis das letzte veröffentlichte Ergebnis empfangen wird.</p></li>
<li><p><strong>Ergebnisse:</strong></p>
<ul>
<li><p>Bei kleineren Datenpaketen (&lt; 64kb) übertrifft RocksMQ NATS in Bezug auf Speicher, CPU und Reaktionsgeschwindigkeit.</p></li>
<li><p>Bei größeren Datenpaketen (&gt; 64kb) übertrifft NATS RocksMQ und bietet wesentlich schnellere Antwortzeiten.</p></li>
</ul></li>
</ul>
<table>
<thead>
<tr><th>Test Typ</th><th>MQ</th><th>Anzahl der Operationen</th><th>Kosten pro Operation</th><th>Kosten für Speicher</th><th>CPU-Gesamtzeit</th><th>Speicherkosten</th></tr>
</thead>
<tbody>
<tr><td>5MB*100 Pub/Sub</td><td>NATS</td><td>50</td><td>1.650328186 s/op</td><td>4,29 GB</td><td>85.58</td><td>25G</td></tr>
<tr><td>5MB*100 Pub/Sub</td><td>RocksMQ</td><td>50</td><td>2.475595131 s/op</td><td>1,18 GB</td><td>81.42</td><td>19G</td></tr>
<tr><td>1MB*500 Pub/Sub</td><td>NATS</td><td>50</td><td>2.248722593 s/op</td><td>2,60 GB</td><td>96.50</td><td>25G</td></tr>
<tr><td>1MB*500 Pub/Sub</td><td>RocksMQ</td><td>50</td><td>2.554614279 s/op</td><td>614,9 MB</td><td>80.19</td><td>19G</td></tr>
<tr><td>64KB*10000 Pub/Sub</td><td>NATS</td><td>50</td><td>2.133345262 s/op</td><td>3,29 GB</td><td>97.59</td><td>31G</td></tr>
<tr><td>64KB*10000 Pub/Sub</td><td>RocksMQ</td><td>50</td><td>3.253778195 s/op</td><td>331,2 MB</td><td>134.6</td><td>24G</td></tr>
<tr><td>1KB*50000 Pub/Sub</td><td>NATS</td><td>50</td><td>2.629391004 s/op</td><td>635,1 MB</td><td>179.67</td><td>2.6G</td></tr>
<tr><td>1KB*50000 Pub/Sub</td><td>RocksMQ</td><td>50</td><td>0.897638581 s/op</td><td>232,3 MB</td><td>60.42</td><td>521M</td></tr>
</tbody>
</table>
<p>Tabelle 1: Ergebnisse der Pub/Sub-Leistungstests</p>
<h3 id="Milvus-Integration-Testing" class="common-anchor-header">Milvus-Integrationstest</h3><p><strong>Datengröße:</strong> 100M</p>
<p><strong>Ergebnis:</strong> In umfangreichen Tests mit einem Datensatz von 100 Millionen Vektoren zeigte NATS eine geringere Vektorsuche und Abfragelatenz.</p>
<table>
<thead>
<tr><th>Metriken</th><th>RocksMQ (ms)</th><th>NATS (ms)</th></tr>
</thead>
<tbody>
<tr><td>Durchschnittliche Vektorsuch-Latenzzeit</td><td>23.55</td><td>20.17</td></tr>
<tr><td>Vektorsuchanfragen pro Sekunde (RPS)</td><td>2.95</td><td>3.07</td></tr>
<tr><td>Durchschnittliche Abfrage-Latenzzeit</td><td>7.2</td><td>6.74</td></tr>
<tr><td>Abfrageanfragen pro Sekunde (RPS)</td><td>1.47</td><td>1.54</td></tr>
</tbody>
</table>
<p>Tabelle 2: Ergebnisse der Milvus-Integrationstests mit einem 100-Meter-Datensatz</p>
<p><strong>Datensatz: &lt;100M</strong></p>
<p><strong>Ergebnis:</strong> Für Datensätze kleiner als 100M zeigen NATS und RocksMQ eine ähnliche Leistung.</p>
<h2 id="Conclusion-Empowering-Milvus-with-NATS-messaging" class="common-anchor-header">Schlussfolgerung: Verstärkung von Milvus mit NATS Messaging<button data-href="#Conclusion-Empowering-Milvus-with-NATS-messaging" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Die Integration von NATS in Milvus stellt einen bedeutenden Schritt in der Datenverarbeitung dar. Egal, ob Sie sich mit Echtzeitanalysen, Anwendungen für maschinelles Lernen oder anderen datenintensiven Projekten befassen, NATS unterstützt Ihre Projekte mit Effizienz, Zuverlässigkeit und Geschwindigkeit. Da sich die Datenlandschaft weiterentwickelt, gewährleistet ein robustes Messaging-System wie NATS innerhalb von Milvus eine nahtlose, zuverlässige und hochleistungsfähige Datenkommunikation.</p>


Optimierung der Datenkommunikation: Milvus setzt auf NATS Messaging

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/What_s_New_in_Milvus_2_3_2_and_2_3_3_d3d0db03c3.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>In der sich ständig weiterentwickelnden Landschaft der Vektorsuchtechnologien bleibt Milvus an vorderster Front, verschiebt Grenzen und setzt neue Standards. Heute freuen wir uns, die Veröffentlichung von Milvus 2.3.2 und 2.3.3 bekannt zu geben! Diese Updates bringen viele spannende Funktionen, Optimierungen und Verbesserungen, die die Systemleistung, Flexibilität und die allgemeine Benutzerfreundlichkeit verbessern.</p>
<h2 id="Support-for-Array-data-types---making-search-results-more-accurate-and-relevant" class="common-anchor-header">Unterstützung für Array-Datentypen - für genauere und relevantere Suchergebnisse<button data-href="#Support-for-Array-data-types---making-search-results-more-accurate-and-relevant" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Das Hinzufügen der Unterstützung für Array-Datentypen ist eine entscheidende Verbesserung für Milvus, insbesondere in Abfrage-Filter-Szenarien wie Schnittmenge und Vereinigung. Durch diese Ergänzung wird sichergestellt, dass die Suchergebnisse nicht nur genauer, sondern auch relevanter sind. In der Praxis, zum Beispiel im E-Commerce-Sektor, ermöglichen Produkt-Tags, die als String-Arrays gespeichert sind, den Verbrauchern eine erweiterte Suche, bei der irrelevante Ergebnisse herausgefiltert werden.</p>
<p>In unserer umfassenden <a href="https://milvus.io/docs/array_data_type.md">Dokumentation</a> finden Sie eine ausführliche Anleitung zur Nutzung von Array-Typen in Milvus.</p>
<h2 id="Support-for-complex-delete-expressions---improving-your-data-management" class="common-anchor-header">Unterstützung für komplexe Löschausdrücke - Verbesserung Ihrer Datenverwaltung<button data-href="#Support-for-complex-delete-expressions---improving-your-data-management" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>In früheren Versionen unterstützte Milvus Ausdrücke zum Löschen von Primärschlüsseln und bot eine stabile und optimierte Architektur. Mit Milvus 2.3.2 oder 2.3.3 können Benutzer komplexe Löschausdrücke verwenden, die anspruchsvolle Datenverwaltungsaufgaben wie die rollierende Bereinigung alter Daten oder die GDPR-konforme Datenlöschung auf der Grundlage von Benutzer-IDs erleichtern.</p>
<p>Hinweis: Stellen Sie sicher, dass Sie Sammlungen geladen haben, bevor Sie komplexe Ausdrücke verwenden. Außerdem ist es wichtig zu beachten, dass der Löschvorgang keine Atomizität garantiert.</p>
<h2 id="TiKV-integration---scalable-metadata-storage-with-stability" class="common-anchor-header">TiKV-Integration - skalierbare Metadatenspeicherung mit Stabilität<button data-href="#TiKV-integration---scalable-metadata-storage-with-stability" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Da Milvus bisher auf Etcd für die Metadatenspeicherung angewiesen war, gab es Probleme mit der begrenzten Kapazität und Skalierbarkeit der Metadatenspeicherung. Um diese Probleme zu lösen, fügte Milvus TiKV, einen Open-Source-Schlüsselwertspeicher, als eine weitere Option für die Metadatenspeicherung hinzu. TiKV bietet eine verbesserte Skalierbarkeit, Stabilität und Effizienz und ist damit eine ideale Lösung für die sich entwickelnden Anforderungen von Milvus. Ab Milvus 2.3.2 können Benutzer durch Änderung der Konfiguration nahtlos zu TiKV für ihre Metadatenspeicherung übergehen.</p>
<h2 id="Support-for-FP16-vector-type---embracing-machine-learning-efficiency" class="common-anchor-header">Unterstützung für FP16-Vektortyp - Effizienz des maschinellen Lernens<button data-href="#Support-for-FP16-vector-type---embracing-machine-learning-efficiency" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.3.2 und spätere Versionen unterstützen jetzt den FP16-Vektortyp auf der Schnittstellenebene. FP16, oder 16-Bit-Gleitkomma, ist ein Datenformat, das im Deep Learning und im maschinellen Lernen weit verbreitet ist und eine effiziente Darstellung und Berechnung numerischer Werte ermöglicht. Während die volle Unterstützung für FP16 in Arbeit ist, müssen verschiedene Indizes in der Indizierungsschicht während der Konstruktion von FP16 in FP32 konvertiert werden.</p>
<p>Wir werden FP16-, BF16- und int8-Datentypen in späteren Versionen von Milvus vollständig unterstützen. Bleiben Sie dran.</p>
<h2 id="Significant-improvement-in-the-rolling-upgrade-experience---seamless-transition-for-users" class="common-anchor-header">Signifikante Verbesserung des Rolling-Upgrade-Erlebnisses - nahtloser Übergang für Benutzer<button data-href="#Significant-improvement-in-the-rolling-upgrade-experience---seamless-transition-for-users" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Rolling Upgrade ist eine wichtige Funktion für verteilte Systeme, die System-Upgrades ohne Unterbrechung der Geschäftsdienste oder Ausfallzeiten ermöglicht. In den letzten Milvus-Releases haben wir die Funktion des Rolling Upgrades gestärkt, so dass ein reibungsloser und effizienter Übergang für die Benutzer beim Upgrade von Version 2.2.15 auf 2.3.3 und alle späteren Versionen gewährleistet ist. Die Community hat auch in umfangreiche Tests und Optimierungen investiert, um die Auswirkungen auf die Abfragen während des Upgrades auf weniger als 5 Minuten zu reduzieren und den Nutzern eine problemlose Erfahrung zu ermöglichen.</p>
<h2 id="Performance-optimization" class="common-anchor-header">Optimierung der Leistung<button data-href="#Performance-optimization" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Neben der Einführung neuer Funktionen haben wir die Leistung von Milvus in den letzten beiden Versionen erheblich optimiert.</p>
<ul>
<li><p>Minimierte Datenkopiervorgänge für optimiertes Laden von Daten</p></li>
<li><p>Vereinfachte Einfügungen mit großer Kapazität durch Batch-Varchar-Lesen</p></li>
<li><p>Unnötige Offset-Prüfungen beim Auffüllen von Daten wurden entfernt, um die Leistung der Abrufphase zu verbessern.</p></li>
<li><p>Behebung von Problemen mit hohem CPU-Verbrauch in Szenarien mit umfangreichen Dateneinfügungen</p></li>
</ul>
<p>Diese Optimierungen tragen insgesamt zu einem schnelleren und effizienteren Milvus-Erlebnis bei. Werfen Sie einen Blick auf unser Monitoring-Dashboard, um zu sehen, wie Milvus seine Leistung verbessert hat.</p>
<h2 id="Incompatible-changes" class="common-anchor-header">Inkompatible Änderungen<button data-href="#Incompatible-changes" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p>Dauerhaft gelöschter TimeTravel-bezogener Code.</p></li>
<li><p>Veraltete Unterstützung für MySQL als Metadatenspeicher.</p></li>
</ul>
<p>Detaillierte Informationen zu allen neuen Funktionen und Verbesserungen finden Sie in den <a href="https://milvus.io/docs/release_notes.md">Versionshinweisen von Milvus</a>.</p>
<h2 id="Conclusion" class="common-anchor-header">Fazit<button data-href="#Conclusion" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Mit den neuesten Milvus-Versionen 2.3.2 und 2.3.3 sind wir bestrebt, eine robuste, funktionsreiche und leistungsstarke Datenbanklösung anzubieten. Entdecken Sie diese neuen Funktionen, nutzen Sie die Vorteile der Optimierungen und begleiten Sie uns auf dieser spannenden Reise, während wir Milvus weiterentwickeln, um den Anforderungen des modernen Datenmanagements gerecht zu werden. Laden Sie jetzt die neueste Version herunter und erleben Sie die Zukunft der Datenspeicherung mit Milvus!</p>
<h2 id="Let’s-keep-in-touch" class="common-anchor-header">Lassen Sie uns in Kontakt bleiben!<button data-href="#Let’s-keep-in-touch" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Wenn Sie Fragen oder Feedback zu Milvus haben, treten Sie unserem <a href="https://discord.com/invite/8uyFbECzPX">Discord-Kanal</a> bei, um sich direkt mit unseren Ingenieuren und der Community auszutauschen oder nehmen Sie an unserem <a href="https://discord.com/invite/RjNbk8RR4f">Milvus Community Lunch and Learn</a> teil, das jeden Dienstag von 12-12:30 PM PST stattfindet. Sie können uns auch gerne auf <a href="https://twitter.com/milvusio">Twitter</a> oder <a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn</a> folgen, um die neuesten Nachrichten und Updates über Milvus zu erhalten.</p>


Enthüllung von Milvus 2.3.2 &amp; 2.3.3: Unterstützung für Array-Datentypen, komplexes Löschen, TiKV-Integration und mehr

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Exploring_M_Map_5086d652bd.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p><a href="https://zilliz.com/what-is-milvus">Milvus</a> ist die schnellste Lösung unter den <a href="https://zilliz.com/blog/what-is-a-real-vector-database">Open-Source-Vektordatenbanken</a> und richtet sich an Benutzer mit hohen Leistungsanforderungen. Die unterschiedlichen Bedürfnisse der Nutzer spiegeln jedoch die Daten wider, mit denen sie arbeiten. Einige legen mehr Wert auf budgetfreundliche Lösungen und umfangreichen Speicherplatz als auf reine Geschwindigkeit. Milvus hat dieses Spektrum an Anforderungen verstanden und führt die MMap-Funktion ein, die den Umgang mit großen Datenmengen neu definiert und Kosteneffizienz ohne Einbußen bei der Funktionalität verspricht.</p>
<h2 id="What-is-MMap" class="common-anchor-header">Was ist MMap?<button data-href="#What-is-MMap" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>MMap, kurz für memory-mapped files, überbrückt die Lücke zwischen Dateien und Speicher in Betriebssystemen. Mit dieser Technologie kann Milvus große Dateien direkt in den Speicherbereich des Systems abbilden und Dateien in zusammenhängende Speicherblöcke umwandeln. Diese Integration macht explizite Lese- oder Schreibvorgänge überflüssig und verändert die Art und Weise, wie Milvus Daten verwaltet, grundlegend. Sie sorgt für einen nahtlosen Zugriff und eine effiziente Speicherung großer Dateien oder für Situationen, in denen Benutzer nach dem Zufallsprinzip auf Dateien zugreifen müssen.</p>
<h2 id="Who-benefits-from-MMap" class="common-anchor-header">Wer profitiert von MMap?<button data-href="#Who-benefits-from-MMap" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Vektordatenbanken erfordern aufgrund der Speicheranforderungen von Vektordaten eine erhebliche Speicherkapazität. Mit der MMap-Funktion wird die Verarbeitung von mehr Daten bei begrenztem Speicherplatz möglich. Diese erhöhte Kapazität geht jedoch zu Lasten der Leistung. Das System verwaltet den Speicher auf intelligente Weise, indem es einige Daten je nach Auslastung und Verwendung verdrängt. Durch diese Verdrängung kann Milvus mehr Daten in der gleichen Speicherkapazität verarbeiten.</p>
<p>Bei unseren Tests haben wir festgestellt, dass bei ausreichender Speicherkapazität alle Daten nach einer Aufwärmphase im Speicher verbleiben und die Systemleistung erhalten bleibt. Wenn jedoch das Datenvolumen wächst, nimmt die Leistung allmählich ab. <strong>Daher empfehlen wir die MMap-Funktion für Benutzer, die weniger empfindlich auf Leistungsschwankungen reagieren.</strong></p>
<h2 id="Enabling-MMap-in-Milvus-a-simple-configuration" class="common-anchor-header">Aktivieren von MMap in Milvus: eine einfache Konfiguration<button data-href="#Enabling-MMap-in-Milvus-a-simple-configuration" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Die Aktivierung von MMap in Milvus ist denkbar einfach. Alles, was Sie tun müssen, ist, die Datei <code translate="no">milvus.yaml</code> zu ändern: Fügen Sie das Element <code translate="no">mmapDirPath</code> unter der Konfiguration <code translate="no">queryNode</code> hinzu und geben Sie einen gültigen Pfad als Wert an.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/enabling_mmap_a2df88276b.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<h2 id="Striking-the-balance-performance-storage-and-system-limits" class="common-anchor-header">Das Gleichgewicht finden: Leistung, Speicherplatz und Systemgrenzen<button data-href="#Striking-the-balance-performance-storage-and-system-limits" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Datenzugriffsmuster wirken sich erheblich auf die Leistung aus. Die MMap-Funktion von Milvus optimiert den Datenzugriff auf der Grundlage der Lokalität. MMap ermöglicht es Milvus, skalare Daten für Datensegmente mit sequentiellem Zugriff direkt auf die Festplatte zu schreiben. Daten mit variabler Länge, wie z. B. Strings, werden abgeflacht und mit einem Offset-Array im Speicher indiziert. Dieser Ansatz gewährleistet die Lokalität des Datenzugriffs und eliminiert den Overhead, der durch die separate Speicherung der Daten variabler Länge entsteht. Die Optimierungen für Vektorindizes sind sehr sorgfältig. MMap wird selektiv für Vektordaten eingesetzt, während die Adjazenzlisten im Speicher verbleiben, wodurch viel Speicherplatz eingespart wird, ohne die Leistung zu beeinträchtigen.</p>
<p>Darüber hinaus maximiert MMap die Datenverarbeitung durch Minimierung der Speichernutzung. Im Gegensatz zu früheren Milvus-Versionen, bei denen QueryNode ganze Datensätze kopiert hat, verwendet MMap während der Entwicklung einen optimierten, kopierfreien Streaming-Prozess. Diese Optimierung reduziert den Speicher-Overhead drastisch.</p>
<p><strong>Unsere internen Testergebnisse zeigen, dass Milvus die doppelte Datenmenge effizient verarbeiten kann, wenn MMap aktiviert ist.</strong></p>
<h2 id="The-road-ahead-continuous-innovation-and-user-centric-enhancements" class="common-anchor-header">Der Weg in die Zukunft: kontinuierliche Innovation und benutzerorientierte Erweiterungen<button data-href="#The-road-ahead-continuous-innovation-and-user-centric-enhancements" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Während sich die MMap-Funktion noch in der Beta-Phase befindet, arbeitet das Milvus-Team an einer kontinuierlichen Verbesserung. Zukünftige Updates werden die Speichernutzung des Systems verfeinern und Milvus in die Lage versetzen, noch umfangreichere Datenmengen auf einem einzigen Knoten zu unterstützen. Die Benutzer können eine genauere Kontrolle über die MMap-Funktion erwarten, die dynamische Änderungen an Sammlungen und erweiterte Feldlademodi ermöglicht. Diese Verbesserungen bieten eine noch nie dagewesene Flexibilität, die es den Anwendern ermöglicht, ihre Datenverarbeitungsstrategien an die jeweiligen Anforderungen anzupassen.</p>
<h2 id="Conclusion-redefining-data-processing-excellence-with-Milvus-MMap" class="common-anchor-header">Fazit: Neudefinition der Datenverarbeitungsqualität mit Milvus MMap<button data-href="#Conclusion-redefining-data-processing-excellence-with-Milvus-MMap" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Die MMap-Funktion von Milvus 2.3 stellt einen bedeutenden Sprung in der Datenverarbeitungstechnologie dar. Durch ein ausgewogenes Verhältnis zwischen Leistung, Kosten und Systemgrenzen ermöglicht Milvus den Anwendern, große Datenmengen effizient und kostengünstig zu verarbeiten. Mit seiner kontinuierlichen Weiterentwicklung bleibt Milvus an der Spitze innovativer Lösungen und definiert die Grenzen des Erreichbaren im Datenmanagement neu.</p>
<p>Bleiben Sie dran für weitere bahnbrechende Entwicklungen, denn Milvus setzt seine Reise in Richtung einer beispiellosen Datenverarbeitungsexzellenz fort.</p>


Milvus stellt MMap für neu definiertes Datenmanagement und erhöhte Speicherkapazität vor

Vergleich von Vektordatenbanken, Vektorsuchbibliotheken und Vektorsuch-Plugins

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Ingesting_Chaos_20231017_110103_54fe2009cb.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Daten werden schneller als je zuvor in jeder erdenklichen Form erzeugt. Diese Daten sind das Benzin, das eine neue Welle von Anwendungen der künstlichen Intelligenz antreiben wird, aber diese Maschinen zur Produktivitätssteigerung brauchen Hilfe bei der Aufnahme dieses Treibstoffs. Die große Bandbreite an Szenarien und Sonderfällen, die unstrukturierte Daten umgeben, macht ihre Verwendung in KI-Systemen schwierig.</p>
<p>Zunächst einmal gibt es eine große Anzahl von Datenquellen. Diese exportieren Daten in verschiedenen Dateiformaten, von denen jedes seine Eigenheiten hat. Wie man zum Beispiel ein PDF verarbeitet, hängt stark davon ab, woher es kommt. Beim Einlesen einer PDF-Datei für einen Rechtsstreit im Wertpapierbereich wird der Schwerpunkt wahrscheinlich auf Textdaten liegen. Im Gegensatz dazu wird eine Systemdesign-Spezifikation für einen Raketentechniker voller Diagramme sein, die eine visuelle Verarbeitung erfordern. Das Fehlen eines definierten Schemas bei unstrukturierten Daten erhöht die Komplexität zusätzlich. Selbst wenn die Herausforderung der Datenverarbeitung gemeistert ist, bleibt das Problem der Aufnahme der Daten in großem Umfang bestehen. Die Größe von Dateien kann erheblich variieren, was die Art ihrer Verarbeitung verändert. Sie können einen Upload von 1 MB über eine API über HTTP schnell verarbeiten, aber das Einlesen von Dutzenden von GB aus einer einzigen Datei erfordert Streaming und einen speziellen Worker.</p>
<p>Die Bewältigung dieser traditionellen Herausforderungen der Datentechnik ist eine Grundvoraussetzung für die Verbindung von Rohdaten mit <a href="https://zilliz.com/glossary/large-language-models-(llms)">LLMs</a> über <a href="https://zilliz.com/learn/what-is-vector-database">Vektordatenbanken</a> wie <a href="https://github.com/milvus-io/milvus">Milvus</a>. Neue Anwendungsfälle wie die Durchführung semantischer Ähnlichkeitssuchen mit Hilfe einer Vektordatenbank erfordern jedoch neue Verarbeitungsschritte wie das Chunking der Quelldaten, die Orchestrierung von Metadaten für hybride Suchen, die Auswahl des geeigneten Vektoreinbettungsmodells und die Abstimmung der Suchparameter, um zu bestimmen, welche Daten an den LLM weitergegeben werden sollen. Diese Arbeitsabläufe sind so neu, dass es keine etablierten Best Practices gibt, an denen sich die Entwickler orientieren könnten. Stattdessen müssen sie experimentieren, um die richtige Konfiguration und den richtigen Anwendungsfall für ihre Daten zu finden. Um diesen Prozess zu beschleunigen, ist es von unschätzbarem Wert, eine Vektoreinbettungspipeline zu verwenden, die die Daten in die Vektordatenbank einspeist.</p>
<p>Eine Vektoreinbettungspipeline wie <a href="https://github.com/dgarnitz/vectorflow">VectorFlow</a> verbindet Ihre Rohdaten mit Ihrer Vektordatenbank, einschließlich Chunking, Orchestrierung von Metadaten, Einbettung und Upload. VectorFlow ermöglicht es Entwicklungsteams, sich auf die Kernanwendungslogik zu konzentrieren und mit den verschiedenen Abrufparametern zu experimentieren, die aus dem Einbettungsmodell, der Chunking-Strategie, den Metadatenfeldern und Aspekten der Suche generiert werden, um zu sehen, was am besten funktioniert.</p>
<p>Bei unserer Arbeit, bei der wir Entwicklungsteams dabei helfen, ihre <a href="https://zilliz.com/use-cases/llm-retrieval-augmented-generation">RAG-Systeme (Retrieval Augmented Generation)</a> vom Prototyp in die Produktion zu überführen, haben wir festgestellt, dass der folgende Ansatz beim Testen der verschiedenen Parameter einer RAG-Suchpipeline erfolgreich ist:</p>
<ol>
<li>Verwenden Sie einen kleinen Datensatz, mit dem Sie vertraut sind, um die Iteration zu beschleunigen, z.B. einige PDFs, die relevante Teile für die Suchanfragen enthalten.</li>
<li>Erstellen Sie einen Standardsatz von Fragen und Antworten zu dieser Teilmenge der Daten. Schreiben Sie z. B. nach dem Lesen der PDFs eine Liste von Fragen und lassen Sie Ihr Team die Antworten abstimmen.</li>
<li>Erstellen Sie ein automatisiertes Bewertungssystem, das die Ergebnisse der Abfrage für jede Frage bewertet. Eine Möglichkeit, dies zu tun, besteht darin, die Antwort aus dem RAG-System zu nehmen und sie durch das LLM laufen zu lassen, mit einer Eingabeaufforderung, die fragt, ob dieses RAG-Ergebnis die Frage mit der richtigen Antwort beantwortet. Dies sollte eine "Ja"- oder "Nein"-Antwort sein. Wenn Sie z.B. 25 Fragen in Ihren Dokumenten haben und das System 20 richtig beantwortet, können Sie dies zum Benchmarking mit anderen Ansätzen verwenden.</li>
<li>Stellen Sie sicher, dass Sie für die Auswertung ein anderes LLM verwenden als für die Codierung der in der Datenbank gespeicherten Vektoreinbettungen. Das LLM für die Auswertung ist typischerweise ein Decoder-Typ eines Modells wie GPT-4. Eine Sache, die man nicht vergessen sollte, sind die Kosten dieser Auswertungen, wenn sie wiederholt ausgeführt werden. Open-Source-Modelle wie Llama2 70B oder der Deci AI LLM 6B, die auf einem einzigen, kleineren Grafikprozessor laufen können, haben ungefähr die gleiche Leistung zu einem Bruchteil der Kosten.</li>
<li>Führen Sie jeden Test mehrmals durch und bilden Sie den Durchschnitt der Ergebnisse, um die Stochastik des LLM auszugleichen.</li>
</ol>
<p>Wenn Sie alle Optionen außer einer konstant halten, können Sie schnell feststellen, welche Parameter für Ihren Anwendungsfall am besten geeignet sind. Eine Vektoreinbettungspipeline wie VectorFlow macht dies auf der Ingestion-Seite besonders einfach, da Sie schnell verschiedene Chunking-Strategien, Chunk-Längen, Chunk-Überlappungen und Open-Source-Einbettungsmodelle ausprobieren können, um zu sehen, was zu den besten Ergebnissen führt. Dies ist besonders nützlich, wenn Ihr Datensatz aus verschiedenen Dateitypen und Datenquellen besteht, die eine eigene Logik erfordern.</p>
<p>Sobald das Team weiß, was für seinen Anwendungsfall am besten geeignet ist, kann es mit der Vektoreinbettungspipeline schnell zur Produktion übergehen, ohne das System neu gestalten zu müssen, um Dinge wie Zuverlässigkeit und Überwachung zu berücksichtigen. Mit Technologien wie VectorFlow und <a href="https://zilliz.com/what-is-milvus">Milvus</a>, die quelloffen und plattformunabhängig sind, kann das Team effizient in verschiedenen Umgebungen testen und dabei die Datenschutz- und Sicherheitsanforderungen einhalten.</p>


Ingesting Chaos: Die MLOps hinter dem zuverlässigen Umgang mit unstrukturierten Daten für RAG in großem Maßstab

Warum und wann brauchen Sie eine zweckgebundene Vektordatenbank?

Enthüllung von Milvus 2.3: Ein Meilenstein-Release mit Unterstützung für GPU, Arm64, CDC und vielen anderen, mit Spannung erwarteten Funktionen

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/What_s_New_in_2_2_12_20230720_143424_7d19280738.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Wir freuen uns, die neueste Version von Milvus 2.2.12 ankündigen zu können. Dieses Update enthält mehrere neue Funktionen, wie z. B. die Unterstützung für RESTful API, die Funktion <code translate="no">json_contains</code> und die Vektorabfrage bei ANN-Suchen als Reaktion auf das Feedback der Benutzer. Außerdem haben wir die Benutzerfreundlichkeit verbessert, die Geschwindigkeit der Vektorsuche erhöht und viele Probleme behoben. Schauen wir uns nun an, was wir von Milvus 2.2.12 erwarten können.</p>
<h2 id="Support-for-RESTful-API" class="common-anchor-header">Unterstützung für RESTful API<button data-href="#Support-for-RESTful-API" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.2.12 unterstützt jetzt die RESTful API, die es den Nutzern ermöglicht, auf Milvus zuzugreifen, ohne einen Client installieren zu müssen, wodurch Client-Server-Operationen mühelos möglich sind. Darüber hinaus ist die Bereitstellung von Milvus bequemer geworden, da das Milvus SDK und die RESTful API dieselbe Portnummer verwenden.</p>
<p><strong>Hinweis</strong>: Wir empfehlen nach wie vor die Verwendung des SDK für die Bereitstellung von Milvus für fortgeschrittene Operationen oder wenn Ihr Unternehmen latenzempfindlich ist.</p>
<h2 id="Vector-retrieval-during-ANN-searches" class="common-anchor-header">Vektorabruf bei ANN-Suchen<button data-href="#Vector-retrieval-during-ANN-searches" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>In früheren Versionen ließ Milvus den Vektorabruf während der ANN-Suche (Approximate Nearest Neighbour) nicht zu, um die Leistung und die Speichernutzung zu priorisieren. Infolgedessen musste der Abruf von Rohvektoren in zwei Schritte aufgeteilt werden: die Durchführung der ANN-Suche und die anschließende Abfrage der Rohvektoren auf der Grundlage ihrer IDs. Dieser Ansatz erhöhte die Entwicklungskosten und erschwerte den Anwendern die Einführung und Nutzung von Milvus.</p>
<p>Mit Milvus 2.2.12 können Benutzer während der ANN-Suche Rohvektoren abrufen, indem sie das Vektorfeld als Ausgabefeld festlegen und in HNSW-, DiskANN- oder IVF-FLAT-indizierten Sammlungen abfragen. Darüber hinaus können die Benutzer eine viel schnellere Vektorabrufgeschwindigkeit erwarten.</p>
<h2 id="Support-for-operations-on-JSON-arrays" class="common-anchor-header">Unterstützung für Operationen auf JSON-Arrays<button data-href="#Support-for-operations-on-JSON-arrays" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Vor kurzem haben wir in Milvus 2.2.8 Unterstützung für JSON hinzugefügt. Seitdem haben Benutzer zahlreiche Anfragen zur Unterstützung zusätzlicher JSON-Array-Operationen gestellt, wie z. B. Einschluss, Ausschluss, Schnittmenge, Vereinigung, Differenz und mehr. In Milvus 2.2.12 haben wir der Unterstützung der Funktion <code translate="no">json_contains</code> Priorität eingeräumt, um die Einschlussoperation zu ermöglichen. Wir werden die Unterstützung für andere Operatoren in zukünftigen Versionen hinzufügen.</p>
<h2 id="Enhancements-and-bug-fixes" class="common-anchor-header">Erweiterungen und Fehlerbehebungen<button data-href="#Enhancements-and-bug-fixes" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Neben der Einführung neuer Funktionen hat Milvus 2.2.12 die Leistung der Vektorsuche mit reduziertem Overhead verbessert, so dass umfangreiche Topk-Suchen leichter zu handhaben sind. Darüber hinaus wurde die Schreibleistung in Situationen mit aktiviertem Partitionsschlüssel und mehreren Partitionen verbessert und die CPU-Nutzung für große Maschinen optimiert. Dieses Update behebt verschiedene Probleme: übermäßige Festplattennutzung, festsitzende Verdichtung, seltene Datenlöschungen und Fehler beim Einfügen von Bulk-Daten. Weitere Informationen finden Sie in den <a href="https://milvus.io/docs/release_notes.md#2212">Milvus 2.2.12 Release Notes</a>.</p>
<h2 id="Lets-keep-in-touch" class="common-anchor-header">Lassen Sie uns in Kontakt bleiben!<button data-href="#Lets-keep-in-touch" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Wenn Sie Fragen oder Feedback zu Milvus haben, zögern Sie bitte nicht, uns über <a href="https://twitter.com/milvusio">Twitter</a> oder <a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn</a> zu kontaktieren. Sie können auch gerne unserem <a href="https://milvus.io/slack/">Slack-Kanal</a> beitreten, um sich direkt mit unseren Ingenieuren und der Community auszutauschen, oder besuchen Sie unsere <a href="https://us02web.zoom.us/meeting/register/tZ0pcO6vrzsuEtVAuGTpNdb6lGnsPBzGfQ1T#/registration">Dienstagssprechstunde</a>!</p>


Milvus 2.2.12: Leichterer Zugang, schnellere Vektorsuche und bessere Benutzerfreundlichkeit

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/What_s_New_in_Milvus_2_2_10_and_2_2_11_5018946465.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Grüße, Milvus-Fans! Wir freuen uns, Ihnen mitteilen zu können, dass wir soeben Milvus 2.2.10 und 2.2.11 veröffentlicht haben, zwei kleinere Updates, die sich in erster Linie auf Fehlerbehebungen und allgemeine Leistungsverbesserungen konzentrieren. Mit den beiden Updates können Sie ein stabileres System und eine bessere Benutzererfahrung erwarten. Werfen wir einen kurzen Blick auf die Neuerungen in diesen beiden Versionen.</p>
<h2 id="Milvus-2210" class="common-anchor-header">Milvus 2.2.10<button data-href="#Milvus-2210" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.2.10 behebt gelegentliche Systemabstürze, beschleunigt das Laden und Indizieren, reduziert die Speichernutzung in Datenknoten und bietet viele weitere Verbesserungen. Im Folgenden sind einige bemerkenswerte Änderungen aufgeführt:</p>
<ul>
<li>Der alte CGO Payload Writer wurde durch einen neuen ersetzt, der in reinem Go geschrieben wurde, was die Speichernutzung in Datenknoten reduziert.</li>
<li><code translate="no">go-api/v2</code> wurde zur Datei <code translate="no">milvus-proto</code> hinzugefügt, um Verwechslungen mit verschiedenen <code translate="no">milvus-proto</code> Versionen zu vermeiden.</li>
<li>Gin wurde von Version 1.9.0 auf 1.9.1 aktualisiert, um einen Fehler in der Funktion <code translate="no">Context.FileAttachment</code> zu beheben.</li>
<li>Hinzufügen der rollenbasierten Zugriffskontrolle (RBAC) für die FlushAll- und Datenbank-APIs.</li>
<li>Es wurde ein zufälliger Absturz behoben, der durch das AWS S3 SDK verursacht wurde.</li>
<li>Die Lade- und Indizierungsgeschwindigkeiten wurden verbessert.</li>
</ul>
<p>Weitere Details finden Sie in den <a href="https://milvus.io/docs/release_notes.md#2210">Milvus 2.2.10 Release Notes</a>.</p>
<h2 id="Milvus-2211" class="common-anchor-header">Milvus 2.2.11<button data-href="#Milvus-2211" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.2.11 hat verschiedene Probleme behoben, um die Stabilität des Systems zu verbessern. Außerdem wurde die Leistung bei der Überwachung, Protokollierung, Ratenbegrenzung und dem Abfangen von clusterübergreifenden Anfragen verbessert. Im Folgenden finden Sie die wichtigsten Neuerungen dieses Updates.</p>
<ul>
<li>Dem Milvus GRPC-Server wurde ein Interceptor hinzugefügt, um Probleme mit dem Cross-Cluster-Routing zu vermeiden.</li>
<li>Hinzufügen von Fehlercodes zum minio chunk manager, um die Fehlerdiagnose und -behebung zu erleichtern.</li>
<li>Verwendung eines Singleton-Coroutine-Pools, um die Verschwendung von Coroutines zu vermeiden und die Nutzung von Ressourcen zu maximieren.</li>
<li>Reduzierung der Festplattennutzung für RocksMq auf ein Zehntel des ursprünglichen Wertes durch Aktivierung der zstd-Kompression.</li>
<li>Gelegentliche QueryNode-Panik während des Ladens behoben.</li>
<li>Das Problem mit der Drosselung von Leseanfragen, das durch die doppelte Berechnung der Warteschlangenlänge verursacht wurde, wurde behoben.</li>
<li>Probleme mit GetObject, das unter MacOS Nullwerte zurückgibt, wurden behoben.</li>
<li>Es wurde ein Absturz behoben, der durch die falsche Verwendung des noexcept-Modifikators verursacht wurde.</li>
</ul>
<p>Weitere Details finden Sie in den <a href="https://milvus.io/docs/release_notes.md#2211">Milvus 2.2.11 Release Notes</a>.</p>
<h2 id="Let’s-keep-in-touch" class="common-anchor-header">Bleiben wir in Kontakt!<button data-href="#Let’s-keep-in-touch" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Wenn Sie Fragen oder Feedback zu Milvus haben, zögern Sie bitte nicht, uns über <a href="https://twitter.com/milvusio">Twitter</a> oder <a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn</a> zu kontaktieren. Sie können auch gerne unserem <a href="https://milvus.io/slack/">Slack-Kanal</a> beitreten, um sich direkt mit unseren Ingenieuren und der Community auszutauschen, oder besuchen Sie unsere <a href="https://us02web.zoom.us/meeting/register/tZ0pcO6vrzsuEtVAuGTpNdb6lGnsPBzGfQ1T#/registration">Dienstagssprechstunde</a>!</p>


Milvus 2.2.10 & 2.2.11 Enhanced System Stability and User Experience

Milvus 2.2.10 &amp; 2.2.11: Kleinere Updates für verbesserte Systemstabilität und Benutzerfreundlichkeit

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Milvus_hit_20_000_stars_284ed694d2.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Lasst uns das Konfetti auspacken und feiern!</p>
<p><a href="https://github.com/milvus-io/milvus">Milvus</a> hat einen herausragenden Meilenstein erreicht - das Überschreiten von 20.000 Sternen auf GitHub! Ohne die Unterstützung und das Feedback unserer treuen Fans und Community-Mitglieder hätten wir das nicht erreichen können. Vielen Dank dafür.</p>
<p>Um die Freude zu teilen, haben wir eine Liste kritischer Themen aus der breiteren Milvus-Community zusammengestellt, darunter:</p>
<ul>
<li>Sechs prominente Projekte, die Milvus nutzen</li>
<li>Fünf Integrationen mit anderen Open-Source-Projekten</li>
<li>Fünf bekannte Anwendungsfälle von Milvus</li>
<li>Fünf herausragende zukünftige Funktionen</li>
</ul>
<h2 id="Six-LLM-projects-that-utilize-Milvus" class="common-anchor-header">Sechs LLM-Projekte, die Milvus nutzen<button data-href="#Six-LLM-projects-that-utilize-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="PaperGPT" class="common-anchor-header">PaperGPT</h3><p><a href="http://papergpt.bio">PaperGPT</a> ist ein Suchwerkzeug für biomedizinische Arbeiten, das auf einem LLM und einer Vektordatenbank basiert. Es nutzt die PubMed-Datenbank und Technologien wie SentenceTransformers und Zilliz Cloud für eine effiziente Suche.</p>
<h3 id="NoticeAI" class="common-anchor-header">NoticeAI</h3><p>NoticeAI hilft Unternehmen bei der Automatisierung ihres Kundensupportprozesses. Es nutzt Milvus und LangChain, um Fragen des Kundensupports zu verfolgen, die Wissensdatenbank zu aktualisieren und zu entscheiden, ob ein Mensch hinzugezogen werden muss oder nicht.</p>
<h3 id="Searchanythingio" class="common-anchor-header">Search.anything.io</h3><p><a href="http://search.anything.io">Search Anything</a> nutzt LLMs und Milvus, um ein besseres Sucherlebnis zu bieten. Es nimmt eine Textbeschreibung eines Benutzers auf und findet die entsprechenden Bilder im Internet.</p>
<h3 id="IkuStudies" class="common-anchor-header">IkuStudies</h3><p><a href="https://ikustudies.xyz/">IkuStudies</a> ist ein Projekt, das es Nutzern ermöglicht, nach Homophonen in 28 Sprachen zu suchen. Es verwendet Milvus als Vektorspeicher, um Ähnlichkeiten zwischen den Wörtern zu finden.</p>
<h3 id="AssistLink-AI" class="common-anchor-header">AssistLink AI</h3><p><a href="https://www.linkedin.com/company/assistlink/about/">AssistLink AI</a> ist ein in Seattle ansässiges Startup, das Milvus und LLaMa 65bn verwendet, um Variablen für ein System zur Unterstützung der Regierung zu speichern.</p>
<h3 id="OSS-Chat" class="common-anchor-header">OSS-Chat</h3><p><a href="http://osschat.io">OSS Chat</a> ermöglicht es Ihnen, mit Open-Source-Software zu chatten. Es nutzt Milvus, um Fachwissen über Open-Source-Projekte einzubringen, und verwendet <a href="https://zilliz.com/blog/Caching-LLM-Queries-for-performance-improvements">GPTCache</a>, um häufig gestellte Fragen zwischenzuspeichern und so die LLM-Kosten zu senken.</p>
<h2 id="Five-AI-projects-Milvus-integrates-with" class="common-anchor-header">Fünf AI-Projekte, in die Milvus integriert ist<button data-href="#Five-AI-projects-Milvus-integrates-with" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="LlamaIndex" class="common-anchor-header">LlamaIndex</h3><p><a href="https://github.com/jerryjliu/llama_index">LlamaIndex</a> ist ein Daten-Framework für LLM-Anwendungen, das Datenkonnektoren bereitstellt, um externe Datenquellen mit einem LLM zu verbinden. LlamaIndex ermöglicht es Ihnen, Ihre privaten Daten oder Ihr domänenspezifisches Wissen direkt in Ihre LLM-Anwendung zu integrieren.</p>
<h3 id="LangChainLangChainJS" class="common-anchor-header">LangChain/LangChainJS</h3><p><a href="https://github.com/hwchase17/langchain">LangChain</a> ist eine Bibliothek, die entwickelt wurde, um die Entwicklung von LLM-Anwendungen zu beschleunigen und bietet Funktionen wie Prompt-Management, Ketten, datenerweiterte Generierung, Speicher und mehr.</p>
<h3 id="ChatGPT-Retrieval-Plugin" class="common-anchor-header">ChatGPT Abruf-Plugin</h3><p>Das <a href="https://github.com/openai/chatgpt-retrieval-plugin">ChatGPT Retrieval Plugin</a> von OpenAI ermöglicht die semantische Suche und den Abruf von persönlichen oder organisatorischen Dokumenten mit Hilfe von natürlichsprachlichen Abfragen. Entwickler können ihr Plugin einsetzen und es bei ChatGPT registrieren.</p>
<h3 id="Haystack" class="common-anchor-header">Haystack</h3><p><a href="https://github.com/deepset-ai/haystack">Haystack</a> ist ein End-to-End-NLP-Framework für die Erstellung von NLP-Anwendungen auf der Grundlage von LLMs, Transformatormodellen, Vektorsuche und anderen Technologien für Aufgaben wie die Beantwortung von Fragen, die semantische Dokumentensuche und die Erstellung komplexer Entscheidungen.</p>
<h3 id="GPTCache" class="common-anchor-header">GPTCache</h3><p>LLM-API-Aufrufe können sowohl teuer als auch langsam sein. <a href="https://github.com/zilliztech/gptcache">GPTCache</a> kann beide Probleme lösen, indem es einen semantischen Cache für LLM-Abfragen bereitstellt.</p>
<h2 id="Five-well-known-use-cases-of-Milvus" class="common-anchor-header">Fünf bekannte Anwendungsfälle von Milvus<button data-href="#Five-well-known-use-cases-of-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="LLM-augmentation" class="common-anchor-header">LLM-Erweiterung</h3><p>LLMs oder LLM-Anwendungen haben drei Hauptprobleme: Mangel an domänenspezifischen Daten, veraltete Daten und hohe Kosten. Milvus kann alle drei Probleme lösen, indem es Ihnen ermöglicht, externe Daten zu injizieren und als Cache für häufige Abfragen zu dienen.</p>
<h3 id="Anomaly-detection" class="common-anchor-header">Erkennung von Anomalien</h3><p>Anomale Daten unterscheiden sich signifikant von den übrigen Daten einer bestimmten Gruppe. Vektordatenbanken wie Milvus sind für die Durchführung von Ähnlichkeitssuchen von Vorteil und erleichtern die Erkennung solcher anomaler Daten.</p>
<h3 id="Recommender-systems" class="common-anchor-header">Empfehlungssysteme</h3><p>Ein Empfehlungssystem empfiehlt den Nutzern ähnliche Produkte wie die, die sie bereits mögen. Dies ist ein klassisches Beispiel dafür, wie Milvus diesen Prozess durch die Durchführung von Ähnlichkeitssuchen beschleunigt.</p>
<h3 id="Semantic-search" class="common-anchor-header">Semantische Suche</h3><p>Die Suche nach Schlüsselwörtern reicht nicht aus, wenn man einen Text nach Dingen mit ähnlicher Bedeutung durchsuchen will. Hier kommt die semantische Suche ins Spiel, bei der Milvus helfen kann. Milvus ermöglicht es Ihnen, die Absichten hinter dem Text zu vergleichen, nicht nur die Wörter selbst.</p>
<h3 id="Automatic-data-labeling" class="common-anchor-header">Automatische Datenbeschriftung</h3><p>Sie haben beschriftete Daten und möchten weitere markieren? Wenn Sie die Vektordarstellungen in Milvus speichern, können Sie automatisch die ähnlichsten Datenpunkte in Ihren neuen Daten erkennen und die entsprechenden Beschriftungen vornehmen.</p>
<h2 id="Five-awesome-upcoming-features" class="common-anchor-header">Fünf fantastische neue Funktionen<button data-href="#Five-awesome-upcoming-features" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="NVIDIA-GPU-support" class="common-anchor-header">NVIDIA GPU-Unterstützung</h3><p>Die GPU-Unterstützung wird in Milvus 2.3 enthalten sein und ist bereits in der <a href="https://github.com/milvus-io/milvus/releases/tag/v2.3.0-beta">letzten Betaversion</a> verfügbar!</p>
<h3 id="Delete-by-Expression" class="common-anchor-header">Löschen nach Ausdruck</h3><p>Sie können in Milvus bereits Skalar-/Metadaten-Filterung über boolesche Ausdrücke durchführen. Die Funktion "Löschen durch Ausdruck" ist ebenfalls in Vorbereitung.</p>
<h3 id="Change-Data-Capture-CDC" class="common-anchor-header">Änderungsdatenerfassung (CDC)</h3><p>CDC ist eine Technik zur Erfassung und Verfolgung von Änderungen an Ihrer Milvus-Instanz in Echtzeit.</p>
<h3 id="Range-Search" class="common-anchor-header">Bereichssuche</h3><p>Die Bereichssuche, in manchen Kreisen auch als Epsilon-Suche bekannt, ermöglicht es Ihnen, alle Vektoren innerhalb eines bestimmten Abstands zu Ihrem Abfragevektor zu finden.</p>
<h3 id="Fast-Scan" class="common-anchor-header">Schneller Scan</h3><p>4-Bit-Quantisierung und FastScan wurden kürzlich zu FAISS hinzugefügt und werden auch in Milvus Einzug halten.</p>
<h2 id="Looking-forward-to-Milvus-reaching-even-greater-heights" class="common-anchor-header">Wir freuen uns darauf, dass Milvus noch größere Höhen erreichen wird!<button data-href="#Looking-forward-to-Milvus-reaching-even-greater-heights" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Wir möchten unseren Nutzern, Community-Mitgliedern, Ökosystempartnern und Sternguckern für ihre kontinuierliche Unterstützung, ihr Feedback und ihre Beiträge danken. Wir freuen uns darauf, mit Milvus noch größere Höhen zu erreichen!</p>


Ein stellarer Meilenstein: Milvus übertrifft 20.000 Sterne auf GitHub

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Conversational_Memory_in_Lang_Chain_7c1b4b7ba9.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>LangChain ist ein robuster Rahmen für die Erstellung von LLM-Anwendungen. Mit dieser Leistung kommt jedoch auch ein gewisses Maß an Komplexität. LangChain bietet viele Möglichkeiten, einen LLM aufzufordern und wesentliche Funktionen wie den Konversationsspeicher. Der Konversationsspeicher bietet dem LLM einen Kontext, um sich an Ihren Chat zu erinnern.</p>
<p>In diesem Beitrag sehen wir uns an, wie man den Gesprächsspeicher mit LangChain und Milvus verwendet. Dazu müssen Sie auf <code translate="no">pip</code> vier Bibliotheken und einen OpenAI-API-Schlüssel installieren. Die vier Bibliotheken, die Sie benötigen, können Sie installieren, indem Sie <code translate="no">pip install langchain milvus pymilvus python-dotenv</code> ausführen. Oder führen Sie den ersten Block im <a href="https://colab.research.google.com/drive/11p-u8nKqrQYePlXR0HiSrUapmKLD0QN9?usp=sharing">CoLab Notebook</a> für diesen Artikel aus.</p>
<p>In diesem Beitrag erfahren wir mehr über:</p>
<ul>
<li>Konversationsspeicher mit LangChain</li>
<li>Einrichten des Konversationskontextes</li>
<li>Das Gesprächsgedächtnis mit LangChain auffordern</li>
<li>LangChain Gesprächsgedächtnis Zusammenfassung</li>
</ul>
<h2 id="Conversational-Memory-with-LangChain" class="common-anchor-header">Konversationsspeicher mit LangChain<button data-href="#Conversational-Memory-with-LangChain" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>In der Standardeinstellung interagieren Sie mit einem LLM durch einzelne Prompts. Das Hinzufügen eines Kontextspeichers oder "Konversationsspeichers" bedeutet, dass Sie nicht mehr alles über einen Prompt senden müssen. LangChain bietet die Möglichkeit, die Konversation zu speichern, die Sie bereits mit einem LLM geführt haben, um diese Informationen später abzurufen.</p>
<p>Um ein persistentes Gesprächsgedächtnis mit einem Vektorspeicher einzurichten, benötigen wir sechs Module von LangChain. Zuerst müssen wir den <code translate="no">OpenAIEmbeddings</code> und den <code translate="no">OpenAI</code> LLM besorgen. Außerdem benötigen wir <code translate="no">VectorStoreRetrieverMemory</code> und die LangChain-Version von <code translate="no">Milvus</code>, um ein Vektorspeicher-Backend zu verwenden. Dann brauchen wir <code translate="no">ConversationChain</code> und <code translate="no">PromptTemplate</code>, um unsere Konversation zu speichern und sie abzufragen.</p>
<p>Die Bibliotheken <code translate="no">os</code>, <code translate="no">dotenv</code> und <code translate="no">openai</code> sind hauptsächlich für operative Zwecke gedacht. Wir verwenden sie, um den OpenAI-API-Schlüssel zu laden und zu verwenden. Der letzte Einrichtungsschritt besteht darin, eine lokale <a href="https://milvus.io/docs/milvus_lite.md">Milvus-Lite-Instanz</a> einzurichten. Dazu verwenden wir die <code translate="no">default_server</code> aus dem Milvus-Python-Paket.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> langchain.<span class="hljs-property">embeddings</span>.<span class="hljs-property">openai</span> <span class="hljs-keyword">import</span> <span class="hljs-title class_">OpenAIEmbeddings</span>
<span class="hljs-keyword">from</span> langchain.<span class="hljs-property">llms</span> <span class="hljs-keyword">import</span> <span class="hljs-title class_">OpenAI</span>
<span class="hljs-keyword">from</span> langchain.<span class="hljs-property">memory</span> <span class="hljs-keyword">import</span> <span class="hljs-title class_">VectorStoreRetrieverMemory</span>
<span class="hljs-keyword">from</span> langchain.<span class="hljs-property">chains</span> <span class="hljs-keyword">import</span> <span class="hljs-title class_">ConversationChain</span>
<span class="hljs-keyword">from</span> langchain.<span class="hljs-property">prompts</span> <span class="hljs-keyword">import</span> <span class="hljs-title class_">PromptTemplate</span>
<span class="hljs-keyword">from</span> langchain.<span class="hljs-property">vectorstores</span> <span class="hljs-keyword">import</span> <span class="hljs-title class_">Milvus</span>
embeddings = <span class="hljs-title class_">OpenAIEmbeddings</span>()


<span class="hljs-keyword">import</span> os
<span class="hljs-keyword">from</span> dotenv <span class="hljs-keyword">import</span> load_dotenv
<span class="hljs-keyword">import</span> openai
<span class="hljs-title function_">load_dotenv</span>()
openai.<span class="hljs-property">api_key</span> = os.<span class="hljs-title function_">getenv</span>(<span class="hljs-string">&quot;OPENAI_API_KEY&quot;</span>)


<span class="hljs-keyword">from</span> milvus <span class="hljs-keyword">import</span> default_server
default_server.<span class="hljs-title function_">start</span>()
<button class="copy-code-btn"></button></code></pre>
<h2 id="Setting-Up-Conversation-Context" class="common-anchor-header">Einrichten des Konversationskontextes<button data-href="#Setting-Up-Conversation-Context" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Nachdem wir nun alle Voraussetzungen geschaffen haben, können wir mit der Erstellung unseres Gesprächsspeichers fortfahren. Unser erster Schritt besteht darin, mit LangChain eine Verbindung zum Milvus-Server herzustellen. Als nächstes verwenden wir ein leeres Wörterbuch, um unsere LangChain-Milvus-Sammlung zu erstellen. Außerdem geben wir die oben erstellten Einbettungen und die Verbindungsdetails für den Milvus-Lite-Server an.</p>
<p>Um die Vektordatenbank für den Konversationsspeicher zu verwenden, müssen wir sie als Retriever instanziieren. Wir rufen in diesem Fall nur das Top-1-Ergebnis ab und setzen <code translate="no">k=1</code>. Der letzte Schritt bei der Einrichtung des Konversationsspeichers ist die Verwendung des Objekts <code translate="no">VectorStoreRetrieverMemory</code> als Konversationsspeicher über die soeben eingerichtete Verbindung zwischen Retriever und Vektordatenbank.</p>
<p>Um unseren Konversationsspeicher zu verwenden, muss er einen Kontext enthalten. Geben wir dem Speicher also etwas Kontext. Für dieses Beispiel geben wir fünf Informationen an. Wir speichern meinen Lieblingssnack (Schokolade), Sport (Schwimmen), Bier (Guinness), Nachtisch (Käsekuchen) und Musiker (Taylor Swift). Jeder Eintrag wird über die Funktion <code translate="no">save_context</code> im Speicher abgelegt.</p>
<pre><code translate="no">vectordb = Milvus.from_documents(
   {},
   embeddings,
   connection_args={<span class="hljs-string">&quot;host&quot;</span>: <span class="hljs-string">&quot;127.0.0.1&quot;</span>, <span class="hljs-string">&quot;port&quot;</span>: default_server.listen_port})
retriever = Milvus.as_retriever(vectordb, search_kwargs=<span class="hljs-built_in">dict</span>(k=<span class="hljs-number">1</span>))
memory = VectorStoreRetrieverMemory(retriever=retriever)
about_me = [
   {<span class="hljs-string">&quot;input&quot;</span>: <span class="hljs-string">&quot;My favorite snack is chocolate&quot;</span>,
    <span class="hljs-string">&quot;output&quot;</span>: <span class="hljs-string">&quot;Nice&quot;</span>},
   {<span class="hljs-string">&quot;input&quot;</span>: <span class="hljs-string">&quot;My favorite sport is swimming&quot;</span>,
    <span class="hljs-string">&quot;output&quot;</span>: <span class="hljs-string">&quot;Cool&quot;</span>},
   {<span class="hljs-string">&quot;input&quot;</span>: <span class="hljs-string">&quot;My favorite beer is Guinness&quot;</span>,
    <span class="hljs-string">&quot;output&quot;</span>: <span class="hljs-string">&quot;Great&quot;</span>},
   {<span class="hljs-string">&quot;input&quot;</span>: <span class="hljs-string">&quot;My favorite dessert is cheesecake&quot;</span>,
    <span class="hljs-string">&quot;output&quot;</span>: <span class="hljs-string">&quot;Good to know&quot;</span>},
   {<span class="hljs-string">&quot;input&quot;</span>: <span class="hljs-string">&quot;My favorite musician is Taylor Swift&quot;</span>,
    <span class="hljs-string">&quot;output&quot;</span>: <span class="hljs-string">&quot;Same&quot;</span>}
]
<span class="hljs-keyword">for</span> example <span class="hljs-keyword">in</span> about_me:
   memory.save_context({<span class="hljs-string">&quot;input&quot;</span>: example[<span class="hljs-string">&quot;input&quot;</span>]}, {<span class="hljs-string">&quot;output&quot;</span>: example[<span class="hljs-string">&quot;output&quot;</span>]})
<button class="copy-code-btn"></button></code></pre>
<h2 id="Prompting-the-Conversational-Memory-with-LangChain" class="common-anchor-header">Prompting des Gesprächsspeichers mit LangChain<button data-href="#Prompting-the-Conversational-Memory-with-LangChain" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Es ist an der Zeit, sich anzusehen, wie wir unser Gesprächsgedächtnis nutzen können. Beginnen wir mit der Verbindung zum OpenAI LLM über LangChain. Wir verwenden eine Temperatur von 0, um anzuzeigen, dass wir nicht wollen, dass unser LLM kreativ ist.</p>
<p>Als nächstes erstellen wir eine Vorlage. Wir teilen dem LLM mit, dass er sich in einem freundlichen Gespräch mit einem Menschen befindet und fügen zwei Variablen ein. Die Variable <code translate="no">history</code> liefert den Kontext aus dem Gesprächsspeicher. Die Variable <code translate="no">input</code> liefert die aktuelle Eingabe. Wir verwenden das Objekt <code translate="no">PromptTemplate</code>, um diese Variablen einzufügen.</p>
<p>Wir verwenden das Objekt <code translate="no">ConversationChain</code>, um unsere Eingabeaufforderung, das LLM und den Speicher zu kombinieren. Nun sind wir bereit, das Gedächtnis unserer Konversation zu überprüfen, indem wir ihr einige Prompts geben. Wir beginnen damit, dem LLM mitzuteilen, dass unser Name Gary ist, der Hauptkonkurrent in der Pokemon-Serie (alles andere im Gesprächsspeicher ist eine Tatsache über mich).</p>
<pre><code translate="no">llm = OpenAI(temperature=<span class="hljs-number">0</span>) <span class="hljs-comment"># Can be any valid LLM</span>
_DEFAULT_TEMPLATE = <span class="hljs-string">&quot;&quot;&quot;The following is a friendly conversation between a human and an AI. The AI is talkative and provides lots of specific details from its context. If the AI does not know the answer to a question, it truthfully says it does not know.


Relevant pieces of previous conversation:
{history}


(You do not need to use these pieces of information if not relevant)


Current conversation:
Human: {input}
AI:&quot;&quot;&quot;</span>
PROMPT = PromptTemplate(
   input_variables=[<span class="hljs-string">&quot;history&quot;</span>, <span class="hljs-string">&quot;input&quot;</span>], template=_DEFAULT_TEMPLATE
)
conversation_with_summary = ConversationChain(
   llm=llm,
   prompt=PROMPT,
   memory=memory,
   verbose=<span class="hljs-literal">True</span>
)
conversation_with_summary.predict(<span class="hljs-built_in">input</span>=<span class="hljs-string">&quot;Hi, my name is Gary, what&#x27;s up?&quot;</span>)
<button class="copy-code-btn"></button></code></pre>
<p>Das Bild unten zeigt, wie eine erwartete Antwort des LLM aussehen könnte. In diesem Beispiel hat es geantwortet, indem es sagte, sein Name sei "AI".</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Conversational_Memory_in_Lang_Chain_graphics_1_2bf386d22a.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Nun wollen wir das Gedächtnis testen. Wir verwenden das Objekt <code translate="no">ConversationChain</code>, das wir zuvor erstellt haben, und fragen nach meinem Lieblingsmusiker.</p>
<pre><code translate="no">conversation_with_summary.predict(<span class="hljs-built_in">input</span>=<span class="hljs-string">&quot;who is my favorite musician?&quot;</span>)
<button class="copy-code-btn"></button></code></pre>
<p>Das Bild unten zeigt eine erwartete Antwort der Conversation Chain. Da wir die ausführliche Option verwendet haben, wird uns auch die entsprechende Unterhaltung angezeigt. Wir sehen, dass die Antwort wie erwartet lautet, dass meine Lieblingskünstlerin Taylor Swift ist.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Conversational_Memory_in_Lang_Chain_graphics_2_8355206f3e.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Als nächstes wollen wir nach meinem Lieblingsdessert - Käsekuchen - suchen.</p>
<pre><code translate="no">conversation_with_summary.predict(<span class="hljs-built_in">input</span>=<span class="hljs-string">&quot;Whats my favorite dessert?&quot;</span>)
<button class="copy-code-btn"></button></code></pre>
<p>Bei der Abfrage nach meinem Lieblingsdessert können wir sehen, dass die Conversation Chain wieder die richtigen Informationen von Milvus auswählt. Sie stellt fest, dass mein Lieblingsdessert Käsekuchen ist, wie ich es bereits gesagt habe.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Conversational_Memory_in_Lang_Chain_graphics_3_66a5c9690f.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Nachdem wir nun bestätigt haben, dass wir die Informationen abfragen können, die wir zuvor gegeben haben, wollen wir noch eine weitere Sache überprüfen - die Informationen, die wir zu Beginn unserer Unterhaltung gegeben haben. Wir haben unser Gespräch begonnen, indem wir der KI gesagt haben, dass unser Name Gary ist.</p>
<pre><code translate="no">conversation_with_summary.predict(<span class="hljs-built_in">input</span>=<span class="hljs-string">&quot;What&#x27;s my name?&quot;</span>)
<button class="copy-code-btn"></button></code></pre>
<p>Unsere abschließende Prüfung ergibt, dass die Konversationskette das Bit über unseren Namen in unserem Vektorspeicher für Konversationen gespeichert hat. Sie gibt zurück, dass wir gesagt haben, unser Name sei Gary.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Conversational_Memory_in_Lang_Chain_graphics_4_f446f49672.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<h2 id="LangChain-Conversational-Memory-Summary" class="common-anchor-header">LangChain Konversationsspeicher Zusammenfassung<button data-href="#LangChain-Conversational-Memory-Summary" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>In diesem Tutorial haben wir gelernt, wie man den Konversationsspeicher in LangChain verwendet. LangChain bietet Zugang zu Vektorspeicher-Backends wie Milvus für persistenten Konversationsspeicher. Wir können den Konversationsspeicher nutzen, indem wir einen Verlauf in unsere Prompts einfügen und den historischen Kontext im <code translate="no">ConversationChain</code> Objekt speichern.</p>
<p>Für dieses Beispiel-Tutorial haben wir der Konversationskette fünf Fakten über mich gegeben und so getan, als wäre ich der Hauptkonkurrent in Pokemon, Gary. Dann haben wir die Gesprächskette mit Fragen zu dem von uns gespeicherten Vorwissen - mein Lieblingsmusiker und mein Lieblingsdessert - gelöchert. Sie beantwortete beide Fragen richtig und zeigte die entsprechenden Einträge an. Schließlich fragten wir nach unserem Namen, den wir zu Beginn des Gesprächs angegeben hatten, und es wurde korrekt zurückgegeben, dass wir gesagt hatten, unser Name sei "Gary".</p>


Konversationsspeicher in LangChain

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/What_s_New_in_2_2_9_858e54a2d3.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Wir freuen uns, die Ankunft von Milvus 2.2.9 ankündigen zu können, eine mit Spannung erwartete Version, die einen bedeutenden Meilenstein für das Team und die Community darstellt. Diese Version bietet viele spannende Funktionen, darunter die lang erwartete Unterstützung für JSON-Datentypen, dynamische Schemata und Partitionsschlüssel, die eine optimierte Benutzererfahrung und einen optimierten Entwicklungsworkflow gewährleisten. Darüber hinaus enthält diese Version zahlreiche Erweiterungen und Fehlerbehebungen. Begleiten Sie uns bei der Erkundung von Milvus 2.2.9 und entdecken Sie, warum diese Version so spannend ist.</p>
<h2 id="Optimized-user-experience-with-JSON-support" class="common-anchor-header">Optimierte Benutzerfreundlichkeit mit JSON-Unterstützung<button data-href="#Optimized-user-experience-with-JSON-support" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus hat die mit Spannung erwartete Unterstützung für den JSON-Datentyp eingeführt, der die nahtlose Speicherung von JSON-Daten neben den Metadaten von Vektoren in den Sammlungen der Benutzer ermöglicht. Mit dieser Erweiterung können Benutzer JSON-Daten effizient in Massen einfügen und erweiterte Abfragen und Filterungen auf der Grundlage der Inhalte ihrer JSON-Felder durchführen. Darüber hinaus können Benutzer Ausdrücke nutzen und Operationen durchführen, die auf die JSON-Felder ihres Datensatzes zugeschnitten sind, Abfragen erstellen und Filter anwenden, die auf dem Inhalt und der Struktur ihrer JSON-Felder basieren, wodurch sie relevante Informationen extrahieren und Daten besser bearbeiten können.</p>
<p>In Zukunft wird das Milvus-Team Indizes für Felder innerhalb des JSON-Typs hinzufügen, um die Leistung von gemischten skalaren und vektoriellen Abfragen weiter zu optimieren. Bleiben Sie also gespannt auf die kommenden Entwicklungen!</p>
<h2 id="Added-flexibility-with-support-for-dynamic-schema" class="common-anchor-header">Mehr Flexibilität durch Unterstützung für dynamische Schemata<button data-href="#Added-flexibility-with-support-for-dynamic-schema" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Mit der Unterstützung von JSON-Daten bietet Milvus 2.2.9 jetzt eine dynamische Schemafunktionalität durch ein vereinfachtes Software Development Kit (SDK).</p>
<p>Ab Milvus 2.2.9 enthält das Milvus SDK eine High-Level-API, die automatisch dynamische Felder in das versteckte JSON-Feld der Sammlung einfügt, so dass sich die Benutzer ausschließlich auf ihre Geschäftsfelder konzentrieren können.</p>
<h2 id="Better-data-separation-and-enhanced-search-efficiency-with-Partition-Key" class="common-anchor-header">Bessere Datentrennung und verbesserte Sucheffizienz mit Partition Key<button data-href="#Better-data-separation-and-enhanced-search-efficiency-with-Partition-Key" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.2.9 erweitert seine Partitionierungsmöglichkeiten durch die Einführung der Funktion Partition Key. Sie ermöglicht benutzerspezifische Spalten als Primärschlüssel für die Partitionierung, wodurch zusätzliche APIs wie <code translate="no">loadPartition</code> und <code translate="no">releasePartition</code> überflüssig werden. Diese neue Funktion hebt auch die Begrenzung der Anzahl der Partitionen auf, was zu einer effizienteren Ressourcennutzung führt.</p>
<h2 id="Support-for-Alibaba-Cloud-OSS" class="common-anchor-header">Unterstützung für Alibaba Cloud OSS<button data-href="#Support-for-Alibaba-Cloud-OSS" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.2.9 unterstützt jetzt den Alibaba Cloud Object Storage Service (OSS). Alibaba-Cloud-Benutzer können die <code translate="no">cloudProvider</code> einfach für Alibaba Cloud konfigurieren und die Vorteile der nahtlosen Integration für die effiziente Speicherung und den Abruf von Vektordaten in der Cloud nutzen.</p>
<p>Zusätzlich zu den bereits erwähnten Funktionen bietet Milvus 2.2.9 Datenbankunterstützung in der rollenbasierten Zugriffskontrolle (RBAC), führt Verbindungsverwaltung ein und enthält mehrere Verbesserungen und Fehlerbehebungen. Weitere Informationen finden Sie in den <a href="https://milvus.io/docs/release_notes.md">Milvus 2.2.9 Release Notes</a>.</p>
<h2 id="Let’s-keep-in-touch" class="common-anchor-header">Lassen Sie uns in Kontakt bleiben!<button data-href="#Let’s-keep-in-touch" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Wenn Sie Fragen oder Feedback zu Milvus haben, zögern Sie bitte nicht, uns über <a href="https://twitter.com/milvusio">Twitter</a> oder <a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn</a> zu kontaktieren. Sie können auch gerne unserem <a href="https://milvus.io/slack/">Slack-Kanal</a> beitreten, um sich direkt mit unseren Ingenieuren und der Community auszutauschen, oder besuchen Sie unsere <a href="https://us02web.zoom.us/meeting/register/tZ0pcO6vrzsuEtVAuGTpNdb6lGnsPBzGfQ1T#/registration">Dienstagssprechstunde</a>!</p>


Milvus 2.2.9: Ein mit Spannung erwartetes Release mit optimaler Benutzerfreundlichkeit

<p><strong><em>Wichtiger Hinweis</em></strong></p>
<p><em>Wir haben Milvus Lite im Juni 2024 aktualisiert. Damit können KI-Entwickler Anwendungen schneller erstellen und gleichzeitig eine konsistente Erfahrung über verschiedene Bereitstellungsoptionen hinweg gewährleisten, einschließlich Milvus auf Kurbernetes, Docker und verwaltete Cloud-Dienste. Milvus Lite lässt sich auch in verschiedene KI-Frameworks und -Technologien integrieren und vereinfacht die Entwicklung von KI-Anwendungen mit Vektorsuchfunktionen. Weitere Informationen finden Sie unter den folgenden Referenzen:</em></p>
<ul>
<li><p><em>Milvus Lite Launch Blog: h<a href="https://milvus.io/blog/introducing-milvus-lite.md">ttps://</a>milvus.io/blog/introducing-milvus-lite.md</em></p></li>
<li><p><em>Milvus-Lite-Dokumentation: <a href="https://milvus.io/docs/quickstart.md">https://milvus.io/docs/quickstart.md</a></em></p></li>
<li><p><em>Milvus Lite GitHub-Repository: <a href="https://github.com/milvus-io/milvus-lite">https://github.com/milvus-io/milvus-lite</a></em></p></li>
</ul>
<p><br></p>
<p><a href="https://github.com/milvus-io/milvus">Milvus</a> ist eine Open-Source-Vektordatenbank, die speziell für die Indizierung, Speicherung und Abfrage von Einbettungsvektoren entwickelt wurde, die von tiefen neuronalen Netzen und anderen Modellen des maschinellen Lernens (ML) in Milliardenhöhe erzeugt werden. Sie ist zu einer beliebten Wahl für viele Unternehmen, Forscher und Entwickler geworden, die Ähnlichkeitssuchen in großen Datensätzen durchführen müssen.</p>
<p>Manche Benutzer finden die Vollversion von Milvus jedoch zu schwerfällig oder zu komplex. Um dieses Problem zu lösen, hat <a href="https://github.com/matrixji">Bin Ji</a>, einer der aktivsten Mitwirkenden in der Milvus-Gemeinschaft, <a href="https://github.com/milvus-io/milvus-lite">Milvus Lite</a> entwickelt, eine schlanke Version von Milvus.</p>
<h2 id="What-is-Milvus-Lite" class="common-anchor-header">Was ist Milvus Lite?<button data-href="#What-is-Milvus-Lite" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Wie bereits erwähnt, ist <a href="https://github.com/milvus-io/milvus-lite">Milvus Lite</a> eine vereinfachte Alternative zu Milvus, die viele Vorteile und Nutzen bietet.</p>
<ul>
<li>Sie können es in Ihre Python-Anwendung integrieren, ohne zusätzliches Gewicht zu erzeugen.</li>
<li>Es ist in sich geschlossen und benötigt keine weiteren Abhängigkeiten, da das eigenständige Milvus mit eingebettetem Etcd und lokalem Speicher arbeiten kann.</li>
<li>Sie können ihn als Python-Bibliothek importieren und ihn als eigenständigen Server mit Befehlszeilenschnittstelle (CLI) verwenden.</li>
<li>Er arbeitet reibungslos mit Google Colab und Jupyter Notebook zusammen.</li>
<li>Sie können Ihre Arbeit und Ihren Code sicher auf andere Milvus-Instanzen (Standalone-, Cluster- und vollständig verwaltete Versionen) migrieren, ohne dass ein Datenverlust droht.</li>
</ul>
<h2 id="When-should-you-use-Milvus-Lite" class="common-anchor-header">Wann sollten Sie Milvus Lite verwenden?<button data-href="#When-should-you-use-Milvus-Lite" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus Lite ist vor allem in den folgenden Situationen sehr hilfreich:</p>
<ul>
<li>Wenn Sie es vorziehen, Milvus ohne Container-Techniken und -Tools wie <a href="https://milvus.io/docs/install_standalone-operator.md">Milvus Operator</a>, <a href="https://milvus.io/docs/install_standalone-helm.md">Helm</a> oder <a href="https://milvus.io/docs/install_standalone-docker.md">Docker Compose</a> zu verwenden.</li>
<li>Wenn Sie für die Nutzung von Milvus keine virtuellen Maschinen oder Container benötigen.</li>
<li>Wenn Sie Milvus-Funktionen in Ihre Python-Anwendungen einbinden möchten.</li>
<li>Wenn Sie eine Milvus-Instanz in Colab oder Notebook für ein schnelles Experiment aufsetzen möchten.</li>
</ul>
<p><strong>Hinweis</strong>: Wir raten davon ab, Milvus Lite in einer Produktionsumgebung zu verwenden oder wenn Sie hohe Leistung, hohe Verfügbarkeit oder hohe Skalierbarkeit benötigen. Ziehen Sie stattdessen die Verwendung von <a href="https://github.com/milvus-io/milvus">Milvus-Clustern</a> oder <a href="https://zilliz.com/cloud">voll verwaltetem Milvus auf Zilliz Cloud</a> für die Produktion in Betracht.</p>
<h2 id="How-to-get-started-with-Milvus-Lite" class="common-anchor-header">Wie fängt man mit Milvus Lite an?<button data-href="#How-to-get-started-with-Milvus-Lite" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Werfen wir nun einen Blick darauf, wie Milvus Lite installiert, konfiguriert und verwendet wird.</p>
<h3 id="Prerequisites" class="common-anchor-header">Voraussetzungen</h3><p>Um Milvus Lite zu verwenden, stellen Sie bitte sicher, dass Sie die folgenden Anforderungen erfüllt haben:</p>
<ul>
<li>Installiertes Python 3.7 oder eine neuere Version.</li>
<li>Sie verwenden eines der unten aufgeführten verifizierten Betriebssysteme:<ul>
<li>Ubuntu &gt;= 18.04 (x86_64)</li>
<li>CentOS &gt;= 7.0 (x86_64)</li>
<li>MacOS &gt;= 11.0 (Apple Silicon)</li>
</ul></li>
</ul>
<p><strong>Anmerkungen</strong>:</p>
<ol>
<li>Milvus Lite verwendet <code translate="no">manylinux2014</code> als Basis-Image, wodurch es mit den meisten Linux-Distributionen für Linux-Benutzer kompatibel ist.</li>
<li>Der Betrieb von Milvus Lite unter Windows ist ebenfalls möglich, obwohl dies noch nicht vollständig verifiziert wurde.</li>
</ol>
<h3 id="Install-Milvus-Lite" class="common-anchor-header">Milvus Lite installieren</h3><p>Milvus Lite ist auf PyPI verfügbar, so dass Sie es über <code translate="no">pip</code> installieren können.</p>
<pre><code translate="no">$ python3 -m pip install milvus
<button class="copy-code-btn"></button></code></pre>
<p>Sie können es auch mit PyMilvus wie folgt installieren:</p>
<pre><code translate="no">$ python3 -m pip install milvus[client]
<button class="copy-code-btn"></button></code></pre>
<h3 id="Use-and-start-Milvus-Lite" class="common-anchor-header">Milvus Lite verwenden und starten</h3><p>Laden Sie das <a href="https://github.com/milvus-io/milvus-lite/tree/main/examples">Beispiel-Notizbuch</a> aus dem Beispiel-Ordner unseres Projekt-Repositorys herunter. Sie haben zwei Möglichkeiten, Milvus Lite zu verwenden: Entweder Sie importieren es als Python-Bibliothek oder Sie starten es als eigenständigen Server auf Ihrem Rechner unter Verwendung der CLI.</p>
<ul>
<li>Um Milvus Lite als Python-Modul zu starten, führen Sie die folgenden Befehle aus:</li>
</ul>
<pre><code translate="no"><span class="hljs-keyword">from</span> milvus <span class="hljs-keyword">import</span> default_server
<span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> connections, utility

<span class="hljs-comment"># Start your milvus server</span>
default_server.start()

<span class="hljs-comment"># Now you can connect with localhost and the given port</span>
<span class="hljs-comment"># Port is defined by default_server.listen_port</span>
connections.connect(host=<span class="hljs-string">&#x27;127.0.0.1&#x27;</span>, port=default_server.listen_port)

<span class="hljs-comment"># Check if the server is ready.</span>
<span class="hljs-built_in">print</span>(utility.get_server_version())

<span class="hljs-comment"># Stop your milvus server</span>
default_server.stop()
<button class="copy-code-btn"></button></code></pre>
<ul>
<li>Um Milvus Lite zu unterbrechen oder anzuhalten, verwenden Sie die Anweisung <code translate="no">with</code>.</li>
</ul>
<pre><code translate="no"><span class="hljs-keyword">from</span> milvus <span class="hljs-keyword">import</span> default_server

<span class="hljs-keyword">with</span> default_server:
  <span class="hljs-comment"># Milvus Lite has already started, use default_server here.</span>
  connections.connect(host=<span class="hljs-string">&#x27;127.0.0.1&#x27;</span>, port=default_server.listen_port)
<button class="copy-code-btn"></button></code></pre>
<ul>
<li>Um Milvus Lite als CLI-basierten Standalone-Server zu starten, führen Sie den folgenden Befehl aus:</li>
</ul>
<pre><code translate="no">milvus-server
<button class="copy-code-btn"></button></code></pre>
<p>Nachdem Sie Milvus Lite gestartet haben, können Sie PyMilvus oder ein anderes Tool Ihrer Wahl verwenden, um sich mit dem Standalone-Server zu verbinden.</p>
<h3 id="Start-Milvus-Lite-in-a-debug-mode" class="common-anchor-header">Starten von Milvus Lite in einem Debug-Modus</h3><ul>
<li>Um Milvus Lite in einem Debug-Modus als Python-Modul zu starten, führen Sie die folgenden Befehle aus:</li>
</ul>
<pre><code translate="no"><span class="hljs-keyword">from</span> milvus <span class="hljs-keyword">import</span> debug_server, MilvusServer

debug_server.run()

<span class="hljs-comment"># Or you can create a MilvusServer by yourself</span>
<span class="hljs-comment"># server = MilvusServer(debug=True)</span>
<button class="copy-code-btn"></button></code></pre>
<ul>
<li>Um den Standalone-Server in einem Debug-Modus zu starten, führen Sie den folgenden Befehl aus:</li>
</ul>
<pre><code translate="no">milvus-server --debug
<button class="copy-code-btn"></button></code></pre>
<h3 id="Persist-data-and-logs" class="common-anchor-header">Persistieren von Daten und Protokollen</h3><ul>
<li>Um ein lokales Verzeichnis für Milvus Lite zu erstellen, das alle relevanten Daten und Protokolle enthält, führen Sie die folgenden Befehle aus:</li>
</ul>
<pre><code translate="no"><span class="hljs-keyword">from</span> milvus <span class="hljs-keyword">import</span> default_server

<span class="hljs-keyword">with</span> <span class="hljs-attr">default_server</span>:
  default_server.<span class="hljs-title function_">set_base_dir</span>(<span class="hljs-string">&#x27;milvus_data&#x27;</span>)
<button class="copy-code-btn"></button></code></pre>
<ul>
<li>Um alle vom Standalone-Server erzeugten Daten und Protokolle auf Ihrem lokalen Laufwerk zu speichern, führen Sie den folgenden Befehl aus:</li>
</ul>
<pre><code translate="no">$ milvus-server --data milvus_data
<button class="copy-code-btn"></button></code></pre>
<h3 id="Configure-Milvus-Lite" class="common-anchor-header">Milvus Lite konfigurieren</h3><p>Die Konfiguration von Milvus Lite ähnelt der Einrichtung von Milvus-Instanzen über Python-APIs oder CLI.</p>
<ul>
<li>Um Milvus Lite mit Hilfe von Python-APIs zu konfigurieren, verwenden Sie die <code translate="no">config.set</code> API einer <code translate="no">MilvusServer</code> Instanz sowohl für die Grund- als auch für die Zusatzeinstellungen:</li>
</ul>
<pre><code translate="no"><span class="hljs-keyword">from</span> milvus <span class="hljs-keyword">import</span> default_server

<span class="hljs-keyword">with</span> default_server:
  default_server.config.<span class="hljs-built_in">set</span>(<span class="hljs-string">&#x27;system_Log_level&#x27;</span>, <span class="hljs-string">&#x27;info&#x27;</span>)
  default_server.config.<span class="hljs-built_in">set</span>(<span class="hljs-string">&#x27;proxy_port&#x27;</span>, <span class="hljs-number">19531</span>)
  default_server.config.<span class="hljs-built_in">set</span>(<span class="hljs-string">&#x27;dataCoord.segment.maxSize&#x27;</span>, <span class="hljs-number">1024</span>)
<button class="copy-code-btn"></button></code></pre>
<ul>
<li>Um Milvus Lite mit CLI zu konfigurieren, führen Sie den folgenden Befehl für die Grundeinstellungen aus:</li>
</ul>
<pre><code translate="no">$ milvus-server --system-log-level info
$ milvus-server --proxy-port 19531
<button class="copy-code-btn"></button></code></pre>
<ul>
<li>Oder führen Sie den folgenden Befehl für zusätzliche Konfigurationen aus.</li>
</ul>
<pre><code translate="no">$ milvus-server --extra-config dataCoord.segment.maxSize=1024
<button class="copy-code-btn"></button></code></pre>
<p>Alle konfigurierbaren Elemente sind in der Vorlage <code translate="no">config.yaml</code> enthalten, die mit dem Milvus-Paket geliefert wird.</p>
<p>Weitere technische Details zur Installation und Konfiguration von Milvus Lite finden Sie in unserer <a href="https://milvus.io/docs/milvus_lite.md#Prerequisites">Dokumentation</a>.</p>
<h2 id="Summary" class="common-anchor-header">Zusammenfassung<button data-href="#Summary" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus Lite ist eine ausgezeichnete Wahl für alle, die die Fähigkeiten von Milvus in einem kompakten Format suchen. Ob Sie Forscher, Entwickler oder Datenwissenschaftler sind, es lohnt sich, diese Option zu erkunden.</p>
<p>Milvus Lite ist auch eine wunderbare Bereicherung für die Open-Source-Gemeinschaft und zeigt die außergewöhnliche Arbeit seiner Mitwirkenden. Dank der Bemühungen von Bin Ji ist Milvus nun für mehr Nutzer verfügbar. Wir können es kaum erwarten, die innovativen Ideen zu sehen, die Bin Ji und andere Mitglieder der Milvus-Community in Zukunft hervorbringen werden.</p>
<h2 id="Let’s-keep-in-touch" class="common-anchor-header">Lassen Sie uns in Kontakt bleiben!<button data-href="#Let’s-keep-in-touch" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Wenn Sie Probleme bei der Installation oder Verwendung von Milvus Lite haben, können Sie <a href="https://github.com/milvus-io/milvus-lite/issues/new">hier ein Problem melden</a> oder uns über <a href="https://twitter.com/milvusio">Twitter</a> oder <a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn</a> kontaktieren. Sie sind auch herzlich eingeladen, unserem <a href="https://milvus.io/slack/">Slack-Kanal</a> beizutreten, um mit unseren Ingenieuren und der gesamten Community zu chatten, oder besuchen Sie <a href="https://us02web.zoom.us/meeting/register/tZ0pcO6vrzsuEtVAuGTpNdb6lGnsPBzGfQ1T#/registration">unsere Dienstagssprechstunde</a>!</p>


Einführung von Milvus Lite: die leichtgewichtige Version von Milvus

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/What_s_New_in_2_2_8_f4dd6de0f2.png" alt="Milvus 2.2.8" class="doc-image" id="milvus-2.2.8" />
   </span> <span class="img-wrapper"> <span>Milvus 2.2.8</span> </span></p>
<p>Wir freuen uns, unsere neueste Version von Milvus 2.2.8 ankündigen zu können. Diese Version enthält zahlreiche Verbesserungen und Fehlerkorrekturen im Vergleich zu den Vorgängerversionen, was zu einer besseren Abfrageleistung, Ressourcenschonung und höheren Durchsätzen führt. Schauen wir uns gemeinsam an, was in dieser Version neu ist.</p>
<h2 id="Reduced-peak-memory-consumption-during-collection-loading" class="common-anchor-header">Reduzierter Spitzenspeicherverbrauch beim Laden von Sammlungen<button data-href="#Reduced-peak-memory-consumption-during-collection-loading" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Um Abfragen durchführen zu können, muss Milvus Daten und Indizes in den Speicher laden. Während des Ladevorgangs können jedoch mehrere Speicherkopien dazu führen, dass der Spitzenspeicherverbrauch drei- bis viermal so hoch ist wie während der eigentlichen Laufzeit. Die neueste Version von Milvus 2.2.8 behebt dieses Problem effektiv und optimiert die Speichernutzung.</p>
<h2 id="Expanded-querying-scenarios-with-QueryNode-supporting-plugins" class="common-anchor-header">Erweiterte Abfrageszenarien mit QueryNode, das Plugins unterstützt<button data-href="#Expanded-querying-scenarios-with-QueryNode-supporting-plugins" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>QueryNode unterstützt nun Plugins in der neuesten Milvus 2.2.8. Sie können den Pfad der Plugin-Datei einfach in der <code translate="no">queryNode.soPath</code> Konfiguration angeben. Dann kann Milvus das Plugin zur Laufzeit laden und die verfügbaren Abfrageszenarien erweitern. Wenn Sie eine Anleitung zur Entwicklung von Plugins benötigen, lesen Sie bitte die <a href="https://pkg.go.dev/plugin">Go-Plugin-Dokumentation</a>.</p>
<h2 id="Optimized-querying-performance-with-enhanced-compaction-algorithm" class="common-anchor-header">Optimierte Abfrageleistung mit verbessertem Verdichtungsalgorithmus<button data-href="#Optimized-querying-performance-with-enhanced-compaction-algorithm" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Der Verdichtungsalgorithmus bestimmt die Geschwindigkeit, mit der die Segmente konvergieren können, was sich direkt auf die Abfrageleistung auswirkt. Mit den jüngsten Verbesserungen des Verdichtungsalgorithmus hat sich die Konvergenzeffizienz drastisch verbessert, was zu schnelleren Abfragen führt.</p>
<h2 id="Better-resource-saving-and-querying-performance-with-reduced-collection-shards" class="common-anchor-header">Bessere Ressourcensparsamkeit und Abfrageleistung mit reduzierten Sammlungssplittern<button data-href="#Better-resource-saving-and-querying-performance-with-reduced-collection-shards" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus ist ein massiv paralleles Verarbeitungssystem (MPP), was bedeutet, dass die Anzahl der Sammlungssplitter die Effizienz von Milvus beim Schreiben und Abfragen beeinflusst. In älteren Versionen verfügte eine Sammlung standardmäßig über zwei Shards, was zu einer ausgezeichneten Schreibleistung führte, aber die Abfrageleistung und die Ressourcenkosten beeinträchtigte. Mit dem neuen Milvus-Update 2.2.8 wurden die Standard-Sammlungs-Shards auf einen reduziert, wodurch die Benutzer mehr Ressourcen sparen und bessere Abfragen durchführen können. Die meisten Benutzer in der Community haben weniger als 10 Millionen Datenvolumen, und ein Shard ist ausreichend, um eine gute Schreibleistung zu erzielen.</p>
<p><strong>Hinweis</strong>: Dieses Upgrade wirkt sich nicht auf Sammlungen aus, die vor dieser Version erstellt wurden.</p>
<h2 id="20-throughput-increase-with-an-improved-query-grouping-algorithm" class="common-anchor-header">20 % mehr Durchsatz mit einem verbesserten Abfragegruppierungsalgorithmus<button data-href="#20-throughput-increase-with-an-improved-query-grouping-algorithm" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus verfügt über einen effizienten Abfragegruppierungsalgorithmus, der mehrere Abfrageanfragen in der Warteschlange zur schnelleren Ausführung zu einer einzigen zusammenfasst und so den Durchsatz erheblich verbessert. In der neuesten Version haben wir diesen Algorithmus weiter verbessert, wodurch sich der Durchsatz von Milvus um mindestens 20 % erhöht.</p>
<p>Zusätzlich zu den erwähnten Verbesserungen behebt Milvus 2.2.8 auch verschiedene Bugs. Weitere Details finden Sie in den <a href="https://milvus.io/docs/release_notes.md">Milvus Release Notes</a>.</p>
<h2 id="Let’s-keep-in-touch" class="common-anchor-header">Lassen Sie uns in Kontakt bleiben!<button data-href="#Let’s-keep-in-touch" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Wenn Sie Fragen oder Feedback zu Milvus haben, zögern Sie bitte nicht, uns über <a href="https://twitter.com/milvusio">Twitter</a> oder <a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn</a> zu kontaktieren. Sie sind auch herzlich eingeladen, unserem <a href="https://milvus.io/slack/">Slack-Kanal</a> beizutreten, um direkt mit unseren Ingenieuren und der gesamten Community zu chatten, oder besuchen Sie unsere <a href="https://us02web.zoom.us/meeting/register/tZ0pcO6vrzsuEtVAuGTpNdb6lGnsPBzGfQ1T#/registration">Sprechstunde am Dienstag</a>!</p>


Milvus 2.2.8: Bessere Abfrageleistung, 20% höherer Durchsatz

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/exploring_milvus_latest_versions_4fa890533e.png" alt="Milvus at Its Best" class="doc-image" id="milvus-at-its-best" />
   </span> <span class="img-wrapper"> <span>Milvus von seiner besten Seite</span> </span></p>
<p>Willkommen zurück, liebe Milvus-Fans! Wir wissen, dass es schon eine Weile her ist, seit wir das letzte Mal über diese innovative Open-Source-Vektordatenbank berichtet haben. Aber keine Sorge, wir sind hier, um Sie über alle aufregenden Entwicklungen zu informieren, die seit August letzten Jahres stattgefunden haben.</p>
<p>In diesem Blogbeitrag stellen wir Ihnen die neuesten Milvus-Versionen vor, von Version 2.2 bis Version 2.2.6. Wir haben viel zu berichten, darunter neue Funktionen, Verbesserungen, Fehlerbehebungen und Optimierungen. Also, schnallen Sie sich an, und lassen Sie uns eintauchen!</p>
<h2 id="Milvus-v22-a-major-release-with-enhanced-stability-faster-search-speed-and-flexible-scalability" class="common-anchor-header">Milvus v2.2: eine größere Version mit verbesserter Stabilität, schnellerer Suchgeschwindigkeit und flexibler Skalierbarkeit<button data-href="#Milvus-v22-a-major-release-with-enhanced-stability-faster-search-speed-and-flexible-scalability" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus v2.2 ist ein bedeutendes Release, das sieben brandneue Funktionen und zahlreiche bahnbrechende Verbesserungen gegenüber früheren Versionen einführt. Werfen wir einen genaueren Blick auf einige der Highlights:</p>
<ul>
<li><strong>Bulk-Inserts von Entitäten aus Dateien</strong>: Mit dieser Funktion können Sie einen Stapel von Entitäten in einer oder mehreren Dateien mit nur wenigen Zeilen Code direkt in Milvus hochladen, was Ihnen Zeit und Mühe spart.</li>
<li><strong>Paginierung von Abfrageergebnissen</strong>: Um zu vermeiden, dass eine Vielzahl von Such- und Abfrageergebnissen in einem einzigen Remote-Procedure-Call (RPC) zurückgegeben werden, ermöglicht Milvus v2.2 die Konfiguration von Offsets und die Filterung von Ergebnissen mit Schlüsselwörtern in Suchen und Abfragen.</li>
<li><strong>Rollenbasierte Zugriffskontrolle (RBAC)</strong>: Milvus v2.2 unterstützt jetzt RBAC, so dass Sie den Zugriff auf Ihre Milvus-Instanz durch die Verwaltung von Benutzern, Rollen und Berechtigungen steuern können.</li>
<li><strong>Kontingente und Limits</strong>: Quotas und Limits sind ein neuer Mechanismus in Milvus v2.2, der das Datenbanksystem vor OOM-Fehlern (Out-of-Memory) und Abstürzen bei plötzlichen Datenverkehrsspitzen schützt. Mit dieser Funktion können Sie die Ingestion, die Suche und die Speichernutzung kontrollieren.</li>
<li><strong>Time to Live (TTL) auf Sammlungsebene</strong>: In früheren Versionen von Milvus konnten Sie nur die TTL für Ihre Cluster konfigurieren. Milvus v2.2 unterstützt jetzt jedoch die Konfiguration der TTL auf Sammlungsebene. Wenn Sie die TTL für eine bestimmte Sammlung konfigurieren, laufen die Entitäten in dieser Sammlung automatisch ab, nachdem die TTL abgelaufen ist. Diese Konfiguration bietet eine feinere Kontrolle über die Datenaufbewahrung.</li>
<li><strong>Festplattenbasierte Approximate Nearest Neighbor Search (ANNS) Indizes (Beta)</strong>: Milvus v2.2 führt Unterstützung für DiskANN ein, einen SSD-residenten und Vamana-Graph-basierten ANNS-Algorithmus. Diese Unterstützung ermöglicht die direkte Suche in großen Datensätzen, was die Speichernutzung um bis zu 10 Mal reduzieren kann.</li>
<li><strong>Datensicherung (Beta)</strong>: Milvus v2.2 bietet <a href="https://github.com/zilliztech/milvus-backup">ein brandneues Tool</a> für die ordnungsgemäße Sicherung und Wiederherstellung Ihrer Milvus-Daten, entweder über eine Befehlszeile oder einen API-Server.</li>
</ul>
<p>Zusätzlich zu den oben erwähnten neuen Funktionen enthält Milvus v2.2 Korrekturen für fünf Fehler und mehrere Verbesserungen, um die Stabilität, Beobachtbarkeit und Leistung von Milvus zu verbessern. Weitere Details finden Sie in den <a href="https://milvus.io/docs/release_notes.md#v220">Milvus v2.2 Release Notes</a>.</p>
<h2 id="Milvus-v221--v222-minor-releases-with-issues-fixed" class="common-anchor-header">Milvus v2.2.1 &amp; v2.2.2: kleinere Versionen mit behobenen Problemen<button data-href="#Milvus-v221--v222-minor-releases-with-issues-fixed" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus v2.2.1 und v2.2.2 sind kleinere Releases, die sich auf die Behebung kritischer Probleme in älteren Versionen und die Einführung neuer Funktionen konzentrieren. Hier sind einige Highlights:</p>
<h3 id="Milvus-v221" class="common-anchor-header">Milvus v2.2.1</h3><ul>
<li>Unterstützt Pulsa-Mieter und -Authentifizierung</li>
<li>Unterstützt Transport Layer Security (TLS) in der etcd-Konfigurationsquelle</li>
<li>Verbessert die Suchleistung um über 30%</li>
<li>Optimiert den Scheduler und erhöht die Wahrscheinlichkeit von Merge-Tasks</li>
<li>Behebt mehrere Fehler, einschließlich Term-Filtering-Fehlern bei indizierten skalaren Feldern und IndexNode-Panik bei Fehlern bei der Erstellung eines Index</li>
</ul>
<h3 id="Milvus-v222" class="common-anchor-header">Milvus v2.2.2</h3><ul>
<li>Behebt das Problem, dass der Proxy den Cache der Shard-Leader nicht aktualisiert</li>
<li>Behebt das Problem, dass die geladenen Informationen für freigegebene Sammlungen/Partitionen nicht bereinigt werden</li>
<li>Behebt das Problem, dass der Ladezähler nicht rechtzeitig geleert wird</li>
</ul>
<p>Weitere Details finden Sie in den <a href="https://milvus.io/docs/release_notes.md#v221">Milvus v2.2.1 Release Notes</a> und <a href="https://milvus.io/docs/release_notes.md#v222">Milvus v2.2.2 Release Notes</a>.</p>
<h2 id="Milvus-v223-more-secure-stable-and-available" class="common-anchor-header">Milvus v2.2.3: sicherer, stabiler und verfügbarer<button data-href="#Milvus-v223-more-secure-stable-and-available" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus v2.2.3 ist eine Version, die sich auf die Verbesserung der Sicherheit, Stabilität und Verfügbarkeit des Systems konzentriert. Darüber hinaus führt sie zwei wichtige Funktionen ein:</p>
<ul>
<li><p><strong>Rolling Upgrade</strong>: Diese Funktion ermöglicht es Milvus, auf eingehende Anfragen während des Upgrade-Prozesses zu reagieren, was in früheren Versionen nicht möglich war. Rolling Upgrades stellen sicher, dass das System auch während des Upgrades verfügbar bleibt und auf Benutzeranfragen reagieren kann.</p></li>
<li><p><strong>Hohe Verfügbarkeit des Koordinators (HA)</strong>: Diese Funktion ermöglicht es den Milvus-Koordinatoren, in einem Aktiv-Standby-Modus zu arbeiten, wodurch das Risiko von Einzelausfällen verringert wird. Selbst bei unerwarteten Katastrophen wird die Wiederherstellungszeit auf höchstens 30 Sekunden reduziert.</p></li>
</ul>
<p>Zusätzlich zu diesen neuen Funktionen enthält Milvus v2.2.3 zahlreiche Verbesserungen und Fehlerkorrekturen, einschließlich verbesserter Bulk-Insert-Leistung, reduzierter Speichernutzung, optimierter Überwachungsmetriken und verbesserter Meta-Storage-Leistung. Weitere Details finden Sie in den <a href="https://milvus.io/docs/release_notes.md#v223">Milvus v2.2.3 Release Notes</a>.</p>
<h2 id="Milvus-v224-faster-more-reliable-and-resource-saving" class="common-anchor-header">Milvus v2.2.4: schneller, zuverlässiger und ressourcenschonend<button data-href="#Milvus-v224-faster-more-reliable-and-resource-saving" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus v2.2.4 ist ein kleines Update zu Milvus v2.2. Es führt vier neue Funktionen und mehrere Verbesserungen ein, die zu einer schnelleren Leistung, verbesserter Zuverlässigkeit und einem geringeren Ressourcenverbrauch führen. Zu den Highlights dieser Version gehören:</p>
<ul>
<li><strong>Ressourcengruppierung</strong>: Milvus unterstützt jetzt die Gruppierung von QueryNodes in andere Ressourcengruppen, was eine vollständige Isolierung des Zugriffs auf physische Ressourcen in verschiedenen Gruppen ermöglicht.</li>
<li><strong>Umbenennung von Sammlungen</strong>: Die API für die Umbenennung von Sammlungen ermöglicht es Benutzern, den Namen einer Sammlung zu ändern, was mehr Flexibilität bei der Verwaltung von Sammlungen und eine bessere Benutzerfreundlichkeit bietet.</li>
<li><strong>Unterstützung für Google Cloud Storage</strong></li>
<li><strong>Neue Option in den Such- und Abfrage-APIs</strong>: Diese neue Funktion ermöglicht es Benutzern, die Suche in allen wachsenden Segmenten zu überspringen und bietet eine bessere Suchleistung in Szenarien, in denen die Suche gleichzeitig mit dem Einfügen von Daten durchgeführt wird.</li>
</ul>
<p>Weitere Informationen finden Sie in den <a href="https://milvus.io/docs/release_notes.md#v224">Milvus v2.2.4 Release Notes</a>.</p>
<h2 id="Milvus-v225-NOT-RECOMMENDED" class="common-anchor-header">Milvus v2.2.5: NICHT EMPFOHLEN<button data-href="#Milvus-v225-NOT-RECOMMENDED" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus v2.2.5 weist mehrere kritische Probleme auf, weshalb wir die Verwendung dieser Version nicht empfehlen.  Wir entschuldigen uns aufrichtig für etwaige Unannehmlichkeiten, die dadurch entstanden sind. Diese Probleme sind jedoch in Milvus v2.2.6 behoben worden.</p>
<h2 id="Milvus-v226-resolves-critical-issues-from-v225" class="common-anchor-header">Milvus v2.2.6: Behebt kritische Probleme von v2.2.5<button data-href="#Milvus-v226-resolves-critical-issues-from-v225" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus v2.2.6 hat erfolgreich die kritischen Probleme behoben, die in v2.2.5 entdeckt wurden, einschließlich der Probleme mit der Wiederverwendung von schmutzigen Binlog-Daten und dem DataCoord GC-Fehler. Wenn Sie derzeit v2.2.5 verwenden, sollten Sie ein Upgrade durchführen, um optimale Leistung und Stabilität zu gewährleisten.</p>
<p>Zu den behobenen kritischen Problemen gehören:</p>
<ul>
<li>DataCoord GC-Fehler</li>
<li>Überschreiben von übergebenen Indexparametern</li>
<li>Systemverzögerung durch RootCoord-Nachrichtenrückstau</li>
<li>Ungenauigkeit der Metrik RootCoordInsertChannelTimeTick</li>
<li>Möglicher Stopp des Zeitstempels</li>
<li>Gelegentliche Selbstzerstörung der Koordinatorrolle während des Neustartvorgangs</li>
<li>Zurückfallen von Checkpoints aufgrund eines anormalen Beendens der Garbage Collection</li>
</ul>
<p>Weitere Details finden Sie in den <a href="https://milvus.io/docs/release_notes.md#v226">Milvus v2.2.6 Release Notes</a>.</p>
<h2 id="Summary" class="common-anchor-header">Zusammenfassung<button data-href="#Summary" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Zusammenfassend lässt sich sagen, dass die letzten Milvus-Releases von v2.2 bis v2.2.6 viele spannende Updates und Verbesserungen gebracht haben. Von neuen Funktionen bis hin zu Fehlerkorrekturen und Optimierungen, Milvus erfüllt weiterhin seine Verpflichtungen, innovative Lösungen anzubieten und Anwendungen in verschiedenen Bereichen zu unterstützen. Bleiben Sie dran für weitere spannende Updates und Innovationen aus der Milvus-Community.</p>


Milvus von seiner besten Seite: Erforschung von v2.2 bis v2.2.6

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Dynamically_Change_Log_Levels_in_the_Milvus_Vector_Database_58e31c66cc.png" alt="Cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>Titelbild</span> </span></p>
<blockquote>
<p>Dieser Artikel wurde von <a href="https://github.com/jiaoew1991">Enwei Jiao</a> geschrieben und von <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni</a> übersetzt.</p>
</blockquote>
<p>Um zu verhindern, dass eine übermäßige Ausgabe von Protokollen die Festplatten- und Systemleistung beeinträchtigt, gibt Milvus während des Betriebs standardmäßig Protokolle auf der Ebene <code translate="no">info</code> aus. Manchmal reichen Protokolle auf der Ebene <code translate="no">info</code> jedoch nicht aus, um Fehler und Probleme effizient zu identifizieren. Noch schlimmer ist, dass in einigen Fällen das Ändern der Protokollebene und der Neustart des Dienstes dazu führen kann, dass die Probleme nicht reproduziert werden können, was die Fehlersuche noch schwieriger macht. Daher ist die Unterstützung für die dynamische Änderung der Log-Ebenen in der Milvus-Vektor-Datenbank dringend erforderlich.</p>
<p>In diesem Artikel wird der Mechanismus vorgestellt, der eine dynamische Änderung der Protokollebenen ermöglicht, und es werden Anweisungen gegeben, wie dies in der Milvus-Vektordatenbank zu bewerkstelligen ist.</p>
<p><strong>Springe zu:</strong></p>
<ul>
<li><a href="#Mechanism">Mechanismus</a></li>
<li><a href="#How-to-dynamically-change-log-levels">Dynamische Änderung der Protokollierungsstufen</a></li>
</ul>
<h2 id="Mechanism" class="common-anchor-header">Mechanismus<button data-href="#Mechanism" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Die Milvus-Vektordatenbank verwendet den <a href="https://github.com/uber-go/zap">zap-Logger</a>, der von Uber als Open Source zur Verfügung gestellt wird. Als eine der leistungsstärksten Log-Komponenten im Go-Ökosystem enthält zap ein <a href="https://github.com/uber-go/zap/blob/master/http_handler.go">http_handler.go-Modul</a>, mit dem Sie die aktuelle Log-Stufe anzeigen und die Log-Stufe über eine HTTP-Schnittstelle dynamisch ändern können.</p>
<p>Milvus lauscht auf den HTTP-Dienst, der über den Port <code translate="no">9091</code> bereitgestellt wird. Daher können Sie auf den Port <code translate="no">9091</code> zugreifen, um Funktionen wie Leistungsdebugging, Metriken und Zustandsprüfungen zu nutzen. In ähnlicher Weise wird der Port <code translate="no">9091</code> wiederverwendet, um eine dynamische Änderung der Protokollebene zu ermöglichen, und ein <code translate="no">/log/level</code> -Pfad wird ebenfalls zum Port hinzugefügt. Weitere Informationen finden Sie in der<a href="https://github.com/milvus-io/milvus/pull/18430"> PR zur Protokollschnittstelle</a>.</p>
<h2 id="How-to-dynamically-change-log-levels" class="common-anchor-header">Dynamische Änderung der Protokollebenen<button data-href="#How-to-dynamically-change-log-levels" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Dieser Abschnitt enthält Anweisungen zur dynamischen Änderung der Protokollstufen, ohne dass der laufende Milvus-Dienst neu gestartet werden muss.</p>
<h3 id="Prerequisite" class="common-anchor-header">Voraussetzung</h3><p>Stellen Sie sicher, dass Sie auf den <code translate="no">9091</code> Port der Milvus-Komponenten zugreifen können.</p>
<h3 id="Change-the-log-level" class="common-anchor-header">Ändern des Loglevels</h3><p>Angenommen, die IP-Adresse des Milvus-Proxys lautet <code translate="no">192.168.48.12</code>.</p>
<p>Sie können zunächst <code translate="no">$ curl -X GET 192.168.48.12:9091/log/level</code> ausführen, um die aktuelle Protokollierungsstufe des Proxys zu überprüfen.</p>
<p>Dann können Sie Anpassungen vornehmen, indem Sie die Protokollierungsstufe angeben. Die Optionen für die Protokollierungsstufe umfassen:</p>
<ul>
<li><p><code translate="no">debug</code></p></li>
<li><p><code translate="no">info</code></p></li>
<li><p><code translate="no">warn</code></p></li>
<li><p><code translate="no">error</code></p></li>
<li><p><code translate="no">dpanic</code></p></li>
<li><p><code translate="no">panic</code></p></li>
<li><p><code translate="no">fatal</code></p></li>
</ul>
<p>Der folgende Beispielcode ändert die Protokollebene von der Standardprotokollebene von <code translate="no">info</code> auf <code translate="no">error</code>.</p>
<pre><code translate="no" class="language-Python">$ curl -X PUT 192.168.48.12:9091/log/level -d level=error
<button class="copy-code-btn"></button></code></pre>


Dynamische Änderung der Log-Ebenen in der Milvus-Vektor-Datenbank

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1280_X1280_0e0d4bc107.png" alt="Cover_image" class="doc-image" id="cover_image" />
   </span> <span class="img-wrapper"> <span>Cover_Bild</span> </span></p>
<blockquote>
<p>Dieser Artikel wurde von <a href="https://github.com/longjiquan">Jiquan Long</a> geschrieben und von <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni</a> umgeschrieben.</p>
</blockquote>
<p>Im <a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md">vorherigen Blog</a> über Konsistenz haben wir erklärt, was Konsistenz in einer verteilten Vektordatenbank bedeutet, die vier Konsistenzstufen - strong, bounded staleness, session und eventual - behandelt, die in der Milvus-Vektordatenbank unterstützt werden, und das am besten geeignete Anwendungsszenario für jede Konsistenzstufe erläutert.</p>
<p>In diesem Beitrag werden wir weiterhin den Mechanismus untersuchen, der es den Benutzern der Milvus-Vektordatenbank ermöglicht, flexibel die ideale Konsistenzstufe für verschiedene Anwendungsszenarien zu wählen. Wir werden auch eine grundlegende Anleitung zur Einstellung der Konsistenzstufe in der Milvus-Vektordatenbank geben.</p>
<p><strong>Sprung zu:</strong></p>
<ul>
<li><a href="#The-underlying-time-tick-mechanism">Der zugrunde liegende Zeittick-Mechanismus</a></li>
<li><a href="#Guarantee-timestamp">Garantierter Zeitstempel</a></li>
<li><a href="#Consistency-levels">Konsistenzstufen</a></li>
<li><a href="#How-to-tune-consistency-level-in-Milvus">Wie stellt man den Konsistenzgrad in Milvus ein?</a></li>
</ul>
<h2 id="The-underlying-time-tick-mechanism" class="common-anchor-header">Der zugrunde liegende Zeittick-Mechanismus<button data-href="#The-underlying-time-tick-mechanism" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus verwendet den Time-Tick-Mechanismus, um bei einer Vektorsuche oder -abfrage verschiedene Konsistenzniveaus zu gewährleisten. Time Tick ist das Wasserzeichen von Milvus, das wie eine Uhr in Milvus funktioniert und anzeigt, zu welchem Zeitpunkt sich das Milvus-System befindet. Jedes Mal, wenn eine DML-Anfrage (Data Manipulation Language) an die Milvus-Vektordatenbank gesendet wird, weist sie der Anfrage einen Zeitstempel zu. Wie in der nachstehenden Abbildung gezeigt, markiert Milvus nicht nur die eingefügten Daten mit einem Zeitstempel, sondern fügt auch in regelmäßigen Abständen Zeitmarken ein, wenn beispielsweise neue Daten in die Nachrichtenwarteschlange eingefügt werden.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/timetick_b395df9804.png" alt="timetick" class="doc-image" id="timetick" />
   </span> <span class="img-wrapper"> <span>Zeitstempel</span> </span></p>
<p>Nehmen wir <code translate="no">syncTs1</code> in der obigen Abbildung als Beispiel. Wenn nachgeschaltete Verbraucher wie Abfrageknoten <code translate="no">syncTs1</code> sehen, verstehen die Verbraucherkomponenten, dass alle Daten, die vor <code translate="no">syncTs1</code> eingefügt wurden, verbraucht wurden. Mit anderen Worten, die Dateneinfügeanforderungen, deren Zeitstempelwerte kleiner als <code translate="no">syncTs1</code> sind, erscheinen nicht mehr in der Nachrichtenwarteschlange.</p>
<h2 id="Guarantee-Timestamp" class="common-anchor-header">Garantie des Zeitstempels<button data-href="#Guarantee-Timestamp" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Wie im vorigen Abschnitt erwähnt, erhalten nachgelagerte Verbraucherkomponenten wie Abfrageknoten kontinuierlich Nachrichten über Dateneinfügeanforderungen und Zeitstempel aus der Nachrichtenwarteschlange. Jedes Mal, wenn ein Zeitstempel verbraucht wird, markiert der Abfrageknoten diesen verbrauchten Zeitstempel als nutzbare Zeit - <code translate="no">ServiceTime</code> und alle vor <code translate="no">ServiceTime</code> eingefügten Daten sind für den Abfrageknoten sichtbar.</p>
<p>Zusätzlich zu <code translate="no">ServiceTime</code> verwendet Milvus auch eine Art von Zeitstempel - Garantiezeitstempel (<code translate="no">GuaranteeTS</code>), um den Bedarf an verschiedenen Konsistenz- und Verfügbarkeitsniveaus für verschiedene Benutzer zu erfüllen. Dies bedeutet, dass die Benutzer der Milvus-Vektordatenbank <code translate="no">GuaranteeTs</code> angeben können, um den Abfrageknoten mitzuteilen, dass alle Daten vor <code translate="no">GuaranteeTs</code> sichtbar und beteiligt sein sollten, wenn eine Suche oder Abfrage durchgeführt wird.</p>
<p>Es gibt normalerweise zwei Szenarien, wenn der Abfrageknoten eine Suchanfrage in der Milvus-Vektordatenbank ausführt.</p>
<h3 id="Scenario-1-Execute-search-request-immediately" class="common-anchor-header">Szenario 1: Sofortige Ausführung der Suchanfrage</h3><p>Wenn <code translate="no">GuaranteeTs</code> kleiner als <code translate="no">ServiceTime</code> ist, kann der Abfrageknoten die Suchanfrage sofort ausführen, wie in der folgenden Abbildung gezeigt.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/execute_immediately_dd1913775d.png" alt="execute_immediately" class="doc-image" id="execute_immediately" />
   </span> <span class="img-wrapper"> <span>ausführen_unmittelbar</span> </span></p>
<h3 id="Scenario-2-Wait-till-ServiceTime--GuaranteeTs" class="common-anchor-header">Szenario 2: Warten bis "ServiceTime &gt; GuaranteeTs"</h3><p>Wenn <code translate="no">GuaranteeTs</code> größer ist als <code translate="no">ServiceTime</code>, müssen Abfrageknoten weiterhin Zeitticks aus der Nachrichtenwarteschlange verbrauchen. Suchanfragen können erst ausgeführt werden, wenn <code translate="no">ServiceTime</code> größer als <code translate="no">GuaranteeTs</code> ist.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/wait_search_f09a2f6cf9.png" alt="wait_search" class="doc-image" id="wait_search" />
   </span> <span class="img-wrapper"> <span>wait_search</span> </span></p>
<h2 id="Consistency-Levels" class="common-anchor-header">Konsistenzstufen<button data-href="#Consistency-Levels" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Daher ist <code translate="no">GuaranteeTs</code> in der Suchanfrage konfigurierbar, um die von Ihnen angegebene Konsistenzstufe zu erreichen. Ein <code translate="no">GuaranteeTs</code> mit einem großen Wert gewährleistet <a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md#Strong">starke Konsistenz</a> auf Kosten einer hohen Suchlatenz. Ein <code translate="no">GuaranteeTs</code> mit einem kleinen Wert verringert die Suchlatenz, aber die Sichtbarkeit der Daten ist beeinträchtigt.</p>
<p><code translate="no">GuaranteeTs</code> in Milvus ist ein hybrides Zeitstempelformat. Und der Benutzer hat keine Ahnung von der <a href="https://github.com/milvus-io/milvus/blob/master/docs/design_docs/20211214-milvus_hybrid_ts.md">TSO</a> innerhalb von Milvus. Daher ist die Angabe des Wertes von<code translate="no">GuaranteeTs</code> eine viel zu komplizierte Aufgabe für die Benutzer. Um den Benutzern die Mühe zu ersparen und eine optimale Benutzererfahrung zu bieten, verlangt Milvus von den Benutzern nur, dass sie die spezifische Konsistenzstufe wählen, und die Milvus-Vektordatenbank wird den Wert <code translate="no">GuaranteeTs</code> automatisch für die Benutzer verarbeiten. Das heißt, dass der Milvus-Benutzer nur eine der vier Konsistenzstufen auswählen muss: <code translate="no">Strong</code>, <code translate="no">Bounded</code>, <code translate="no">Session</code>, und <code translate="no">Eventually</code>. Und jede der Konsistenzstufen entspricht einem bestimmten <code translate="no">GuaranteeTs</code> Wert.</p>
<p>Die folgende Abbildung zeigt die <code translate="no">GuaranteeTs</code> für jede der vier Konsistenzstufen in der Milvus-Vektordatenbank.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/guarantee_ts_f4b3e119d3.png" alt="guarantee_ts" class="doc-image" id="guarantee_ts" />
   </span> <span class="img-wrapper"> <span>garantie_ts</span> </span></p>
<p>Die Milvus-Vektordatenbank unterstützt vier Konsistenzstufen:</p>
<ul>
<li><p><code translate="no">CONSISTENCY_STRONG</code> <code translate="no">GuaranteeTs</code> ist auf denselben Wert wie der letzte Systemzeitstempel gesetzt, und Abfrageknoten warten, bis die Servicezeit auf den letzten Systemzeitstempel übergeht, um die Such- oder Abfrageanfrage zu bearbeiten.</p></li>
<li><p><code translate="no">CONSISTENCY_EVENTUALLY</code> <code translate="no">GuaranteeTs</code> wird auf einen Wert gesetzt, der unwesentlich kleiner als der letzte Systemzeitstempel ist, um die Konsistenzprüfung zu überspringen. Abfrageknoten suchen sofort in der vorhandenen Datenansicht.</p></li>
<li><p><code translate="no">CONSISTENCY_BOUNDED</code> <code translate="no">GuaranteeTs</code> wird auf einen Wert gesetzt, der relativ kleiner als der letzte Systemzeitstempel ist, und Abfrageknoten suchen in einer tolerierbar weniger aktualisierten Datenansicht.</p></li>
<li><p><code translate="no">CONSISTENCY_SESSION</code>: Der Client verwendet den Zeitstempel des letzten Schreibvorgangs als <code translate="no">GuaranteeTs</code>, so dass jeder Client zumindest die von ihm selbst eingefügten Daten abrufen kann.</p></li>
</ul>
<h2 id="How-to-tune-consistency-level-in-Milvus" class="common-anchor-header">Wie kann man den Konsistenzgrad in Milvus einstellen?<button data-href="#How-to-tune-consistency-level-in-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus unterstützt die Einstellung des Konsistenzniveaus bei der <a href="https://milvus.io/docs/v2.1.x/create_collection.md">Erstellung einer Sammlung</a> oder bei der Durchführung einer <a href="https://milvus.io/docs/v2.1.x/search.md">Suche</a> oder <a href="https://milvus.io/docs/v2.1.x/query.md">Abfrage</a>.</p>
<h3 id="Conduct-a-vector-similarity-search" class="common-anchor-header">Durchführen einer vektoriellen Ähnlichkeitssuche</h3><p>Um eine Vektorgleichheitssuche mit dem gewünschten Konsistenzniveau durchzuführen, setzen Sie einfach den Wert für den Parameter <code translate="no">consistency_level</code> entweder auf <code translate="no">Strong</code>, <code translate="no">Bounded</code>, <code translate="no">Session</code> oder <code translate="no">Eventually</code>. Wenn Sie den Wert für den Parameter <code translate="no">consistency_level</code> nicht setzen, ist das Konsistenzniveau standardmäßig <code translate="no">Bounded</code>. Das Beispiel führt eine Vektorähnlichkeitssuche mit der Konsistenz <code translate="no">Strong</code> durch.</p>
<pre><code translate="no">results = collection.search(
        data=[[0.1, 0.2]], 
        anns_field=<span class="hljs-string">&quot;book_intro&quot;</span>, 
        param=search_params, 
        <span class="hljs-built_in">limit</span>=10, 
        <span class="hljs-built_in">expr</span>=None,
        consistency_level=<span class="hljs-string">&quot;Strong&quot;</span>
)
<button class="copy-code-btn"></button></code></pre>
<h3 id="Conduct-a-vector-query" class="common-anchor-header">Durchführen einer Vektorabfrage</h3><p>Ähnlich wie bei der Durchführung einer Vektorähnlichkeitssuche können Sie bei der Durchführung einer Vektorabfrage den Wert für den Parameter <code translate="no">consistency_level</code> angeben. Das Beispiel führt eine Vektorabfrage mit der Konsistenz <code translate="no">Strong</code> durch.</p>
<pre><code translate="no">res = collection.query(
  <span class="hljs-built_in">expr</span> = <span class="hljs-string">&quot;book_id in [2,4,6,8]&quot;</span>, 
  output_fields = [<span class="hljs-string">&quot;book_id&quot;</span>, <span class="hljs-string">&quot;book_intro&quot;</span>],
  consistency_level=<span class="hljs-string">&quot;Strong&quot;</span>
)
<button class="copy-code-btn"></button></code></pre>
<h2 id="Whats-next" class="common-anchor-header">Was kommt als Nächstes?<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Mit der offiziellen Freigabe von Milvus 2.1 haben wir eine Reihe von Blogs vorbereitet, in denen die neuen Funktionen vorgestellt werden. Lesen Sie mehr in dieser Blogserie:</p>
<ul>
<li><a href="https://milvus.io/blog/2022-08-08-How-to-use-string-data-to-empower-your-similarity-search-applications.md">Wie Sie String-Daten für Ihre Anwendungen zur Ähnlichkeitssuche nutzen können</a></li>
<li><a href="https://milvus.io/blog/embedded-milvus.md">Verwendung von Embedded Milvus zur sofortigen Installation und Ausführung von Milvus mit Python</a></li>
<li><a href="https://milvus.io/blog/in-memory-replicas.md">Erhöhen Sie den Lesedurchsatz Ihrer Vektordatenbank mit In-Memory-Replikaten</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md">Verständnis der Konsistenzebene in der Milvus-Vektordatenbank</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database-2.md">Verständnis der Konsistenzebene in der Milvus-Vektordatenbank (Teil II)</a></li>
<li><a href="https://milvus.io/blog/data-security.md">Wie gewährleistet die Milvus-Vektor-Datenbank die Datensicherheit?</a></li>
</ul>


Verständnis der Konsistenzebene in der Milvus-Vektordatenbank - Teil II

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Security_192e35a790.png" alt="Cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>Titelbild</span> </span></p>
<p>Um die Sicherheit Ihrer Daten zu gewährleisten, sind Benutzerauthentifizierung und Transport Layer Security (TLS)-Verbindung jetzt offiziell in Milvus 2.1 verfügbar. Ohne Benutzerauthentifizierung kann jeder mit dem SDK auf alle Daten in Ihrer Vektordatenbank zugreifen. Ab Milvus 2.1 können jedoch nur Personen mit einem gültigen Benutzernamen und Passwort auf die Milvus-Vektordatenbank zugreifen. Darüber hinaus wird in Milvus 2.1 die Datensicherheit durch TLS weiter geschützt, was eine sichere Kommunikation in einem Computernetzwerk gewährleistet.</p>
<p>In diesem Artikel soll analysiert werden, wie die Vektordatenbank Milvus die Datensicherheit durch Benutzerauthentifizierung und TLS-Verbindung gewährleistet, und es soll erklärt werden, wie Sie als Benutzer, der die Datensicherheit bei der Verwendung der Vektordatenbank gewährleisten möchte, diese beiden Funktionen nutzen können.</p>
<p><strong>Springen Sie zu:</strong></p>
<ul>
<li><a href="#What-is-database-security-and-why-is-it-important">Was ist Datenbanksicherheit und warum ist sie wichtig?</a></li>
<li><a href="#How-does-the-Milvus-vector-database-ensure-data-security">Wie gewährleistet die Vektordatenbank Milvus die Datensicherheit?</a><ul>
<li><a href="#User-authentication">Benutzer-Authentifizierung</a></li>
<li><a href="#TLS-connection">TLS-Verbindung</a></li>
</ul></li>
</ul>
<h2 id="What-is-database-security-and-why-is-it-important" class="common-anchor-header">Was ist Datenbanksicherheit und warum ist sie wichtig?<button data-href="#What-is-database-security-and-why-is-it-important" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Datenbanksicherheit bezieht sich auf die Maßnahmen, die ergriffen werden, um sicherzustellen, dass alle Daten in der Datenbank sicher sind und vertraulich behandelt werden. Die jüngsten Fälle von Datenschutzverletzungen und Datenlecks bei <a href="https://firewalltimes.com/recent-data-breaches/">Twitter, Marriott, dem texanischen Versicherungsministerium usw</a>. machen uns umso wachsamer in Bezug auf das Thema Datensicherheit. All diese Fälle erinnern uns ständig daran, dass Firmen und Unternehmen schwere Verluste erleiden können, wenn die Daten nicht gut geschützt sind und die von ihnen verwendeten Datenbanken nicht sicher sind.</p>
<h2 id="How-does-the-Milvus-vector-database-ensure-data-security" class="common-anchor-header">Wie gewährleistet die Vektordatenbank Milvus die Datensicherheit?<button data-href="#How-does-the-Milvus-vector-database-ensure-data-security" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>In der aktuellen Version 2.1 versucht die Milvus Vektordatenbank, die Sicherheit der Datenbank durch Authentifizierung und Verschlüsselung zu gewährleisten. Genauer gesagt, unterstützt Milvus auf der Zugriffsebene eine grundlegende Benutzerauthentifizierung, um zu kontrollieren, wer auf die Datenbank zugreifen kann. Auf der Datenbankebene verwendet Milvus das TLS-Verschlüsselungsprotokoll (Transport Layer Security), um die Datenkommunikation zu schützen.</p>
<h3 id="User-authentication" class="common-anchor-header">Benutzerauthentifizierung</h3><p>Die grundlegende Benutzerauthentifizierung in Milvus unterstützt den Zugriff auf die Vektordatenbank unter Verwendung eines Benutzernamens und eines Passworts, um die Datensicherheit zu gewährleisten. Das bedeutet, dass Clients nur dann auf die Milvus-Instanz zugreifen können, wenn sie einen authentifizierten Benutzernamen und ein Passwort angeben.</p>
<h4 id="The-authentication-workflow-in-the-Milvus-vector-database" class="common-anchor-header">Der Authentifizierungs-Workflow in der Milvus-Vektordatenbank</h4><p>Alle gRPC-Anfragen werden vom Milvus-Proxy bearbeitet, daher wird die Authentifizierung vom Proxy durchgeführt. Der Arbeitsablauf für die Anmeldung mit den Anmeldedaten zur Verbindung mit der Milvus-Instanz sieht folgendermaßen aus.</p>
<ol>
<li>Erstellen Sie Anmeldeinformationen für jede Milvus-Instanz, und die verschlüsselten Passwörter werden in etcd gespeichert. Milvus verwendet <a href="https://golang.org/x/crypto/bcrypt">bcrypt</a> zur Verschlüsselung, da es den <a href="http://www.usenix.org/event/usenix99/provos/provos.pdf">adaptiven Hashing-Algorithmus</a> von Provos und Mazières implementiert.</li>
<li>Auf der Client-Seite sendet das SDK bei der Verbindung mit dem Milvus-Dienst einen Chiffretext. Der base64-Chiffretext (<username>:<password>) wird mit dem Schlüssel <code translate="no">authorization</code> an die Metadaten angehängt.</li>
<li>Der Milvus-Proxy fängt die Anfrage ab und prüft die Anmeldedaten.</li>
<li>Die Berechtigungsnachweise werden lokal im Proxy zwischengespeichert.</li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1280_X1280_021e90e3c8.jpeg" alt="authetication_workflow" class="doc-image" id="authetication_workflow" />
   </span> <span class="img-wrapper"> <span>authetication_workflow</span> </span></p>
<p>Wenn die Berechtigungsnachweise aktualisiert werden, sieht der Systemworkflow in Milvus wie folgt aus</p>
<ol>
<li>Der Root-Koordinator ist für die Anmeldeinformationen zuständig, wenn die APIs zum Einfügen, Abfragen und Löschen aufgerufen werden.</li>
<li>Wenn Sie die Anmeldedaten aktualisieren, weil Sie z.B. das Passwort vergessen haben, wird das neue Passwort in etcd festgehalten. Dann werden alle alten Anmeldeinformationen im lokalen Cache des Proxys ungültig gemacht.</li>
<li>Der Authentifizierungsinterceptor sucht zuerst nach den Datensätzen im lokalen Cache. Wenn die Anmeldeinformationen im Cache nicht korrekt sind, wird der RPC-Aufruf zum Abrufen des aktuellsten Datensatzes aus dem Stammverzeichnis ausgelöst. Die Anmeldeinformationen im lokalen Cache werden entsprechend aktualisiert.</li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/update_5af81a4173.jpeg" alt="credential_update_workflow" class="doc-image" id="credential_update_workflow" />
   </span> <span class="img-wrapper"> <span>credential_update_workflow</span> </span></p>
<h4 id="How-to-manage-user-authentication-in-the-Milvus-vector-database" class="common-anchor-header">Wie verwaltet man die Benutzerauthentifizierung in der Milvus-Vektor-Datenbank?</h4><p>Um die Authentifizierung zu aktivieren, müssen Sie zunächst <code translate="no">common.security.authorizationEnabled</code> auf <code translate="no">true</code> setzen, wenn Sie Milvus in der Datei <code translate="no">milvus.yaml</code> konfigurieren.</p>
<p>Sobald die Authentifizierung aktiviert ist, wird ein Root-Benutzer für die Milvus-Instanz erstellt. Dieser Root-Benutzer kann das anfängliche Passwort <code translate="no">Milvus</code> verwenden, um sich mit der Milvus-Vektor-Datenbank zu verbinden.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> connections
connections.<span class="hljs-title function_">connect</span>(
    alias=<span class="hljs-string">&#x27;default&#x27;</span>,
    host=<span class="hljs-string">&#x27;localhost&#x27;</span>,
    port=<span class="hljs-string">&#x27;19530&#x27;</span>,
    user=<span class="hljs-string">&#x27;root_user&#x27;</span>,
    password=<span class="hljs-string">&#x27;Milvus&#x27;</span>,
)
<button class="copy-code-btn"></button></code></pre>
<p>Wir empfehlen dringend, das Passwort des Root-Benutzers zu ändern, wenn Sie Milvus zum ersten Mal starten.</p>
<p>Anschließend kann der Root-Benutzer weitere neue Benutzer für den authentifizierten Zugriff erstellen, indem er den folgenden Befehl zum Erstellen neuer Benutzer ausführt.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> utility
utility.<span class="hljs-title function_">create_credential</span>(<span class="hljs-string">&#x27;user&#x27;</span>, <span class="hljs-string">&#x27;password&#x27;</span>, <span class="hljs-keyword">using</span>=<span class="hljs-string">&#x27;default&#x27;</span>) 
<button class="copy-code-btn"></button></code></pre>
<p>Beim Anlegen neuer Benutzer sind zwei Dinge zu beachten:</p>
<ol>
<li><p>Der neue Benutzername darf nicht länger als 32 Zeichen sein und muss mit einem Buchstaben beginnen. Nur Unterstriche, Buchstaben oder Zahlen sind im Benutzernamen erlaubt. Der Benutzername "2abc!" wird zum Beispiel nicht akzeptiert.</p></li>
<li><p>Die Länge des Passworts sollte zwischen 6 und 256 Zeichen liegen.</p></li>
</ol>
<p>Sobald die neuen Anmeldedaten eingerichtet sind, kann sich der neue Benutzer mit dem Benutzernamen und dem Passwort mit der Milvus-Instanz verbinden.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> connections
connections.<span class="hljs-title function_">connect</span>(
    alias=<span class="hljs-string">&#x27;default&#x27;</span>,
    host=<span class="hljs-string">&#x27;localhost&#x27;</span>,
    port=<span class="hljs-string">&#x27;19530&#x27;</span>,
    user=<span class="hljs-string">&#x27;user&#x27;</span>,
    password=<span class="hljs-string">&#x27;password&#x27;</span>,
)
<button class="copy-code-btn"></button></code></pre>
<p>Wie bei allen Authentifizierungsverfahren müssen Sie sich keine Sorgen machen, wenn Sie das Passwort vergessen haben. Das Passwort für einen bestehenden Benutzer kann mit dem folgenden Befehl zurückgesetzt werden.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> utility
utility.<span class="hljs-title function_">reset_password</span>(<span class="hljs-string">&#x27;user&#x27;</span>, <span class="hljs-string">&#x27;new_password&#x27;</span>, <span class="hljs-keyword">using</span>=<span class="hljs-string">&#x27;default&#x27;</span>)
<button class="copy-code-btn"></button></code></pre>
<p>Lesen Sie die <a href="https://milvus.io/docs/v2.1.x/authenticate.md">Milvus-Dokumentation</a>, um mehr über die Benutzerauthentifizierung zu erfahren.</p>
<h3 id="TLS-connection" class="common-anchor-header">TLS-Verbindung</h3><p>Transport Layer Security (TLS) ist eine Art Authentifizierungsprotokoll, das die Kommunikationssicherheit in einem Computernetzwerk gewährleistet. TLS verwendet Zertifikate, um Authentifizierungsdienste zwischen zwei oder mehreren kommunizierenden Parteien bereitzustellen.</p>
<h4 id="How-to-enable-TLS-in-the-Milvus-vector-database" class="common-anchor-header">So aktivieren Sie TLS in der Milvus-Vektor-Datenbank</h4><p>Um TLS in Milvus zu aktivieren, müssen Sie zunächst den folgenden Befehl ausführen, um zwei Dateien für die Erzeugung des Zertifikats zu erstellen: eine Standard-OpenSSL-Konfigurationsdatei namens <code translate="no">openssl.cnf</code> und eine Datei namens <code translate="no">gen.sh</code>, die für die Erzeugung der entsprechenden Zertifikate verwendet wird.</p>
<pre><code translate="no"><span class="hljs-built_in">mkdir</span> cert &amp;&amp; <span class="hljs-built_in">cd</span> cert
<span class="hljs-built_in">touch</span> openssl.cnf gen.sh
<button class="copy-code-btn"></button></code></pre>
<p>Dann können Sie einfach die Konfiguration, die wir <a href="https://milvus.io/docs/v2.1.x/tls.md#Create-files">hier</a> bereitstellen, in die beiden Dateien kopieren und einfügen. Sie können aber auch Änderungen auf der Grundlage unserer Konfiguration vornehmen, um sie besser an Ihre Anwendung anzupassen.</p>
<p>Wenn die beiden Dateien fertig sind, können Sie die Datei <code translate="no">gen.sh</code> ausführen, um neun Zertifikatsdateien zu erstellen. Ebenso können Sie die Konfigurationen in den neun Zertifikatsdateien an Ihre Bedürfnisse anpassen.</p>
<pre><code translate="no"><span class="hljs-built_in">chmod</span> +x gen.sh
./gen.sh
<button class="copy-code-btn"></button></code></pre>
<p>Es gibt noch einen letzten Schritt, bevor Sie sich mit dem Milvus-Dienst über TLS verbinden können. Sie müssen <code translate="no">tlsEnabled</code> auf <code translate="no">true</code> setzen und die Dateipfade von <code translate="no">server.pem</code>, <code translate="no">server.key</code>, und <code translate="no">ca.pem</code> für den Server in <code translate="no">config/milvus.yaml</code> konfigurieren. Der folgende Code ist ein Beispiel.</p>
<pre><code translate="no">tls:
  serverPemPath: configs/cert/server.pem
  serverKeyPath: configs/cert/server.key
  caPemPath: configs/cert/ca.pem

common:
  security:
    tlsEnabled: <span class="hljs-literal">true</span>
<button class="copy-code-btn"></button></code></pre>
<p>Dann sind Sie bereit und können eine Verbindung zum Milvus-Dienst mit TLS herstellen, solange Sie die Dateipfade von <code translate="no">client.pem</code>, <code translate="no">client.key</code> und <code translate="no">ca.pem</code> für den Client angeben, wenn Sie das Milvus-Verbindungs-SDK verwenden. Der folgende Code ist auch ein Beispiel.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> connections

_HOST = <span class="hljs-string">&#x27;127.0.0.1&#x27;</span>
_PORT = <span class="hljs-string">&#x27;19530&#x27;</span>

<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;\nCreate connection...&quot;</span>)
connections.connect(host=_HOST, port=_PORT, secure=<span class="hljs-literal">True</span>, client_pem_path=<span class="hljs-string">&quot;cert/client.pem&quot;</span>,
                        client_key_path=<span class="hljs-string">&quot;cert/client.key&quot;</span>,
                        ca_pem_path=<span class="hljs-string">&quot;cert/ca.pem&quot;</span>, server_name=<span class="hljs-string">&quot;localhost&quot;</span>)
<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;\nList connections:&quot;</span>)
<span class="hljs-built_in">print</span>(connections.list_connections())
<button class="copy-code-btn"></button></code></pre>
<h2 id="Whats-next" class="common-anchor-header">Was kommt als Nächstes?<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Mit der offiziellen Freigabe von Milvus 2.1 haben wir eine Reihe von Blogs vorbereitet, in denen die neuen Funktionen vorgestellt werden. Lesen Sie mehr in dieser Blogserie:</p>
<ul>
<li><a href="https://milvus.io/blog/2022-08-08-How-to-use-string-data-to-empower-your-similarity-search-applications.md">Wie Sie String-Daten für Ihre Anwendungen zur Ähnlichkeitssuche nutzen können</a></li>
<li><a href="https://milvus.io/blog/embedded-milvus.md">Verwendung von Embedded Milvus zur sofortigen Installation und Ausführung von Milvus mit Python</a></li>
<li><a href="https://milvus.io/blog/in-memory-replicas.md">Erhöhen Sie den Lesedurchsatz Ihrer Vektordatenbank mit In-Memory-Replikaten</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md">Verständnis der Konsistenzebene in der Milvus-Vektordatenbank</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database-2.md">Verständnis der Konsistenzstufe in der Milvus-Vektordatenbank (Teil II)</a></li>
<li><a href="https://milvus.io/blog/data-security.md">Wie gewährleistet die Milvus-Vektor-Datenbank die Datensicherheit?</a></li>
</ul>


Wie gewährleistet die Milvus-Vektor-Datenbank die Datensicherheit?

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1280_X1280_0e0d4bc107.png" alt="Cover_image" class="doc-image" id="cover_image" />
   </span> <span class="img-wrapper"> <span>Cover_Bild</span> </span></p>
<blockquote>
<p>Dieser Artikel wurde von <a href="https://github.com/JackLCL">Chenglong Li</a> geschrieben und von <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni</a> umgesetzt.</p>
</blockquote>
<p>Haben Sie sich jemals gefragt, warum manchmal die Daten, die Sie aus der Mlivus-Vektordatenbank gelöscht haben, immer noch in den Suchergebnissen erscheinen?</p>
<p>Ein sehr wahrscheinlicher Grund ist, dass Sie nicht die richtige Konsistenzstufe für Ihre Anwendung eingestellt haben. Die Konsistenzstufe in einer verteilten Vektordatenbank ist von entscheidender Bedeutung, da sie bestimmt, zu welchem Zeitpunkt ein bestimmter Dateneintrag vom System gelesen werden kann.</p>
<p>In diesem Artikel soll daher das Konzept der Konsistenz entmystifiziert und die von der Milvus-Vektordatenbank unterstützten Konsistenzstufen näher erläutert werden.</p>
<p><strong>Sprung zu:</strong></p>
<ul>
<li><a href="#What-is-consistency">Was ist Konsistenz?</a></li>
<li><a href="#Four-levels-of-consistency-in-the-Milvus-vector-database">Vier Konsistenzstufen in der Milvus-Vektordatenbank</a><ul>
<li><a href="#Strong">Stark</a></li>
<li><a href="#Bounded-staleness">Begrenzte Unbeständigkeit</a></li>
<li><a href="#Session">Sitzung</a></li>
<li><a href="#Eventual">Eventuell</a></li>
</ul></li>
</ul>
<h2 id="What-is-consistency" class="common-anchor-header">Was ist Konsistenz?<button data-href="#What-is-consistency" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Bevor wir beginnen, müssen wir zunächst die Bedeutung von Konsistenz in diesem Artikel klären, da das Wort "Konsistenz" in der Computerbranche ein überladener Begriff ist. Konsistenz in einer verteilten Datenbank bezieht sich speziell auf die Eigenschaft, die sicherstellt, dass jeder Knoten oder jede Replik dieselbe Sicht auf die Daten hat, wenn sie zu einem bestimmten Zeitpunkt Daten schreiben oder lesen. Daher sprechen wir hier von Konsistenz im Sinne des <a href="https://en.wikipedia.org/wiki/CAP_theorem">CAP-Theorems</a>.</p>
<p>In der modernen Welt werden für den Betrieb großer Online-Unternehmen in der Regel mehrere Replikate eingesetzt. Der E-Commerce-Riese Amazon beispielsweise repliziert seine Bestellungen oder SKU-Daten über mehrere Rechenzentren, Zonen oder sogar Länder hinweg, um eine hohe Systemverfügbarkeit im Falle eines Systemabsturzes oder -ausfalls zu gewährleisten. Dies stellt eine Herausforderung für das System dar - die Datenkonsistenz über mehrere Replikate hinweg. Ohne Konsistenz ist es sehr wahrscheinlich, dass der gelöschte Artikel in Ihrem Amazon-Warenkorb wieder auftaucht, was zu einer sehr schlechten Benutzererfahrung führt.</p>
<p>Daher brauchen wir verschiedene Datenkonsistenzstufen für verschiedene Anwendungen. Glücklicherweise bietet Milvus, eine Datenbank für künstliche Intelligenz, Flexibilität bei der Konsistenzstufe und Sie können die Konsistenzstufe einstellen, die am besten zu Ihrer Anwendung passt.</p>
<h3 id="Consistency-in-the-Milvus-vector-database" class="common-anchor-header">Konsistenz in der Vektordatenbank Milvus</h3><p>Das Konzept der Konsistenzstufe wurde erstmals mit der Veröffentlichung von Milvus 2.0 eingeführt. Die Version 1.0 von Milvus war keine verteilte Vektordatenbank, so dass wir damals noch keine einstellbaren Konsistenzstufen verwendet haben. In Milvus 1.0 werden die Daten jede Sekunde geleert, was bedeutet, dass neue Daten fast sofort nach dem Einfügen sichtbar sind und Milvus die aktuellste Datenansicht genau zu dem Zeitpunkt liest, zu dem eine Vektorähnlichkeitssuche oder eine Abfrageanfrage kommt.</p>
<p>Allerdings wurde Milvus in seiner Version 2.0 überarbeitet und <a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">Milvus 2.0 ist eine verteilte Vektordatenbank</a>, die auf einem Pub-Sub-Mechanismus basiert. Das <a href="https://en.wikipedia.org/wiki/PACELC_theorem">PACELC-Theorem</a> besagt, dass ein verteiltes System einen Kompromiss zwischen Konsistenz, Verfügbarkeit und Latenz eingehen muss. Darüber hinaus dienen unterschiedliche Konsistenzniveaus für unterschiedliche Szenarien. Daher wurde in <a href="https://milvus.io/blog/2022-1-25-annoucing-general-availability-of-milvus-2-0.md">Milvus 2.0</a> das Konzept der Konsistenz eingeführt, das die Abstimmung der Konsistenzstufen unterstützt.</p>
<h2 id="Four-levels-of-consistency-in-the-Milvus-vector-database" class="common-anchor-header">Vier Konsistenzstufen in der Milvus-Vektor-Datenbank<button data-href="#Four-levels-of-consistency-in-the-Milvus-vector-database" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus unterstützt vier Konsistenzstufen: strong, bounded staleness, session und eventual. Und ein Milvus-Benutzer kann die Konsistenzstufe angeben, wenn er <a href="https://milvus.io/docs/v2.1.x/create_collection.md">eine Sammlung erstellt</a> oder eine <a href="https://milvus.io/docs/v2.1.x/search.md">Vektorähnlichkeitssuche</a> oder <a href="https://milvus.io/docs/v2.1.x/query.md">-abfrage</a> durchführt. In diesem Abschnitt wird weiter erläutert, wie sich diese vier Konsistenzstufen unterscheiden und für welches Szenario sie am besten geeignet sind.</p>
<h3 id="Strong" class="common-anchor-header">Stark</h3><p>Strong ist die höchste und strengste Konsistenzstufe. Sie stellt sicher, dass die Benutzer die neueste Version der Daten lesen können.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Consistency_Strong_5d791eb8b2.png" alt="Strong" class="doc-image" id="strong" />
   </span> <span class="img-wrapper"> <span>Stark</span> </span></p>
<p>Nach dem PACELC-Theorem erhöht sich die Latenzzeit, wenn die Konsistenzstufe auf Strong gesetzt wird. Daher empfehlen wir, bei Funktionstests starke Konsistenz zu wählen, um die Genauigkeit der Testergebnisse zu gewährleisten. Starke Konsistenz eignet sich auch am besten für Anwendungen, die strenge Anforderungen an die Datenkonsistenz stellen, was auf Kosten der Suchgeschwindigkeit geht. Ein Beispiel hierfür ist ein Online-Finanzsystem, das sich mit der Bezahlung von Bestellungen und der Rechnungsstellung befasst.</p>
<h3 id="Bounded-staleness" class="common-anchor-header">Begrenzte Unbeständigkeit</h3><p>Bounded Staleness lässt, wie der Name schon sagt, Dateninkonsistenz während eines bestimmten Zeitraums zu. Im Allgemeinen sind die Daten jedoch außerhalb dieses Zeitraums immer global konsistent.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Consistency_Bounded_c034bc6e51.png" alt="Bounded_staleness" class="doc-image" id="bounded_staleness" />
   </span> <span class="img-wrapper"> <span>Begrenzte Stetigkeit</span> </span></p>
<p>Bounded Staleness eignet sich für Szenarien, in denen die Suchlatenz kontrolliert werden muss und eine sporadische Unsichtbarkeit der Daten akzeptiert werden kann. Bei Empfehlungssystemen wie Videoempfehlungsmaschinen hat die sporadische Unsichtbarkeit von Daten beispielsweise nur geringe Auswirkungen auf die Gesamtauffindungsrate, kann aber die Leistung des Empfehlungssystems erheblich steigern. Ein Beispiel ist eine App zur Verfolgung des Status Ihrer Online-Bestellungen.</p>
<h3 id="Session" class="common-anchor-header">Sitzung</h3><p>Session sorgt dafür, dass alle Daten, die Sie schreiben, sofort in derselben Sitzung gelesen werden können. Mit anderen Worten: Wenn Sie Daten über einen Client schreiben, werden die neu eingefügten Daten sofort durchsuchbar.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Consistency_Session_6dc4782212.png" alt="Session" class="doc-image" id="session" />
   </span> <span class="img-wrapper"> <span>Sitzung</span> </span></p>
<p>Wir empfehlen die Wahl von Session als Konsistenzlevel für jene Szenarien, in denen die Anforderung an die Datenkonsistenz in derselben Sitzung hoch ist. Ein Beispiel wäre das Löschen der Daten eines Bucheintrags aus dem Bibliothekssystem. Nach der Bestätigung der Löschung und dem Auffrischen der Seite (einer anderen Sitzung) sollte das Buch nicht mehr in den Suchergebnissen erscheinen.</p>
<h3 id="Eventual" class="common-anchor-header">Eventuell</h3><p>Es gibt keine garantierte Reihenfolge der Lese- und Schreibvorgänge, und die Replikate konvergieren schließlich zum gleichen Zustand, wenn keine weiteren Schreibvorgänge durchgeführt werden. Bei der eventuellen Konsistenz beginnen die Replikate bei Leseanforderungen mit den zuletzt aktualisierten Werten zu arbeiten. Eventuelle Konsistenz ist die schwächste der vier Stufen.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Consistency_Eventual_7c66dd5b6f.png" alt="Eventual" class="doc-image" id="eventual" />
   </span> <span class="img-wrapper"> <span>Eventuelle</span> </span></p>
<p>Nach dem PACELC-Theorem kann die Suchlatenz jedoch enorm verkürzt werden, wenn die Konsistenz geopfert wird. Daher eignet sich die eventuelle Konsistenz am besten für Szenarien, in denen keine hohen Anforderungen an die Datenkonsistenz gestellt werden, aber eine blitzschnelle Suchleistung erforderlich ist. Ein Beispiel ist das Abrufen von Rezensionen und Bewertungen von Amazon-Produkten mit eventueller Konsistenz.</p>
<h2 id="Endnote" class="common-anchor-header">Endnote<button data-href="#Endnote" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Um auf die zu Beginn dieses Artikels gestellte Frage zurückzukommen: Gelöschte Daten werden immer noch als Suchergebnisse zurückgegeben, weil der Benutzer nicht die richtige Konsistenzstufe gewählt hat. Der Standardwert für die Konsistenzstufe ist "bounded staleness" (<code translate="no">Bounded</code>) in der Milvus-Vektordatenbank. Daher kann es vorkommen, dass die gelesenen Daten hinterherhinken und dass Milvus die Datenansicht liest, bevor Sie bei einer Ähnlichkeitssuche oder -abfrage Löschvorgänge durchgeführt haben. Dieses Problem ist jedoch einfach zu lösen. Sie müssen lediglich <a href="https://milvus.io/docs/v2.1.x/tune_consistency.md">die Konsistenzstufe</a> bei der Erstellung einer Sammlung oder bei der Durchführung einer Vektorgleichheitssuche oder -abfrage <a href="https://milvus.io/docs/v2.1.x/tune_consistency.md">einstellen</a>. Ganz einfach!</p>
<p>Im nächsten Beitrag werden wir den Mechanismus dahinter enthüllen und erklären, wie die Milvus-Vektordatenbank verschiedene Konsistenzniveaus erreicht. Bleiben Sie dran!</p>
<h2 id="Whats-next" class="common-anchor-header">Was kommt als Nächstes?<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Mit der offiziellen Veröffentlichung von Milvus 2.1 haben wir eine Reihe von Blogs vorbereitet, in denen die neuen Funktionen vorgestellt werden. Lesen Sie mehr in dieser Blogserie:</p>
<ul>
<li><a href="https://milvus.io/blog/2022-08-08-How-to-use-string-data-to-empower-your-similarity-search-applications.md">Wie Sie String-Daten für Ihre Anwendungen zur Ähnlichkeitssuche nutzen können</a></li>
<li><a href="https://milvus.io/blog/embedded-milvus.md">Verwendung von Embedded Milvus zur sofortigen Installation und Ausführung von Milvus mit Python</a></li>
<li><a href="https://milvus.io/blog/in-memory-replicas.md">Erhöhen Sie den Lesedurchsatz Ihrer Vektordatenbank mit In-Memory-Replikaten</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md">Verständnis der Konsistenzebene in der Milvus-Vektordatenbank</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database-2.md">Verständnis des Konsistenzlevels in der Milvus-Vektordatenbank (Teil II)</a></li>
<li><a href="https://milvus.io/blog/data-security.md">Wie gewährleistet die Milvus-Vektor-Datenbank die Datensicherheit?</a></li>
</ul>


Verständnis der Konsistenzebene in der Milvus-Vektordatenbank

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/in_memory_replica_af1fa21d61.png" alt="Cover_image" class="doc-image" id="cover_image" />
   </span> <span class="img-wrapper"> <span>Cover_Bild</span> </span></p>
<blockquote>
<p>Dieser Artikel wurde gemeinsam von <a href="https://github.com/congqixia">Congqi Xia</a> und <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni</a> verfasst.</p>
</blockquote>
<p>Mit der offiziellen Freigabe von Milvus 2.1 werden viele neue Funktionen eingeführt, die für mehr Komfort und eine bessere Benutzererfahrung sorgen. Obwohl das Konzept der In-Memory-Replik in der Welt der verteilten Datenbanken nichts Neues ist, handelt es sich dabei um eine wichtige Funktion, mit der Sie die Systemleistung steigern und die Systemverfügbarkeit mühelos verbessern können. In diesem Beitrag wird daher erklärt, was eine In-Memory-Replik ist und warum sie wichtig ist. Außerdem wird erläutert, wie diese neue Funktion in Milvus, einer Vektordatenbank für KI, aktiviert werden kann.</p>
<p><strong>Springe zu:</strong></p>
<ul>
<li><p><a href="#Concepts-related-to-in-memory-replica">Konzepte im Zusammenhang mit In-Memory-Replik</a></p></li>
<li><p><a href="#What-is-in-memory-replica">Was ist eine In-Memory-Replik?</a></p></li>
<li><p><a href="#Why-are-in-memory-replicas-important">Warum sind In-Memory-Replikate wichtig?</a></p></li>
<li><p><a href="#Enable-in-memory-replicas-in-the-Milvus-vector-database">Aktivieren von In-Memory-Replikaten in der Vektordatenbank Milvus</a></p></li>
</ul>
<h2 id="Concepts-related-to-in-memory-replica" class="common-anchor-header">Konzepte im Zusammenhang mit In-Memory-Replikaten<button data-href="#Concepts-related-to-in-memory-replica" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Bevor wir erfahren, was ein In-Memory-Replikat ist und warum es wichtig ist, müssen wir zunächst einige relevante Konzepte verstehen, darunter Replikatgruppe, Shard-Replikat, Streaming-Replikat, historisches Replikat und Shard-Leader. Die folgende Abbildung veranschaulicht diese Konzepte.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/diagram_1_525afc706a.jpg" alt="Replica_concepts" class="doc-image" id="replica_concepts" />
   </span> <span class="img-wrapper"> <span>Replikat_Konzepte</span> </span></p>
<h3 id="Replica-group" class="common-anchor-header">Replikatgruppe</h3><p>Eine Replikatgruppe besteht aus mehreren <a href="https://milvus.io/docs/v2.1.x/four_layers.md#Query-node">Abfrageknoten</a>, die für die Verarbeitung historischer Daten und Replikate zuständig sind.</p>
<h3 id="Shard-replica" class="common-anchor-header">Shard-Replikat</h3><p>Ein Shard-Replikat besteht aus einem Streaming-Replikat und einem historischen Replikat, die beide zum selben <a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md#Shard">Shard</a> gehören (d. h. DML-Kanal). Mehrere Shard-Replikate bilden eine Replikatgruppe. Die genaue Anzahl der Shard-Replikate in einer Replikatgruppe wird durch die Anzahl der Shards in einer bestimmten Sammlung bestimmt.</p>
<h3 id="Streaming-replica" class="common-anchor-header">Streaming-Replikat</h3><p>Ein Streaming-Replikat enthält alle <a href="https://milvus.io/docs/v2.1.x/glossary.md#Segment">wachsenden Segmente</a> desselben DML-Kanals. Technisch gesehen sollte ein Streaming-Replikat nur von einem Abfrageknoten in einem Replikat bedient werden.</p>
<h3 id="Historical-replica" class="common-anchor-header">Historisches Replikat</h3><p>Ein historisches Replikat enthält alle versiegelten Segmente aus demselben DML-Kanal. Die versiegelten Segmente eines historischen Replikats können auf mehrere Abfrageknoten innerhalb derselben Replikatgruppe verteilt werden.</p>
<h3 id="Shard-leader" class="common-anchor-header">Shard-Leader</h3><p>Ein Shard-Leader ist der Abfrageknoten, der das Streaming-Replikat in einem Shard-Replikat bedient.</p>
<h2 id="What-is-in-memory-replica" class="common-anchor-header">Was ist eine In-Memory-Replik?<button data-href="#What-is-in-memory-replica" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Die Aktivierung von In-Memory-Replikaten ermöglicht es Ihnen, Daten in einer Sammlung auf mehrere Abfrageknoten zu laden, so dass Sie zusätzliche CPU- und Speicherressourcen nutzen können. Diese Funktion ist sehr nützlich, wenn Sie einen relativ kleinen Datensatz haben, aber den Lesedurchsatz erhöhen und die Nutzung der Hardwareressourcen verbessern möchten.</p>
<p>Die Milvus-Vektordatenbank hält derzeit eine Replik für jedes Segment im Speicher. Mit speicherinternen Replikaten können Sie jedoch mehrere Replikationen eines Segments auf verschiedenen Abfrageknoten haben. Das heißt, wenn ein Abfrageknoten eine Suche in einem Segment durchführt, kann eine eingehende neue Suchanfrage einem anderen, nicht aktiven Abfrageknoten zugewiesen werden, da dieser Abfrageknoten eine Replikation genau desselben Segments besitzt.</p>
<p>Wenn wir außerdem mehrere speicherinterne Replikationen haben, können wir besser mit der Situation umgehen, dass ein Abfrageknoten ausfällt. Früher musste man warten, bis das Segment neu geladen war, um die Suche auf einem anderen Abfrageknoten fortzusetzen. Mit der In-Memory-Replikation kann die Suchanfrage jedoch sofort an einen neuen Abfrageknoten gesendet werden, ohne dass die Daten erneut geladen werden müssen.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/replication_3_1_2c25513cb9.jpg" alt="Replication" class="doc-image" id="replication" />
   </span> <span class="img-wrapper"> <span>Replikation</span> </span></p>
<h2 id="Why-are-in-memory-replicas-important" class="common-anchor-header">Warum sind In-Memory-Replikationen wichtig?<button data-href="#Why-are-in-memory-replicas-important" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Einer der wichtigsten Vorteile der Aktivierung von In-Memory-Replikationen ist die Steigerung der Gesamt-QPS (Abfrage pro Sekunde) und des Durchsatzes. Außerdem können mehrere Segmentreplikate verwaltet werden, und das System ist bei einem Failover widerstandsfähiger.</p>
<h2 id="Enable-in-memory-replicas-in-the-Milvus-vector-database" class="common-anchor-header">Aktivieren von In-Memory-Replikaten in der Milvus-Vektordatenbank<button data-href="#Enable-in-memory-replicas-in-the-Milvus-vector-database" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Die Aktivierung der neuen Funktion der In-Memory-Replikate ist in der Milvus-Vektordatenbank mühelos möglich. Alles, was Sie tun müssen, ist, die Anzahl der gewünschten Replikate beim Laden einer Sammlung anzugeben (d.h. <code translate="no">collection.load()</code> aufrufen).</p>
<p>Im folgenden Beispiel-Tutorial gehen wir davon aus, dass Sie bereits <a href="https://milvus.io/docs/v2.1.x/create_collection.md">eine Sammlung</a> mit dem Namen "Buch" <a href="https://milvus.io/docs/v2.1.x/create_collection.md">erstellt</a> und <a href="https://milvus.io/docs/v2.1.x/insert_data.md">Daten</a> in diese <a href="https://milvus.io/docs/v2.1.x/insert_data.md">eingefügt</a> haben. Dann können Sie den folgenden Befehl ausführen, um beim <a href="https://milvus.io/docs/v2.1.x/load_collection.md">Laden</a> einer Buchsammlung zwei Replikate zu erstellen.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> Collection
collection = Collection(<span class="hljs-string">&quot;book&quot;</span>)      <span class="hljs-comment"># Get an existing collection.</span>
collection.load(replica_number=<span class="hljs-number">2</span>) <span class="hljs-comment"># load collection as 2 replicas</span>
<button class="copy-code-btn"></button></code></pre>
<p>Sie können die Anzahl der Replikate im obigen Beispielcode flexibel ändern, um sie an Ihr Anwendungsszenario anzupassen. Dann können Sie direkt eine <a href="https://milvus.io/docs/v2.1.x/search.md">Vektorähnlichkeitssuche</a> oder <a href="https://milvus.io/docs/v2.1.x/query.md">-abfrage</a> auf mehreren Replikaten durchführen, ohne zusätzliche Befehle ausführen zu müssen. Es ist jedoch zu beachten, dass die maximal zulässige Anzahl von Replikaten durch die Gesamtmenge des nutzbaren Speichers für die Abfrageknoten begrenzt ist. Wenn die Anzahl der Replikate, die Sie angeben, die Grenzen des nutzbaren Speichers überschreitet, wird beim Laden der Daten ein Fehler ausgegeben.</p>
<p>Sie können auch die Informationen der von Ihnen erstellten speicherinternen Replikate überprüfen, indem Sie <code translate="no">collection.get_replicas()</code> ausführen. Es werden die Informationen der Replikatgruppen und der entsprechenden Abfrageknoten und Shards zurückgegeben. Im Folgenden finden Sie ein Beispiel für die Ausgabe.</p>
<pre><code translate="no">Replica <span class="hljs-built_in">groups</span>:
- Group: &lt;group_id:435309823872729305&gt;, &lt;group_nodes:(21, 20)&gt;, &lt;shards:[Shard: &lt;channel_name:milvus-zong-rootcoord-dml_27_435367661874184193v0&gt;, &lt;shard_leader:21&gt;, &lt;shard_nodes:[21]&gt;, Shard: &lt;channel_name:milvus-zong-rootcoord-dml_28_435367661874184193v1&gt;, &lt;shard_leader:20&gt;, &lt;shard_nodes:[20, 21]&gt;]&gt;
- Group: &lt;group_id:435309823872729304&gt;, &lt;group_nodes:(25,)&gt;, &lt;shards:[Shard: &lt;channel_name:milvus-zong-rootcoord-dml_28_435367661874184193v1&gt;, &lt;shard_leader:25&gt;, &lt;shard_nodes:[25]&gt;, Shard: &lt;channel_name:milvus-zong-rootcoord-dml_27_435367661874184193v0&gt;, &lt;shard_leader:25&gt;, &lt;shard_nodes:[25]&gt;]&gt;
<button class="copy-code-btn"></button></code></pre>
<h2 id="Whats-next" class="common-anchor-header">Was kommt als Nächstes?<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Mit der offiziellen Veröffentlichung von Milvus 2.1 haben wir eine Reihe von Blogs vorbereitet, in denen die neuen Funktionen vorgestellt werden. Lesen Sie mehr in dieser Blogserie:</p>
<ul>
<li><a href="https://milvus.io/blog/2022-08-08-How-to-use-string-data-to-empower-your-similarity-search-applications.md">Wie Sie String-Daten für Ihre Anwendungen zur Ähnlichkeitssuche nutzen können</a></li>
<li><a href="https://milvus.io/blog/embedded-milvus.md">Verwendung von Embedded Milvus zur sofortigen Installation und Ausführung von Milvus mit Python</a></li>
<li><a href="https://milvus.io/blog/in-memory-replicas.md">Erhöhen Sie den Lesedurchsatz Ihrer Vektordatenbank mit In-Memory-Replikaten</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md">Verständnis der Konsistenzebene in der Milvus-Vektordatenbank</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database-2.md">Verständnis des Konsistenzlevels in der Milvus-Vektordatenbank (Teil II)</a></li>
<li><a href="https://milvus.io/blog/data-security.md">Wie gewährleistet die Milvus-Vektor-Datenbank die Datensicherheit?</a></li>
</ul>


Steigern Sie den Lesedurchsatz Ihrer Vektordatenbank mit In-Memory-Replikaten

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Benchmark_Quick_Setup_58cc8eed5b.png" alt="Cover" class="doc-image" id="cover" />
   </span> <span class="img-wrapper"> <span>Umschlag</span> </span></p>
<p>Vor kurzem haben wir den <a href="https://milvus.io/docs/v2.1.x/benchmark.md">Benchmark-Bericht von Milvus 2.1</a> aktualisiert. Tests mit einem Datensatz von 1 Million Vektoren haben gezeigt, dass die QPS durch das Zusammenführen von <a href="https://milvus.io/docs/v2.1.x/benchmark.md#Terminology">small-nq-Abfragen</a> drastisch erhöht werden kann.</p>
<p>Hier finden Sie einige einfache Skripte, mit denen Sie die Tests leicht reproduzieren können.</p>
<h2 id="Procedures" class="common-anchor-header">Vorgehensweisen<button data-href="#Procedures" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ol>
<li><p>Setzen Sie einen Milvus-Einzelplatz oder -Cluster ein. In diesem Fall lautet die IP-Adresse des Milvus-Servers 10.100.31.105.</p></li>
<li><p>Stellen Sie einen Client bereit. In diesem Fall verwenden wir Ubuntu 18.04 und Python 3.8.13 für den Einsatz. Führen Sie den folgenden Code aus, um PyMilvus 2.1.1 zu installieren.</p></li>
</ol>
<pre><code translate="no">pip install pymilvus==2.1.1
<button class="copy-code-btn"></button></code></pre>
<ol start="3">
<li><p>Laden Sie die folgenden Dateien herunter und kopieren Sie sie in dasselbe Arbeitsverzeichnis wie den Client. In diesem Fall ist das Arbeitsverzeichnis <code translate="no">/go_ben</code>.</p>
<ul>
<li><p><a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/collection_prepare.py"><code translate="no">collection_prepare.py</code></a></p></li>
<li><p><a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/go_benchmark.py"><code translate="no">go_benchmark.py</code></a></p></li>
<li><p><a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/benchmark"><code translate="no">benchmark</code></a> (für Ubuntu) oder <a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/benchmark-mac"><code translate="no">benchmark-mac</code></a> (für macOS)</p></li>
</ul>
<p><strong>Anmerkung:</strong></p>
<ul>
<li><p><code translate="no">benchmark</code> und <code translate="no">benchmark-mac</code> sind ausführbare Dateien, die mit Go SDK 2.1.1 entwickelt und kompiliert wurden. Sie werden nur verwendet, um eine gleichzeitige Suche durchzuführen.</p></li>
<li><p>Für Ubuntu-Benutzer laden Sie bitte <code translate="no">benchmark</code> herunter; für macOS-Benutzer laden Sie bitte <code translate="no">benchmark-mac</code> herunter.</p></li>
<li><p>Für den Zugriff auf <code translate="no">benchmark</code> oder <code translate="no">benchmark-mac</code> sind Ausführungsberechtigungen erforderlich.</p></li>
<li><p>Mac-Benutzer müssen der Datei <code translate="no">benchmark-mac</code> vertrauen, indem sie Sicherheit und Datenschutz in den Systemeinstellungen konfigurieren.</p></li>
<li><p>Die Einstellungen für die gleichzeitige Suche können im Quellcode von <code translate="no">go_benchmark.py</code> gefunden und geändert werden.</p></li>
</ul></li>
</ol>
<ol start="4">
<li>Erstellen Sie eine Sammlung und fügen Sie Vektordaten ein.</li>
</ol>
<pre><code translate="no">root@milvus-pytest:/go_ben<span class="hljs-comment"># python collection_prepare.py 10.100.31.105 </span>
<button class="copy-code-btn"></button></code></pre>
<ol start="5">
<li>Öffnen Sie <code translate="no">/tmp/collection_prepare.log</code>, um das laufende Ergebnis zu überprüfen.</li>
</ol>
<pre><code translate="no">...
08/11/2022 17:33:34 PM - INFO - Build index costs 263.626
08/11/2022 17:33:54 PM - INFO - Collection prepared completed
<button class="copy-code-btn"></button></code></pre>
<ol start="6">
<li>Rufen Sie <code translate="no">benchmark</code> (oder <code translate="no">benchmark-mac</code> unter macOS) auf, um eine gleichzeitige Suche durchzuführen.</li>
</ol>
<pre><code translate="no">root@milvus-pytest:/go_ben<span class="hljs-meta"># python go_benchmark.py 10.100.31.105 ./benchmark</span>
[<span class="hljs-meta">write_json_file</span>] <span class="hljs-function">Remove <span class="hljs-title">file</span>(<span class="hljs-params">search_vector_file.json</span>).
[write_json_file] Write json <span class="hljs-keyword">file</span>:search_vector_file.json done.
Params of go_benchmark: [&#x27;./benchmark&#x27;, &#x27;locust&#x27;, &#x27;-u&#x27;, &#x27;10.100.31.105:19530&#x27;, &#x27;-q&#x27;, &#x27;search_vector_file.json&#x27;, &#x27;-s&#x27;, &#x27;</span>{\n  <span class="hljs-string">&quot;collection_name&quot;</span>: <span class="hljs-string">&quot;random_1m&quot;</span>,\n  <span class="hljs-string">&quot;partition_names&quot;</span>: [],\n  <span class="hljs-string">&quot;fieldName&quot;</span>: <span class="hljs-string">&quot;embedding&quot;</span>,\n  <span class="hljs-string">&quot;index_type&quot;</span>: <span class="hljs-string">&quot;HNSW&quot;</span>,\n  <span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&quot;L2&quot;</span>,\n  <span class="hljs-string">&quot;params&quot;</span>: {\n    <span class="hljs-string">&quot;sp_value&quot;</span>: <span class="hljs-number">64</span>,\n    <span class="hljs-string">&quot;dim&quot;</span>: <span class="hljs-number">128</span>\n  },\n  <span class="hljs-string">&quot;limit&quot;</span>: <span class="hljs-number">1</span>,\n  <span class="hljs-string">&quot;expr&quot;</span>: <span class="hljs-literal">null</span>,\n  <span class="hljs-string">&quot;output_fields&quot;</span>: [],\n  <span class="hljs-string">&quot;timeout&quot;</span>: <span class="hljs-number">600</span>\n}<span class="hljs-string">&#x27;, &#x27;</span>-p<span class="hljs-string">&#x27;, &#x27;</span><span class="hljs-number">10&#x27;</span>, <span class="hljs-string">&#x27;-f&#x27;</span>, <span class="hljs-string">&#x27;json&#x27;</span>, <span class="hljs-string">&#x27;-t&#x27;</span>, <span class="hljs-string">&#x27;60&#x27;</span>, <span class="hljs-string">&#x27;-i&#x27;</span>, <span class="hljs-string">&#x27;20&#x27;</span>, <span class="hljs-string">&#x27;-l&#x27;</span>, <span class="hljs-string">&#x27;go_log_file.log&#x27;</span>]
[<span class="hljs-meta">2022-08-11 11:37:39.811</span>][    INFO] - Name      <span class="hljs-meta">#   reqs      # fails  |       Avg       Min       Max    Median  |     req/s  failures/s (benchmark_run.go:212:sample)</span>
[<span class="hljs-meta">2022-08-11 11:37:39.811</span>][    INFO] - go search     <span class="hljs-number">9665</span>     <span class="hljs-number">0</span>(<span class="hljs-number">0.00</span>%)  |    <span class="hljs-number">20.679</span>     <span class="hljs-number">6.499</span>    <span class="hljs-number">81.761</span>    <span class="hljs-number">12.810</span>  |    <span class="hljs-number">483.25</span>        <span class="hljs-number">0.00</span> (benchmark_run.go:<span class="hljs-number">213</span>:sample)
[<span class="hljs-meta">2022-08-11 11:37:59.811</span>][    INFO] - Name      <span class="hljs-meta">#   reqs      # fails  |       Avg       Min       Max    Median  |     req/s  failures/s (benchmark_run.go:212:sample)</span>
[<span class="hljs-meta">2022-08-11 11:37:59.811</span>][    INFO] - go search    <span class="hljs-number">19448</span>     <span class="hljs-number">0</span>(<span class="hljs-number">0.00</span>%)  |    <span class="hljs-number">20.443</span>     <span class="hljs-number">6.549</span>    <span class="hljs-number">78.121</span>    <span class="hljs-number">13.401</span>  |    <span class="hljs-number">489.22</span>        <span class="hljs-number">0.00</span> (benchmark_run.go:<span class="hljs-number">213</span>:sample)
[<span class="hljs-meta">2022-08-11 11:38:19.811</span>][    INFO] - Name      <span class="hljs-meta">#   reqs      # fails  |       Avg       Min       Max    Median  |     req/s  failures/s (benchmark_run.go:212:sample)</span>
[<span class="hljs-meta">2022-08-11 11:38:19.811</span>][    INFO] - go search    <span class="hljs-number">29170</span>     <span class="hljs-number">0</span>(<span class="hljs-number">0.00</span>%)  |    <span class="hljs-number">20.568</span>     <span class="hljs-number">6.398</span>    <span class="hljs-number">76.887</span>    <span class="hljs-number">12.828</span>  |    <span class="hljs-number">486.15</span>        <span class="hljs-number">0.00</span> (benchmark_run.go:<span class="hljs-number">213</span>:sample)
[<span class="hljs-meta">2022-08-11 11:38:19.811</span>][   DEBUG] - go search run finished, parallel: <span class="hljs-number">10</span>(benchmark_run.go:<span class="hljs-number">95</span>:benchmark)
[<span class="hljs-meta">2022-08-11 11:38:19.811</span>][    INFO] - Name      <span class="hljs-meta">#   reqs      # fails  |       Avg       Min       Max    Median  |     req/s  failures/s (benchmark_run.go:159:samplingLoop)</span>
[<span class="hljs-meta">2022-08-11 11:38:19.811</span>][    INFO] - go search    <span class="hljs-number">29180</span>     <span class="hljs-number">0</span>(<span class="hljs-number">0.00</span>%)  |    <span class="hljs-number">20.560</span>     <span class="hljs-number">6.398</span>    <span class="hljs-number">81.761</span>    <span class="hljs-number">13.014</span>  |    <span class="hljs-number">486.25</span>        <span class="hljs-number">0.00</span> (benchmark_run.go:<span class="hljs-number">160</span>:samplingLoop)
Result of go_benchmark: {<span class="hljs-string">&#x27;response&#x27;</span>: True, <span class="hljs-string">&#x27;err_code&#x27;</span>: <span class="hljs-number">0</span>, <span class="hljs-string">&#x27;err_message&#x27;</span>: <span class="hljs-string">&#x27;&#x27;</span>} 
<button class="copy-code-btn"></button></code></pre>
<ol start="7">
<li>Öffnen Sie die Datei <code translate="no">go_log_file.log</code> im aktuellen Verzeichnis, um das detaillierte Suchprotokoll zu prüfen. Im Folgenden finden Sie die Suchinformationen, die Sie im Suchprotokoll finden können.<ul>
<li><p>reqs: Anzahl der Suchanfragen von dem Zeitpunkt, an dem die Gleichzeitigkeit eintritt, bis zum aktuellen Zeitpunkt (die aktuelle Zeitspanne)</p></li>
<li><p>Fails: Anzahl der fehlgeschlagenen Suchanfragen als Prozentsatz der Suchanfragen in der aktuellen Zeitspanne</p></li>
<li><p>Avg: durchschnittliche Antwortzeit der Anfrage in der aktuellen Zeitspanne (Einheit: Millisekunden)</p></li>
<li><p>Min: minimale Antwortzeit der Anfrage in der aktuellen Zeitspanne (Einheit: Millisekunden)</p></li>
<li><p>Max: maximale Antwortzeit der Anfrage in der aktuellen Zeitspanne (Einheit: Millisekunden)</p></li>
<li><p>Median: mittlere Anfrage-Antwortzeit in der aktuellen Zeitspanne (Einheit: Millisekunden)</p></li>
<li><p>req/s: Anzahl der Anfragen pro Sekunde, d. h. QPS</p></li>
<li><p>failures/s: durchschnittliche Anzahl der fehlgeschlagenen Anfragen pro Sekunde in der aktuellen Zeitspanne</p></li>
</ul></li>
</ol>
<h2 id="Downloading-Scripts-and-Executable-Files" class="common-anchor-header">Herunterladen von Skripten und ausführbaren Dateien<button data-href="#Downloading-Scripts-and-Executable-Files" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p><a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/collection_prepare.py">collection_prepare.py</a></p></li>
<li><p><a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/go_benchmark.py">go_benchmark.py</a></p></li>
<li><p><a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/benchmark">benchmark</a> für Ubuntu</p></li>
<li><p><a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/benchmark-mac">benchmark-mac</a> für macOS</p></li>
</ul>
<h2 id="Whats-next" class="common-anchor-header">Was kommt als Nächstes?<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Mit der offiziellen Veröffentlichung von Milvus 2.1 haben wir eine Reihe von Blogs vorbereitet, in denen die neuen Funktionen vorgestellt werden. Lesen Sie mehr in dieser Blogserie:</p>
<ul>
<li><a href="https://milvus.io/blog/2022-08-08-How-to-use-string-data-to-empower-your-similarity-search-applications.md">Wie Sie String-Daten für Ihre Anwendungen zur Ähnlichkeitssuche nutzen können</a></li>
<li><a href="https://milvus.io/blog/embedded-milvus.md">Verwendung von Embedded Milvus zur sofortigen Installation und Ausführung von Milvus mit Python</a></li>
<li><a href="https://milvus.io/blog/in-memory-replicas.md">Erhöhen Sie den Lesedurchsatz Ihrer Vektordatenbank mit In-Memory-Replikaten</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md">Verstehen der Konsistenzebene in der Milvus-Vektordatenbank</a></li>
<li><a href="https://milvus.io/blog/data-security.md">Wie gewährleistet die Milvus-Vektor-Datenbank die Datensicherheit?</a></li>
</ul>


Eine Kurzanleitung zum Benchmarking von Milvus 2.1

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/embeddded_milvus_1_8132468cac.png" alt="Cover" class="doc-image" id="cover" />
   </span> <span class="img-wrapper"> <span>Titelseite</span> </span></p>
<blockquote>
<p>Dieser Artikel wurde gemeinsam von <a href="https://github.com/soothing-rain/">Alex Gao</a> und <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni</a> verfasst.</p>
</blockquote>
<p>Milvus ist eine Open-Source-Vektordatenbank für KI-Anwendungen. Sie bietet eine Vielzahl von Installationsmethoden, einschließlich der Erstellung aus dem Quellcode und der Installation von Milvus mit Docker Compose/Helm/APT/YUM/Ansible. Die Benutzer können je nach Betriebssystem und Vorlieben eine der Installationsmethoden wählen. Es gibt jedoch viele Datenwissenschaftler und KI-Ingenieure in der Milvus-Community, die mit Python arbeiten und sich nach einer viel einfacheren Installationsmethode als den derzeit verfügbaren sehnen.</p>
<p>Daher haben wir zusammen mit Milvus 2.1 embedded Milvus, eine benutzerfreundliche Python-Version, veröffentlicht, um mehr Python-Entwickler in unserer Community zu unterstützen. In diesem Artikel wird erklärt, was embedded Milvus ist, und es wird beschrieben, wie man es installiert und benutzt.</p>
<p><strong>Springe zu:</strong></p>
<ul>
<li><a href="#An-overview-of-embedded-Milvus">Ein Überblick über embedded Milvus</a><ul>
<li><a href="#When-to-use-embedded-Milvus">Wann sollte man embedded Milvus verwenden?</a></li>
<li><a href="#A-comparison-of-different-modes-of-Milvus">Ein Vergleich der verschiedenen Modi von Milvus</a></li>
</ul></li>
<li><a href="#How-to-install-embedded-Milvus">Wie installiert man embedded Milvus?</a></li>
<li><a href="#Start-and-stop-embedded-Milvus">Starten und Beenden von embedded Milvus</a></li>
</ul>
<h2 id="An-overview-of-embedded-Milvus" class="common-anchor-header">Ein Überblick über embedded Milvus<button data-href="#An-overview-of-embedded-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><a href="https://github.com/milvus-io/embd-milvus">Embedded Milvus</a> ermöglicht es Ihnen, Milvus mit Python schnell zu installieren und zu verwenden. Es kann schnell eine Milvus-Instanz einrichten und erlaubt Ihnen, den Milvus-Dienst zu starten und zu stoppen, wann immer Sie es wünschen. Alle Daten und Protokolle bleiben erhalten, auch wenn Sie das eingebettete Milvus beenden.</p>
<p>Eingebettetes Milvus selbst hat keine internen Abhängigkeiten und erfordert keine Vorinstallation und Ausführung von Drittanbieter-Abhängigkeiten wie etcd, MinIO, Pulsar usw.</p>
<p>Alles, was Sie mit eingebettetem Milvus tun, und jedes Stück Code, das Sie dafür schreiben, kann sicher in andere Milvus-Modi migriert werden - Standalone, Cluster, Cloud-Version usw. Dies spiegelt eine der markantesten Eigenschaften von embedded Milvus wider - <strong>"Write once, run anywhere".</strong></p>
<h3 id="When-to-use-embedded-Milvus" class="common-anchor-header">Wann sollte man embedded Milvus verwenden?</h3><p>Embedded Milvus und <a href="https://milvus.io/docs/v2.1.x/install-pymilvus.md">PyMilvus</a> sind für unterschiedliche Zwecke konzipiert. In den folgenden Szenarien können Sie sich für Embedded Milvus entscheiden:</p>
<ul>
<li><p>Sie möchten Milvus verwenden, ohne Milvus auf eine der <a href="https://milvus.io/docs/v2.1.x/install_standalone-docker.md">hier</a> beschriebenen Arten zu installieren.</p></li>
<li><p>Sie möchten Milvus verwenden, ohne einen langlaufenden Milvus-Prozess in Ihrem Rechner zu haben.</p></li>
<li><p>Sie wollen Milvus schnell nutzen, ohne einen separaten Milvus-Prozess und andere benötigte Komponenten wie etcd, MinIO, Pulsar, etc. zu starten.</p></li>
</ul>
<p>Es wird empfohlen, dass Sie eingebettetes Milvus <strong>NICHT</strong> verwenden sollten:</p>
<ul>
<li><p>In einer Produktionsumgebung.<em>(Um Milvus für die Produktion zu verwenden, sollten Sie einen Milvus-Cluster oder <a href="https://zilliz.com/cloud">Zilliz Cloud</a>, einen vollständig verwalteten Milvus-Dienst, in Betracht ziehen</em>).</p></li>
<li><p>Wenn Sie einen hohen Bedarf an Leistung haben.<em>(Im Vergleich dazu bietet eingebettetes Milvus möglicherweise nicht die beste Leistung</em>).</p></li>
</ul>
<h3 id="A-comparison-of-different-modes-of-Milvus" class="common-anchor-header">Ein Vergleich der verschiedenen Milvus-Modi</h3><p>In der folgenden Tabelle werden verschiedene Milvus-Modi miteinander verglichen: Standalone, Cluster, Embedded Milvus und die Zilliz Cloud, ein vollständig verwalteter Milvus-Dienst.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/comparison_ebcd7c5b07.jpeg" alt="comparison" class="doc-image" id="comparison" />
   </span> <span class="img-wrapper"> <span>Vergleich</span> </span></p>
<h2 id="How-to-install-embedded-Milvus" class="common-anchor-header">Wie installiert man embedded Milvus?<button data-href="#How-to-install-embedded-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Bevor Sie embedded Milvus installieren, müssen Sie sicherstellen, dass Sie Python 3.6 oder höher installiert haben. Embedded Milvus unterstützt die folgenden Betriebssysteme:</p>
<ul>
<li><p>Ubuntu 18.04</p></li>
<li><p>Mac x86_64 &gt;= 10.4</p></li>
<li><p>Mac M1 &gt;= 11.0</p></li>
</ul>
<p>Wenn die Anforderungen erfüllt sind, können Sie <code translate="no">$ python3 -m pip install milvus</code> ausführen, um embedded Milvus zu installieren. Sie können auch die Version in den Befehl einfügen, um eine bestimmte Version von embedded Milvus zu installieren. Wenn Sie zum Beispiel die Version 2.1.0 installieren möchten, führen Sie <code translate="no">$ python3 -m pip install milvus==2.1.0</code> aus. Und wenn später eine neue Version von embedded Milvus veröffentlicht wird, können Sie auch <code translate="no">$ python3 -m pip install --upgrade milvus</code> ausführen, um embedded Milvus auf die neueste Version zu aktualisieren.</p>
<p>Wenn Sie ein alter Milvus-Benutzer sind, der bereits PyMilvus installiert hat und nun embedded Milvus installieren möchte, können Sie <code translate="no">$ python3 -m pip install --no-deps milvus</code> ausführen.</p>
<p>Nachdem Sie den Installationsbefehl ausgeführt haben, müssen Sie einen Datenordner für embedded Milvus unter <code translate="no">/var/bin/e-milvus</code> erstellen, indem Sie den folgenden Befehl ausführen:</p>
<pre><code translate="no"><span class="hljs-built_in">sudo</span> <span class="hljs-built_in">mkdir</span> -p /var/bin/e-milvus
<span class="hljs-built_in">sudo</span> <span class="hljs-built_in">chmod</span> -R 777 /var/bin/e-milvus
<button class="copy-code-btn"></button></code></pre>
<h2 id="Start-and-stop-embedded-Milvus" class="common-anchor-header">Start und Stopp von embedded Milvus<button data-href="#Start-and-stop-embedded-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Wenn die Installation erfolgreich abgeschlossen ist, können Sie den Dienst starten.</p>
<p>Wenn Sie embedded Milvus zum ersten Mal starten, müssen Sie Milvus zunächst importieren und embedded Milvus einrichten.</p>
<pre><code translate="no">$ python3
Python 3.9.10 (main, Jan 15 2022, 11:40:53)
[Clang 13.0.0 (clang-1300.0.29.3)] on darwin
Type <span class="hljs-string">&quot;help&quot;</span>, <span class="hljs-string">&quot;copyright&quot;</span>, <span class="hljs-string">&quot;credits&quot;</span> or <span class="hljs-string">&quot;license&quot;</span> <span class="hljs-keyword">for</span> more information.
&gt;&gt;&gt; import milvus
&gt;&gt;&gt; milvus.before()
please <span class="hljs-keyword">do</span> the following <span class="hljs-keyword">if</span> you have not already <span class="hljs-keyword">done</span> so:
1. install required dependencies: bash /var/bin/e-milvus/lib/install_deps.sh
2. <span class="hljs-built_in">export</span> LD_PRELOAD=/SOME_PATH/embd-milvus.so
3. <span class="hljs-built_in">export</span> LD_LIBRARY_PATH=<span class="hljs-variable">$LD_LIBRARY_PATH</span>:/usr/lib:/usr/local/lib:/var/bin/e-milvus/lib/
&gt;&gt;&gt;
<button class="copy-code-btn"></button></code></pre>
<p>Wenn Sie embedded Milvus schon einmal erfolgreich gestartet haben und zurückkommen, um es neu zu starten, können Sie <code translate="no">milvus.start()</code> direkt nach dem Import von Milvus ausführen.</p>
<pre><code translate="no">$ python3
Python <span class="hljs-number">3.9</span><span class="hljs-number">.10</span> (main, Jan <span class="hljs-number">15</span> <span class="hljs-number">2022</span>, <span class="hljs-number">11</span>:<span class="hljs-number">40</span>:<span class="hljs-number">53</span>)
[Clang <span class="hljs-number">13.0</span><span class="hljs-number">.0</span> (clang-<span class="hljs-number">1300.0</span><span class="hljs-number">.29</span><span class="hljs-number">.3</span>)] on darwinType <span class="hljs-string">&quot;help&quot;</span>, <span class="hljs-string">&quot;copyright&quot;</span>, <span class="hljs-string">&quot;credits&quot;</span> <span class="hljs-keyword">or</span> <span class="hljs-string">&quot;license&quot;</span> <span class="hljs-keyword">for</span> more information.
<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">import</span> milvus
<span class="hljs-meta">&gt;&gt;&gt; </span>milvus.start()
&gt;&gt;&gt;
<button class="copy-code-btn"></button></code></pre>
<p>Wenn Sie den eingebetteten Milvus-Dienst erfolgreich gestartet haben, sehen Sie die folgende Ausgabe.</p>
<pre><code translate="no">---<span class="hljs-title class_">Milvus</span> <span class="hljs-title class_">Proxy</span> successfully initialized and ready to serve!---
<button class="copy-code-btn"></button></code></pre>
<p>Nachdem der Dienst gestartet ist, können Sie ein weiteres Terminalfenster öffnen und den Beispielcode von &quot;<a href="https://github.com/milvus-io/embd-milvus/blob/main/milvus/examples/hello_milvus.py">Hello Milvus</a>&quot; ausführen, um mit dem eingebetteten Milvus herumzuspielen!</p>
<pre><code translate="no"><span class="hljs-comment"># Download hello_milvus script</span>
$ wget https://raw.githubusercontent.com/milvus-io/pymilvus/v2.1.0/examples/hello_milvus.py
<span class="hljs-comment"># Run Hello Milvus </span>
$ python3 hello_milvus.py
<button class="copy-code-btn"></button></code></pre>
<p>Wenn Sie mit der Verwendung von embedded Milvus fertig sind, empfehlen wir, den Dienst zu beenden und die Umgebungsvariablen zu bereinigen, indem Sie den folgenden Befehl ausführen oder Strg-D drücken.</p>
<pre><code translate="no">&gt;&gt;&gt; milvus.stop()
<span class="hljs-keyword">if</span> you need to clean up the environment variables, run:
<span class="hljs-built_in">export</span> LD_PRELOAD=
<span class="hljs-built_in">export</span> LD_LIBRARY_PATH=
&gt;&gt;&gt;
&gt;&gt;&gt; <span class="hljs-built_in">exit</span>()
<button class="copy-code-btn"></button></code></pre>
<h2 id="Whats-next" class="common-anchor-header">Was kommt als nächstes?<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Mit der offiziellen Veröffentlichung von Milvus 2.1 haben wir eine Reihe von Blogs vorbereitet, in denen die neuen Funktionen vorgestellt werden. Lesen Sie mehr in dieser Blogserie:</p>
<ul>
<li><a href="https://milvus.io/blog/2022-08-08-How-to-use-string-data-to-empower-your-similarity-search-applications.md">Wie Sie String-Daten für Ihre Anwendungen zur Ähnlichkeitssuche nutzen können</a></li>
<li><a href="https://milvus.io/blog/embedded-milvus.md">Verwendung von Embedded Milvus zur sofortigen Installation und Ausführung von Milvus mit Python</a></li>
<li><a href="https://milvus.io/blog/in-memory-replicas.md">Erhöhen Sie den Lesedurchsatz Ihrer Vektordatenbank mit In-Memory-Replikaten</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md">Verständnis der Konsistenzebene in der Milvus-Vektordatenbank</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database-2.md">Verständnis der Konsistenzstufe in der Milvus-Vektordatenbank (Teil II)</a></li>
<li><a href="https://milvus.io/blog/data-security.md">Wie gewährleistet die Milvus-Vektor-Datenbank die Datensicherheit?</a></li>
</ul>


Verwendung von Embedded Milvus zur sofortigen Installation und Ausführung von Milvus mit Python

Verwendung von Zeichenkettendaten zur Verbesserung Ihrer Anwendungen für die Ähnlichkeitssuche

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/What_s_New_in_2_1_2_a0660df2a5.png" alt="What's new in Milvus 2.1 - Towards simplicity and speed" class="doc-image" id="what's-new-in-milvus-2.1---towards-simplicity-and-speed" />
   </span> <span class="img-wrapper"> <span>Was ist neu in Milvus 2.1 - In Richtung Einfachheit und Geschwindigkeit</span> </span></p>
<p>Wir freuen uns sehr, die<a href="https://milvus.io/docs/v2.1.x/release_notes.md">Veröffentlichung</a> von Milvus 2.1 nach sechs Monaten harter Arbeit aller Mitarbeiter der Milvus-Community bekannt geben zu können. Diese große Iteration der beliebten Vektordatenbank legt den Schwerpunkt auf <strong>Leistung</strong> und <strong>Benutzerfreundlichkeit</strong>, zwei der wichtigsten Schlüsselwörter unseres Fokus. Wir haben Unterstützung für Strings, Kafka Message Queue und eingebettetes Milvus hinzugefügt, sowie eine Reihe von Verbesserungen in Bezug auf Leistung, Skalierbarkeit, Sicherheit und Beobachtbarkeit. Milvus 2.1 ist ein aufregendes Update, das die "letzte Meile" vom Laptop des Algorithmus-Ingenieurs zu den produktiven Vektorähnlichkeitssuchdiensten überbrückt.</p>
<custom-h1>Leistung - Mehr als eine 3,2-fache Steigerung</custom-h1><h2 id="5ms-level-latency" class="common-anchor-header">Latenzzeit auf 5ms-Niveau<button data-href="#5ms-level-latency" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus unterstützt bereits die ANN-Suche (Approximate Nearest Neighbour), was einen erheblichen Sprung gegenüber der traditionellen KNN-Methode darstellt. Allerdings stellen Durchsatz- und Latenzprobleme nach wie vor eine Herausforderung für Benutzer dar, die Vektordaten in Milliardenhöhe abrufen müssen.</p>
<p>In Milvus 2.1 gibt es ein neues Routing-Protokoll, das sich nicht mehr auf Nachrichtenwarteschlangen in der Abrufverbindung stützt, wodurch die Abruflatenz für kleine Datensätze erheblich reduziert wird. Unsere Testergebnisse zeigen, dass Milvus seine Latenzzeit jetzt auf 5 ms senkt, was den Anforderungen kritischer Online-Verbindungen wie Ähnlichkeitssuche und Empfehlung entspricht.</p>
<h2 id="Concurrency-control" class="common-anchor-header">Gleichzeitigkeitskontrolle<button data-href="#Concurrency-control" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.1 verfeinert sein Gleichzeitigkeitsmodell durch die Einführung eines neuen Kostenbewertungsmodells und eines Gleichzeitigkeitsplaners. Es bietet nun eine Gleichzeitigkeitskontrolle, die sicherstellt, dass weder eine große Anzahl gleichzeitiger Anfragen um CPU- und Cache-Ressourcen konkurriert, noch die CPU zu wenig ausgelastet wird, weil es nicht genügend Anfragen gibt. Die neue, intelligente Scheduler-Schicht in Milvus 2.1 führt auch Small-nq-Abfragen mit konsistenten Abfrageparametern zusammen und sorgt so für eine erstaunliche 3,2-fache Leistungssteigerung in Szenarien mit Small-nq und hoher Gleichzeitigkeit der Abfragen.</p>
<h2 id="In-memory-replicas" class="common-anchor-header">In-Memory-Replikate<button data-href="#In-memory-replicas" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.1 bietet In-Memory-Replikate, die die Skalierbarkeit und Verfügbarkeit für kleine Datensätze verbessern. Ähnlich wie die Nur-Lese-Replikate in herkömmlichen Datenbanken können die In-Memory-Replikate horizontal skaliert werden, indem Maschinen hinzugefügt werden, wenn die Lese-QPS hoch ist. Beim Vektor-Retrieval für kleine Datenmengen muss ein Empfehlungssystem oft eine QPS bieten, die die Leistungsgrenze eines einzelnen Rechners überschreitet. In diesen Szenarien kann der Durchsatz des Systems durch das Laden mehrerer Replikate in den Speicher erheblich verbessert werden. In Zukunft werden wir auch einen abgesicherten Lesemechanismus einführen, der auf speicherinternen Replikaten basiert und der schnell andere funktionale Kopien anfordert, falls das System sich von Ausfällen erholen muss, und der die Speicherredundanz vollständig nutzt, um die Gesamtverfügbarkeit des Systems zu verbessern.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/What_s_New_in_Milvus_2_1_Figure_1_excalidraw_1f7fe3c998.png" alt="In-memory replicas allow query services to be based on separate
copies of the same data." class="doc-image" id="in-memory-replicas-allow-query-services-to-be-based-on-separate-copies-of-the-same-data." />
   </span> <span class="img-wrapper"> <span>In-Memory-Replikate ermöglichen Abfragedienste, die auf separaten Kopien derselben Daten basieren</span>. </span></p>
<h2 id="Faster-data-loading" class="common-anchor-header">Schnelleres Laden von Daten<button data-href="#Faster-data-loading" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Die letzte Leistungssteigerung betrifft das Laden von Daten. Milvus 2.1 komprimiert nun <a href="https://milvus.io/docs/v2.1.x/glossary.md#Log-snapshot">Binärprotokolle</a> mit Zstandard (zstd), was die Datengröße in den Objekt- und Nachrichtenspeichern sowie den Netzwerk-Overhead während des Datenladens erheblich reduziert. Darüber hinaus wurden Goroutine-Pools eingeführt, so dass Milvus Segmente gleichzeitig laden kann, wobei der Speicherbedarf kontrolliert wird und die Zeit für die Wiederherstellung nach Fehlern und das Laden von Daten minimiert wird.</p>
<p>Die vollständigen Benchmark-Ergebnisse von Milvus 2.1 werden demnächst auf unserer Website veröffentlicht. Bleiben Sie dran.</p>
<h2 id="String-and-scalar-index-support" class="common-anchor-header">Unterstützung von String- und Skalar-Indizes<button data-href="#String-and-scalar-index-support" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Mit der Version 2.1 unterstützt Milvus nun Strings mit variabler Länge (VARCHAR) als skalaren Datentyp. VARCHAR kann als Primärschlüssel verwendet werden, der als Ausgabe zurückgegeben werden kann, und kann auch als Attributfilter dienen. Das <a href="https://milvus.io/docs/v2.1.x/hybridsearch.md">Filtern von Attributen</a> ist eine der beliebtesten Funktionen, die Milvus-Benutzer benötigen. Wenn Sie oft nach &quot;Produkten suchen, die einem Benutzer in einer Preisspanne <span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mn>von</mn><mo>200-200</mo></mrow><annotation encoding="application/x-tex">-</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.7278em;vertical-align:-0.0833em;"></span><span class="mord">200-300</span></span></span></span>am ähnlichsten sind&quot;, oder &quot;Artikel finden, die das Schlüsselwort 'Vektordatenbank' enthalten und mit cloud-nativen Themen in Verbindung stehen&quot;, werden Sie Milvus 2.1 lieben.</p>
<p>Milvus 2.1 unterstützt auch den skalaren invertierten Index, um die Filtergeschwindigkeit auf der Grundlage der<a href="https://www.cs.le.ac.uk/people/ond1/XMLcomp/confersWEA06_LOUDS.pdf">prägnanten</a><a href="https://github.com/s-yata/marisa-trie">MARISA-Tries</a> als Datenstruktur zu verbessern. Alle Daten können nun mit einem sehr geringen Platzbedarf in den Speicher geladen werden, was einen viel schnelleren Vergleich, eine schnellere Filterung und ein schnelleres Präfix-Matching bei Zeichenketten ermöglicht. Unsere Testergebnisse zeigen, dass der Speicherbedarf von MARISA-trie nur 10% des Speicherbedarfs von Python-Wörterbüchern beträgt, um alle Daten in den Speicher zu laden und Abfragefunktionen bereitzustellen.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/What_s_new_in_Milvus_Figure_2_excalidraw_a1149aca96.png" alt="Milvus 2.1 combines MARISA-Trie with inverted index to significantly improve filtering speed." class="doc-image" id="milvus-2.1-combines-marisa-trie-with-inverted-index-to-significantly-improve-filtering-speed." />
   </span> <span class="img-wrapper"> <span>Milvus 2.1 kombiniert MARISA-Trie mit einem invertierten Index, um die Filtergeschwindigkeit erheblich zu verbessern.</span> </span></p>
<p>In Zukunft wird sich Milvus weiterhin auf Entwicklungen im Zusammenhang mit skalaren Abfragen konzentrieren, mehr skalare Indextypen und Abfrageoperatoren unterstützen und plattenbasierte skalare Abfragefunktionen bereitstellen, alles als Teil der laufenden Bemühungen, die Speicher- und Nutzungskosten skalarer Daten zu reduzieren.</p>
<custom-h1>Verbesserungen der Benutzerfreundlichkeit</custom-h1><h2 id="Kafka-support" class="common-anchor-header">Kafka-Unterstützung<button data-href="#Kafka-support" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.1 bietet Ihnen nun die Möglichkeit,<a href="https://pulsar.apache.org">Pulsar</a> oder <a href="https://kafka.apache.org">Kafka</a> als <a href="https://milvus.io/docs/v2.1.x/deploy_pulsar.md">Nachrichtenspeicher</a> zu verwenden, je nach Konfiguration des Benutzers, dank der Abstraktion und Kapselung von Milvus und dem Go Kafka SDK von Confluent.</p>
<h2 id="Production-ready-Java-SDK" class="common-anchor-header">Produktionsfähiges Java-SDK<button data-href="#Production-ready-Java-SDK" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Mit Milvus 2.1 ist unser <a href="https://github.com/milvus-io/milvus-sdk-java">Java SDK</a> nun offiziell freigegeben. Das Java-SDK verfügt über genau dieselben Funktionen wie das Python-SDK, mit einer noch besseren Gleichzeitigkeitsleistung. Im nächsten Schritt werden unsere Community-Mitarbeiter schrittweise die Dokumentation und die Anwendungsfälle für das Java-SDK verbessern und dazu beitragen, dass auch die Go- und RESTful-SDKs in die Produktionsreife gebracht werden.</p>
<h2 id="Observability-and-maintainability" class="common-anchor-header">Beobachtbarkeit und Wartbarkeit<button data-href="#Observability-and-maintainability" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.1 fügt wichtige<a href="https://milvus.io/docs/v2.1.x/metrics_dashboard.md">Überwachungsmetriken</a> hinzu, wie z. B. die Anzahl der Vektoreinfügungen, Suchlatenz/Durchsatz, Knotenspeicher-Overhead und CPU-Overhead. Außerdem optimiert die neue Version die Protokollierung erheblich, indem sie die Protokollebenen anpasst und unnötige Protokolldrucke reduziert.</p>
<h2 id="Embedded-Milvus" class="common-anchor-header">Eingebettetes Milvus<button data-href="#Embedded-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus hat die Bereitstellung von groß angelegten massiven Vektordatensuchdiensten erheblich vereinfacht, aber für Wissenschaftler, die Algorithmen in kleinerem Maßstab validieren wollen, ist Docker oder K8s immer noch zu kompliziert. Mit der Einführung von <a href="https://github.com/milvus-io/embd-milvus">Embedded Milvus</a> können Sie Milvus jetzt mit pip installieren, genau wie Pyrocksb und Pysqlite. Embedded Milvus unterstützt alle Funktionalitäten der Cluster- und der Standalone-Version, so dass Sie problemlos von Ihrem Laptop zu einer verteilten Produktionsumgebung wechseln können, ohne eine einzige Zeile Code zu ändern. Algorithmus-Ingenieure werden bei der Erstellung eines Prototyps mit Milvus eine viel bessere Erfahrung machen.</p>
<custom-h1>Testen Sie jetzt die sofort einsatzbereite Vektorsuche</custom-h1><p>Darüber hinaus bietet Milvus 2.1 auch einige große Verbesserungen in Bezug auf Stabilität und Skalierbarkeit, und wir freuen uns auf Ihre Nutzung und Ihr Feedback.</p>
<h2 id="Whats-next" class="common-anchor-header">Was kommt als nächstes?<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li>Lesen Sie die detaillierten <a href="https://milvus.io/docs/v2.1.x/release_notes.md">Release Notes</a> für alle Änderungen in Milvus 2.1</li>
<li><a href="https://milvus.io/docs/v2.1.x/install_standalone-docker.md">Installieren</a>Sie Milvus 2.1 und probieren Sie die neuen Funktionen aus</li>
<li>Treten Sie unserer <a href="https://slack.milvus.io/">Slack-Community</a> bei und diskutieren Sie die neuen Funktionen mit Tausenden von Milvus-Nutzern auf der ganzen Welt</li>
<li>Folgen Sie uns auf <a href="https://twitter.com/milvusio">Twitter</a> und<a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn</a>, um Updates zu erhalten, sobald unsere Blogs zu bestimmten neuen Funktionen veröffentlicht werden</li>
</ul>
<blockquote>
<p>Bearbeitet von <a href="https://github.com/songxianj">Songxian Jiang</a></p>
</blockquote>


Was ist neu in Milvus 2.1 - Mehr Einfachheit und Geschwindigkeit

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Frame_1282_edc1fb7d99.png" alt="cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>Titelbild</span> </span></p>
<p>Wenn Sie auf der Suche nach einem Kleiderschrank sind, der perfekt in Ihr Schlafzimmer oder Ihre Garderobe passt, denken die meisten Menschen sicher an Maßanfertigungen. Doch nicht jeder hat ein so großes Budget zur Verfügung. Was ist dann mit den Schränken von der Stange? Das Problem bei dieser Art von Schränken ist, dass sie höchstwahrscheinlich nicht Ihren Erwartungen entsprechen, da sie nicht flexibel genug sind, um Ihren individuellen Stauraumbedürfnissen gerecht zu werden. Außerdem ist es bei der Online-Suche ziemlich schwierig, den von Ihnen gesuchten Schranktyp in Stichworten zusammenzufassen. Es ist sehr wahrscheinlich, dass das Schlüsselwort, das Sie in das Suchfeld eingeben (z. B. Kleiderschrank mit Schmuckfach), sich von dem unterscheidet, das in der Suchmaschine eingegeben wird (z. B. Kleiderschrank mit <a href="https://www.ikea.com/us/en/p/komplement-pull-out-tray-with-insert-black-brown-s79249366/">ausziehbarem Fach mit Einsatz</a>).</p>
<p>Aber dank der neuen Technologien gibt es eine Lösung! Der Möbelkonzern IKEA bietet ein beliebtes Design-Tool <a href="https://www.ikea.com/us/en/rooms/bedroom/how-to/how-to-design-your-perfect-pax-wardrobe-pub8b76dda0">PAX-Kleiderschrank</a> an, mit dem die Benutzer aus einer Reihe von vorgefertigten Schränken auswählen und die Farbe, Größe und Innenausstattung der Schränke anpassen können. Ganz gleich, ob Sie Platz zum Aufhängen, mehrere Einlegeböden oder Innenschubladen benötigen, dieses intelligente System zur individuellen Gestaltung von Kleiderschränken kann immer auf Ihre Bedürfnisse eingehen.</p>
<p>Um mit diesem intelligenten Schranksystem Ihren idealen Kleiderschrank zu finden oder zu bauen, müssen Sie:</p>
<ol>
<li>Geben Sie die Grundanforderungen an - die Form (normal, L- oder U-förmig), Länge und Tiefe des Schranks.</li>
<li>Bestimmen Sie Ihren Stauraumbedarf und die Inneneinteilung des Schranks (z.B. Hängefläche, ausziehbarer Hosenständer, etc. wird benötigt).</li>
<li>Fügen Sie Teile des Schranks wie Schubladen oder Einlegeböden hinzu oder entfernen Sie sie.</li>
</ol>
<p>Dann ist Ihr Entwurf fertig. Einfach und leicht!</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Pax_system_ff4c3fa182.png" alt="pax system" class="doc-image" id="pax-system" />
   </span> <span class="img-wrapper"> <span>pax-System</span> </span></p>
<p>Eine sehr wichtige Komponente, die ein solches Garderobensystem möglich macht, ist die <a href="https://zilliz.com/learn/what-is-vector-database">Vektordatenbank</a>. In diesem Artikel werden daher der Arbeitsablauf und die Lösungen für die Ähnlichkeitssuche vorgestellt, die für den Aufbau eines intelligenten Systems zur Anpassung von Kleiderschränken auf der Grundlage der Vektorähnlichkeitssuche verwendet werden.</p>
<p>Springe zu:</p>
<ul>
<li><a href="#System-overview">System-Übersicht</a></li>
<li><a href="#Data-flow">Datenfluss</a></li>
<li><a href="#System-demo">System-Demo</a></li>
</ul>
<h2 id="System-Overview" class="common-anchor-header">System-Übersicht<button data-href="#System-Overview" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Um ein solches intelligentes Tool zur Anpassung von Kleiderschränken zu entwickeln, müssen wir zunächst die Geschäftslogik definieren und die Attribute der Artikel und die Benutzerführung verstehen. Kleiderschränke und ihre Komponenten wie Schubladen, Fächer und Regale sind allesamt unstrukturierte Daten. Daher besteht der zweite Schritt darin, KI-Algorithmen und -Regeln, Vorwissen, Artikelbeschreibungen und vieles mehr zu nutzen, um diese unstrukturierten Daten in eine Art von Daten zu konvertieren, die von Computern verstanden werden können - Vektoren!</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Customization_tool_overview_86d62e1730.png" alt="Customization tool overview" class="doc-image" id="customization-tool-overview" />
   </span> <span class="img-wrapper"> <span>Überblick über das Anpassungswerkzeug</span> </span></p>
<p>Mit den generierten Vektoren benötigen wir leistungsfähige Vektordatenbanken und Suchmaschinen, um sie zu verarbeiten.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/tool_architecutre_33fb646954.png" alt="tool architecture" class="doc-image" id="tool-architecture" />
   </span> <span class="img-wrapper"> <span>Tool-Architektur</span> </span></p>
<p>Das Anpassungswerkzeug nutzt einige der beliebtesten Suchmaschinen und Datenbanken: Elasticsearch, <a href="https://milvus.io/">Milvus</a> und PostgreSQL.</p>
<h3 id="Why-Milvus" class="common-anchor-header">Warum Milvus?</h3><p>Eine Garderobenkomponente enthält hochkomplexe Informationen, wie Farbe, Form, Inneneinteilung usw. Die herkömmliche Speicherung von Garderobendaten in einer relationalen Datenbank reicht jedoch bei weitem nicht aus. Ein beliebter Weg ist die Verwendung von Einbettungstechniken, um Garderoben in Vektoren umzuwandeln. Daher müssen wir nach einer neuen Art von Datenbank suchen, die speziell für die Speicherung von Vektoren und die Ähnlichkeitssuche entwickelt wurde. Nach Prüfung mehrerer gängiger Lösungen wurde die <a href="https://github.com/milvus-io/milvus">Milvus-Vektordatenbank</a> aufgrund ihrer hervorragenden Leistung, Stabilität, Kompatibilität und Benutzerfreundlichkeit ausgewählt. Die nachstehende Tabelle ist ein Vergleich mehrerer gängiger Lösungen für die Vektorsuche.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Solution_comparison_d96b8f1dd5.png" alt="solution comparison" class="doc-image" id="solution-comparison" />
   </span> <span class="img-wrapper"> <span>Lösungsvergleich</span> </span></p>
<h3 id="System-workflow" class="common-anchor-header">System Arbeitsablauf</h3><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/System_workflow_250c275ec1.png" alt="System workflow" class="doc-image" id="system-workflow" />
   </span> <span class="img-wrapper"> <span>Arbeitsablauf des Systems</span> </span></p>
<p>Elasticsearch wird für eine grobe Filterung nach Kleiderschrankgröße, Farbe usw. verwendet. Dann durchlaufen die gefilterten Ergebnisse die Vektordatenbank Milvus für eine Ähnlichkeitssuche, und die Ergebnisse werden auf der Grundlage ihres Abstands/ihrer Ähnlichkeit mit dem Abfragevektor eingestuft. Schließlich werden die Ergebnisse konsolidiert und auf der Grundlage von Geschäftserkenntnissen weiter verfeinert.</p>
<h2 id="Data-flow" class="common-anchor-header">Datenfluss<button data-href="#Data-flow" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Das System zur Anpassung des Kleiderschranks ist herkömmlichen Suchmaschinen und Empfehlungssystemen sehr ähnlich. Es besteht aus drei Teilen:</p>
<ul>
<li>Offline-Datenaufbereitung einschließlich Datendefinition und -generierung.</li>
<li>Online-Dienste, einschließlich Abruf und Ranking.</li>
<li>Nachbearbeitung der Daten auf der Grundlage der Geschäftslogik.</li>
</ul>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/data_flow_d0d9fa0fca.png" alt="Data flow" class="doc-image" id="data-flow" />
   </span> <span class="img-wrapper"> <span>Datenfluss</span> </span></p>
<h3 id="Offline-data-flow" class="common-anchor-header">Offline-Datenfluss</h3><ol>
<li>Definieren Sie Daten anhand von Geschäftskenntnissen.</li>
<li>Nutzung von Vorwissen, um zu definieren, wie verschiedene Komponenten kombiniert und zu einem Kleiderschrank zusammengestellt werden können.</li>
<li>Erkennen der Merkmalsbezeichnungen der Kleiderschränke und Kodierung der Merkmale in Elasticsearch-Daten in der Datei <code translate="no">.json</code>.</li>
<li>Bereiten Sie Rückrufdaten vor, indem Sie unstrukturierte Daten in Vektoren kodieren.</li>
<li>Verwenden Sie die Vektordatenbank Milvus, um die im vorherigen Schritt erhaltenen Abrufergebnisse zu ordnen.</li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/offline_data_flow_f91ac9cf4c.png" alt="offline data flow" class="doc-image" id="offline-data-flow" />
   </span> <span class="img-wrapper"> <span>Offline-Datenfluss</span> </span></p>
<h3 id="Online-data-flow" class="common-anchor-header">Online-Datenfluss</h3><ol>
<li>Entgegennahme von Abfrageanfragen von Benutzern und Sammlung von Benutzerprofilen.</li>
<li>Verstehen der Benutzeranfrage durch Identifizierung ihrer Anforderungen an den Kleiderschrank.</li>
<li>Grobsuche mit Elasticsearch.</li>
<li>Bewertung und Rangfolge der Ergebnisse aus der Grobsuche auf der Grundlage der Berechnung der Vektorähnlichkeit in Milvus.</li>
<li>Nachbearbeitung und Organisation der Ergebnisse auf der Back-End-Plattform, um die endgültigen Ergebnisse zu generieren.</li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/online_data_flow_1f2af25cc3.png" alt="online data flow" class="doc-image" id="online-data-flow" />
   </span> <span class="img-wrapper"> <span>Online-Datenfluss</span> </span></p>
<h3 id="Data-post-processing" class="common-anchor-header">Nachbearbeitung der Daten</h3><p>Die Geschäftslogik ist von Unternehmen zu Unternehmen unterschiedlich. Sie können den Ergebnissen einen letzten Schliff geben, indem Sie die Geschäftslogik Ihres Unternehmens anwenden.</p>
<h2 id="System-demo" class="common-anchor-header">System-Demo<button data-href="#System-demo" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Sehen wir uns nun an, wie das von uns entwickelte System tatsächlich funktioniert.</p>
<p>Die Benutzeroberfläche (UI) zeigt die verschiedenen Kombinationsmöglichkeiten der Garderobenkomponenten an.</p>
<p>Jede Komponente wird durch ihr Merkmal (Größe, Farbe usw.) gekennzeichnet und in Elasticsearch (ES) gespeichert. Bei der Speicherung der Etiketten in ES müssen vier Hauptdatenfelder ausgefüllt werden: ID, Tags, Speicherpfad und andere Hilfsfelder. ES und die beschrifteten Daten werden für den granularen Abruf und die Attributfilterung verwendet.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/es_d5b0639610.png" alt="es" class="doc-image" id="es" />
   </span> <span class="img-wrapper"> <span>es</span> </span></p>
<p>Dann werden verschiedene KI-Algorithmen verwendet, um eine Garderobe in einen Satz von Vektoren zu kodieren. Die Vektorsätze werden in Milvus für die Ähnlichkeitssuche und das Ranking gespeichert. Dieser Schritt liefert verfeinerte und genauere Ergebnisse.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Milvus_38dd93a439.jpeg" alt="Milvus" class="doc-image" id="milvus" />
   </span> <span class="img-wrapper"> <span>Milvus</span> </span></p>
<p>Elasticsearch, Milvus und andere Systemkomponenten bilden zusammen die Designplattform für die Anpassung als Ganzes. Die domänenspezifische Sprache (DSL) in Elasticsearch und Milvus sieht wie folgt aus.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/dsl_df60097d23.png" alt="dsl" class="doc-image" id="dsl" />
   </span> <span class="img-wrapper"> <span>dsl</span> </span></p>
<h2 id="Looking-for-more-resources" class="common-anchor-header">Suchen Sie nach weiteren Ressourcen?<button data-href="#Looking-for-more-resources" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Erfahren Sie, wie die Milvus-Vektordatenbank mehr KI-Anwendungen unterstützen kann:</p>
<ul>
<li><a href="https://milvus.io/blog/2022-06-23-How-Short-video-Platform-Likee-Removes-Duplicate-Videos-with-Milvus.md">Wie die Kurzvideo-Plattform Likee mit Milvus doppelte Videos entfernt</a></li>
<li><a href="https://milvus.io/blog/2022-06-20-Zhentu-the-Photo-Fraud-Detector-Based-on-Milvus.md">Zhentu - Der Fotobetrugsdetektor auf Basis von Milvus</a></li>
</ul>


Aufbau eines intelligenten Systems zur Anpassung der Garderobe auf der Grundlage der Milvus-Vektordatenbank

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/How_Short_video_Platform_Likee_Removes_Duplicate_Videos_with_Milvus_07bd75ec82.png" alt="Cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>Titelbild</span> </span></p>
<blockquote>
<p>Dieser Artikel wurde von Xinyang Guo und Baoyu Han, Ingenieure bei BIGO, geschrieben und von <a href="https://www.linkedin.cn/incareer/in/rosie-zhang-694528149">Rosie Zhang</a> übersetzt.</p>
</blockquote>
<p><a href="https://www.bigo.sg/">BIGO Technology</a> (BIGO) ist eines der am schnellsten wachsenden Technologieunternehmen in Singapur. Die auf künstlicher Intelligenz basierenden Produkte und Dienstleistungen von BIGO erfreuen sich weltweit großer Beliebtheit und haben über 400 Millionen Nutzer in mehr als 150 Ländern. Dazu gehören <a href="https://www.bigo.tv/bigo_intro/en.html?hk=true">Bigo Live</a> (Live-Streaming) und <a href="https://likee.video/">Likee</a> (Kurzvideos).</p>
<p>Likee ist eine globale Plattform zur Erstellung von Kurzvideos, auf der Nutzer ihre Momente teilen, sich selbst ausdrücken und mit der Welt in Verbindung treten können. Um die Nutzererfahrung zu verbessern und den Nutzern qualitativ hochwertigere Inhalte zu empfehlen, muss Likee doppelte Videos aus der enormen Menge der täglich von den Nutzern erstellten Videos aussortieren, was keine einfache Aufgabe darstellt.</p>
<p>In diesem Blog wird vorgestellt, wie BIGO <a href="https://milvus.io">Milvus</a>, eine Open-Source-Vektordatenbank, verwendet, um doppelte Videos effektiv zu entfernen.</p>
<p><strong>Springe zu:</strong></p>
<ul>
<li><a href="#Overview">Übersicht</a></li>
<li><a href="#Video-deduplication-workflow">Arbeitsablauf der Videodeduplizierung</a></li>
<li><a href="#System-architecture">System-Architektur</a></li>
<li><a href="#Using-Milvus-vector-database-to-power-similarity-search">Verwendung von Milvus für die Ähnlichkeitssuche</a></li>
</ul>
<custom-h1>Überblick</custom-h1><p>Milvus ist eine Open-Source-Vektordatenbank, die eine ultraschnelle Vektorsuche ermöglicht. Mit Milvus ist Likee in der Lage, eine Suche innerhalb von 200 ms abzuschließen und gleichzeitig eine hohe Wiederfindungsrate zu gewährleisten. Durch die <a href="https://milvus.io/docs/v2.0.x/scaleout.md#Scale-a-Milvus-Cluster">horizontale Skalierung von Milvus</a> kann Likee den Durchsatz von Vektorabfragen erhöhen und damit die Effizienz weiter steigern.</p>
<custom-h1>Arbeitsablauf der Videodeduplizierung</custom-h1><p>Wie identifiziert Likee doppelte Videos? Jedes Mal, wenn ein abgefragtes Video in das Likee-System eingegeben wird, wird es in 15-20 Einzelbilder zerlegt und jedes Einzelbild wird in einen Merkmalsvektor umgewandelt. Dann durchsucht Likee eine Datenbank mit 700 Millionen Vektoren, um die K ähnlichsten Vektoren zu finden. Jeder der K Spitzenvektoren entspricht einem Video in der Datenbank. Likee führt weitere Suchläufe durch, um die endgültigen Ergebnisse zu erhalten und die zu entfernenden Videos zu bestimmen.</p>
<custom-h1>Aufbau des Systems</custom-h1><p>Schauen wir uns genauer an, wie das Video-Deduplizierungssystem von Likee mit Milvus funktioniert. Wie im folgenden Diagramm dargestellt, werden neue Videos, die auf Likee hochgeladen werden, in Echtzeit in Kafka, ein Datenspeichersystem, geschrieben und von Kafka-Konsumenten konsumiert. Die Merkmalsvektoren dieser Videos werden durch Deep-Learning-Modelle extrahiert, wobei unstrukturierte Daten (Videos) in Merkmalsvektoren umgewandelt werden. Diese Merkmalsvektoren werden vom System verpackt und an den Ähnlichkeitsprüfer gesendet.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Likee_1_6f7ebcd8fc.png" alt="Architechure of Likee's video de-duplication system" class="doc-image" id="architechure-of-likee's-video-de-duplication-system" />
   </span> <span class="img-wrapper"> <span>Architektur des Video-Deduplizierungssystems von Likee</span> </span></p>
<p>Die extrahierten Merkmalsvektoren werden von Milvus indiziert und in Ceph gespeichert, bevor sie <a href="https://milvus.io/blog/deep-dive-5-real-time-query.md">vom Milvus-Abfrageknoten</a> zur weiteren Suche <a href="https://milvus.io/blog/deep-dive-5-real-time-query.md">geladen</a> werden. Die entsprechenden Video-IDs dieser Merkmalsvektoren werden je nach Bedarf auch gleichzeitig in TiDB oder Pika gespeichert.</p>
<h3 id="Using-Milvus-vector-database-to-power-similarity-search" class="common-anchor-header">Verwendung der Milvus-Vektordatenbank für die Ähnlichkeitssuche</h3><p>Bei der Suche nach ähnlichen Vektoren stellen Milliarden vorhandener Daten sowie große Mengen neuer Daten, die täglich generiert werden, eine große Herausforderung für die Funktionalität der Vektorsuchmaschine dar. Nach einer gründlichen Analyse entschied sich Likee schließlich für Milvus, eine verteilte Vektorsuchmaschine mit hoher Leistung und hoher Wiedererkennungsrate, um die Ähnlichkeitssuche durchzuführen.</p>
<p>Wie im folgenden Diagramm dargestellt, läuft eine Ähnlichkeitssuche wie folgt ab:</p>
<ol>
<li><p>Zunächst führt Milvus eine Stapelsuche durch, um die 100 ähnlichsten Vektoren für jeden der mehreren Merkmalsvektoren, die aus einem neuen Video extrahiert wurden, abzurufen. Jeder ähnliche Vektor ist an die entsprechende Video-ID gebunden.</p></li>
<li><p>Zweitens entfernt Milvus durch den Vergleich der Video-IDs die doppelten Videos und ruft die Merkmalsvektoren der verbleibenden Videos aus TiDB oder Pika ab.</p></li>
<li><p>Schließlich berechnet und bewertet Milvus die Ähnlichkeit zwischen jedem Satz der abgerufenen Feature-Vektoren und den Feature-Vektoren des Abfragevideos. Die Video-ID mit der höchsten Punktzahl wird als Ergebnis zurückgegeben. Damit ist die Ähnlichkeitssuche nach Videos abgeschlossen.</p></li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/02_a24d251c8f.png" alt="Procedure of a similarity search" class="doc-image" id="procedure-of-a-similarity-search" />
   </span> <span class="img-wrapper"> <span>Vorgehensweise bei einer Ähnlichkeitssuche</span> </span></p>
<p>Als leistungsstarke Vektorsuchmaschine hat Milvus im Video-Deduplizierungssystem von Likee hervorragende Arbeit geleistet und das Wachstum des Kurzvideo-Geschäfts von BIGO erheblich gefördert. In Bezug auf das Videogeschäft gibt es viele andere Szenarien, in denen Milvus eingesetzt werden kann, wie z. B. das Sperren illegaler Inhalte oder personalisierte Videoempfehlungen. Sowohl BIGO als auch Milvus freuen sich auf die zukünftige Zusammenarbeit in weiteren Bereichen.</p>


Wie die Kurzvideoplattform Likee mit Milvus doppelte Videos entfernt

Skalierbare und rasend schnelle Ähnlichkeitssuche mit der Milvus-Vektordatenbank

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/zhentu_0ae11c98ee.png" alt="cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>Titelbild</span> </span></p>
<blockquote>
<p>Dieser Artikel wurde von Yan Shi und Minwei Tang, Senior Algorithm Engineers bei BestPay, geschrieben und von <a href="https://www.linkedin.cn/incareer/in/rosie-zhang-694528149">Rosie Zhang</a> übersetzt.</p>
</blockquote>
<p>In den letzten Jahren, als E-Commerce und Online-Transaktionen in der ganzen Welt alltäglich wurden, florierte auch der E-Commerce-Betrug. Durch die Verwendung von computergenerierten Fotos anstelle echter Fotos zur Identitätsprüfung auf Online-Geschäftsplattformen erstellen Betrüger massenhaft gefälschte Konten und profitieren von den Sonderangeboten der Unternehmen (z. B. Mitgliedsgeschenke, Gutscheine, Token), was sowohl den Verbrauchern als auch den Unternehmen unwiederbringliche Verluste beschert.</p>
<p>Herkömmliche Methoden der Risikokontrolle sind angesichts der großen Datenmengen nicht mehr wirksam. Um das Problem zu lösen, hat <a href="https://www.bestpay.com.cn">BestPay</a> einen Fotobetrugsdetektor namens Zhentu (was auf Chinesisch "Bilder erkennen" bedeutet) entwickelt, der auf Deep Learning (DL) und digitalen Bildverarbeitungstechnologien (DIP) basiert. Zhentu kann in verschiedenen Szenarien der Bilderkennung eingesetzt werden, wobei ein wichtiger Nebeneffekt die Identifizierung von gefälschten Geschäftslizenzen ist. Wenn das von einem Nutzer eingereichte Foto einer Geschäftslizenz einem anderen, bereits in der Fotobibliothek einer Plattform vorhandenen Foto sehr ähnlich ist, ist es wahrscheinlich, dass der Nutzer das Foto irgendwo gestohlen oder eine Lizenz zu betrügerischen Zwecken gefälscht hat.</p>
<p>Herkömmliche Algorithmen zur Messung der Bildähnlichkeit, wie <a href="https://en.wikipedia.org/wiki/Peak_signal-to-noise_ratio">PSNR</a> und ORB, sind langsam und ungenau und nur für Offline-Aufgaben geeignet. Deep Learning hingegen ist in der Lage, große Bilddatenmengen in Echtzeit zu verarbeiten und ist die ultimative Methode für den Abgleich ähnlicher Bilder. Mit den gemeinsamen Bemühungen des Forschungs- und Entwicklungsteams von BestPay und <a href="https://milvus.io/">der Milvus-Community</a> wurde als Teil von Zhentu ein System zur Erkennung von Fotobetrug entwickelt. Es funktioniert, indem es riesige Mengen von Bilddaten mit Hilfe von Deep-Learning-Modellen in Merkmalsvektoren umwandelt und diese in <a href="https://milvus.io/">Milvus</a>, eine Vektorsuchmaschine, einfügt. Mit Milvus ist das Erkennungssystem in der Lage, Billionen von Vektoren zu indizieren und ähnliche Fotos unter mehreren Millionen Bildern effizient zu finden.</p>
<p><strong>Springe zu:</strong></p>
<ul>
<li><a href="#an-overview-of-zhentu">Ein Überblick über Zhentu</a></li>
<li><a href="#system-structure">Aufbau des Systems</a></li>
<li><a href="#deployment"><strong>Einsatz</strong></a></li>
<li><a href="#real-world-performance"><strong>Leistung in der realen Welt</strong></a></li>
<li><a href="#reference"><strong>Referenz</strong></a></li>
<li><a href="#about-bestpay"><strong>Über BestPay</strong></a></li>
</ul>
<h2 id="An-overview-of-Zhentu" class="common-anchor-header">Ein Überblick über Zhentu<button data-href="#An-overview-of-Zhentu" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Zhentu ist ein von BestPay selbst entwickeltes multimediales Produkt zur visuellen Risikokontrolle, das tief in Technologien für maschinelles Lernen (ML) und neuronale Netze zur Bilderkennung integriert ist. Sein integrierter Algorithmus kann Betrüger während der Benutzerauthentifizierung genau identifizieren und auf Millisekunden-Ebene reagieren. Mit seiner branchenführenden Technologie und innovativen Lösung hat Zhentu fünf Patente und zwei Software-Urheberrechte erhalten. Es wird jetzt in einer Reihe von Banken und Finanzinstituten eingesetzt, um potenzielle Risiken im Voraus zu erkennen.</p>
<h2 id="System-structure" class="common-anchor-header">Aufbau des Systems<button data-href="#System-structure" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>BestPay verfügt derzeit über mehr als 10 Millionen Fotos von Geschäftslizenzen, und das tatsächliche Volumen wächst mit dem Wachstum des Unternehmens weiter exponentiell an. Um schnell ähnliche Fotos aus einer so großen Datenbank abrufen zu können, hat Zhentu Milvus als Engine zur Berechnung der Ähnlichkeit von Merkmalsvektoren gewählt. Die allgemeine Struktur des Systems zur Erkennung von Fotofälschungen ist im folgenden Diagramm dargestellt.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Structure_of_the_photo_fraud_detection_system_cf5d20d431.png" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<p>Das Verfahren kann in vier Schritte unterteilt werden:</p>
<ol>
<li><p>Vorverarbeitung des Bildes. Die Vorverarbeitung, einschließlich Rauschunterdrückung, Rauschentfernung und Kontrastverbesserung, gewährleistet sowohl die Integrität der ursprünglichen Informationen als auch die Entfernung von unbrauchbaren Informationen aus dem Bildsignal.</p></li>
<li><p>Extraktion von Merkmalsvektoren. Ein speziell trainiertes Deep-Learning-Modell wird verwendet, um die Merkmalsvektoren des Bildes zu extrahieren. Die Umwandlung von Bildern in Vektoren für die weitere Ähnlichkeitssuche ist ein Routinevorgang.</p></li>
<li><p>Normalisierung. Die Normalisierung der extrahierten Merkmalsvektoren trägt zur Verbesserung der Effizienz der nachfolgenden Verarbeitung bei.</p></li>
<li><p>Vektorsuche mit Milvus. Einfügen der normalisierten Merkmalsvektoren in die Milvus-Datenbank für die vektorielle Ähnlichkeitssuche.</p></li>
</ol>
<h2 id="Deployment" class="common-anchor-header"><strong>Einsatz</strong><button data-href="#Deployment" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Im Folgenden wird kurz beschrieben, wie das Zhentu-System zur Erkennung von Fotobetrug eingesetzt wird.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/milvus_architecture_ea45a5ab53.png" alt="Milvus system architecture" class="doc-image" id="milvus-system-architecture" />
   </span> <span class="img-wrapper"> <span>Milvus-Systemarchitektur</span> </span></p>
<p>Wir haben unseren <a href="https://milvus.io/docs/v2.0.x/install_cluster-helm.md">Milvus-Cluster auf Kubernetes</a> implementiert, um eine hohe Verfügbarkeit und Echtzeitsynchronisation der Cloud-Dienste zu gewährleisten. Die allgemeinen Schritte sind wie folgt:</p>
<ol>
<li><p>Verfügbare Ressourcen anzeigen. Führen Sie den Befehl <code translate="no">kubectl describe nodes</code> aus, um die Ressourcen zu sehen, die der Kubernetes-Cluster den erstellten Fällen zuweisen kann.</p></li>
<li><p>Zuweisen von Ressourcen. Führen Sie den Befehl <code translate="no">kubect`` -- apply xxx.yaml</code> aus, um Speicher- und CPU-Ressourcen für Milvus-Cluster-Komponenten mit Helm zuzuweisen.</p></li>
<li><p>Wenden Sie die neue Konfiguration an. Führen Sie den Befehl <code translate="no">helm upgrade my-release milvus/milvus --reuse-values -fresources.yaml</code> aus.</p></li>
<li><p>Wenden Sie die neue Konfiguration auf den Milvus-Cluster an. Der auf diese Weise bereitgestellte Cluster ermöglicht nicht nur die Anpassung der Systemkapazität an unterschiedliche Geschäftsanforderungen, sondern erfüllt auch besser die Hochleistungsanforderungen für die Abfrage massiver Vektordaten.</p></li>
</ol>
<p>Sie können <a href="https://milvus.io/docs/v2.0.x/configure-docker.md">Milvus</a> so <a href="https://milvus.io/docs/v2.0.x/configure-docker.md">konfigurieren</a>, dass die Suchleistung für verschiedene Datentypen aus unterschiedlichen Geschäftsszenarien optimiert wird, wie die beiden folgenden Beispiele zeigen.</p>
<p>Beim <a href="https://milvus.io/docs/v2.0.x/build_index.md">Aufbau des Vektorindexes</a> parametrisieren wir den Index entsprechend dem tatsächlichen Szenario des Systems wie folgt:</p>
<pre><code translate="no" class="language-Python">index = {<span class="hljs-string">&quot;index_type&quot;</span>: <span class="hljs-string">&quot;IVF_PQ&quot;</span>, <span class="hljs-string">&quot;params&quot;</span>: {<span class="hljs-string">&quot;nlist&quot;</span>: <span class="hljs-number">2048</span>}, <span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&quot;IP&quot;</span>}
<button class="copy-code-btn"></button></code></pre>
<p><a href="https://milvus.io/docs/v2.0.x/index.md#IVF_PQ">IVF_PQ</a> führt ein IVF-Indexclustering durch, bevor das Produkt der Vektoren quantisiert wird. Er zeichnet sich durch eine schnelle Plattenabfrage und einen sehr geringen Speicherverbrauch aus, was den Anforderungen der realen Anwendung von Zhentu entspricht.</p>
<p>Außerdem legen wir die optimalen Suchparameter wie folgt fest:</p>
<pre><code translate="no" class="language-Python">search_params = {<span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&quot;IP&quot;</span>, <span class="hljs-string">&quot;params&quot;</span>: {<span class="hljs-string">&quot;nprobe&quot;</span>: <span class="hljs-number">32</span>}}
<button class="copy-code-btn"></button></code></pre>
<p>Da die Vektoren bereits vor der Eingabe in Milvus normalisiert werden, wird das innere Produkt (IP) gewählt, um den Abstand zwischen zwei Vektoren zu berechnen. Experimente haben gezeigt, dass die Wiederfindungsrate mit IP um etwa 15% höher ist als mit dem euklidischen Abstand (L2).</p>
<p>Die obigen Beispiele zeigen, dass wir die Parameter von Milvus entsprechend den verschiedenen Geschäftsszenarien und Leistungsanforderungen testen und einstellen können.</p>
<p>Darüber hinaus integriert Milvus nicht nur verschiedene Indexbibliotheken, sondern unterstützt auch verschiedene Indextypen und Ähnlichkeitsberechnungsmethoden. Milvus bietet auch offizielle SDKs in mehreren Sprachen und umfangreiche APIs für das Einfügen, Abfragen usw., so dass unsere Front-End-Geschäftsgruppen die SDKs nutzen können, um das Risikokontrollzentrum aufzurufen.</p>
<h2 id="Real-world-performance" class="common-anchor-header"><strong>Leistung in der realen Welt</strong><button data-href="#Real-world-performance" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Bislang läuft das System zur Erkennung von Fotobetrug stabil und hilft Unternehmen, potenzielle Betrüger zu identifizieren. Im Jahr 2021 wurden über 20 000 gefälschte Führerscheine entdeckt. Was die Abfragegeschwindigkeit angeht, so dauert eine einzelne Vektorabfrage unter mehreren Millionen Vektoren weniger als 1 Sekunde, und die durchschnittliche Zeit für eine Batch-Abfrage beträgt weniger als 0,08 Sekunden. Die Hochleistungssuche von Milvus erfüllt die Anforderungen von Unternehmen an Genauigkeit und Gleichzeitigkeit gleichermaßen.</p>
<h2 id="Reference" class="common-anchor-header"><strong>Referenz</strong><button data-href="#Reference" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Aglave P, Kolkure V S. Implementation of High Performance Feature Extraction Method Using Oriented Fast and Rotated Brief Algorithm[J]. Int. J. Res. Eng. Technol, 2015, 4: 394-397.</p>
<h2 id="About-BestPay" class="common-anchor-header"><strong>Über BestPay</strong><button data-href="#About-BestPay" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>China Telecom BestPay Co. Ltd. ist eine hundertprozentige Tochtergesellschaft von China Telecom. Sie betreibt das Zahlungs- und Finanzgeschäft. BestPay ist bestrebt, Spitzentechnologien wie Big Data, künstliche Intelligenz und Cloud Computing zu nutzen, um Geschäftsinnovationen zu fördern und intelligente Produkte, Lösungen zur Risikokontrolle und andere Dienstleistungen anzubieten. Bis Januar 2016 hat die App namens BestPay über 200 Millionen Nutzer angezogen und ist zum drittgrößten Zahlungsplattformbetreiber in China geworden, dicht nach Alipay und WeChat Payment.</p>


Zhentu - der auf Milvus basierende Fotobetrugsdetektor

Floß oder nicht? Die beste Lösung für Datenkonsistenz in Cloud-nativen Datenbanken

Was leistet die Ähnlichkeitssuche in der Milvus-Vektordatenbank?

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Deep_Dive_7_baae830823.png" alt="Cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>Titelbild</span> </span></p>
<blockquote>
<p>Dieser Artikel wurde von <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni</a> verfasst.</p>
</blockquote>
<p>Eine <a href="https://milvus.io/docs/v2.0.x/query.md">Vektorabfrage</a> in Milvus ist der Prozess des Abrufs von Vektoren mittels skalarer Filterung auf der Grundlage eines booleschen Ausdrucks. Mit skalarer Filterung können Benutzer ihre Abfrageergebnisse mit bestimmten Bedingungen einschränken, die auf Datenattribute angewendet werden. Wenn ein Benutzer beispielsweise nach Filmen sucht, die zwischen 1990 und 2010 veröffentlicht wurden und eine Bewertung von mehr als 8,5 haben, werden nur Filme angezeigt, deren Attribute (Erscheinungsjahr und Bewertung) die Bedingung erfüllen.</p>
<p>In diesem Beitrag soll untersucht werden, wie eine Abfrage in Milvus von der Eingabe eines Abfrageausdrucks bis zur Erstellung des Abfrageplans und der Ausführung der Abfrage abgeschlossen wird.</p>
<p><strong>Springe zu:</strong></p>
<ul>
<li><a href="#Query-expression">Abfrageausdruck</a></li>
<li><a href="#Plan-AST-generation">Plan-AST-Generierung</a></li>
<li><a href="#Query-execution">Abfrageausführung</a></li>
</ul>
<h2 id="Query-expression" class="common-anchor-header">Abfrageausdruck<button data-href="#Query-expression" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Der Ausdruck einer Abfrage mit Attributfilterung in Milvus verwendet die EBNF-Syntax (Erweiterte Backus-Naur-Form). Die Abbildung unten zeigt die Ausdrucksregeln in Milvus.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Expression_Syntax_966493a5be.png" alt="Expression Syntax" class="doc-image" id="expression-syntax" />
   </span> <span class="img-wrapper"> <span>Ausdrucks-Syntax</span> </span></p>
<p>Logische Ausdrücke können durch die Kombination von binären logischen Operatoren, unären logischen Operatoren, logischen Ausdrücken und einzelnen Ausdrücken erstellt werden. Da die EBNF-Syntax selbst rekursiv ist, kann ein logischer Ausdruck das Ergebnis einer Kombination oder Teil eines größeren logischen Ausdrucks sein. Ein logischer Ausdruck kann viele sub-logische Ausdrücke enthalten. Die gleiche Regel gilt in Milvus. Wenn ein Benutzer die Attribute der Ergebnisse mit vielen Bedingungen filtern muss, kann er seinen eigenen Satz von Filterbedingungen erstellen, indem er verschiedene logische Operatoren und Ausdrücke kombiniert.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Boolean_expression_1_dce12f8483.png" alt="Boolean expression" class="doc-image" id="boolean-expression" />
   </span> <span class="img-wrapper"> <span>Boolescher Ausdruck</span> </span></p>
<p>Das Bild oben zeigt einen Teil der <a href="https://milvus.io/docs/v2.0.x/boolean.md">Regeln für boolesche Ausdrücke</a> in Milvus. Unäre logische Operatoren können zu einem Ausdruck hinzugefügt werden. Derzeit unterstützt Milvus nur den unären logischen Operator &quot;not&quot;, der anzeigt, dass das System die Vektoren nehmen muss, deren skalare Feldwerte die Berechnungsergebnisse nicht erfüllen. Zu den binären logischen Operatoren gehören &quot;und&quot; und &quot;oder&quot;. Einzelne Ausdrücke umfassen Termausdrücke und Vergleichsausdrücke.</p>
<p>Grundlegende arithmetische Berechnungen wie Addition, Subtraktion, Multiplikation und Division werden bei einer Abfrage in Milvus ebenfalls unterstützt. Die folgende Abbildung veranschaulicht die Rangfolge der Operationen. Die Operatoren sind von oben nach unten in absteigender Rangfolge aufgeführt.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Precedence_b8cfbdf17b.png" alt="Precedence" class="doc-image" id="precedence" />
   </span> <span class="img-wrapper"> <span>Vorrangigkeit</span> </span></p>
<h3 id="How-a-query-expression-on-certain-films-is-processed-in-Milvus" class="common-anchor-header">Wie wird ein Abfrageausdruck zu bestimmten Filmen in Milvus verarbeitet?</h3><p>Angenommen, in Milvus ist eine Fülle von Filmdaten gespeichert und der Benutzer möchte bestimmte Filme abfragen. Jeder in Milvus gespeicherte Film hat zum Beispiel die folgenden fünf Felder: Film-ID, Erscheinungsjahr, Filmtyp, Filmmusik und Filmplakat. In diesem Beispiel ist der Datentyp der Film-ID und des Erscheinungsjahres int64, während die Filmpunkte Fließkommadaten sind. Auch Filmplakate werden im Format von Fließkomma-Vektoren und der Filmtyp im Format von String-Daten gespeichert. Die Unterstützung von String-Daten ist eine neue Funktion in Milvus 2.1.</p>
<p>Wenn ein Benutzer zum Beispiel die Filme mit einer Bewertung von mehr als 8,5 abfragen möchte. Die Filme sollten außerdem in einem Jahrzehnt vor 2000 bis zu einem Jahrzehnt nach 2000 veröffentlicht worden sein, oder ihr Typ sollte entweder eine Komödie oder ein Actionfilm sein, muss der Benutzer den folgenden Prädikatsausdruck eingeben: <code translate="no">score &gt; 8.5 &amp;&amp; (2000 - 10 &lt; release_year &lt; 2000 + 10 || type in [comedy,action])</code>.</p>
<p>Nachdem das System den Abfrageausdruck erhalten hat, wird es ihn in der folgenden Reihenfolge ausführen:</p>
<ol>
<li>Abfrage nach Filmen mit einer Bewertung von mehr als 8,5. Die Abfrageergebnisse werden &quot;result1&quot; genannt.</li>
<li>Berechnen Sie 2000 - 10, um "Ergebnis2" (1990) zu erhalten.</li>
<li>Berechnen Sie 2000 + 10, um "result3" (2010) zu erhalten.</li>
<li>Suchen Sie nach Filmen, deren Wert auf <code translate="no">release_year</code> größer als &quot;result2&quot; und kleiner als &quot;result3&quot; ist. Das heißt, dass das System nach Filmen suchen muss, die zwischen 1990 und 2010 veröffentlicht wurden. Die Abfrageergebnisse werden als &quot;result4&quot; bezeichnet.</li>
<li>Abfrage nach Filmen, die entweder Komödien oder Actionfilme sind. Die Abfrageergebnisse werden als &quot;result5&quot; bezeichnet.</li>
<li>Kombinieren Sie "result4" und "result5", um Filme zu erhalten, die entweder zwischen 1990 und 2010 veröffentlicht wurden oder zur Kategorie der Komödie oder des Actionfilms gehören. Die Ergebnisse werden als &quot;result6&quot; bezeichnet.</li>
<li>Nehmen Sie den gemeinsamen Teil in "result1" und "result6", um die endgültigen Ergebnisse zu erhalten, die alle Bedingungen erfüllen.</li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Frame_1_16_00972a6e5d.png" alt="Film example" class="doc-image" id="film-example" />
   </span> <span class="img-wrapper"> <span>Beispiel für einen Film</span> </span></p>
<h2 id="Plan-AST-generation" class="common-anchor-header">AST-Generierung planen<button data-href="#Plan-AST-generation" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus nutzt das Open-Source-Tool <a href="https://www.antlr.org/">ANTLR</a> (ANother Tool for Language Recognition) für die Generierung von Plan-AST (Abstract Syntax Tree). ANTLR ist ein leistungsfähiger Parser-Generator zum Lesen, Verarbeiten, Ausführen oder Übersetzen von Strukturtext- oder Binärdateien. Genauer gesagt kann ANTLR einen Parser zum Aufbau und zur Abarbeitung von Parse-Bäumen auf der Grundlage einer vordefinierten Syntax oder von Regeln erzeugen. Das folgende Bild ist ein Beispiel, in dem der Eingabeausdruck &quot;SP=100;&quot; lautet. LEXER, die integrierte Spracherkennungsfunktion in ANTLR, erzeugt vier Token für den Eingabeausdruck - &quot;SP&quot;, &quot;=&quot;, &quot;100&quot; und &quot;;&quot;. Anschließend analysiert das Tool die vier Token weiter, um den entsprechenden Parse-Baum zu erzeugen.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/parse_tree_b2c3fb0b36.png" alt="parse tree" class="doc-image" id="parse-tree" />
   </span> <span class="img-wrapper"> <span>Parse-Baum</span> </span></p>
<p>Der Walker-Mechanismus ist ein wichtiger Bestandteil des ANTLR-Tools. Er soll alle Parse-Bäume durchlaufen, um zu prüfen, ob jeder Knoten den Syntaxregeln gehorcht, oder um bestimmte sensible Wörter zu erkennen. Einige der relevanten APIs sind in der folgenden Abbildung aufgeführt. Da ANTLR vom Wurzelknoten ausgeht und jeden Unterknoten bis zum Ende durchläuft, ist es nicht notwendig, die Reihenfolge des Durchlaufs des Parse-Baums zu unterscheiden.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/parse_tree_walker_9a27942502.png" alt="parse tree walker" class="doc-image" id="parse-tree-walker" />
   </span> <span class="img-wrapper"> <span>Parse-Baum-Walker</span> </span></p>
<p>Milvus generiert den PlanAST für Abfragen auf ähnliche Weise wie ANTLR. Die Verwendung von ANTLR erfordert jedoch die Neudefinition von ziemlich komplizierten Syntaxregeln. Daher übernimmt Milvus eine der am weitesten verbreiteten Regeln - die Regeln für boolesche Ausdrücke - und hängt vom <a href="https://github.com/antonmedv/expr">Expr-Paket</a> ab, das auf GitHub zur Verfügung steht, um die Syntax von Abfrageausdrücken abzufragen und zu parsen.</p>
<p>Bei einer Abfrage mit Attributfilterung generiert Milvus nach Erhalt des Abfrageausdrucks einen primitiven, ungelösten Planbaum mithilfe von ant-parser, der von Expr bereitgestellten Parsing-Methode. Der primitive Planbaum, den wir erhalten, ist ein einfacher binärer Baum. Dann wird der Planbaum durch Expr und den eingebauten Optimierer in Milvus fein abgestimmt. Der Optimierer in Milvus ist dem bereits erwähnten Walker-Mechanismus sehr ähnlich. Da die von Expr zur Verfügung gestellte Funktionalität zur Optimierung des Planbaums ziemlich ausgefeilt ist, wird die Belastung des in Milvus eingebauten Optimierers weitgehend gemindert. Letztendlich analysiert der Analyzer den optimierten Planbaum in einer rekursiven Weise, um einen Plan-AST in der Struktur von <a href="https://developers.google.com/protocol-buffers">Protokollpuffern</a> (protobuf) zu erzeugen.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/plan_AST_workflow_3e50b7a0d4.png" alt="plan AST workflow" class="doc-image" id="plan-ast-workflow" />
   </span> <span class="img-wrapper"> <span>Plan-AST-Arbeitsablauf</span> </span></p>
<h2 id="Query-execution" class="common-anchor-header">Ausführung der Abfrage<button data-href="#Query-execution" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Die Ausführung der Abfrage ist im Grunde die Ausführung des in den vorherigen Schritten generierten Plan-AST.</p>
<p>In Milvus wird ein Plan AST in einer Proto-Struktur definiert. Die Abbildung unten zeigt eine Nachricht mit der protobuf-Struktur. Es gibt sechs Arten von Ausdrücken, darunter binäre Ausdrücke und unäre Ausdrücke, die auch binäre logische Ausdrücke und unäre logische Ausdrücke enthalten können.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Protobuf1_232132dcf2.png" alt="protobuf1" class="doc-image" id="protobuf1" />
   </span> <span class="img-wrapper"> <span>protobuf1</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/protobuf2_193f92f033.png" alt="protobuf2" class="doc-image" id="protobuf2" />
   </span> <span class="img-wrapper"> <span>protobuf2</span> </span></p>
<p>Die folgende Abbildung ist eine UML-Darstellung des Abfrageausdrucks. Es zeigt die Basisklasse und die abgeleitete Klasse eines jeden Ausdrucks. Jede Klasse verfügt über eine Methode zur Annahme von Besucherparametern. Dies ist ein typisches Besucherentwurfsmuster. Milvus verwendet dieses Muster, um den Plan AST auszuführen, da sein größter Vorteil darin besteht, dass die Benutzer nichts an den primitiven Ausdrücken ändern müssen, sondern direkt auf eine der Methoden in den Mustern zugreifen können, um bestimmte Abfrageausdrucksklassen und relevante Elemente zu ändern.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/UML_1238bc30e1.png" alt="UML" class="doc-image" id="uml" />
   </span> <span class="img-wrapper"> <span>UML</span> </span></p>
<p>Bei der Ausführung eines Plan-AST erhält Milvus zunächst einen Plan-Knoten vom Typ Proto. Dann wird über den internen C++-Proto-Parser ein Plan-Knoten vom Typ Segcore ermittelt. Nach Erhalt der beiden Arten von Planknoten akzeptiert Milvus eine Reihe von Klassenzugriffen und modifiziert dann die interne Struktur der Planknoten und führt sie aus. Schließlich durchsucht Milvus alle Knoten des Ausführungsplans, um die gefilterten Ergebnisse zu erhalten. Die Endergebnisse werden im Format einer Bitmaske ausgegeben. Eine Bitmaske ist ein Array von Bitnummern ("0" und "1"). Die Daten, die die Filterbedingungen erfüllen, werden in der Bitmaske als "1" markiert, während die Daten, die die Anforderungen nicht erfüllen, in der Bitmaske als "0" markiert werden.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/execute_workflow_d89f1ee925.png" alt="execute workflow" class="doc-image" id="execute-workflow" />
   </span> <span class="img-wrapper"> <span>Arbeitsablauf ausführen</span> </span></p>
<h2 id="About-the-Deep-Dive-Series" class="common-anchor-header">Über die Deep Dive-Reihe<button data-href="#About-the-Deep-Dive-Series" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Mit der <a href="https://milvus.io/blog/2022-1-25-annoucing-general-availability-of-milvus-2-0.md">offiziellen Ankündigung der allgemeinen Verfügbarkeit</a> von Milvus 2.0 haben wir diese Milvus-Deep-Dive-Blogserie ins Leben gerufen, um eine tiefgehende Interpretation der Milvus-Architektur und des Quellcodes zu bieten. Die Themen dieser Blogserie umfassen:</p>
<ul>
<li><a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">Überblick über die Milvus-Architektur</a></li>
<li><a href="https://milvus.io/blog/deep-dive-2-milvus-sdk-and-api.md">APIs und Python-SDKs</a></li>
<li><a href="https://milvus.io/blog/deep-dive-3-data-processing.md">Datenverarbeitung</a></li>
<li><a href="https://milvus.io/blog/deep-dive-4-data-insertion-and-data-persistence.md">Datenverwaltung</a></li>
<li><a href="https://milvus.io/blog/deep-dive-5-real-time-query.md">Abfrage in Echtzeit</a></li>
<li><a href="https://milvus.io/blog/deep-dive-7-query-expression.md">Skalare Ausführungsmaschine</a></li>
<li><a href="https://milvus.io/blog/deep-dive-6-oss-qa.md">QA-System</a></li>
<li><a href="https://milvus.io/blog/deep-dive-8-knowhere.md">Vektorielles Ausführungssystem</a></li>
</ul>


Wie versteht die Datenbank Ihre Abfrage und wie führt sie sie aus?

Qualitätssicherung für Open-Source-Software (OSS) - eine Fallstudie von Milvus

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220516_163732_d40acac221.png" alt="Cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>Titelbild</span> </span></p>
<p>Wir haben vor kurzem einen unglaublichen Meilenstein in der Reise der Vektordatenbank erreicht - über 10K Sterne auf dem <a href="https://github.com/milvus-io/milvus">GitHub Repo von Milvus</a>. Vielen Dank an jeden einzelnen von euch, der uns unterstützt hat, indem er uns einen Stern gegeben hat ⭐️.</p>
<p>Es sind wunderbare 2,5 Jahre vergangen, seit Milvus ein Open-Source-Projekt wurde. Als wir anfingen, wussten nur wenige, was eine Vektordatenbank genau ist, geschweige denn, wie sie den Einsatz von KI in unserem täglichen Leben ermöglichen und beschleunigen würde. Die Vektordatenbank Milvus steht für unsere Vision, die nächste Generation von Datenbanken für KI zu definieren und aufzubauen. Im Milvus-Projekt kombinieren wir SOTA-Algorithmen mit Cloud-Technologien, damit Entwickler mit der Milvus-Vektordatenbank mühelos KI-Anwendungen erstellen können.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Milvus_0_10000_d50a914332.gif" alt="Gif2" class="doc-image" id="gif2" />
   </span> <span class="img-wrapper"> <span>Gif2</span> </span></p>
<div align="center">Klicken Sie <a href="https://www.youtube.com/watch?v=zIAX_oPI2Jk&ab_channel=Milvus-VectorDatabase">hier</a>, um das vollständige Video zur Visualisierung der Entwicklung des Milvus-Repositorys anzusehen.</div>
<p><br/></p>
<p>Es gibt viele <a href="https://github.com/milvus-io/milvus">brillante Projekte</a>, die den Grundstein für Milvus gelegt haben, und wir sind dankbar, dass wir auf den Schultern dieser Giganten stehen. Ohne sie hätte es Milvus nicht gegeben.</p>
<p>Wir sind auch unserer großartigen Community unglaublich dankbar, die dazu beigetragen hat, ein spannendes Kapitel für diese neue Art von Datenbank aufzuschlagen. Bevor wir nach vorne blicken, möchten wir uns einen Moment Zeit nehmen, um über diese Reise nachzudenken, unsere Meilensteine zu betrachten und unseren Entwicklern Anerkennung und Dank auszusprechen:</p>
<ul>
<li>Wir sind der LF AI &amp; Data Foundation auf <a href="https://lfaidata.foundation/blog/2020/04/02/milvus-joins-lf-ai-as-new-incubation-project/">Inkubationsstufe</a> beigetreten und haben unser Zuhause neben vielen anderen großartigen Open-Source-KI- und Datenprojekten gefunden. Jetzt ist Milvus bereits ein <a href="https://lfaidata.foundation/blog/2021/06/23/lf-ai-data-foundation-announces-graduation-of-milvus-project/">Abschlussprojekt</a>.</li>
<li>Wir haben zwei große Releases veröffentlicht: <a href="https://milvus.io/docs/v1.0.0/announcement.md">Milvus 1.0</a> und <a href="https://milvus.io/docs/v2.0.x/comparison.md">Milvus 2.0</a>.</li>
<li>Ein SIGMOD-Papier wurde veröffentlicht: <a href="https://dl.acm.org/doi/abs/10.1145/3448016.3457550">Milvus: A Purpose-Built Vector Data Management System</a>.</li>
<li>Derzeit haben wir mehr als 10.000 Community-Mitglieder und über 220 Mitwirkende weltweit.</li>
<li>Es gibt über <a href="https://milvus.io/">1000 Unternehmensanwender</a>, die Milvus übernommen haben. Darunter befinden sich viele Branchenführer.</li>
</ul>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Milvus_10000_star_timeline_3sec_de1a7c906a.gif" alt="Timeline gif" class="doc-image" id="timeline-gif" />
   </span> <span class="img-wrapper"> <span>Zeitleiste gif</span> </span></p>
<p>All dies ist nur möglich, weil jeder Einzelne dazu beiträgt. Vielen Dank für Ihre Pull-Requests, Problemberichte, E-Mails, Meetings und das Teilen Ihres Wissens über Milvus. Sie alle spielen eine wertvolle Rolle für den Fortschritt von Milvus.</p>
<h2 id="Special-event" class="common-anchor-header">Besonderes Ereignis<button data-href="#Special-event" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Für diesen besonderen Meilenstein haben wir ein kleines Dankeschön-Geschenk vorbereitet - <a href="https://assets.zilliz.com/10_K_stars_2b2e0e0b36.png">einen Desktop-Hintergrund zum Herunterladen</a>. Wir hoffen, es gefällt euch!</p>
<p>Es wäre schön, wenn Sie helfen würden, <a href="https://twitter.com/milvusio">es weiterzuempfehlen</a>! ❤️</p>


Ein kleiner Schritt für Milvus - 10.000 Sterne

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/deep_dive_5_5e9175c7f7.png" alt="Cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>Titelbild</span> </span></p>
<blockquote>
<p>Dieser Artikel wurde von <a href="https://github.com/xige-16">Xi Ge</a> geschrieben und von <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni</a> umgesetzt.</p>
</blockquote>
<p>Im vorigen Beitrag haben wir über die <a href="https://milvus.io/blog/deep-dive-4-data-insertion-and-data-persistence.md">Dateneinfügung und Datenpersistenz</a> in Milvus gesprochen. In diesem Artikel werden wir weiter erklären, wie <a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">verschiedene Komponenten</a> in Milvus miteinander interagieren, um Echtzeit-Datenabfragen durchzuführen.</p>
<p><em>Bevor Sie beginnen, finden Sie unten einige nützliche Ressourcen. Wir empfehlen, diese zuerst zu lesen, um das Thema in diesem Beitrag besser zu verstehen.</em></p>
<ul>
<li><a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">Ein tiefer Einblick in die Milvus-Architektur</a></li>
<li><a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md#Data-Model">Milvus-Datenmodell</a></li>
<li><a href="https://milvus.io/docs/v2.0.x/four_layers.md">Die Rolle und Funktion der einzelnen Milvus-Komponenten</a></li>
<li><a href="https://milvus.io/blog/deep-dive-3-data-processing.md">Datenverarbeitung in Milvus</a></li>
<li><a href="https://milvus.io/blog/deep-dive-4-data-insertion-and-data-persistence.md">Dateneinfügung und Datenpersistenz in Milvus</a></li>
</ul>
<h2 id="Load-data-to-query-node" class="common-anchor-header">Laden von Daten in den Abfrageknoten<button data-href="#Load-data-to-query-node" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Bevor eine Abfrage ausgeführt wird, müssen die Daten zunächst in die Abfrageknoten geladen werden.</p>
<p>Es gibt zwei Arten von Daten, die in den Abfrageknoten geladen werden: Streaming-Daten aus dem <a href="https://milvus.io/docs/v2.0.x/four_layers.md#Log-broker">Log-Broker</a> und historische Daten aus dem <a href="https://milvus.io/docs/v2.0.x/four_layers.md#Object-storage">Objektspeicher</a> (im Folgenden auch persistenter Speicher genannt).</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/flowchart_b1c51dfdaa.png" alt="Flowchart" class="doc-image" id="flowchart" />
   </span> <span class="img-wrapper"> <span>Flussdiagramm</span> </span></p>
<p>Die Datenkoordination ist für die Handhabung von Streaming-Daten zuständig, die kontinuierlich in Milvus eingefügt werden. Wenn ein Milvus-Benutzer <code translate="no">collection.load()</code> aufruft, um eine Sammlung zu laden, fragt der Abfragekoordinator den Datenkoordinator, um zu erfahren, welche Segmente im Speicher persistiert wurden und welche Checkpoints ihnen entsprechen. Ein Checkpoint ist eine Markierung, die anzeigt, dass persistierte Segmente vor dem Checkpoint verbraucht werden, während die Segmente nach dem Checkpoint nicht verbraucht werden.</p>
<p>Anschließend gibt die Abfragekoordination auf der Grundlage der Informationen aus der Datenkoordination eine Zuordnungsstrategie aus: entweder nach Segmenten oder nach Kanälen. Der Segment Allocator ist für die Zuweisung von Segmenten im persistenten Speicher (Stapeldaten) an verschiedene Abfrageknoten zuständig. In der obigen Abbildung ordnet die Segmentzuordnung beispielsweise die Segmente 1 und 3 (S1, S3) dem Abfrageknoten 1 und die Segmente 2 und 4 (S2, S4) dem Abfrageknoten 2 zu. Der Kanalzuweiser weist verschiedenen Abfrageknoten die Überwachung mehrerer <a href="https://milvus.io/docs/v2.0.x/data_processing.md#Data-insertion">Datenmanipulationskanäle</a> (DMChannels) im Log-Broker zu. In der obigen Abbildung weist der Kanalzuweiser beispielsweise Abfrageknoten 1 die Überwachung von Kanal 1 (Ch1) und Abfrageknoten 2 die Überwachung von Kanal 2 (Ch2) zu.</p>
<p>Mit dieser Zuweisungsstrategie lädt jeder Abfrageknoten Segmentdaten und überwacht die Kanäle entsprechend. Im Abfrageknoten 1 in der Abbildung werden historische Daten (Stapeldaten) über die zugeordneten S1 und S3 aus dem persistenten Speicher geladen. In der Zwischenzeit lädt Abfrageknoten 1 inkrementelle Daten (Streaming-Daten), indem er den Kanal 1 im Log-Broker abonniert.</p>
<h2 id="Data-management-in-query-node" class="common-anchor-header">Datenverwaltung im Abfrageknoten<button data-href="#Data-management-in-query-node" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Ein Abfrageknoten muss sowohl historische als auch inkrementelle Daten verwalten. Historische Daten werden in <a href="https://milvus.io/blog/deep-dive-4-data-insertion-and-data-persistence.md#Sealed-segment">versiegelten Segmenten</a> gespeichert, während inkrementelle Daten in <a href="https://milvus.io/blog/deep-dive-4-data-insertion-and-data-persistence.md#Growing-segment">wachsenden Segmenten</a> gespeichert werden.</p>
<h3 id="Historical-data-management" class="common-anchor-header">Verwaltung historischer Daten</h3><p>Bei der Verwaltung historischer Daten gibt es hauptsächlich zwei Überlegungen: Lastausgleich und Ausfallsicherung des Abfrageknotens.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/load_balance_c77e22bb5c.png" alt="Load balance" class="doc-image" id="load-balance" />
   </span> <span class="img-wrapper"> <span>Lastausgleich</span> </span></p>
<p>Wie in der Abbildung zu sehen ist, wurden beispielsweise dem Abfrageknoten 4 mehr versiegelte Segmente zugewiesen als den übrigen Abfrageknoten. Dadurch wird Abfrageknoten 4 höchstwahrscheinlich zum Engpass, der den gesamten Abfrageprozess verlangsamt. Um dieses Problem zu lösen, muss das System mehrere Segmente in Abfrageknoten 4 anderen Abfrageknoten zuweisen. Dies wird als Lastausgleich bezeichnet.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Query_node_failover_3278c0e307.png" alt="Query node failover" class="doc-image" id="query-node-failover" />
   </span> <span class="img-wrapper"> <span>Ausfallsicherung für Abfrageknoten</span> </span></p>
<p>Eine weitere mögliche Situation ist in der obigen Abbildung dargestellt. Einer der Knoten, Abfrageknoten 4, ist plötzlich ausgefallen. In diesem Fall muss die Last (dem Abfrageknoten 4 zugewiesene Segmente) auf andere funktionierende Abfrageknoten übertragen werden, um die Genauigkeit der Abfrageergebnisse zu gewährleisten.</p>
<h3 id="Incremental-data-management" class="common-anchor-header">Inkrementelle Datenverwaltung</h3><p>Der Abfrageknoten überwacht die DMChannels, um inkrementelle Daten zu empfangen. In diesem Prozess wird ein Flowgraph eingeführt. Er filtert zunächst alle Dateneinfügemeldungen. Damit soll sichergestellt werden, dass nur Daten in einer bestimmten Partition geladen werden. Jede Sammlung in Milvus hat einen entsprechenden Kanal, der von allen Partitionen in dieser Sammlung gemeinsam genutzt wird. Daher wird ein Flussdiagramm zum Filtern der eingefügten Daten benötigt, wenn ein Milvus-Benutzer nur Daten in einer bestimmten Partition laden möchte. Andernfalls werden die Daten aus allen Partitionen der Sammlung in den Abfrageknoten geladen.</p>
<p>Nach der Filterung werden die inkrementellen Daten in wachsende Segmente eingefügt und an die Server-Zeitknoten weitergeleitet.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/flow_graph_dc58651367.png" alt="Flowgraph" class="doc-image" id="flowgraph" />
   </span> <span class="img-wrapper"> <span>Flussdiagramm</span> </span></p>
<p>Beim Einfügen von Daten wird jeder Einfügemeldung ein Zeitstempel zugewiesen. In dem oben abgebildeten DMChannel werden die Daten in der Reihenfolge von links nach rechts eingefügt. Die erste Einfügemeldung hat den Zeitstempel 1, die zweite den Zeitstempel 2 und die dritte den Zeitstempel 6. Die vierte, rot markierte Meldung ist keine Einfügemeldung, sondern eine Timetick-Meldung. Dies bedeutet, dass eingefügte Daten, deren Zeitstempel kleiner als dieser Zeitstempel ist, bereits im Log-Broker sind. Mit anderen Worten: Daten, die nach dieser Zeitstempel-Meldung eingefügt werden, sollten alle Zeitstempel haben, deren Werte größer sind als dieser Zeitstempel. Wenn der Abfrageknoten in der obigen Abbildung beispielsweise feststellt, dass der aktuelle Zeitstempel 5 beträgt, bedeutet dies, dass alle Einfügemeldungen, deren Zeitstempelwert kleiner als 5 ist, in den Abfrageknoten geladen werden.</p>
<p>Der Zeitknoten des Servers liefert jedes Mal, wenn er einen Zeitstempel vom Einfügeknoten erhält, einen aktualisierten Wert <code translate="no">tsafe</code>. <code translate="no">tsafe</code> bedeutet Sicherheitszeit, und alle Daten, die vor diesem Zeitpunkt eingefügt wurden, können abgefragt werden. Ein Beispiel: Wenn <code translate="no">tsafe</code> = 9 ist, können alle eingefügten Daten mit Zeitstempeln kleiner als 9 abgefragt werden.</p>
<h2 id="Real-time-query-in-Milvus" class="common-anchor-header">Echtzeit-Abfrage in Milvus<button data-href="#Real-time-query-in-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Die Echtzeitabfrage in Milvus wird durch Abfragenachrichten ermöglicht. Abfragenachrichten werden über einen Proxy in den Log-Broker eingefügt. Dann erhalten die Abfrageknoten Abfragenachrichten, indem sie den Abfragekanal im Logbroker beobachten.</p>
<h3 id="Query-message" class="common-anchor-header">Abfragemeldung</h3><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/query_message_4d57814f47.png" alt="Query message" class="doc-image" id="query-message" />
   </span> <span class="img-wrapper"> <span>Abfragemeldung</span> </span></p>
<p>Eine Abfrage-Nachricht enthält die folgenden wichtigen Informationen über eine Abfrage:</p>
<ul>
<li><code translate="no">msgID</code>: Message ID, die vom System zugewiesene ID der Abfragenachricht.</li>
<li><code translate="no">collectionID</code>: Die ID der abzufragenden Sammlung (falls vom Benutzer angegeben).</li>
<li><code translate="no">execPlan</code>: Der Ausführungsplan wird hauptsächlich für die Attributfilterung in einer Abfrage verwendet.</li>
<li><code translate="no">service_ts</code>: Der Zeitstempel des Dienstes wird zusammen mit der oben genannten <code translate="no">tsafe</code> aktualisiert. Der Zeitstempel des Dienstes gibt an, zu welchem Zeitpunkt der Dienst in ist. Alle vor <code translate="no">service_ts</code> eingefügten Daten sind für die Abfrage verfügbar.</li>
<li><code translate="no">travel_ts</code>: Der Reisezeitstempel gibt einen Zeitbereich in der Vergangenheit an. Die Abfrage wird auf Daten durchgeführt, die in dem von <code translate="no">travel_ts</code> angegebenen Zeitraum liegen.</li>
<li><code translate="no">guarantee_ts</code>: Garantiezeitstempel gibt eine Zeitspanne an, nach der die Abfrage durchgeführt werden muss. Die Abfrage wird nur durchgeführt, wenn <code translate="no">service_ts</code> &gt; <code translate="no">guarantee_ts</code>.</li>
</ul>
<h3 id="Real-time-query" class="common-anchor-header">Abfrage in Echtzeit</h3><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/query_process_7f676972d8.png" alt="Query process" class="doc-image" id="query-process" />
   </span> <span class="img-wrapper"> <span>Abfrageprozess</span> </span></p>
<p>Wenn eine Abfragenachricht empfangen wird, beurteilt Milvus zunächst, ob die aktuelle Servicezeit, <code translate="no">service_ts</code>, größer ist als der Garantiezeitstempel, <code translate="no">guarantee_ts</code>, in der Abfragenachricht. Wenn ja, wird die Abfrage ausgeführt. Die Abfrage wird parallel zu den historischen Daten und den inkrementellen Daten durchgeführt. Da es zu Datenüberschneidungen zwischen Streaming-Daten und Batch-Daten kommen kann, ist eine Aktion namens "local reduce" erforderlich, um die redundanten Abfrageergebnisse herauszufiltern.</p>
<p>Ist jedoch die aktuelle Servicezeit kleiner als der garantierte Zeitstempel in einer neu eingefügten Abfragenachricht, wird die Abfragenachricht zu einer ungelösten Nachricht und wartet auf ihre Verarbeitung, bis die Servicezeit größer als der garantierte Zeitstempel wird.</p>
<p>Die Abfrageergebnisse werden schließlich an den Ergebniskanal weitergeleitet. Der Proxy holt die Abfrageergebnisse aus diesem Kanal ab. Ebenso führt der Proxy eine "globale Reduzierung" durch, da er Ergebnisse von mehreren Abfrageknoten erhält und sich Abfrageergebnisse wiederholen können.</p>
<p>Um sicherzustellen, dass der Proxy alle Abfrageergebnisse erhalten hat, bevor er sie an das SDK zurücksendet, enthält die Ergebnisnachricht auch eine Aufzeichnung der Informationen, einschließlich der durchsuchten versiegelten Segmente, der durchsuchten DMChannels und der globalen versiegelten Segmente (alle Segmente auf allen Abfrageknoten). Das System kann nur dann zu dem Schluss kommen, dass der Proxy alle Abfrageergebnisse erhalten hat, wenn beide der folgenden Bedingungen erfüllt sind:</p>
<ul>
<li>Die Vereinigung aller gesuchten versiegelten Segmente, die in allen Ergebnisnachrichten aufgezeichnet sind, ist größer als die globalen versiegelten Segmente,</li>
<li>Alle DMChannels in der Sammlung sind abgefragt worden.</li>
</ul>
<p>Letztendlich gibt der Proxy die endgültigen Ergebnisse nach "global reduce" an das Milvus SDK zurück.</p>
<h2 id="About-the-Deep-Dive-Series" class="common-anchor-header">Über die Deep Dive-Serie<button data-href="#About-the-Deep-Dive-Series" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Mit der <a href="https://milvus.io/blog/2022-1-25-annoucing-general-availability-of-milvus-2-0.md">offiziellen Ankündigung der allgemeinen Verfügbarkeit</a> von Milvus 2.0 haben wir diese Milvus-Deep-Dive-Blogserie ins Leben gerufen, um eine tiefgehende Interpretation der Milvus-Architektur und des Quellcodes zu bieten. Die Themen dieser Blogserie umfassen:</p>
<ul>
<li><a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">Überblick über die Milvus-Architektur</a></li>
<li><a href="https://milvus.io/blog/deep-dive-2-milvus-sdk-and-api.md">APIs und Python-SDKs</a></li>
<li><a href="https://milvus.io/blog/deep-dive-3-data-processing.md">Datenverarbeitung</a></li>
<li><a href="https://milvus.io/blog/deep-dive-4-data-insertion-and-data-persistence.md">Datenverwaltung</a></li>
<li><a href="https://milvus.io/blog/deep-dive-5-real-time-query.md">Abfrage in Echtzeit</a></li>
<li><a href="https://milvus.io/blog/deep-dive-7-query-expression.md">Skalare Ausführungsmaschine</a></li>
<li><a href="https://milvus.io/blog/deep-dive-6-oss-qa.md">QA-System</a></li>
<li><a href="https://milvus.io/blog/deep-dive-8-knowhere.md">Vektorielles Ausführungssystem</a></li>
</ul>


Verwendung der Milvus-Vektordatenbank für Echtzeitabfragen

Dateneinfügung und Datenpersistenz in einer Vektordatenbank

Wie werden die Daten in einer Vektordatenbank verarbeitet?

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220322_175856_e8e7bea7dc.png" alt="Cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>Titelbild</span> </span></p>
<p>Von <a href="https://github.com/XuanYang-cn">Xuan Yang</a></p>
<h2 id="Background" class="common-anchor-header">Hintergrund<button data-href="#Background" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Die folgende Illustration zeigt die Interaktion zwischen SDKs und Milvus über gRPC. Stellen Sie sich vor, dass Milvus eine Blackbox ist. Protokollpuffer werden verwendet, um die Schnittstellen des Servers und die Struktur der von ihnen übertragenen Informationen zu definieren. Daher werden alle Operationen in der Blackbox Milvus durch die Protokoll-API definiert.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/SDK_10c9673111.png" alt="Interaction" class="doc-image" id="interaction" />
   </span> <span class="img-wrapper"> <span>Interaktion</span> </span></p>
<h2 id="Milvus-Protocol-API" class="common-anchor-header">Milvus-Protokoll-API<button data-href="#Milvus-Protocol-API" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus Protocol API besteht aus <code translate="no">milvus.proto</code>, <code translate="no">common.proto</code> und <code translate="no">schema.proto</code>, die Protokollpufferdateien mit dem Suffix <code translate="no">.proto</code> sind. Um einen ordnungsgemäßen Betrieb zu gewährleisten, müssen SDKs mit Milvus über diese Protocol Buffers-Dateien interagieren.</p>
<h3 id="milvusproto" class="common-anchor-header">milvus.proto</h3><p><code translate="no">milvus.proto</code> ist die wichtigste Komponente der Milvus Protocol API, da sie die <code translate="no">MilvusService</code> definiert, die wiederum alle RPC-Schnittstellen von Milvus definiert.</p>
<p>Das folgende Codebeispiel zeigt die Schnittstelle <code translate="no">CreatePartitionRequest</code>. Sie hat zwei Hauptparameter vom Typ String <code translate="no">collection_name</code> und <code translate="no">partition_name</code>, auf deren Grundlage Sie eine Anfrage zur Erstellung einer Partition starten können.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/code_d5f034d58d.png" alt="CreatePartitionRequest" class="doc-image" id="createpartitionrequest" />
   </span> <span class="img-wrapper"> <span>CreatePartitionRequest</span> </span></p>
<p>Ein Beispiel für das Protokoll finden Sie im <a href="https://github.com/milvus-io/milvus-proto/blob/44f59db22b27cc55e4168c8e53b6e781c010a713/proto/milvus.proto">PyMilvus GitHub Repository</a> in Zeile 19.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/create_partition_938691f07f.png" alt="Example" class="doc-image" id="example" />
   </span> <span class="img-wrapper"> <span>Beispiel</span> </span></p>
<p>Die Definition von <code translate="no">CreatePartitionRequest</code> finden Sie hier.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220321_112254_4ec4f35bd3.png" alt="Definition" class="doc-image" id="definition" />
   </span> <span class="img-wrapper"> <span>Definition</span> </span></p>
<p>Mitwirkende, die ein Feature von Milvus oder ein SDK in einer anderen Programmiersprache entwickeln wollen, können alle Schnittstellen finden, die Milvus über RPC anbietet.</p>
<h3 id="commonproto" class="common-anchor-header">common.proto</h3><p><code translate="no">common.proto</code> definiert die allgemeinen Informationstypen, einschließlich <code translate="no">ErrorCode</code> und <code translate="no">Status</code>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220321_112303_eaafc432a8.png" alt="common.proto" class="doc-image" id="common.proto" />
   </span> <span class="img-wrapper"> <span>common.proto</span> </span></p>
<h3 id="schemaproto" class="common-anchor-header">schema.proto</h3><p><code translate="no">schema.proto</code> definiert das Schema in den Parametern. Das folgende Codebeispiel ist ein Beispiel für <code translate="no">CollectionSchema</code>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220321_112313_df4ebe36e7.png" alt="schema.proto" class="doc-image" id="schema.proto" />
   </span> <span class="img-wrapper"> <span>schema.proto</span> </span></p>
<p><code translate="no">milvus.proto</code>, <code translate="no">common.proto</code> und <code translate="no">schema.proto</code> bilden zusammen die API von Milvus und repräsentieren alle Operationen, die über RPC aufgerufen werden können.</p>
<p>Wenn Sie den Quellcode genau betrachten, werden Sie feststellen, dass Schnittstellen wie <code translate="no">create_index</code> mehrere RPC-Schnittstellen wie <code translate="no">describe_collection</code> und <code translate="no">describe_index</code> aufrufen, wenn sie aufgerufen werden. Viele der äußeren Schnittstellen von Milvus sind eine Kombination aus mehreren RPC-Schnittstellen.</p>
<p>Wenn Sie das Verhalten von RPC verstanden haben, können Sie durch Kombination neue Funktionen für Milvus entwickeln. Sie sind herzlich eingeladen, Ihre Phantasie und Kreativität zu nutzen und zur Milvus-Gemeinschaft beizutragen.</p>
<h2 id="PyMilvus-20" class="common-anchor-header">PyMilvus 2.0<button data-href="#PyMilvus-20" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="Object-relational-mapping-ORM" class="common-anchor-header">Objekt-relationales Mapping (ORM)</h3><p>Um es kurz zu machen: Objekt-relationales Mapping (ORM) bedeutet, dass, wenn Sie auf einem lokalen Objekt operieren, diese Operationen das entsprechende Objekt auf dem Server beeinflussen. Die ORM-ähnliche API von PyMilvus weist die folgenden Merkmale auf:</p>
<ol>
<li>Sie operiert direkt auf Objekten.</li>
<li>Sie isoliert Dienstlogik und Datenzugriffsdetails.</li>
<li>Sie verbirgt die Komplexität der Implementierung, und Sie können dieselben Skripte in verschiedenen Milvus-Instanzen ausführen, unabhängig von deren Bereitstellungsansätzen oder Implementierung.</li>
</ol>
<h3 id="ORM-style-API" class="common-anchor-header">ORM-ähnliche API</h3><p>Einer der Kernpunkte der ORM-ähnlichen API liegt in der Steuerung der Milvus-Verbindung. So können Sie beispielsweise Aliase für mehrere Milvus-Server angeben und die Verbindung zu diesen Servern nur über ihre Aliase herstellen oder trennen. Sie können sogar die lokale Serveradresse löschen und bestimmte Objekte über eine bestimmte Verbindung genau steuern.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220321_112320_d5ff08a582.png" alt="Control Connection" class="doc-image" id="control-connection" />
   </span> <span class="img-wrapper"> <span>Verbindung kontrollieren</span> </span></p>
<p>Ein weiteres Merkmal der ORM-artigen API ist, dass nach der Abstraktion alle Operationen direkt an Objekten durchgeführt werden können, einschließlich Sammlung, Partition und Index.</p>
<p>Sie können ein Sammlungsobjekt abstrahieren, indem Sie ein bestehendes Objekt abrufen oder ein neues Objekt erstellen. Sie können auch eine Milvus-Verbindung zu bestimmten Objekten zuweisen, indem Sie einen Verbindungsalias verwenden, so dass Sie lokal auf diesen Objekten arbeiten können.</p>
<p>Um ein Partitionsobjekt zu erstellen, können Sie es entweder mit seinem übergeordneten Sammlungsobjekt erstellen, oder Sie können es genau wie bei der Erstellung eines Sammlungsobjekts erstellen. Diese Methoden können auch auf ein Indexobjekt angewendet werden.</p>
<p>Wenn diese Partitions- oder Indexobjekte existieren, können Sie sie über ihr übergeordnetes Sammlungsobjekt abrufen.</p>
<h2 id="About-the-Deep-Dive-Series" class="common-anchor-header">Über die Deep Dive-Serie<button data-href="#About-the-Deep-Dive-Series" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Mit der <a href="https://milvus.io/blog/2022-1-25-annoucing-general-availability-of-milvus-2-0.md">offiziellen Ankündigung der allgemeinen Verfügbarkeit</a> von Milvus 2.0 haben wir diese Milvus-Deep-Dive-Blogserie ins Leben gerufen, um eine eingehende Interpretation der Milvus-Architektur und des Quellcodes zu bieten. Die Themen dieser Blogserie umfassen:</p>
<ul>
<li><a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">Überblick über die Milvus-Architektur</a></li>
<li><a href="https://milvus.io/blog/deep-dive-2-milvus-sdk-and-api.md">APIs und Python-SDKs</a></li>
<li><a href="https://milvus.io/blog/deep-dive-3-data-processing.md">Datenverarbeitung</a></li>
<li><a href="https://milvus.io/blog/deep-dive-4-data-insertion-and-data-persistence.md">Datenverwaltung</a></li>
<li><a href="https://milvus.io/blog/deep-dive-5-real-time-query.md">Abfrage in Echtzeit</a></li>
<li><a href="https://milvus.io/blog/deep-dive-7-query-expression.md">Skalare Ausführungsmaschine</a></li>
<li><a href="https://milvus.io/blog/deep-dive-6-oss-qa.md">QA-System</a></li>
<li><a href="https://milvus.io/blog/deep-dive-8-knowhere.md">Vektorielles Ausführungssystem</a></li>
</ul>


Eine Einführung in Milvus Python SDK und API

Aufbau einer Vektordatenbank für skalierbare Ähnlichkeitssuche

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Attu_3ff9a76156.png" alt="Binlog Cover Image" class="doc-image" id="binlog-cover-image" />
   </span> <span class="img-wrapper"> <span>Binlog Titelbild</span> </span></p>
<p>Entwurf von <a href="https://github.com/czhen-zilliz">Zhen Chen</a> und Umgestaltung von <a href="https://github.com/LocoRichard">Lichen Wang</a>.</p>
<p style="font-size: 12px;color: #4c5a67">Klicken Sie <a href="https://zilliz.com/blog/manage-your-milvus-vector-database-with-one-click-simplicity">hier</a>, um den Originalbeitrag zu lesen.</p> 
<p>Angesichts der schnell wachsenden Nachfrage nach der Verarbeitung unstrukturierter Daten sticht Milvus 2.0 hervor. Es ist ein KI-orientiertes Vektordatenbanksystem, das für massive Produktionsszenarien konzipiert wurde. Gibt es neben all diesen Milvus SDKs und Milvus CLI, einer Kommandozeilenschnittstelle für Milvus, ein Tool, mit dem Milvus noch intuitiver bedient werden kann? Die Antwort ist JA. Zilliz hat eine grafische Benutzeroberfläche - Attu - speziell für Milvus angekündigt. In diesem Artikel möchten wir Ihnen Schritt für Schritt zeigen, wie Sie eine Vektorähnlichkeitssuche mit Attu durchführen können.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/map_aa1cda30d4.png" alt="Attu island" class="doc-image" id="attu-island" />
   </span> <span class="img-wrapper"> <span>Attu Insel</span> </span></p>
<p>Im Vergleich zu Milvus CLI, das die einfachste Bedienung bietet, bietet Attu mehr:</p>
<ul>
<li>Installationsprogramme für Windows OS, macOS und Linux OS;</li>
<li>Intuitive GUI für eine einfachere Nutzung von Milvus;</li>
<li>Abdeckung der wichtigsten Funktionalitäten von Milvus;</li>
<li>Plugins zur Erweiterung der kundenspezifischen Funktionalitäten;</li>
<li>Vollständige Systemtopologie-Informationen zum leichteren Verständnis und zur Verwaltung der Milvus-Instanz.</li>
</ul>
<h2 id="Installation" class="common-anchor-header">Installation<button data-href="#Installation" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Sie können die neueste Version von Attu auf <a href="https://github.com/zilliztech/attu/releases">GitHub</a> finden. Attu bietet ausführbare Installationsprogramme für verschiedene Betriebssysteme. Es ist ein Open-Source-Projekt und freut sich über Beiträge von jedermann.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/installation_bbe62873af.png" alt="Installation" class="doc-image" id="installation" />
   </span> <span class="img-wrapper"> <span>Installation</span> </span></p>
<p>Sie können Attu auch über Docker installieren.</p>
<pre><code translate="no" class="language-shell">docker run -p <span class="hljs-number">8000</span>:<span class="hljs-number">3000</span> -e <span class="hljs-variable constant_">HOST_URL</span>=<span class="hljs-attr">http</span>:<span class="hljs-comment">//{ attu IP }:8000 -e MILVUS_URL={milvus server IP}:19530 zilliz/attu:latest</span>
<button class="copy-code-btn"></button></code></pre>
<p><code translate="no">attu IP</code> ist die IP-Adresse der Umgebung, in der Attu läuft, und <code translate="no">milvus server IP</code> ist die IP-Adresse der Umgebung, in der Milvus läuft.</p>
<p>Nachdem Sie Attu erfolgreich installiert haben, können Sie die IP und den Port von Milvus in die Schnittstelle eingeben, um Attu zu starten.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/connect_1fde46d9d5.png" alt="Connect Milvus with Attu" class="doc-image" id="connect-milvus-with-attu" />
   </span> <span class="img-wrapper"> <span>Milvus mit Attu verbinden</span> </span></p>
<h2 id="Feature-overview" class="common-anchor-header">Überblick über die Funktionen<button data-href="#Feature-overview" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/overview_591e230514.png" alt="Overview page" class="doc-image" id="overview-page" />
   </span> <span class="img-wrapper"> <span>Übersichtsseite</span> </span></p>
<p>Die Attu-Benutzeroberfläche besteht aus einer <strong>Übersichtsseite</strong>, einer <strong>Sammlungsseite</strong>, einer <strong>Vektorsuchseite</strong> und einer <strong>Systemansichtsseite</strong>, die jeweils den vier Symbolen im linken Navigationsbereich entsprechen.</p>
<p>Die <strong>Übersichtsseite</strong> zeigt die geladenen Sammlungen an. Auf der Seite <strong>Sammlung</strong> werden alle Sammlungen aufgelistet und es wird angezeigt, ob sie geladen oder freigegeben sind.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/collection_42656fe308.png" alt="Collection page" class="doc-image" id="collection-page" />
   </span> <span class="img-wrapper"> <span>Seite Sammlung</span> </span></p>
<p>Die Seiten <strong>Vektorsuche</strong> und <strong>Systemansicht</strong> sind Plugins von Attu. Die Konzepte und die Verwendung der Plugins werden im letzten Teil des Blogs vorgestellt.</p>
<p>Auf der Seite <strong>Vektorsuche</strong> können Sie eine Vektorgleichheitssuche durchführen.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/vector_search_be7365687c.png" alt="Vector Search page" class="doc-image" id="vector-search-page" />
   </span> <span class="img-wrapper"> <span>Seite Vektorsuche</span> </span></p>
<p>Auf der Seite <strong>Systemansicht</strong> können Sie die topologische Struktur von Milvus überprüfen.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/system_view_e1df15023d.png" alt="System View page" class="doc-image" id="system-view-page" />
   </span> <span class="img-wrapper"> <span>Seite Systemansicht</span> </span></p>
<p>Sie können auch die detaillierten Informationen zu jedem Knoten überprüfen, indem Sie auf den Knoten klicken.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/node_view_5bbc25f9b2.png" alt="Node view" class="doc-image" id="node-view" />
   </span> <span class="img-wrapper"> <span>Knoten-Ansicht</span> </span></p>
<h2 id="Demonstration" class="common-anchor-header">Demonstration<button data-href="#Demonstration" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Lassen Sie uns Attu mit einem Testdatensatz erkunden.</p>
<p>In unserem <a href="https://github.com/zilliztech/attu/tree/main/examples">GitHub-Repositorium</a> finden Sie den Datensatz, der im folgenden Test verwendet wird.</p>
<p>Erstellen Sie zunächst eine Sammlung namens test mit den folgenden vier Feldern:</p>
<ul>
<li>Feldname: id, Primärschlüsselfeld</li>
<li>Feldname: vector, Vektorfeld, Float-Vektor, Dimension: 128</li>
<li>Feldname: brand, skalares Feld, Int64</li>
<li>Feldname: color, Skalarfeld, Int64</li>
</ul>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/create_collection_95dfa15354.png" alt="Create a collection" class="doc-image" id="create-a-collection" />
   </span> <span class="img-wrapper"> <span>Erstellen einer Sammlung</span> </span></p>
<p>Laden Sie die Sammlung für die Suche, nachdem sie erfolgreich erstellt wurde.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/load_collection_fec39171df.png" alt="Load the collection" class="doc-image" id="load-the-collection" />
   </span> <span class="img-wrapper"> <span>Laden Sie die Sammlung</span> </span></p>
<p>Sie können nun die neu erstellte Sammlung auf der <strong>Übersichtsseite</strong> überprüfen.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/check_collection_163b05477e.png" alt="Check the collection" class="doc-image" id="check-the-collection" />
   </span> <span class="img-wrapper"> <span>Überprüfen Sie die Sammlung</span> </span></p>
<p>Importieren Sie den Testdatensatz in Milvus.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/import_data_1_f73d71be85.png" alt="Import data" class="doc-image" id="import-data" />
   </span> <span class="img-wrapper"> <span>Daten importieren</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/import_data_2_4b3c3c3c25.png" alt="Import data" class="doc-image" id="import-data" />
   </span> <span class="img-wrapper"> <span>Daten importieren</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/import_data_3_0def4e8550.png" alt="Import data" class="doc-image" id="import-data" />
   </span> <span class="img-wrapper"> <span>Daten importieren</span> </span></p>
<p>Klicken Sie auf den Sammlungsnamen in der Übersicht oder auf der Sammlungsseite, um die Abfrageoberfläche zu öffnen und die importierten Daten zu überprüfen.</p>
<p>Fügen Sie einen Filter hinzu, geben Sie den Ausdruck <code translate="no">id != 0</code> an, klicken Sie auf <strong>Filter anwenden</strong> und dann auf <strong>Abfrage</strong>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/query_data_24d9f71ccc.png" alt="Query data" class="doc-image" id="query-data" />
   </span> <span class="img-wrapper"> <span>Daten abfragen</span> </span></p>
<p>Sie werden feststellen, dass alle fünfzig Einträge von Entitäten erfolgreich importiert wurden.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/query_result_bcbbd17084.png" alt="Query result" class="doc-image" id="query-result" />
   </span> <span class="img-wrapper"> <span>Abfrageergebnis</span> </span></p>
<p>Versuchen wir die Vektorähnlichkeitssuche.</p>
<p>Kopieren Sie einen Vektor aus <code translate="no">search_vectors.csv</code> und fügen Sie ihn in das Feld <strong>Vektorwert</strong> ein. Wählen Sie die Sammlung und das Feld. Klicken Sie auf <strong>Suchen</strong>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/search_data_5af3a1db53.png" alt="Search data" class="doc-image" id="search-data" />
   </span> <span class="img-wrapper"> <span>Daten suchen</span> </span></p>
<p>Sie können dann das Suchergebnis überprüfen. Ohne irgendwelche Skripte zu kompilieren, können Sie mit Milvus einfach suchen.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/search_result_961886efab.png" alt="Search result" class="doc-image" id="search-result" />
   </span> <span class="img-wrapper"> <span>Suchergebnis</span> </span></p>
<p>Lassen Sie uns zum Schluss noch die Seite <strong>System View</strong> überprüfen.</p>
<p>Mit der im Milvus Node.js SDK gekapselten Metrics API können Sie den Systemstatus, die Knotenbeziehungen und den Knotenstatus überprüfen.</p>
<p>Als exklusives Merkmal von Attu enthält die Systemübersichtsseite einen vollständigen topologischen Graphen des Systems. Wenn Sie auf einen Knoten klicken, können Sie seinen Status überprüfen (Aktualisierung alle 10 Sekunden).</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/topological_graph_d0c5c17586.png" alt="Milvus node topological graph" class="doc-image" id="milvus-node-topological-graph" />
   </span> <span class="img-wrapper"> <span>Topologisches Diagramm der Milvus-Knoten</span> </span></p>
<p>Klicken Sie auf jeden Knoten, um die <strong>Knotenlistenansicht</strong> zu öffnen. Sie können alle Kindknoten eines Koordinatenknotens überprüfen. Durch Sortieren können Sie die Knoten mit hoher CPU- oder Speichernutzung schnell identifizieren und das Problem im System lokalisieren.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/node_list_64fc610a8d.png" alt="Milvus node list" class="doc-image" id="milvus-node-list" />
   </span> <span class="img-wrapper"> <span>Milvus-Knotenliste</span> </span></p>
<h2 id="Whats-more" class="common-anchor-header">Was noch hinzukommt<button data-href="#Whats-more" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Wie bereits erwähnt, sind die Seiten <strong>Vektorsuche</strong> und <strong>Systemansicht</strong> Plugins von Attu. Wir ermutigen Benutzer, ihre eigenen Plugins in Attu zu entwickeln, um ihren Anwendungsszenarien gerecht zu werden. Im Quellcode gibt es einen Ordner, der speziell für Plugin-Codes angelegt wurde.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/plugins_a2d98e4e5b.png" alt="Plugins" class="doc-image" id="plugins" />
   </span> <span class="img-wrapper"> <span>Plugins</span> </span></p>
<p>Sie können sich auf eines der Plugins beziehen, um zu lernen, wie man ein Plugin erstellt. Durch Setzen der folgenden Konfigurationsdatei können Sie das Plugin zu Attu hinzufügen.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/add_plugins_e3ef53cc0d.png" alt="Add plugins to Attu" class="doc-image" id="add-plugins-to-attu" />
   </span> <span class="img-wrapper"> <span>Plugins zu Attu hinzufügen</span> </span></p>
<p>Eine ausführliche Anleitung finden Sie im <a href="https://github.com/zilliztech/attu/tree/main/doc">Attu GitHub Repo</a> und im <a href="https://milvus.io/docs/v2.0.x/attu.md">technischen Dokument von Milvus</a>.</p>
<p>Attu ist ein Open-Source-Projekt. Alle Beiträge sind willkommen. Sie können auch <a href="https://github.com/zilliztech/attu/issues">einen Fehler melden</a>, wenn Sie ein Problem mit Attu hatten.</p>
<p>Wir hoffen aufrichtig, dass Attu Ihnen eine bessere Benutzererfahrung mit Milvus bringen kann. Und wenn Ihnen Attu gefällt oder Sie Rückmeldungen zur Nutzung haben, können Sie diese <a href="https://wenjuan.feishu.cn/m/cfm?t=suw4QnODU1ui-ok7r">Attu-Benutzerumfrage</a> ausfüllen, um uns zu helfen, Attu zu optimieren und die Nutzererfahrung zu verbessern.</p>


Verwalten Sie Ihre Milvus-Vektor-Datenbank ganz einfach mit einem Klick

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Load_balance_b2f35a5577.png" alt="Binlog Cover Image" class="doc-image" id="binlog-cover-image" />
   </span> <span class="img-wrapper"> <span>Binlog Titelbild</span> </span></p>
<p>Von <a href="https://github.com/xige-16">Xi Ge</a>.</p>
<p>In früheren Blog-Artikeln haben wir nacheinander die Funktionen Deletion, Bitset und Compaction in Milvus 2.0 vorgestellt. Zum Abschluss dieser Serie möchten wir das Design hinter Load Balance, einer wichtigen Funktion im verteilten Cluster von Milvus, vorstellen.</p>
<h2 id="Implementation" class="common-anchor-header">Implementierung<button data-href="#Implementation" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Während die Anzahl und Größe der in den Abfrageknoten gepufferten Segmente unterschiedlich ist, kann auch die Suchleistung zwischen den Abfrageknoten variieren. Der schlimmste Fall könnte eintreten, wenn einige Abfrageknoten mit der Suche nach einer großen Datenmenge ausgelastet sind, neu erstellte Abfrageknoten aber untätig bleiben, weil kein Segment an sie verteilt wird, was zu einer massiven Verschwendung von CPU-Ressourcen und einem enormen Abfall der Suchleistung führt.</p>
<p>Um solche Umstände zu vermeiden, ist der Abfragekoordinator (query coord) so programmiert, dass er die Segmente gleichmäßig auf jeden Abfrageknoten entsprechend der RAM-Nutzung der Knoten verteilt. Dadurch werden die CPU-Ressourcen gleichmäßig auf die Knoten verteilt, was die Suchleistung erheblich verbessert.</p>
<h3 id="Trigger-automatic-load-balance" class="common-anchor-header">Automatischen Lastausgleich auslösen</h3><p>Gemäß dem Standardwert in der Konfiguration <code translate="no">queryCoord.balanceIntervalSeconds</code> überprüft das Abfragekoordinatensystem alle 60 Sekunden die RAM-Auslastung (in Prozent) aller Abfrageknoten. Wenn eine der folgenden Bedingungen erfüllt ist, beginnt der Abfragekoordinator, die Abfragelast auf die Abfrageknoten zu verteilen:</p>
<ol>
<li>Die RAM-Auslastung eines beliebigen Abfrageknotens im Cluster ist größer als <code translate="no">queryCoord.overloadedMemoryThresholdPercentage</code> (Standard: 90);</li>
<li>Oder der absolute Wert des Unterschieds zwischen der RAM-Nutzung von zwei beliebigen Abfrageknoten ist größer als <code translate="no">queryCoord.memoryUsageMaxDifferencePercentage</code> (Standard: 30).</li>
</ol>
<p>Nachdem die Segmente vom Quellabfrageknoten zum Zielabfrageknoten übertragen wurden, sollten sie auch die beiden folgenden Bedingungen erfüllen:</p>
<ol>
<li>Der RAM-Verbrauch des Ziel-Abfrageknotens ist nicht größer als <code translate="no">queryCoord.overloadedMemoryThresholdPercentage</code> (Standardwert: 90);</li>
<li>Der absolute Wert der Differenz zwischen der RAM-Nutzung des Quell- und des Ziel-Abfrageknotens ist nach dem Lastausgleich geringer als vor dem Lastausgleich.</li>
</ol>
<p>Wenn die oben genannten Bedingungen erfüllt sind, fährt das Abfragekoordinatensystem fort, die Abfragelast auf die Knoten zu verteilen.</p>
<h2 id="Load-balance" class="common-anchor-header">Lastausgleich<button data-href="#Load-balance" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Wenn der Lastausgleich ausgelöst wird, lädt der Abfragekoordinator zunächst das/die Zielsegment(e) in den Zielabfrageknoten. Beide Abfrageknoten geben bei jeder Suchanfrage zu diesem Zeitpunkt Suchergebnisse aus dem/den Zielsegment(en) zurück, um die Vollständigkeit des Ergebnisses zu gewährleisten.</p>
<p>Nachdem der Zielabfrageknoten das Zielsegment erfolgreich geladen hat, veröffentlicht der Abfragekoordinator eine <code translate="no">sealedSegmentChangeInfo</code> an den Abfragekanal. Wie unten dargestellt, geben <code translate="no">onlineNodeID</code> und <code translate="no">onlineSegmentIDs</code> den Abfrageknoten an, der das Segment lädt bzw. das geladene Segment, und <code translate="no">offlineNodeID</code> und <code translate="no">offlineSegmentIDs</code> geben den Abfrageknoten an, der das Segment freigeben muss bzw. das freizugebende Segment.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220228_145413_f253cec15b.png" alt="sealedSegmentChangeInfo" class="doc-image" id="sealedsegmentchangeinfo" />
   </span> <span class="img-wrapper"> <span>sealedSegmentChangeInfo</span> </span></p>
<p>Nach Erhalt der <code translate="no">sealedSegmentChangeInfo</code> gibt der Quell-Abfrageknoten das Zielsegment frei.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220228_145436_2604bc57a5.png" alt="Load Balance Workflow" class="doc-image" id="load-balance-workflow" />
   </span> <span class="img-wrapper"> <span>Lastausgleichs-Workflow</span> </span></p>
<p>Der gesamte Prozess ist erfolgreich, wenn der Quellabfrageknoten das Zielsegment freigibt. Damit ist die Abfragelast über die Abfrageknoten hinweg ausgeglichen, d. h. die RAM-Nutzung aller Abfrageknoten ist nicht größer als <code translate="no">queryCoord.overloadedMemoryThresholdPercentage</code>, und der absolute Wert der Differenz zwischen der RAM-Nutzung des Quell- und des Zielabfrageknotens ist nach dem Lastausgleich geringer als vor dem Lastausgleich.</p>
<h2 id="Whats-next" class="common-anchor-header">Was kommt als Nächstes?<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Im Blog zur Serie der neuen Funktionen 2.0 wollen wir das Design der neuen Funktionen erklären. Lesen Sie mehr in dieser Blogserie!</p>
<ul>
<li><a href="https://milvus.io/blog/2022-02-07-how-milvus-deletes-streaming-data-in-distributed-cluster.md">Wie Milvus Streaming-Daten in einem verteilten Cluster löscht</a></li>
<li><a href="https://milvus.io/blog/2022-2-21-compact.md">Wie verdichtet man Daten in Milvus?</a></li>
<li><a href="https://milvus.io/blog/2022-02-28-how-milvus-balances-query-load-across-nodes.md">Wie gleicht Milvus die Abfragelast über die Knoten aus?</a></li>
<li><a href="https://milvus.io/blog/2022-2-14-bitset.md">Wie Bitset die Vielseitigkeit der vektoriellen Ähnlichkeitssuche ermöglicht</a></li>
</ul>
<p>Dies ist das Finale der Blogserie zu den neuen Funktionen von Milvus 2.0. Im Anschluss an diese Serie planen wir eine neue Serie von Milvus <a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">Deep Dive</a>, in der die grundlegende Architektur von Milvus 2.0 vorgestellt wird. Bitte bleiben Sie auf dem Laufenden.</p>


Wie gleicht Milvus die Abfragelast über die Knoten aus?

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Compact_173a08ec1c.png" alt="Binlog Cover Image" class="doc-image" id="binlog-cover-image" />
   </span> <span class="img-wrapper"> <span>Binlog Titelbild</span> </span></p>
<p>Von <a href="https://github.com/sunby">Bingyi Sun</a> und <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni</a>.</p>
<p>Mit der <a href="https://milvus.io/blog/2022-1-25-annoucing-general-availability-of-milvus-2-0.md">offiziellen Veröffentlichung</a> von Milvus 2.0 GA wird eine Reihe neuer Funktionen unterstützt. Darunter ist die Verdichtung eine der neuen Funktionen, die Ihnen helfen kann, Speicherplatz zu sparen.</p>
<p>Die Verdichtung bezieht sich auf den Prozess des Zusammenfügens kleiner Segmente zu großen Segmenten und der Bereinigung logisch gelöschter Daten. Mit anderen Worten: Die Verdichtung reduziert den Speicherplatzbedarf, indem gelöschte oder abgelaufene Entitäten in Bin-Logs bereinigt werden. Es handelt sich um eine Hintergrundaufgabe, die von der <a href="https://milvus.io/docs/v2.0.x/four_layers.md#Data-coordinator-data-coord">Datenkoordination</a> ausgelöst und vom <a href="https://milvus.io/docs/v2.0.x/four_layers.md#Data-node">Datenknoten</a> in Milvus ausgeführt wird.</p>
<p>In diesem Artikel werden das Konzept und die Implementierung der Verdichtung in Milvus erläutert.</p>
<h2 id="What-is-compaction" class="common-anchor-header">Was ist Verdichtung?<button data-href="#What-is-compaction" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Bevor wir uns in die Details der Implementierung von Verdichtung in Milvus 2.0 vertiefen, ist es wichtig, herauszufinden, was Verdichtung in Milvus ist.</p>
<p>Als Milvus-Benutzer haben Sie sich vielleicht schon öfters über den zunehmenden Speicherplatzbedarf auf der Festplatte geärgert. Ein weiteres Problem ist, dass ein Segment mit weniger als 1.024 Zeilen nicht indiziert wird und nur die Brute-Force-Suche zur Bearbeitung von Abfragen unterstützt. Kleine Segmente, die durch Auto-Flush oder vom Benutzer ausgelöste Flushs verursacht werden, können die Abfrageeffizienz beeinträchtigen.</p>
<p>Um die beiden oben genannten Probleme zu lösen und die Festplattennutzung zu verringern und die Abfrageeffizienz zu verbessern, unterstützt Milvus daher die Verdichtung.</p>
<p>Datenbanken wie <a href="https://github.com/google/leveldb">LevelDB</a> und <a href="http://rocksdb.org/">RocksDB</a> hängen Daten an sortierte Stringtabellen (SSTables) an. Die durchschnittlichen Festplattenlesevorgänge pro Abfrage steigen mit der Anzahl der SSTables, was zu ineffizienten Abfragen führt. Um die Leseverstärkung zu verringern und Festplattenspeicherplatz freizugeben, komprimieren diese Datenbanken die SSTables in eine einzige. Die Verdichtungsprozesse laufen automatisch im Hintergrund ab.</p>
<p>In ähnlicher Weise fügt Milvus eingefügte und gelöschte Daten an die <a href="https://github.com/milvus-io/milvus/blob/master/docs/developer_guides/chap08_binlog.md">binlogs</a> an. Je größer die Anzahl der binlogs ist, desto mehr Festplattenplatz wird verbraucht. Um Festplattenspeicherplatz freizugeben, komprimiert Milvus Binlogs von gelöschten und eingefügten Daten. Wenn eine Entität eingefügt und später gelöscht wird, existiert sie nicht mehr in den Binlogs, die das Einfügen oder Löschen von Daten aufzeichnen, sobald sie komprimiert wurden. Darüber hinaus verdichtet Milvus auch <a href="https://milvus.io/docs/v2.0.x/glossary.md#Segment">Segmente</a> - Datendateien, die automatisch von Milvus erstellt werden, um eingefügte Daten zu speichern.</p>
<h2 id="How-to-configure-compaction" class="common-anchor-header">Wie wird die Komprimierung konfiguriert?<button data-href="#How-to-configure-compaction" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Die Konfiguration der Verdichtung in Milvus umfasst hauptsächlich zwei Parameter: <code translate="no">dataCoord.enableCompaction</code> und <code translate="no">common.retentionDuration</code>.</p>
<p><code translate="no">dataCoord.enableCompaction</code> gibt an, ob die Verdichtung aktiviert werden soll. Sein Standardwert ist <code translate="no">true</code>.</p>
<p><code translate="no">common.retentionDuration</code> gibt einen Zeitraum an, in dem die Verdichtung nicht ausgeführt wird. Seine Einheit ist Sekunde. Wenn Sie Daten verdichten, werden alle gelöschten Entitäten für die Suche mit Time Travel unzugänglich gemacht. Wenn Sie also eine Suche mit Time Travel planen, müssen Sie eine Zeitspanne angeben, in der die Verdichtung nicht ausgeführt wird und sich nicht auf gelöschte Daten auswirkt. Um genaue Suchergebnisse mit Time Travel zu gewährleisten, bewahrt Milvus Daten auf, die in einem durch <code translate="no">common.retentionDuration</code> festgelegten Zeitraum bearbeitet wurden. Das heißt, Daten, die in diesem Zeitraum bearbeitet wurden, werden nicht komprimiert. Weitere Einzelheiten finden Sie unter <a href="https://milvus.io/docs/v2.0.x/timetravel.md">Suche mit Zeitreise</a>.</p>
<p>Die Verdichtung ist in Milvus standardmäßig aktiviert. Wenn Sie die Verdichtung deaktiviert haben, sie aber später manuell aktivieren möchten, können Sie die folgenden Schritte ausführen:</p>
<ol>
<li>Rufen Sie die Methode <code translate="no">collection.compact()</code> auf, um einen globalen Verdichtungsprozess manuell auszulösen. Beachten Sie jedoch, dass dieser Vorgang längere Zeit in Anspruch nehmen kann.</li>
<li>Nach dem Aufruf der Methode wird eine Verdichtungs-ID zurückgegeben. Rufen Sie die Methode <code translate="no">collection.get_compaction_state()</code> auf, um den Verdichtungsstatus anzuzeigen.</li>
</ol>
<p>Nachdem die Verdichtung aktiviert wurde, wird sie automatisch im Hintergrund ausgeführt. Da der Verdichtungsprozess lange dauern kann, werden Verdichtungsanforderungen asynchron verarbeitet, um Zeit zu sparen.</p>
<h2 id="How-to-implement-compaction" class="common-anchor-header">Wie wird die Verdichtung implementiert?<button data-href="#How-to-implement-compaction" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>In Milvus können Sie die Verdichtung entweder manuell oder automatisch durchführen.</p>
<p>Bei der manuellen Verdichtung von binlogs oder Segmenten müssen keine Triggerbedingungen erfüllt werden. Wenn Sie also die Verdichtung manuell auslösen, werden die Binprotokolle oder Segmente auf jeden Fall verdichtet.</p>
<p>Wenn Sie jedoch die automatische Verdichtung aktivieren möchten, müssen bestimmte Triggerbedingungen erfüllt sein, damit das System Ihre Segmente oder Binslogs verdichtet.</p>
<p>Generell gibt es zwei Arten von Objekten, die in Milvus verdichtet werden können: Binglogs und Segmente.</p>
<h2 id="Binlog-compaction" class="common-anchor-header">Binlog-Verdichtung<button data-href="#Binlog-compaction" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Ein Binlog ist ein binäres Protokoll oder eine kleinere Einheit in einem Segment, das die Aktualisierungen und Änderungen von Daten in der Milvus-Vektordatenbank aufzeichnet und verarbeitet. Die Daten eines Segments werden in mehreren Binlogs aufbewahrt. Bei der Binlog-Verdichtung gibt es in Milvus zwei Arten von Binlogs: Insert-Binlogs und Delta-Binlogs.</p>
<p>Delta-Binlogs werden erzeugt, wenn Daten gelöscht werden, während Insert-Binlogs unter den folgenden drei Umständen erzeugt werden.</p>
<ul>
<li>Wenn eingefügte Daten angehängt werden, erreicht das Segment die obere Grenze der Größe und wird automatisch auf die Festplatte gespült.</li>
<li>DataCoord löscht automatisch Segmente, die über einen längeren Zeitraum nicht versiegelt wurden.</li>
<li>Einige APIs wie <code translate="no">collection.num_entities</code>, <code translate="no">collection.load()</code>, und andere rufen automatisch Flush auf, um Segmente auf die Festplatte zu schreiben.</li>
</ul>
<p>Daher bezieht sich die Binlog-Verdichtung, wie der Name schon sagt, auf die Verdichtung von Binlogs innerhalb eines Segments. Genauer gesagt, werden bei der Binlog-Verdichtung alle Delta-Binlogs und Insert-Binlogs, die nicht beibehalten werden, verdichtet.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/binlog_compaction_d7f8f910c8.png" alt="Binlog compaction" class="doc-image" id="binlog-compaction" />
   </span> <span class="img-wrapper"> <span>Binlog-Verdichtung</span> </span></p>
<p>Wenn ein Segment auf die Festplatte gespült wird oder wenn Milvus eine globale Verdichtung anfordert, weil die Verdichtung lange Zeit nicht gelaufen ist, muss mindestens eine der beiden folgenden Bedingungen erfüllt sein, um die automatische Verdichtung auszulösen:</p>
<ol>
<li>Die Zeilen in den Delta-Binlogs machen mehr als 20 % der gesamten Zeilen aus.</li>
<li>Die Größe der Delta-Binlogs übersteigt 10 MB.</li>
</ol>
<h2 id="Segment-compaction" class="common-anchor-header">Segmentverdichtung<button data-href="#Segment-compaction" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Ein <a href="https://milvus.io/docs/v2.0.x/glossary.md#Segment">Segment</a> ist eine Datendatei, die von Milvus automatisch erstellt wird, um eingefügte Daten zu speichern. Es gibt zwei Arten von Segmenten in Milvus: wachsende Segmente und geschlossene Segmente.</p>
<p>Ein wachsendes Segment nimmt so lange neue Daten auf, bis es versiegelt wird. Ein versiegeltes Segment empfängt keine neuen Daten mehr und wird in den Objektspeicher gespült, so dass neue Daten in ein neu erstelltes wachsendes Segment eingefügt werden können.</p>
<p>Daher bezieht sich die Segmentverdichtung auf die Verdichtung mehrerer versiegelter Segmente. Genauer gesagt werden bei der Segmentverdichtung kleine Segmente zu größeren Segmenten verdichtet.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/segment_compaction_92eecc0e55.jpeg" alt="Segment compaction" class="doc-image" id="segment-compaction" />
   </span> <span class="img-wrapper"> <span>Segmentverdichtung</span> </span></p>
<p>Jedes nach der Verdichtung erzeugte Segment darf die Obergrenze der Segmentgröße nicht überschreiten, die standardmäßig 512 MB beträgt. Lesen Sie die <a href="https://milvus.io/docs/v2.0.x/system_configuration.md">Systemkonfigurationen</a>, um zu erfahren, wie Sie die Obergrenze für die Segmentgröße ändern können.</p>
<p>Wenn ein Segment auf die Festplatte geleert wird oder wenn Milvus eine globale Verdichtung anfordert, weil die Verdichtung lange Zeit nicht gelaufen ist, muss die folgende Bedingung erfüllt sein, um die automatische Verdichtung auszulösen:</p>
<ul>
<li>Segmente kleiner als 0,5 * <code translate="no">MaxSegmentSize</code> ist größer als 10.</li>
</ul>
<h2 id="Whats-next" class="common-anchor-header">Wie geht es nun weiter?<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Wie geht es nach dem Erlernen der Grundlagen der Verdichtung in Milvus weiter? Derzeit sind nicht alle Parameter zur Konfiguration der Verdichtung in der Datei <code translate="no">milvus.yaml</code> enthalten, und die Strategien zur Planerstellung sind relativ einfach. Kommen Sie und tragen Sie zu Milvus bei, <a href="https://github.com/milvus-io">dem Open-Source-Projekt</a>, wenn Sie interessiert sind!</p>
<p>In der Blogserie zu den neuen Funktionen 2.0 möchten wir Ihnen das Design der neuen Funktionen erklären. Lesen Sie mehr in dieser Blogserie!</p>
<ul>
<li><a href="https://milvus.io/blog/2022-02-07-how-milvus-deletes-streaming-data-in-distributed-cluster.md">Wie Milvus Streaming-Daten in einem verteilten Cluster löscht</a></li>
<li><a href="https://milvus.io/blog/2022-2-21-compact.md">Wie verdichtet man Daten in Milvus?</a></li>
<li><a href="https://milvus.io/blog/2022-02-28-how-milvus-balances-query-load-across-nodes.md">Wie gleicht Milvus die Abfragelast über die Knoten aus?</a></li>
<li><a href="https://milvus.io/blog/2022-2-14-bitset.md">Wie Bitset die Vielseitigkeit der Vektorähnlichkeitssuche ermöglicht</a></li>
</ul>
<h2 id="About-the-author" class="common-anchor-header">Über den Autor<button data-href="#About-the-author" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Bingyi Sun, Senior Software Engineer des Milvus-Projekts, erwarb seinen Master-Abschluss in Software Engineering an der Shanghai Jiao Tong University. Er ist hauptsächlich für die Entwicklung von speicherbezogenen Komponenten in Milvus 2.0 verantwortlich. Sein Interessengebiet sind Datenbanken und verteilte Systeme. Er ist ein großer Fan von Open-Source-Projekten und ein Feinschmecker, der in seiner Freizeit gerne Videospiele spielt und liest.</p>


Wie verdichtet man Daten in Milvus?

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Bitset_cd54487e7b.png" alt="Bitset Cover Image" class="doc-image" id="bitset-cover-image" />
   </span> <span class="img-wrapper"> <span>Bitset Titelbild</span> </span></p>
<p>Von <a href="https://github.com/cydrain">Yudong Cai</a> und <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni</a>.</p>
<p>Mit der <a href="https://milvus.io/blog/2022-1-25-annoucing-general-availability-of-milvus-2-0.md">Veröffentlichung</a> von Milvus 2.0 werden verschiedene <a href="https://milvus.io/blog/2022-1-27-milvus-2-0-a-glimpse-at-new-features.md">neue wesentliche Funktionen</a> einer Vektordatenbank bereitgestellt. Unter den neuen Funktionen sind <a href="https://milvus.io/docs/v2.0.x/timetravel_ref.md">Zeitreisen</a>, Attributfilterung und <a href="https://milvus.io/blog/2022-02-07-how-milvus-deletes-streaming-data-in-distributed-cluster.md">Löschvorgänge</a> miteinander verbunden, da diese drei Funktionen durch einen gemeinsamen Mechanismus erreicht werden - Bitset.</p>
<p>In diesem Artikel soll daher das Konzept des Bitsets in Milvus erläutert werden und anhand von drei Beispielen erklärt werden, wie es funktioniert, um Löschvorgänge, Time Travel und Attributfilterung zu unterstützen.</p>
<h2 id="What-is-bitset" class="common-anchor-header">Was ist ein Bitset?<button data-href="#What-is-bitset" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Ein Bitset ist ein Array von Bitzahlen ("0" und "1"), die zur Darstellung bestimmter Dateninformationen verwendet werden können. Mit Bitsets können Sie bestimmte Datentypen kompakt und effizient speichern, anstatt sie in Ints, Floats oder Chars zu speichern. Bitsets basieren auf der <a href="https://milvus.io/docs/v2.0.x/boolean.md">booleschen Logik</a>, nach der der Wert einer Ausgabe entweder gültig oder ungültig ist, was in der Regel mit "1" bzw. "0" angegeben wird. Eine "1" steht für gültig und eine "0" für ungültig. Da Bitsets sehr effizient sind und Speicherplatz sparen, können sie auch für viele Funktionen wie Attributfilterung, Löschoperationen, Zeitreisen und mehr verwendet werden.</p>
<p>Ab Version 0.7.0 wurde das Konzept des Bitsets in Milvus eingeführt, um die <a href="https://milvus.io/blog/deleting-data-in-milvus.md">Löschfunktion</a> zu ermöglichen. Genauer gesagt wird Bitset verwendet, um zu markieren, ob jede Zeile im Segment gelöscht ist. Gelöschte Entitäten werden im entsprechenden Bitset mit "1" markiert, und als Ergebnis werden die gelöschten Entitäten bei einer Suche oder Abfrage nicht berechnet.</p>
<p>In der Version Milvus 2.0 wurde die Anwendung von Bitset erweitert, um weitere Funktionen wie Attributfilterung und Zeitreisen zu ermöglichen. Das allgemeine Prinzip in einem Bitset bleibt das gleiche. Das heißt, wenn eine Entität im entsprechenden Bitset mit "1" markiert ist, wird die Entität bei einer Suche oder Abfrage ignoriert. Bitsets werden verwendet, um 3 Funktionen in Milvus zu aktivieren:</p>
<ul>
<li>Filterung von Attributen</li>
<li>Löschung von Daten</li>
<li>Abfrage mit Zeitreise</li>
</ul>
<h2 id="How-does-bitset-work-in-Milvus" class="common-anchor-header">Wie funktioniert das Bitset in Milvus?<button data-href="#How-does-bitset-work-in-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Die folgenden Beispiele zeigen, wie Bitset in Milvus funktioniert.</p>
<h3 id="Prerequisites" class="common-anchor-header">Voraussetzungen</h3><p>Angenommen, es gibt ein Segment mit acht Entitäten und eine Reihe von DML-Ereignissen (Data Manipulation Language) findet in der Reihenfolge statt, die in der folgenden Abbildung dargestellt ist.</p>
<ul>
<li>Vier der Entitäten, deren <code translate="no">primary_keys</code> jeweils [1, 2, 3, 4] lautet, werden eingefügt, wenn der Zeitstempel <code translate="no">ts</code> gleich 100 ist.</li>
<li>Die restlichen vier Entitäten, deren <code translate="no">primary_keys</code> [5, 6, 7, 8] lautet, werden eingefügt, wenn der Zeitstempel <code translate="no">ts</code> gleich 200 ist.</li>
<li>Entitäten, deren <code translate="no">primary_keys</code> gleich [7, 8] ist, werden gelöscht, wenn der Zeitstempel <code translate="no">ts</code> gleich 300 ist.</li>
<li>Nur Entitäten, deren <code translate="no">primary_keys</code> [1, 3, 5, 7] ist, erfüllen die Bedingungen der Attributfilterung.</li>
</ul>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/UML_1_0a3605808c.jpg" alt="DML events" class="doc-image" id="dml-events" />
   </span> <span class="img-wrapper"> <span>DML-Ereignisse</span> </span></p>
<h3 id="Case-one" class="common-anchor-header">Erster Fall</h3><p>Angenommen, der Wert, den ein Benutzer für <code translate="no">time_travel</code> setzt, ist 150. Mit anderen Worten: Der Benutzer führt eine Abfrage auf die in Milvus gespeicherten Daten durch, wenn <code translate="no">ts</code> = 150 ist. Der Prozess der Bitset-Generierung ist in Abbildung 1 dargestellt.</p>
<p>Während der anfänglichen Filterungsphase sollte das Ergebnis von <code translate="no">filter_bitset</code> [1, 0, 1, 0, 1, 0, 1, 0] lauten, da die Entitäten [1, 3, 5, 7] gültige Filterungsergebnisse sind und in der Bitmenge als "1" markiert sind. Die Entitäten [4, 5, 6, 7] wurden jedoch nicht einmal in die Vektordatenbank aufgenommen, wenn <code translate="no">ts</code> gleich 150 ist. Daher sollten diese vier Entitäten unabhängig von der Filterungsbedingung als "0" markiert werden. Das Ergebnis der Bitmenge sollte nun [1, 0, 1, 0, 0, 0, 0, 0, 0] sein. Da in Milvus das allgemeine Prinzip der Bitset-Berechnung darin besteht, dass Entitäten, die im Bitset mit "1" markiert sind, während einer Suche oder Abfrage ignoriert werden, muss das Bitset-Ergebnis nach der Zeitreise- und Attributfilterung umgedreht werden, um mit der Lösch-Bitmap kombiniert werden zu können. Das gespiegelte Ergebnis von <code translate="no">filter_bitset</code> sollte [0, 1, 0, 1, 1, 1, 1, 1] sein.</p>
<p>Für die Lösch-Bitmap <code translate="no">del_bitset</code> sollte der Ausgangswert [0, 0, 0, 0, 0, 0, 1, 1] lauten. Die Entitäten 7 und 8 werden jedoch erst gelöscht, wenn <code translate="no">ts</code> 300 ist. Wenn <code translate="no">ts</code> den Wert 150 hat, sind die Entitäten 7 und 8 daher noch gültig. Folglich sollte der Wert von <code translate="no">del_bitset</code> nach der Zeitreise [0, 0, 0, 0, 0, 0, 0, 0, 0] sein.</p>
<p>Jetzt haben wir zwei Bitsets nach der Zeitreise und der Attributfilterung: <code translate="no">filter_bitset</code> [0, 1, 0, 1, 1, 1, 1, 1] und <code translate="no">del_bitset</code> [0, 0, 0, 0, 0, 0, 0, 0, 0, 0].  Kombinieren Sie diese beiden Bitsätze mit dem binären Logikoperator "OR". Der endgültige Wert von <code translate="no">result_bitset</code> ist [0, 1, 0, 1, 1, 1, 1, 1]. Das bedeutet, dass in der folgenden Such- oder Abfragestufe nur die Entitäten 1 und 3 berechnet werden.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/bitset_figure1_1b5852f7a7.jpeg" alt="Figure 1" class="doc-image" id="figure-1" />
   </span> <span class="img-wrapper"> <span>Abbildung 1</span> </span></p>
<h3 id="Case-two" class="common-anchor-header">Fall zwei</h3><p>Angenommen, der Wert, den der Benutzer für <code translate="no">time_travel</code> einstellt, ist 250. Mit anderen Worten: Der Benutzer führt eine Abfrage der in Milvus gespeicherten Daten durch, wenn <code translate="no">ts</code> = 250 ist. Der Prozess der Bitset-Generierung ist in Abbildung 2 dargestellt.</p>
<p>Wie im ersten Fall sollte das Ergebnis <code translate="no">filter_bitset</code> der anfänglichen Attributfilterung [1, 0, 1, 0, 1, 0, 1, 0, 1, 0] sein.</p>
<p>Alle Entitäten [1, 2, 3, 4, 5, 6, 7, 8] werden in die Vektordatenbank eingefügt, wenn <code translate="no">ts</code>= 250. Daher bleibt das vorherige Ergebnis von <code translate="no">filter_bitset</code> unverändert. Wiederum müssen wir das Ergebnis von <code translate="no">filter_bitset</code> umdrehen und erhalten [0, 1, 0, 1, 0, 1, 0, 1, 0, 1].</p>
<p>Für die Löschungs-Bitmenge <code translate="no">del_bitset</code> sollte der Anfangswert [0, 0, 0, 0, 0, 0, 1, 1] sein. Die Entitäten 7 und 8 wurden jedoch erst gelöscht, als <code translate="no">ts</code> 300 war. Wenn <code translate="no">ts</code> 250 ist, sind die Entitäten 7 und 8 daher noch gültig. Folglich sollte der <code translate="no">del_bitset</code> Wert nach der Zeitreise [0, 0, 0, 0, 0, 0, 0, 0, 0] sein.</p>
<p>Jetzt haben wir zwei Bitsets nach der Zeitreise und der Attributfilterung: <code translate="no">filter_bitset</code> [0, 1, 0, 1, 0, 1, 0, 1] und <code translate="no">del_bitset</code> [0, 0, 0, 0, 0, 0, 0, 0, 0].  Kombinieren Sie diese beiden Bitsätze mit dem binären Logikoperator "OR". Der endgültige Wert von <code translate="no">result_bitset</code> ist [0, 1, 0, 1, 0, 1, 0, 1]. Das bedeutet, dass in der folgenden Such- oder Abfragestufe nur die Entitäten [1, 3, 5, 7] berechnet werden.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/bitset_figure2_7cbaa7c719.jpeg" alt="Figure 2" class="doc-image" id="figure-2" />
   </span> <span class="img-wrapper"> <span>Abbildung 2</span> </span></p>
<h3 id="Case-three" class="common-anchor-header">Fall drei</h3><p>Angenommen, der Wert, den der Benutzer für <code translate="no">time_travel</code> einstellt, ist 350. Mit anderen Worten: Der Benutzer führt eine Abfrage der in Milvus gespeicherten Daten durch, wenn <code translate="no">ts</code> = 350 ist. Der Prozess der Bitset-Generierung ist in Abbildung 3 dargestellt.</p>
<p>Wie in den Fällen eins und zwei lautet das Ergebnis <code translate="no">filter_bitset</code> der anfänglichen Attributfilterungsphase [0, 1, 0, 1, 0, 1, 0, 1].</p>
<p>Alle Entitäten [1, 2, 3, 4, 5, 6, 7, 8] werden in die Vektordatenbank eingefügt, wenn <code translate="no">ts</code>= 350. Das endgültige Ergebnis der <code translate="no">filter_bitset</code> ist also [0, 1, 0, 1, 0, 1, 0, 1], genau wie im zweiten Fall.</p>
<p><code translate="no">del_bitset</code>Da die Entitäten 7 und 8 bereits gelöscht sind, wenn <code translate="no">ts</code>= 350 ist, sollte das Ergebnis von <code translate="no">del_bitset</code> [0, 0, 0, 0, 0, 0, 1, 1] sein.</p>
<p>Jetzt haben wir zwei Bitsets nach Time Travel und Attributfilterung: <code translate="no">filter_bitset</code> [0, 1, 0, 1, 0, 1, 0, 1] und <code translate="no">del_bitset</code> [0, 0, 0, 0, 0, 0, 0, 1, 1].  Kombinieren Sie diese beiden Bitsets mit dem binären Logikoperator "OR". Der endgültige Wert von <code translate="no">result_bitset</code> ist [0, 1, 0, 1, 0, 1, 1, 1]. Das bedeutet, dass in der folgenden Such- oder Abfragephase nur die Entitäten [1, 3, 5] berechnet werden.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/bitset_figure3_dd46a6aecf.jpeg" alt="Figure 3" class="doc-image" id="figure-3" />
   </span> <span class="img-wrapper"> <span>Abbildung 3</span> </span></p>
<h2 id="Whats-next" class="common-anchor-header">Was kommt als Nächstes?<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>In der Blogserie zu den neuen Funktionen 2.0 möchten wir Ihnen das Design der neuen Funktionen erklären. Lesen Sie mehr in dieser Blogserie!</p>
<ul>
<li><a href="https://milvus.io/blog/2022-02-07-how-milvus-deletes-streaming-data-in-distributed-cluster.md">Wie Milvus Streaming-Daten in einem verteilten Cluster löscht</a></li>
<li><a href="https://milvus.io/blog/2022-2-21-compact.md">Wie verdichtet man Daten in Milvus?</a></li>
<li><a href="https://milvus.io/blog/2022-02-28-how-milvus-balances-query-load-across-nodes.md">Wie gleicht Milvus die Abfragelast über die Knoten aus?</a></li>
<li><a href="https://milvus.io/blog/2022-2-14-bitset.md">Wie Bitset die Vielseitigkeit der Vektorähnlichkeitssuche ermöglicht</a></li>
</ul>


Wie Bitset die Vielseitigkeit der Vektorähnlichkeitssuche ermöglicht

<custom-h1>Wie Milvus Streaming-Daten in einem verteilten Cluster löscht</custom-h1><p>Mit der vereinheitlichten Batch- und Stream-Verarbeitung und der Cloud-nativen Architektur stellt Milvus 2.0 eine größere Herausforderung dar als sein Vorgänger bei der Entwicklung der DELETE-Funktion. Dank des fortschrittlichen Disaggregationsdesigns für die Speicherberechnung und des flexiblen Veröffentlichungs-/Abonnement-Mechanismus können wir mit Stolz verkünden, dass wir es geschafft haben. In Milvus 2.0 können Sie eine Entität in einer bestimmten Sammlung mit ihrem Primärschlüssel löschen, so dass die gelöschte Entität nicht mehr im Ergebnis einer Suche oder einer Abfrage aufgeführt wird.</p>
<p>Bitte beachten Sie, dass sich die DELETE-Operation in Milvus auf die logische Löschung bezieht, während die physische Datenbereinigung während der Datenverdichtung stattfindet. Logisches Löschen erhöht nicht nur die durch die E/A-Geschwindigkeit eingeschränkte Suchleistung, sondern erleichtert auch die Datenwiederherstellung. Logisch gelöschte Daten können mit Hilfe der Zeitreisefunktion wiederhergestellt werden.</p>
<h2 id="Usage" class="common-anchor-header">Verwendung<button data-href="#Usage" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Lassen Sie uns zunächst die DELETE-Funktion in Milvus 2.0 ausprobieren. (Das folgende Beispiel verwendet PyMilvus 2.0.0 auf Milvus 2.0.0).</p>
<pre><code translate="no" class="language-python"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> connections, utility, Collection, DataType, FieldSchema, CollectionSchema
<span class="hljs-comment"># Connect to Milvus</span>
connections.connect(
    alias=<span class="hljs-string">&quot;default&quot;</span>, 
    host=<span class="hljs-string">&#x27;x.x.x.x&#x27;</span>, 
    port=<span class="hljs-string">&#x27;19530&#x27;</span>
)
<span class="hljs-comment"># Create a collection with Strong Consistency level</span>
pk_field = FieldSchema(
    name=<span class="hljs-string">&quot;id&quot;</span>, 
    dtype=DataType.INT64, 
    is_primary=<span class="hljs-literal">True</span>, 
)
vector_field = FieldSchema(
    name=<span class="hljs-string">&quot;vector&quot;</span>, 
    dtype=DataType.FLOAT_VECTOR, 
    dim=<span class="hljs-number">2</span>
)
schema = CollectionSchema(
    fields=[pk_field, vector_field], 
    description=<span class="hljs-string">&quot;Test delete&quot;</span>
)
collection_name = <span class="hljs-string">&quot;test_delete&quot;</span>
collection = Collection(
    name=collection_name, 
    schema=schema, 
    using=<span class="hljs-string">&#x27;default&#x27;</span>, 
    shards_num=<span class="hljs-number">2</span>,
    consistency_level=<span class="hljs-string">&quot;Strong&quot;</span>
)
<span class="hljs-comment"># Insert randomly generated vectors</span>
<span class="hljs-keyword">import</span> random
data = [
    [i <span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-number">100</span>)],
    [[random.random() <span class="hljs-keyword">for</span> _ <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-number">2</span>)] <span class="hljs-keyword">for</span> _ <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-number">100</span>)],
]
collection.insert(data)
<span class="hljs-comment"># Query to make sure the entities to delete exist</span>
collection.load()
expr = <span class="hljs-string">&quot;id in [2,4,6,8,10]&quot;</span>
pre_del_res = collection.query(
    expr,
    output_fields = [<span class="hljs-string">&quot;id&quot;</span>, <span class="hljs-string">&quot;vector&quot;</span>]
)
<span class="hljs-built_in">print</span>(pre_del_res)
<span class="hljs-comment"># Delete the entities with the previous expression</span>
collection.delete(expr)
<span class="hljs-comment"># Query again to check if the deleted entities exist</span>
post_del_res = collection.query(
    expr,
    output_fields = [<span class="hljs-string">&quot;id&quot;</span>, <span class="hljs-string">&quot;vector&quot;</span>]
)
<span class="hljs-built_in">print</span>(post_del_res)
<button class="copy-code-btn"></button></code></pre>
<h2 id="Implementation" class="common-anchor-header">Implementierung<button data-href="#Implementation" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>In einer Milvus-Instanz ist ein Datenknoten hauptsächlich dafür verantwortlich, Streaming-Daten (Logs im Log-Broker) als historische Daten (Log-Snapshots) zu packen und automatisch in den Objektspeicher zu flushen. Ein Abfrageknoten führt Suchanfragen auf vollständigen Daten aus, d. h. sowohl auf Streaming-Daten als auch auf historischen Daten.</p>
<p>Um die Datenschreibkapazitäten der parallelen Knoten in einem Cluster optimal zu nutzen, verwendet Milvus eine Sharding-Strategie, die auf Primärschlüssel-Hashing basiert, um die Schreibvorgänge gleichmäßig auf verschiedene Arbeitsknoten zu verteilen. Das heißt, dass der Proxy die DML-Nachrichten (d.h. Anfragen) einer Entität an denselben Daten- und Abfrageknoten weiterleitet. Diese Nachrichten werden über den DML-Kanal veröffentlicht und von dem Datenknoten und dem Abfrageknoten getrennt konsumiert, um Such- und Abfragedienste gemeinsam bereitzustellen.</p>
<h3 id="Data-node" class="common-anchor-header">Datenknoten</h3><p>Nach dem Empfang von INSERT-Nachrichten fügt der Datenknoten die Daten in ein wachsendes Segment ein, d. h. in ein neues Segment, das für den Empfang von Streaming-Daten im Speicher erstellt wird. Wenn entweder die Anzahl der Datenzeilen oder die Dauer des wachsenden Segments den Schwellenwert erreicht, versiegelt der Datenknoten es, um weitere eingehende Daten zu verhindern. Der Datenknoten spült dann das versiegelte Segment, das die historischen Daten enthält, in den Objektspeicher. In der Zwischenzeit generiert der Datenknoten einen Bloomfilter auf der Grundlage der Primärschlüssel der neuen Daten und spült ihn zusammen mit dem versiegelten Segment in den Objektspeicher, wobei er den Bloomfilter als Teil des binären Statistikprotokolls (binlog) speichert, das die statistischen Informationen des Segments enthält.</p>
<blockquote>
<p>Ein Bloomfilter ist eine probabilistische Datenstruktur, die aus einem langen binären Vektor und einer Reihe von Zufallsabbildungsfunktionen besteht. Er kann verwendet werden, um zu testen, ob ein Element Mitglied einer Menge ist, kann aber auch falsch positive Treffer liefern.           -- Wikipedia</p>
</blockquote>
<p>Wenn Daten-DELETE-Nachrichten eingehen, puffert der Datenknoten alle Bloom-Filter im entsprechenden Shard und gleicht sie mit den in den Nachrichten angegebenen Primärschlüsseln ab, um alle Segmente (sowohl die wachsenden als auch die versiegelten) abzurufen, die möglicherweise die zu löschenden Entitäten enthalten. Nachdem die entsprechenden Segmente lokalisiert wurden, puffert der Datenknoten sie im Speicher, um die Delta-Binlogs zur Aufzeichnung der Löschvorgänge zu erzeugen, und spült diese Binlogs dann zusammen mit den Segmenten zurück in den Objektspeicher.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/data_node_2397ad70c3.png" alt="Data Node" class="doc-image" id="data-node" />
   </span> <span class="img-wrapper"> <span>Datenknoten</span> </span></p>
<p>Da einem Shard nur ein DML-Kanal zugewiesen ist, können zusätzliche Abfrageknoten, die dem Cluster hinzugefügt werden, den DML-Kanal nicht abonnieren. Um sicherzustellen, dass alle Abfrageknoten die DELETE-Nachrichten empfangen können, filtern die Datenknoten die DELETE-Nachrichten aus dem DML-Kanal und leiten sie an den Delta-Kanal weiter, um alle Abfrageknoten über die Löschvorgänge zu informieren.</p>
<h3 id="Query-node" class="common-anchor-header">Abfrageknoten</h3><p>Beim Laden einer Sammlung aus dem Objektspeicher holt sich der Abfrageknoten zunächst den Prüfpunkt jedes Shards, der die DML-Vorgänge seit dem letzten Flush-Vorgang markiert. Auf der Grundlage des Prüfpunkts lädt der Abfrageknoten alle versiegelten Segmente zusammen mit ihren Delta-Binlog- und Bloom-Filtern. Wenn alle Daten geladen sind, abonniert der Abfrageknoten DML-Channel, Delta-Channel und Query-Channel.</p>
<p>Wenn weitere INSERT-Nachrichten eintreffen, nachdem die Sammlung in den Speicher geladen wurde, bestimmt der Abfrageknoten zunächst die wachsenden Segmente entsprechend den Nachrichten und aktualisiert die entsprechenden Bloomfilter im Speicher nur für Abfragezwecke. Diese für die Abfrage bestimmten Bloomfilter werden nach Abschluss der Abfrage nicht in den Objektspeicher gespült.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/query_node_a78b1d664f.png" alt="Query Node" class="doc-image" id="query-node" />
   </span> <span class="img-wrapper"> <span>Abfrageknoten</span> </span></p>
<p>Wie oben erwähnt, kann nur eine bestimmte Anzahl von Abfrageknoten DELETE-Nachrichten vom DML-Kanal empfangen, d.h. nur sie können die DELETE-Anfragen in wachsenden Segmenten ausführen. Diejenigen Abfrageknoten, die den DML-Kanal abonniert haben, filtern zunächst die DELETE-Nachrichten in den wachsenden Segmenten, suchen die Entitäten, indem sie die bereitgestellten Primärschlüssel mit den abfragespezifischen Bloomfiltern der wachsenden Segmente abgleichen, und zeichnen dann die Löschvorgänge in den entsprechenden Segmenten auf.</p>
<p>Abfrageknoten, die den DML-Kanal nicht abonnieren können, dürfen nur Such- oder Abfrageanfragen auf versiegelten Segmenten verarbeiten, da sie nur den Delta-Kanal abonnieren und die von Datenknoten weitergeleiteten DELETE-Nachrichten empfangen können. Nachdem die Abfrageknoten alle DELETE-Nachrichten in den versiegelten Segmenten des Delta-Kanals gesammelt haben, lokalisieren sie die Entitäten, indem sie die angegebenen Primärschlüssel mit den Bloom-Filtern der versiegelten Segmente abgleichen, und zeichnen dann die Löschvorgänge in den entsprechenden Segmenten auf.</p>
<p>Schließlich generieren die Abfrageknoten bei einer Suche oder Abfrage ein Bitset auf der Grundlage der Löschaufzeichnungen, um die gelöschten Entitäten auszulassen, und suchen unter den verbleibenden Entitäten aus allen Segmenten, unabhängig vom Segmentstatus. Nicht zuletzt beeinflusst die Konsistenzstufe die Sichtbarkeit der gelöschten Daten. Unter Strong Consistency Level (wie im vorherigen Codebeispiel gezeigt) sind die gelöschten Entitäten sofort nach dem Löschen unsichtbar. Bei Bounded Consistency Level dauert es mehrere Sekunden, bis die gelöschten Objekte unsichtbar werden.</p>
<h2 id="Whats-next" class="common-anchor-header">Was kommt als Nächstes?<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>In der Blogserie zu den neuen Funktionen 2.0 wollen wir das Design der neuen Funktionen erklären. Lesen Sie mehr in dieser Blogserie!</p>
<ul>
<li><a href="https://milvus.io/blog/2022-02-07-how-milvus-deletes-streaming-data-in-distributed-cluster.md">Wie Milvus Streaming-Daten in einem verteilten Cluster löscht</a></li>
<li><a href="https://milvus.io/blog/2022-2-21-compact.md">Wie verdichtet man Daten in Milvus?</a></li>
<li><a href="https://milvus.io/blog/2022-02-28-how-milvus-balances-query-load-across-nodes.md">Wie gleicht Milvus die Abfragelast über die Knoten aus?</a></li>
<li><a href="https://milvus.io/blog/2022-2-14-bitset.md">Wie Bitset die Vielseitigkeit der Vektorähnlichkeitssuche ermöglicht</a></li>
</ul>


Verwendung

Milvus 2.0 - Ein Blick auf die neuen Funktionen

<p>Liebe Mitglieder und Freunde der Milvus Community:</p>
<p>Heute, sechs Monate nachdem der erste Release Candidate (RC) veröffentlicht wurde, freuen wir uns, Ihnen mitteilen zu können, dass Milvus 2.0 <a href="https://milvus.io/docs/v2.0.x/release_notes.md#v200">allgemein verfügbar (GA)</a> und produktionsreif ist! Es war ein langer Weg, und wir danken allen, die uns auf diesem Weg geholfen haben - Community-Mitarbeitern, Nutzern und der LF AI &amp; Data Foundation.</p>
<p>Die Fähigkeit, Milliarden von hochdimensionalen Daten zu verarbeiten, ist für KI-Systeme heutzutage von großer Bedeutung - und das aus gutem Grund:</p>
<ol>
<li>Unstrukturierte Daten nehmen im Vergleich zu traditionellen strukturierten Daten ein dominantes Volumen ein.</li>
<li>Die Aktualität der Daten war noch nie so wichtig wie heute. Datenwissenschaftler sind an zeitnahen Datenlösungen interessiert und nicht an dem traditionellen T+1-Kompromiss.</li>
<li>Kosten und Leistung sind noch kritischer geworden, und dennoch klafft immer noch eine große Lücke zwischen aktuellen Lösungen und realen Anwendungsfällen. Daher Milvus 2.0. Milvus ist eine Datenbank, die den Umgang mit hochdimensionalen Daten in großem Umfang ermöglicht. Sie ist für die Cloud konzipiert und kann überall eingesetzt werden. Wenn Sie unsere RC-Releases verfolgt haben, wissen Sie, dass wir große Anstrengungen unternommen haben, um Milvus stabiler und einfacher zu implementieren und zu warten zu machen.</li>
</ol>
<h2 id="Milvus-20-GA-now-offers" class="common-anchor-header">Milvus 2.0 GA bietet jetzt<button data-href="#Milvus-20-GA-now-offers" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><strong>Löschung von Entitäten</strong></p>
<p>Als Datenbank unterstützt Milvus jetzt das <a href="https://milvus.io/docs/v2.0.x/delete_data.md">Löschen von Entitäten nach Primärschlüssel</a> und wird später das Löschen von Entitäten nach Ausdruck unterstützen.</p>
<p><strong>Automatischer Lastausgleich</strong></p>
<p>Milvus unterstützt jetzt die Plugin-Lastausgleichspolitik, um die Last der einzelnen Abfrage- und Datenknoten auszugleichen. Dank der Disaggregation von Berechnung und Speicherung wird der Ausgleich in nur wenigen Minuten erledigt sein.</p>
<p><strong>Weiterleitung</strong></p>
<p>Sobald wachsende Segmente durch Flush versiegelt sind, ersetzen Handoff-Aufgaben wachsende Segmente durch indizierte historische Segmente, um die Suchleistung zu verbessern.</p>
<p><strong>Datenverdichtung</strong></p>
<p>Bei der Datenverdichtung handelt es sich um eine Hintergrundaufgabe, die kleine Segmente zu großen Segmenten zusammenführt und logisch gelöschte Daten bereinigt.</p>
<p><strong>Unterstützung von eingebettetem etcd und lokalem Datenspeicher</strong></p>
<p>Im Standalone-Modus von Milvus können wir die Abhängigkeit von etcd/MinIO mit nur wenigen Konfigurationen entfernen. Der lokale Datenspeicher kann auch als lokaler Cache verwendet werden, um das Laden aller Daten in den Hauptspeicher zu vermeiden.</p>
<p><strong>Mehrsprachige SDKs</strong></p>
<p>Zusätzlich zu <a href="https://github.com/milvus-io/pymilvus">PyMilvus</a> sind jetzt auch <a href="https://github.com/milvus-io/milvus-sdk-node">Node.js</a>, <a href="https://github.com/milvus-io/milvus-sdk-java">Java</a> und <a href="https://github.com/milvus-io/milvus-sdk-go">Go</a> SDKs einsatzbereit.</p>
<p><strong>Milvus K8s Operator</strong></p>
<p><a href="https://milvus.io/docs/v2.0.x/install_cluster-milvusoperator.md">Milvus Operator</a> bietet eine einfache Lösung für die Bereitstellung und Verwaltung eines vollständigen Milvus-Service-Stacks, der sowohl Milvus-Komponenten als auch deren relevante Abhängigkeiten (z. B. etcd, Pulsar und MinIO) umfasst, in den <a href="https://kubernetes.io/">Ziel-Kubernetes-Clustern</a> auf skalierbare und hochverfügbare Weise.</p>
<p><strong>Tools, die bei der Verwaltung von Milvus helfen</strong></p>
<p>Wir haben <a href="https://zilliz.com/">Zilliz</a> für den fantastischen Beitrag von Management-Tools zu danken. Wir haben jetzt <a href="https://milvus.io/docs/v2.0.x/attu.md">Attu</a>, das uns die Interaktion mit Milvus über eine intuitive GUI ermöglicht, und <a href="https://milvus.io/docs/v2.0.x/cli_overview.md">Milvus_CLI</a>, ein Kommandozeilen-Tool für die Verwaltung von Milvus.</p>
<p>Dank aller 212 Mitwirkenden hat die Community in den letzten 6 Monaten 6718 Commits fertiggestellt, und eine Menge Stabilitäts- und Leistungsprobleme wurden geschlossen. Wir werden unseren Stabilitäts- und Leistungs-Benchmark-Bericht bald nach der Veröffentlichung von 2.0 GA veröffentlichen.</p>
<h2 id="Whats-next" class="common-anchor-header">Was kommt als Nächstes?<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><strong>Funktionalität</strong></p>
<p>Die Unterstützung von String-Typen wird das nächste Killer-Feature für Milvus 2.1 sein. Wir werden auch einen Time-to-Live-Mechanismus (TTL) und eine grundlegende ACL-Verwaltung einführen, um die Bedürfnisse der Benutzer besser zu erfüllen.</p>
<p><strong>Verfügbarkeit</strong></p>
<p>Wir arbeiten an der Überarbeitung des Abfragekoordinaten-Scheduling-Mechanismus, um mehrere Speicherreplikate für jedes Segment zu unterstützen. Mit mehreren aktiven Replikaten kann Milvus eine schnellere Ausfallsicherung und spekulative Ausführung unterstützen, um die Ausfallzeit auf wenige Sekunden zu verkürzen.</p>
<p><strong>Leistung</strong></p>
<p>Die Ergebnisse von Leistungsvergleichen werden demnächst auf unseren Websites veröffentlicht. Die folgenden Versionen werden voraussichtlich eine beeindruckende Leistungsverbesserung aufweisen. Unser Ziel ist die Halbierung der Suchlatenz bei kleineren Datenmengen und die Verdoppelung des Systemdurchsatzes.</p>
<p><strong>Benutzerfreundlichkeit</strong></p>
<p>Milvus ist so konzipiert, dass es überall läuft. Wir werden Milvus auf MacOS (sowohl M1 als auch X86) und auf ARM-Servern in den nächsten kleinen Versionen unterstützen. Wir werden auch eingebettetes PyMilvus anbieten, so dass Sie einfach <code translate="no">pip install</code> Milvus ohne komplexe Umgebungseinrichtung verwenden können.</p>
<p><strong>Verwaltung der Gemeinschaft</strong></p>
<p>Wir werden die Regeln für die Mitgliedschaft verfeinern und die Anforderungen und Verantwortlichkeiten der Mitwirkendenrollen klären. Ein Mentorenprogramm ist ebenfalls in der Entwicklung; jeder, der sich für Cloud-native Datenbanken, Vektorsuche und/oder Community Governance interessiert, kann sich gerne an uns wenden.</p>
<p>Wir freuen uns sehr über die neueste Version von Milvus GA! Wie immer freuen wir uns über Ihr Feedback. Sollten Sie auf Probleme stoßen, zögern Sie nicht, uns auf <a href="https://github.com/milvus-io/milvus">GitHub</a> oder über <a href="http://milvusio.slack.com/">Slack</a> zu kontaktieren.</p>
<p><br/></p>
<p>Mit freundlichen Grüßen,</p>
<p>Xiaofan Luan</p>
<p>Milvus-Projektbetreuerin</p>
<p><br/></p>
<blockquote>
<p><em>Bearbeitet von <a href="https://github.com/claireyuw">Claire Yu</a>.</em></p>
</blockquote>


Ankündigung der allgemeinen Verfügbarkeit von Milvus 2.0

<p>Dieser Artikel wurde von <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni</a> übersetzt.</p>
<p>Informationen sind in unserem Leben allgegenwärtig. Meta (früher bekannt als Facebook), Instagram, Twitter und andere Social-Media-Plattformen machen Informationsströme noch allgegenwärtiger. Daher sind Engines, die mit solchen Informationsströmen umgehen können, ein Muss in den meisten Systemarchitekturen geworden. Als Nutzer von Social-Media-Plattformen und entsprechenden Anwendungen haben Sie sich jedoch bestimmt schon einmal über doppelte Artikel, Nachrichten, Memes und mehr geärgert. Doppelte Inhalte erschweren den Prozess der Informationsgewinnung und führen zu einer schlechten Benutzererfahrung.</p>
<p>Für ein Produkt, das sich mit Informationsströmen befasst, ist es für die Entwickler von hoher Priorität, einen flexiblen Datenprozessor zu finden, der sich nahtlos in die Systemarchitektur integrieren lässt, um identische Nachrichten oder Anzeigen zu deduplizieren.</p>
<p><a href="https://www.smartnews.com/en/">SmartNews</a>, das mit <a href="https://techcrunch.com/2021/09/15/news-aggregator-smartnews-raises-230-million-valuing-its-business-at-2-billion/">2 Milliarden US-Dollar</a> bewertet wird, ist das am höchsten bewertete Nachrichten-App-Unternehmen in den USA. Bemerkenswert ist, dass das Unternehmen früher Nutzer von Milvus, einer Open-Source-Vektordatenbank, war, später aber zu einem aktiven Mitwirkenden am Milvus-Projekt wurde.</p>
<p>Dieser Artikel erzählt die Geschichte von SmartNews und erklärt, warum das Unternehmen beschlossen hat, Beiträge zum Milvus-Projekt zu leisten.</p>
<h2 id="An-overview-of-SmartNews" class="common-anchor-header">Ein Überblick über SmartNews<button data-href="#An-overview-of-SmartNews" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>SmartNews wurde 2012 gegründet und hat seinen Hauptsitz in Tokio, Japan. Die von SmartNews entwickelte Nachrichten-App hat auf dem japanischen Markt stets die <a href="https://www.businessinsider.com/guides/smartnews-free-news-app-2018-9">besten Bewertungen</a> erhalten. SmartNews ist die <a href="https://about.smartnews.com/en/2019/06/12/smartnews-builds-global-momentum-with-over-500-us-growth-new-executives-and-three-new-offices/">am schnellsten wachsende</a> Nachrichten-App und weist auch auf dem US-Markt eine <a href="https://about.smartnews.com/en/2018/07/21/smartnews-reaches-more-than-10-million-monthly-active-users-in-the-united-states-and-japan/">hohe Nutzerviskosität</a> auf. Laut den Statistiken von <a href="https://www.appannie.com/en/">APP Annie</a> lag die durchschnittliche monatliche Sitzungsdauer von SmartNews Ende Juli 2021 an erster Stelle aller Nachrichten-Apps und übertraf die kumulierte Sitzungsdauer von AppleNews und Google News.</p>
<p>Mit dem schnellen Wachstum der Nutzerbasis und der Viskosität muss sich SmartNews weiteren Herausforderungen in Bezug auf den Empfehlungsmechanismus und den KI-Algorithmus stellen. Zu diesen Herausforderungen gehören die Nutzung massiver diskreter Merkmale im groß angelegten maschinellen Lernen (ML), die Beschleunigung unstrukturierter Datenabfragen mit vektorieller Ähnlichkeitssuche und vieles mehr.</p>
<p>Anfang 2021 wandte sich das Team für dynamische Anzeigenalgorithmen bei SmartNews an das KI-Infrastrukturteam mit der Bitte, die Funktionen zum Abrufen und Abfragen von Anzeigen zu optimieren. Nach zweimonatiger Recherche entschied sich der KI-Infrastrukturingenieur Shu für Milvus, eine Open-Source-Vektordatenbank, die mehrere Indizes und Ähnlichkeitsmetriken sowie Online-Datenaktualisierungen unterstützt. Mehr als tausend Organisationen weltweit vertrauen auf Milvus.</p>
<h2 id="Advertisement-recommendation-powered-by-vector-similarity-search" class="common-anchor-header">Anzeigenempfehlung durch Vektorähnlichkeitssuche<button data-href="#Advertisement-recommendation-powered-by-vector-similarity-search" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Die Open-Source-Vektordatenbank Milvus wird im SmartNews-Anzeigensystem eingesetzt, um dynamische Anzeigen aus einem 10-Millionen-Datensatz abzugleichen und den Nutzern zu empfehlen. Auf diese Weise kann SmartNews eine Mapping-Beziehung zwischen zwei bisher nicht zueinander passenden Datensätzen - Nutzerdaten und Anzeigendaten - herstellen. Im zweiten Quartal 2021 gelang es Shu, Milvus 1.0 auf Kubernetes bereitzustellen. Erfahren Sie mehr darüber, wie Sie <a href="https://milvus.io/docs">Milvus bereitstellen</a> können.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/image1_2a88ed162f.png" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<p>Nach der erfolgreichen Bereitstellung von Milvus 1.0 war das erste Projekt, bei dem Milvus zum Einsatz kam, das vom Ad-Team bei SmartNews initiierte Anzeigenrückrufprojekt. In der Anfangsphase war der Anzeigendatensatz eine Million groß. Gleichzeitig wurde die P99-Latenzzeit auf weniger als 10 Millisekunden genau kontrolliert.</p>
<p>Im Juni 2021 wandten Shu und seine Kollegen im Algorithmusteam Milvus auf weitere Geschäftsszenarien an und versuchten, Daten zu aggregieren und Online-Daten/Indizes in Echtzeit zu aktualisieren.</p>
<p>Inzwischen wurde Milvus, die Open-Source-Vektordatenbank, in verschiedenen Geschäftsszenarien bei SmartNews eingesetzt, darunter auch bei der Anzeigenempfehlung.</p>
<h2 id="From-a-user-to-an-active-contributor" class="common-anchor-header"><strong>Vom Nutzer zum aktiven Mitgestalter</strong><button data-href="#From-a-user-to-an-active-contributor" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Während der Integration von Milvus in die Smartnews-Produktarchitektur kamen Shu und andere Entwickler mit Anfragen zu Funktionen wie Hot Reload, Artikel-TTL (Time-to-Live), Artikel-Update/Ersatz und mehr. Dies sind auch Funktionen, die von vielen Benutzern in der Milvus-Community gewünscht werden. Daher beschloss Dennis Zhao, Leiter des KI-Infrastrukturteams bei SmartNews, die Hot-Reload-Funktion zu entwickeln und der Community zur Verfügung zu stellen. Dennis meinte: "Das SmartNews-Team hat von der Milvus-Community profitiert, daher sind wir mehr als bereit, einen Beitrag zu leisten, wenn wir etwas mit der Community zu teilen haben."</p>
<p>Data Reload unterstützt die Code-Bearbeitung während der Ausführung des Codes. Mit Hilfe von Data Reload müssen Entwickler nicht mehr an einem Haltepunkt anhalten oder die Anwendung neu starten. Stattdessen können sie den Code direkt bearbeiten und das Ergebnis in Echtzeit sehen.</p>
<p>Ende Juli schlug Yusup, Ingenieur bei SmartNews, eine Idee zur Verwendung von <a href="https://milvus.io/docs/v2.0.x/collection_alias.md#Collection-Alias">Collection Alias</a> vor, um Hot Reload zu erreichen.</p>
<p>Das Erstellen von Sammlungsalias bezieht sich auf die Angabe von Aliasnamen für eine Sammlung. Eine Sammlung kann mehrere Aliasnamen haben. Ein Alias entspricht jedoch maximal einer Sammlung. Ziehen Sie einfach eine Analogie zwischen einer Sammlung und einem Schließfach. Ein Schließfach hat wie eine Sammlung seine eigene Nummer und Position, die immer unverändert bleibt. Sie können jedoch immer verschiedene Dinge in das Schließfach legen und aus ihm entnehmen. Ähnlich ist der Name der Sammlung fest, aber die Daten in der Sammlung sind dynamisch. Sie können jederzeit Vektoren in eine Sammlung einfügen oder löschen, da das Löschen von Daten in der <a href="https://milvus.io/docs/v2.0.x/release_notes.md#v200-PreGA">Milvus-Vorversion</a> unterstützt wird.</p>
<p>Im Falle des SmartNews-Anzeigengeschäfts werden fast 100 Millionen Vektoren eingefügt oder aktualisiert, wenn neue dynamische Anzeigenvektoren erzeugt werden. Hierfür gibt es mehrere Lösungen:</p>
<ul>
<li>Lösung 1: Löschen Sie zuerst die alten Daten und fügen Sie dann die neuen ein.</li>
<li>Lösung 2: Erstellen Sie eine neue Sammlung für neue Daten.</li>
<li>Lösung 3: Sammlungs-Alias verwenden.</li>
</ul>
<p>Bei Lösung 1 besteht einer der größten Nachteile darin, dass sie extrem zeitaufwändig ist, vor allem, wenn der zu aktualisierende Datenbestand riesig ist. In der Regel dauert es Stunden, einen Datensatz mit einer Größe von 100 Millionen zu aktualisieren.</p>
<p>Bei Lösung 2 besteht das Problem darin, dass die neue Sammlung nicht sofort für die Suche verfügbar ist. Das heißt, dass eine Sammlung während des Ladens nicht durchsuchbar ist. Außerdem erlaubt Milvus nicht, dass zwei Sammlungen denselben Sammlungsnamen verwenden. Der Wechsel zu einer neuen Sammlung würde immer eine manuelle Änderung des clientseitigen Codes erfordern. Das heißt, dass die Benutzer den Wert des Parameters <code translate="no">collection_name</code> jedes Mal ändern müssen, wenn sie zwischen Sammlungen wechseln wollen.</p>
<p>Lösung 3 wäre die Lösung schlechthin. Sie müssen lediglich die neuen Daten in eine neue Sammlung einfügen und einen Sammlungsalias verwenden. Auf diese Weise müssen Sie nur den Auflistungsalias jedes Mal austauschen, wenn Sie die Auflistung wechseln müssen, um die Suche durchzuführen. Sie brauchen den Code nicht extra zu überarbeiten. Diese Lösung erspart Ihnen die in den beiden vorhergehenden Lösungen erwähnten Probleme.</p>
<p>Yusup ging von dieser Anfrage aus und half dem gesamten SmartNews-Team, die Milvus-Architektur zu verstehen. Nach eineinhalb Monaten erhielt das Milvus-Projekt von Yusup eine PR über Hot Reload. Später wurde diese Funktion zusammen mit der Veröffentlichung von Milvus 2.0.0-RC7 offiziell verfügbar.</p>
<p>Derzeit übernimmt das AI-Infrastrukturteam die Führung bei der Bereitstellung von Milvus 2.0 und der schrittweisen Migration aller Daten von Milvus 1.0 auf 2.0.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/image2_96c064a627.png" alt="img_collection alias" class="doc-image" id="img_collection-alias" />
   </span> <span class="img-wrapper"> <span>img_collection alias</span> </span></p>
<p>Die Unterstützung von Sammlungsalias kann die Nutzererfahrung erheblich verbessern, insbesondere für große Internetunternehmen mit einer großen Anzahl von Nutzeranfragen. Chenglong Li, Dateningenieur aus der Milvus-Gemeinschaft, der die Brücke zwischen Milvus und Smartnews geschlagen hat, sagte: "Die Funktion der Sammelalias ist aus einer echten Geschäftsanfrage von SmartNews, einem Milvus-Benutzer, entstanden. Und SmartNews hat der Milvus-Gemeinschaft den Code zur Verfügung gestellt. Dieser Akt der Gegenseitigkeit ist ein großartiges Beispiel für den Open-Source-Geist: von der Gemeinschaft und für die Gemeinschaft. Wir hoffen, dass wir noch mehr Mitwirkende wie SmartNews finden und gemeinsam eine florierende Milvus-Community aufbauen können."</p>
<p>"Derzeit setzt ein Teil des Anzeigengeschäfts Milvus als Offline-Vektordatenbank ein. Die offizielle Veröffentlichung von Mivus 2.0 rückt näher, und wir hoffen, dass wir Milvus nutzen können, um zuverlässigere Systeme zu bauen und Echtzeitdienste für mehr Geschäftsszenarien anzubieten", so Dennis.</p>
<blockquote>
<p>Update: Milvus 2.0 ist jetzt allgemein verfügbar! <a href="/blog/de/2022-1-25-annoucing-general-availability-of-milvus-2-0.md">Erfahren Sie mehr</a></p>
</blockquote>


Die Geschichte von SmartNews - von einem Milvus-Benutzer zu einem aktiven Mitwirkenden

<p>2021 war ein erstaunliches Jahr für Milvus als Open-Source-Projekt. Ich möchte mich an dieser Stelle bei allen Mitwirkenden und Nutzern von Milvus sowie bei den Partnern bedanken, die zu einem so herausragenden Jahr beigetragen haben.</p>
<p><strong>Einer der beeindruckendsten Momente in diesem Jahr ist für mich die Veröffentlichung von Milvus 2.0. Bevor wir mit diesem Projekt begannen, glaubten nur wenige Community-Mitglieder, dass wir die fortschrittlichste Vektordatenbank der Welt liefern könnten, aber jetzt bin ich stolz darauf, sagen zu können, dass Milvus 2.0 GA produktionsreif ist.</strong></p>
<p>Wir arbeiten bereits an neuen und aufregenden Herausforderungen für 2022, aber ich dachte, es wäre schön, ein paar der großen Schritte zu feiern, die wir im letzten Jahr gemacht haben. Hier sind ein paar davon:</p>
<h2 id="Community-Growth" class="common-anchor-header">Wachstum der Gemeinschaft<button data-href="#Community-Growth" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Zunächst eine Zusammenfassung der Community-Statistiken von GitHub und Slack. Bis Ende Dezember 2021:</p>
<ul>
<li><p>Die Zahl<strong>der Mitwirkenden</strong> ist von 121 im Dezember 2020 auf 209 im Dezember 2021 gestiegen (plus 172 %)</p></li>
<li><p>Die Anzahl<strong>der Sterne</strong> ist von 4828 im Dezember 2020 auf 9090 im Dezember 2021 gestiegen (plus 188 %)</p></li>
<li><p>Die Anzahl der<strong>Forks</strong> ist von 756 im Dezember 2020 auf 1383 im Dezember 2021 gestiegen (plus 182 %)</p></li>
<li><p>Die Zahl<strong>der Slack-Mitglieder</strong> ist von 541 im Dezember 2020 auf 1233 im Dezember 2021 gestiegen (plus 227 %)</p></li>
</ul>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_1_e94deb087f.png" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<h2 id="Community-Governance-and-Advocacy" class="common-anchor-header">Community Governance und Befürwortung<button data-href="#Community-Governance-and-Advocacy" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Als Milvus im Oktober 2019 als Open Source veröffentlicht wurde, hatten wir ein relativ kleines Team und eine kleine Community, so dass das Projekt natürlich hauptsächlich von einigen wenigen Mitgliedern des Kernteams verwaltet wurde. Aber seitdem die Community deutlich gewachsen ist, wurde uns klar, dass wir ein besseres System für die Verwaltung des Projekts brauchten, damit wir neue Mitwirkende effizienter aufnehmen konnten.</p>
<p>Daher haben wir im Jahr 2021 fünf neue Betreuer ernannt, die die laufende Arbeit und die gemeldeten Probleme im Auge behalten, um sicherzustellen, dass sie zeitnah überprüft und zusammengeführt werden. Die GitHub-IDs der fünf Betreuer sind @xiaofan-luan; @congqixia; @scsven; @czs007; @yanliang567. Sie können sich gerne an diese Betreuer wenden, wenn Sie Hilfe bei Ihren PRs benötigen.</p>
<p>Wir haben außerdem das <a href="https://milvus.io/community/milvus_advocate.md">Milvus Advocate Program</a> ins Leben gerufen und freuen uns, wenn noch mehr Leute mitmachen, um ihre Erfahrungen mit anderen zu teilen, der Community zu helfen und im Gegenzug Anerkennung zu erhalten.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_2_835f379fb0.png" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<p>(Bild: Milvus GitHub-Mitarbeiter, erstellt mit dynamicwebpaige's <a href="https://github.com/dynamicwebpaige/nanowrimo-2021/blob/main/15_VS_Code_contributors.ipynb">Projekt</a> )</p>
<h2 id="Milvus-Project-Announcements-and-Milestones" class="common-anchor-header">Milvus-Projektankündigungen und Meilensteine<button data-href="#Milvus-Project-Announcements-and-Milestones" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ol>
<li><strong>Anzahl der Versionsveröffentlichungen：14</strong></li>
</ol>
<ul>
<li><a href="https://milvus.io/blog/Whats-Inside-Milvus-1.0.md">Milvus 1.0 Freigabe</a></li>
<li><a href="https://milvus.io/blog/milvus2.0-redefining-vector-database.md">Milvus 2.0 Freigabe RC</a></li>
<li><a href="https://milvus.io/docs/v2.0.x/release_notes.md#v200-PreGA">Milvus 2.0 Freigabe PreGA</a></li>
</ul>
<ol>
<li><strong>Milvus v2.0.0 GA unterstützte SDKs</strong></li>
</ol>
<ul>
<li><p>PyMilvus (verfügbar)</p></li>
<li><p>Go SDK (verfügbar)</p></li>
<li><p>Java SDK (verfügbar)</p></li>
<li><p>Node.js SDK (verfügbar)</p></li>
<li><p>C++ SDK (in Entwicklung)</p></li>
</ul>
<ol start="3">
<li><strong>Neue Milvus-Tools eingeführt:</strong></li>
</ol>
<ul>
<li><a href="https://github.com/zilliztech/milvus_cli#community">Milvus_CLI</a> (Milvus Befehlszeile)</li>
<li><a href="https://github.com/zilliztech/attu">Attu</a> (Milvus-Verwaltungs-GUI)</li>
<li><a href="https://github.com/milvus-io/milvus-operator">Milvus K8s Bediener</a></li>
</ul>
<ol start="4">
<li><p><strong><a href="https://lfaidata.foundation/blog/2021/06/23/lf-ai-data-foundation-announces-graduation-of-milvus-project/">Milvus wurde ein Graduierungsprojekt der LF AI &amp; Data Foundation.</a></strong></p></li>
<li><p><strong><a href="https://www.cs.purdue.edu/homes/csjgwang/pubs/SIGMOD21_Milvus.pdf">Milvus: A Purpose-Built Vector Data Management System veröffentlicht in SIGMOD'2021</a>)<a href="https://www.cs.purdue.edu/homes/csjgwang/pubs/SIGMOD21_Milvus.pdf">.</a></strong></p></li>
<li><p><strong><a href="https://discuss.milvus.io/">Milvus Community Forum gestartet.</a></strong></p></li>
</ol>
<h2 id="Community-Events" class="common-anchor-header">Gemeinschaftliche Veranstaltungen<button data-href="#Community-Events" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Wir haben in diesem Jahr viele Veranstaltungen ausgerichtet und an ihnen teilgenommen, damit sich unsere globalen Community-Mitglieder trotz der aktuellen Covid-19-Situation (meist virtuell) treffen können. Insgesamt haben wir an 21 Konferenzen teilgenommen und Veranstaltungen durchgeführt:</p>
<ul>
<li>6 technische Treffen</li>
<li>7 Milvus-Sprechstunden</li>
<li>34 Webinare</li>
<li>3 Offline-Treffen</li>
</ul>
<p>Für das Jahr 2022 sind weitere Veranstaltungen geplant. Wenn Sie an den Veranstaltungen in Ihrer Nähe teilnehmen möchten, sehen Sie bitte in der Kategorie <a href="https://discuss.milvus.io/c/events-and-meetups/13">Events und Meetups</a> in unserem Community-Forum nach, welche Veranstaltungen anstehen und wo sie stattfinden. Wenn Sie unser Sprecher oder Gastgeber für zukünftige Veranstaltungen sein möchten, kontaktieren Sie uns bitte unter <a href="mailto:community@milvus.io">community@milvus.io.</a></p>
<h2 id="Looking-Ahead-to-2022--Roadmap--Announcement" class="common-anchor-header">Ausblick auf 2022 - Roadmap &amp; Ankündigung<button data-href="#Looking-Ahead-to-2022--Roadmap--Announcement" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><strong>Gemeinschaft:</strong></p>
<ol>
<li>Verbesserung der Milvus-Projektmitgliedschaft, um mehr Maintainer und Committer zu gewinnen/zu wählen, um die Community gemeinsam aufzubauen.</li>
<li>Einführung eines Mentorenprogramms, um Neulingen, die der Gemeinschaft beitreten und einen Beitrag leisten wollen, mehr Unterstützung zu bieten.</li>
<li>Verbesserung der Verwaltung von Gemeinschaftsdokumenten, einschließlich <strong>technischer Dokumente, Benutzerhandbücher und Gemeinschaftsdokumente</strong>. Im Jahr 2022 können unsere Community-Mitglieder hoffentlich gemeinsam ein Milvus-Handbuch fertigstellen, damit die Menschen lernen können, wie sie Milvus besser nutzen können.</li>
<li>Stärkung der Zusammenarbeit und Interaktion mit anderen Open-Source-Gemeinschaften, einschließlich vorgelagerter KI-Gemeinschaften und Gemeinschaften wie Kubernetes, MinIO, etcd und Pulsar, auf die Milvus angewiesen ist.</li>
<li>Stärkere Ausrichtung auf die Community durch regelmäßigere SIG-Treffen. Neben der derzeit laufenden sig-pymilvus ist geplant, im Jahr 2022 weitere SIGs einzurichten.</li>
</ol>
<p><strong>Milvus-Projekt:</strong></p>
<ol>
<li>Leistungsoptimierung</li>
</ol>
<p>Hervorragende Leistung war schon immer ein wichtiger Grund, warum sich Nutzer für Milvus entschieden haben. Im Jahr 2022 wollen wir ein Projekt zur Leistungsoptimierung starten, um den Durchsatz und die Verzögerung um mindestens das Doppelte zu erhöhen. Außerdem planen wir die Einführung von Speicherreplikaten, um den Durchsatz und die Systemstabilität bei kleinen Datenmengen zu verbessern, und die Unterstützung von GPUs, um den Indexaufbau und das Online-Serving zu beschleunigen.</p>
<ol start="2">
<li>Funktionsweise</li>
</ol>
<p>Milvus 2.0 unterstützt bereits Funktionen wie die hybride Vektor-/Skalar-Suche, das Löschen von Entitäten und Zeitreisen. Wir planen, die folgenden Funktionen in den nächsten beiden Hauptversionen zu unterstützen:</p>
<ul>
<li>Unterstützung für umfangreichere Datentypen: String, Blob, Geospatial, etc.</li>
<li>Rollenbasierte Zugriffskontrolle</li>
<li>Primärschlüssel-Deduplizierung</li>
<li>Unterstützung für die Bereichssuche bei Vektoren (Suche bei Abständen &lt; 0,8)</li>
<li>Unterstützung für Restful API und andere Sprach-SDKs</li>
</ul>
<ol start="3">
<li>Benutzerfreundlichkeit</li>
</ol>
<p>Für das kommende Jahr planen wir die Entwicklung mehrerer Tools, die die Bereitstellung und Verwaltung von Milvus erleichtern sollen.</p>
<ul>
<li><p>Milvus up:  Eine Bereitstellungskomponente, die Benutzern hilft, Milvus in einer Offline-Umgebung ohne K8s-Cluster in Betrieb zu nehmen. Sie hilft auch bei der Bereitstellung von Monitoring, Tracing und anderen Milvus-Entwicklungen.</p></li>
<li><p>Attu - Wir werden Attu als unser Cluster-Management-System weiter verbessern. Wir planen, Funktionalitäten wie Zustandsdiagnose und Indexoptimierung hinzuzufügen.</p></li>
<li><p>Milvus DM: Datenmigrationstool für die Migration von Vektoren aus anderen Datenbanken oder Dateien nach Milvus. Wir werden zuerst FAISS, HNSW, Milvus 1.0/2.0 und dann andere Datenbanken wie MySQL und Elasticsearch unterstützen.</p></li>
</ul>
<h2 id="About-the-author" class="common-anchor-header">Über den Autor<button data-href="#About-the-author" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Xiaofan Luan, Partner und technischer Leiter von Zilliz und Mitglied des technischen Beratungsausschusses der LF AI &amp; Data Foundation. Er arbeitete nacheinander in der US-Zentrale von Oracle und bei Hedvig, einem Software Defined Storage-Startup. Er trat dem Alibaba Cloud Database Team bei und war für die Entwicklung der NoSQL-Datenbanken HBase und Lindorm verantwortlich. Luan erwarb seinen Master-Abschluss in Electronic Computer Engineering an der Cornell University.</p>


Milvus im Jahr 2021 - Jahresrückblick

<p>Im Zeitalter der Informationsexplosion produzieren wir laufend Sprache, Bilder, Videos und andere unstrukturierte Daten. Wie können wir diese riesigen Datenmengen effizient analysieren? Mit dem Aufkommen neuronaler Netze können unstrukturierte Daten als Vektoren eingebettet werden, und die Milvus-Datenbank ist eine grundlegende Datenservice-Software, die die Speicherung, Suche und Analyse von Vektordaten erleichtert.</p>
<p>Aber wie kann man die Milvus-Vektordatenbank schnell nutzen?</p>
<p>Einige Nutzer haben sich darüber beschwert, dass die APIs schwer zu erlernen sind, und hoffen, dass es einfache Befehlszeilen zur Bedienung der Milvus-Datenbank geben könnte.</p>
<p>Wir freuen uns, Milvus_CLI vorstellen zu können, ein Kommandozeilen-Tool für die Milvus-Vektordatenbank.</p>
<p>Milvus_CLI ist eine komfortable Datenbank-CLI für Milvus, die Datenbankverbindung, Datenimport, Datenexport und Vektorberechnung mit interaktiven Befehlen in Shells unterstützt. Die neueste Version von Milvus_CLI hat die folgenden Eigenschaften.</p>
<ul>
<li><p>Alle Plattformen werden unterstützt, einschließlich Windows, Mac und Linux</p></li>
<li><p>Online- und Offline-Installation mit pip unterstützt</p></li>
<li><p>Portabel, kann überall verwendet werden</p></li>
<li><p>Basiert auf dem Milvus SDK für Python</p></li>
<li><p>Hilfedokumente enthalten</p></li>
<li><p>Auto-Vervollständigung unterstützt</p></li>
</ul>
<h2 id="Installation" class="common-anchor-header">Installation<button data-href="#Installation" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Sie können Milvus_CLI entweder online oder offline installieren.</p>
<h3 id="Install-MilvusCLI-online" class="common-anchor-header">Milvus_CLI online installieren</h3><p>Führen Sie den folgenden Befehl aus, um Milvus_CLI online mit pip zu installieren. Python 3.8 oder höher ist erforderlich.</p>
<pre><code translate="no">pip install milvus-cli
<button class="copy-code-btn"></button></code></pre>
<h3 id="Install-MilvusCLI-offline" class="common-anchor-header">Milvus_CLI offline installieren</h3><p>Um Milvus_CLI offline zu installieren, <a href="https://github.com/milvus-io/milvus_cli/releases">laden Sie</a> zunächst den neuesten Tarball von der Release-Seite <a href="https://github.com/milvus-io/milvus_cli/releases">herunter</a>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_af0e832119.png" alt="1.png" class="doc-image" id="1.png" />
   </span> <span class="img-wrapper"> <span>1.png</span> </span></p>
<p>Nachdem der Tarball heruntergeladen wurde, führen Sie den folgenden Befehl aus, um Milvus_CLI zu installieren.</p>
<pre><code translate="no">pip install milvus_cli-&lt;version&gt;.tar.gz
<button class="copy-code-btn"></button></code></pre>
<p>Nachdem Milvus_CLI installiert ist, führen Sie <code translate="no">milvus_cli</code> aus. Die angezeigte Eingabeaufforderung <code translate="no">milvus_cli &gt;</code> zeigt an, dass die Befehlszeile bereit ist.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/2_b50f5d2a5a.png" alt="2.png" class="doc-image" id="2.png" />
   </span> <span class="img-wrapper"> <span>2.png</span> </span></p>
<p>Wenn Sie einen Mac mit dem M1-Chip oder einen PC ohne Python-Umgebung verwenden, können Sie stattdessen eine portable Anwendung nutzen. <a href="https://github.com/milvus-io/milvus_cli/releases">Laden Sie</a> dazu eine Datei von der Veröffentlichungsseite <a href="https://github.com/milvus-io/milvus_cli/releases">herunter</a>, die Ihrem Betriebssystem entspricht, führen Sie <code translate="no">chmod +x</code> aus, um die Datei ausführbar zu machen, und führen Sie <code translate="no">./</code> aus, um sie zu starten.</p>
<h4 id="Example" class="common-anchor-header"><strong>Beispiel</strong></h4><p>Das folgende Beispiel macht <code translate="no">milvus_cli-v0.1.8-fix2-macOS</code> ausführbar und führt es aus.</p>
<pre><code translate="no"><span class="hljs-built_in">sudo</span> <span class="hljs-built_in">chmod</span> +x milvus_cli-v0.1.8-fix2-macOS
./milvus_cli-v0.1.8-fix2-macOS
<button class="copy-code-btn"></button></code></pre>
<h2 id="Usage" class="common-anchor-header">Verwendung<button data-href="#Usage" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="Connect-to-Milvus" class="common-anchor-header">Verbindung zu Milvus herstellen</h3><p>Bevor Sie eine Verbindung zu Milvus herstellen, stellen Sie sicher, dass Milvus auf Ihrem Server installiert ist. Weitere Informationen finden Sie unter <a href="https://milvus.io/docs/v2.0.x/install_standalone-docker.md">Installieren von Milvus Standalone</a> oder <a href="https://milvus.io/docs/v2.0.x/install_cluster-docker.md">Installieren von Milvus Cluster</a>.</p>
<p>Wenn Milvus auf Ihrem localhost mit dem Standardport installiert ist, führen Sie <code translate="no">connect</code> aus.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/3_f950d3739a.png" alt="3.png" class="doc-image" id="3.png" />
   </span> <span class="img-wrapper"> <span>3.png</span> </span></p>
<p>Andernfalls führen Sie den folgenden Befehl mit der IP-Adresse Ihres Milvus-Servers aus. Im folgenden Beispiel wird <code translate="no">172.16.20.3</code> als IP-Adresse und <code translate="no">19530</code> als Portnummer verwendet.</p>
<pre><code translate="no">connect -h 172.16.20.3
<button class="copy-code-btn"></button></code></pre>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/4_9ff2db9855.png" alt="4.png" class="doc-image" id="4.png" />
   </span> <span class="img-wrapper"> <span>4.png</span> </span></p>
<h3 id="Create-a-collection" class="common-anchor-header">Eine Sammlung erstellen</h3><p>In diesem Abschnitt wird beschrieben, wie Sie eine Sammlung erstellen.</p>
<p>Eine Sammlung besteht aus Entitäten und ist vergleichbar mit einer Tabelle in einem RDBMS. Siehe <a href="https://milvus.io/docs/v2.0.x/glossary.md">Glossar</a> für weitere Informationen.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/5_95a88c1cbf.png" alt="5.png" class="doc-image" id="5.png" />
   </span> <span class="img-wrapper"> <span>5.png</span> </span></p>
<h4 id="Example" class="common-anchor-header">Beispiel</h4><p>Im folgenden Beispiel wird eine Sammlung mit dem Namen <code translate="no">car</code> erstellt. Die Sammlung <code translate="no">car</code> hat vier Felder, nämlich <code translate="no">id</code>, <code translate="no">vector</code>, <code translate="no">color</code> und <code translate="no">brand</code>. Das Primärschlüsselfeld ist <code translate="no">id</code>. Weitere Informationen finden Sie unter <a href="https://milvus.io/docs/v2.0.x/cli_commands.md#create-collection">Sammlung erstellen</a>.</p>
<pre><code translate="no">create collection -c car -f <span class="hljs-built_in">id</span>:INT64:primary_field -f vector:FLOAT_VECTOR:<span class="hljs-number">128</span> -f color:INT64:color -f brand:INT64:brand -p <span class="hljs-built_in">id</span> -a -d <span class="hljs-string">&#x27;car_collection&#x27;</span>
<button class="copy-code-btn"></button></code></pre>
<h3 id="List-collections" class="common-anchor-header">Sammlungen auflisten</h3><p>Führen Sie den folgenden Befehl aus, um alle Sammlungen in dieser Milvus-Instanz aufzulisten.</p>
<pre><code translate="no">list collections
<button class="copy-code-btn"></button></code></pre>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/6_1331f4c8bc.png" alt="6.png" class="doc-image" id="6.png" />
   </span> <span class="img-wrapper"> <span>6.png</span> </span></p>
<p>Führen Sie den folgenden Befehl aus, um die Details der Sammlung <code translate="no">car</code> zu überprüfen.</p>
<pre><code translate="no">describe collection -c car 
<button class="copy-code-btn"></button></code></pre>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/7_1d70beee54.png" alt="7.png" class="doc-image" id="7.png" />
   </span> <span class="img-wrapper"> <span>7.png</span> </span></p>
<h3 id="Calculate-the-distance-between-two-vectors" class="common-anchor-header">Berechne den Abstand zwischen zwei Vektoren</h3><p>Führen Sie den folgenden Befehl aus, um Daten in die Sammlung <code translate="no">car</code> zu importieren.</p>
<pre><code translate="no"><span class="hljs-keyword">import</span> -c car <span class="hljs-string">&#x27;https://raw.githubusercontent.com/zilliztech/milvus_cli/main/examples/import_csv/vectors.csv&#x27;</span>
<button class="copy-code-btn"></button></code></pre>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/8_7609a4359a.png" alt="8.png" class="doc-image" id="8.png" />
   </span> <span class="img-wrapper"> <span>8.png</span> </span></p>
<p>Führen Sie <code translate="no">query</code> aus und geben Sie <code translate="no">car</code> als Sammlungsnamen und <code translate="no">id&gt;0</code> als Abfrageausdruck ein, wenn Sie dazu aufgefordert werden. Die IDs der Entitäten, die die Kriterien erfüllen, werden zurückgegeben, wie in der folgenden Abbildung gezeigt.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/9_f0755589f6.png" alt="9.png" class="doc-image" id="9.png" />
   </span> <span class="img-wrapper"> <span>9.png</span> </span></p>
<p>Führen Sie <code translate="no">calc</code> aus und geben Sie die entsprechenden Werte ein, wenn Sie dazu aufgefordert werden, um die Abstände zwischen den Vektorarrays zu berechnen.</p>
<h3 id="Delete-a-collection" class="common-anchor-header">Löschen einer Sammlung</h3><p>Führen Sie den folgenden Befehl aus, um die Sammlung <code translate="no">car</code> zu löschen.</p>
<pre><code translate="no"><span class="hljs-keyword">delete</span> collection -c car
<button class="copy-code-btn"></button></code></pre>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/10_16b2b01935.png" alt="10.png" class="doc-image" id="10.png" />
   </span> <span class="img-wrapper"> <span>10.png</span> </span></p>
<h2 id="More" class="common-anchor-header">Mehr<button data-href="#More" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus_CLI ist nicht auf die oben genannten Funktionen beschränkt. Führen Sie <code translate="no">help</code> aus, um alle Befehle, die Milvus_CLI enthält, und die entsprechenden Beschreibungen anzuzeigen. Führen Sie <code translate="no">&lt;command&gt; --help</code> aus, um die Details eines bestimmten Befehls anzuzeigen.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/11_5f31ccb1e8.png" alt="11.png" class="doc-image" id="11.png" />
   </span> <span class="img-wrapper"> <span>11.png</span> </span></p>
<p><strong>Siehe auch:</strong></p>
<p><a href="https://milvus.io/docs/v2.0.x/cli_commands.md">Milvus_CLI Befehlsreferenz</a> unter Milvus Docs</p>
<p>Wir hoffen, dass Milvus_CLI Ihnen helfen konnte, die Milvus-Vektordatenbank einfach zu nutzen. Wir werden Milvus_CLI weiter optimieren und Ihre Beiträge sind willkommen.</p>
<p>Wenn Sie Fragen haben, können Sie gerne <a href="https://github.com/zilliztech/milvus_cli/issues">einen Fehler</a> auf GitHub <a href="https://github.com/zilliztech/milvus_cli/issues">melden</a>.</p>


Erste Schritte mit Milvus_CLI

Entwicklung der Cloud-skalierbaren Vektordatenbank Milvus

<p>In den letzten Jahren ist die Frage des Schutzes von geistigem Eigentum ins Rampenlicht gerückt, da das Bewusstsein der Menschen für die Verletzung von geistigem Eigentum immer größer wird. Vor allem der multinationale Technologieriese Apple Inc. hat aktiv <a href="https://en.wikipedia.org/wiki/Apple_Inc._litigation">Klagen gegen verschiedene Unternehmen wegen der Verletzung von geistigem Eigentum eingereicht</a>, darunter Marken-, Patent- und Geschmacksmusterverletzungen. Abgesehen von diesen berüchtigten Fällen hat Apple Inc. im Jahr 2009 auch <a href="https://www.smh.com.au/business/apple-bites-over-woolworths-logo-20091005-ghzr.html">eine Markenanmeldung der</a> australischen Supermarktkette <a href="https://www.smh.com.au/business/apple-bites-over-woolworths-logo-20091005-ghzr.html">Woolworths Limited</a> wegen Markenrechtsverletzung <a href="https://www.smh.com.au/business/apple-bites-over-woolworths-logo-20091005-ghzr.html">angefochten</a>.  Apple. Inc. argumentierte, dass das Logo der australischen Marke, ein stilisiertes &quot;w&quot;, dem eigenen Logo, einem Apfel, ähnelt. Daher erhob Apple Inc. Einspruch gegen die Produktpalette, einschließlich elektronischer Geräte, die Woolworths mit diesem Logo verkaufen wollte. Die Geschichte endet damit, dass Woolworths sein Logo abändert und Apple seinen Einspruch zurückzieht.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Logo_of_Woolworths_b04ece5b20.png" alt="Logo of Woolworths.png" class="doc-image" id="logo-of-woolworths.png" />
   </span> <span class="img-wrapper"> <span>Logo von Woolworths.png</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Logo_of_Apple_Inc_181e5bd5f8.png" alt="Logo of Apple Inc.png" class="doc-image" id="logo-of-apple-inc.png" />
   </span> <span class="img-wrapper"> <span>Logo von Apple Inc.png</span> </span></p>
<p>Mit dem zunehmenden Bewusstsein für Markenkultur achten die Unternehmen immer genauer auf alle Bedrohungen, die ihre Rechte an geistigem Eigentum (IP) verletzen könnten. Die Verletzung geistigen Eigentums umfasst:</p>
<ul>
<li>Verletzung des Urheberrechts</li>
<li>Patentverletzungen</li>
<li>Verletzung von Markenrechten</li>
<li>Verletzung von Geschmacksmustern</li>
<li>Cybersquatting</li>
</ul>
<p>Bei dem oben erwähnten Streit zwischen Apple und Woolworths geht es hauptsächlich um Markenrechtsverletzungen, genauer gesagt um die Ähnlichkeit der Markenbilder der beiden Unternehmen. Um nicht zu einem weiteren Woolworths zu werden, ist eine umfassende Markenähnlichkeitsrecherche ein entscheidender Schritt für Anmelder sowohl vor der Einreichung als auch während der Prüfung von Markenanmeldungen. Die gängigste Methode ist eine Suche in der <a href="https://tmsearch.uspto.gov/search/search-information">Datenbank des United States Patent and Trademark Office (USPTO</a> ), die alle aktiven und inaktiven Markeneintragungen und -anmeldungen enthält. Trotz der nicht sehr ansprechenden Benutzeroberfläche ist auch dieser Suchprozess aufgrund seiner textbasierten Natur mit großen Mängeln behaftet, da er sich bei der Suche nach Bildern auf Wörter und Markendesign-Codes (handbeschriftete Etiketten für Designmerkmale) stützt.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/image_8_b2fff6ca11.png" alt="8.png" class="doc-image" id="8.png" />
   </span> <span class="img-wrapper"> <span>8.png</span> </span></p>
<p>In diesem Artikel soll daher gezeigt werden, wie ein effizientes bildbasiertes Markenähnlichkeits-Suchsystem unter Verwendung von <a href="https://milvus.io">Milvus</a>, einer Open-Source-Vektordatenbank, aufgebaut werden kann.</p>
<h2 id="A-vector-similarity-search-system-for-trademarks" class="common-anchor-header">Ein vektorielles Ähnlichkeitssuchsystem für Marken<button data-href="#A-vector-similarity-search-system-for-trademarks" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Um ein vektorbasiertes Ähnlichkeitssuchsystem für Marken zu erstellen, müssen Sie die folgenden Schritte durchlaufen:</p>
<ol>
<li>Bereiten Sie einen umfangreichen Datensatz von Logos vor. Wahrscheinlich kann das System einen Datensatz wie <a href="https://developer.uspto.gov/product/trademark-24-hour-box-and-supplemental">diesen</a> verwenden).</li>
<li>Trainieren Sie ein Modell zur Extraktion von Bildmerkmalen unter Verwendung des Datensatzes und datengesteuerter Modelle oder KI-Algorithmen.</li>
<li>Umwandlung der Logos in Vektoren unter Verwendung des in Schritt 2 trainierten Modells oder Algorithmus.</li>
<li>Speichern Sie die Vektoren und führen Sie Vektorähnlichkeitssuchen in Milvus, der Open-Source-Vektordatenbank, durch.</li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/trademark_system_e9700df555.png" alt="Nike.png" class="doc-image" id="nike.png" />
   </span> <span class="img-wrapper"> <span>Nike.png</span> </span></p>
<p>In den folgenden Abschnitten wollen wir uns die beiden Hauptschritte beim Aufbau eines Vektorähnlichkeitssuchsystems für Marken genauer ansehen: die Verwendung von KI-Modellen für die Extraktion von Bildmerkmalen und die Verwendung von Milvus für die Vektorähnlichkeitssuche. In unserem Fall verwendeten wir VGG16, ein Faltungsneuronales Netzwerk (CNN), um Bildmerkmale zu extrahieren und sie in Einbettungsvektoren umzuwandeln.</p>
<h3 id="Using-VGG16-for-image-feature-extraction" class="common-anchor-header">Verwendung von VGG16 für die Extraktion von Bildmerkmalen</h3><p><a href="https://medium.com/@mygreatlearning/what-is-vgg16-introduction-to-vgg16-f2d63849f615">VGG16</a> ist ein CNN, das für die Bilderkennung in großem Maßstab entwickelt wurde. Das Modell ist schnell und genau in der Bilderkennung und kann auf Bilder aller Größen angewendet werden. Im Folgenden finden Sie zwei Abbildungen der VGG16-Architektur.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/vgg16_layers_9e621f62cc.png" alt="9.png" class="doc-image" id="9.png" />
   </span> <span class="img-wrapper"> <span>9.png</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/vgg16_architecture_992614e882.png" alt="10.png" class="doc-image" id="10.png" />
   </span> <span class="img-wrapper"> <span>10.png</span> </span></p>
<p>Das VGG16-Modell ist, wie der Name schon sagt, ein CNN mit 16 Schichten. Alle VGG-Modelle, einschließlich VGG16 und VGG19, enthalten 5 VGG-Blöcke mit einer oder mehreren Faltungsschichten in jedem VGG-Block. Und am Ende jedes Blocks ist eine Max-Pooling-Schicht angeschlossen, um die Größe des Eingangsbildes zu reduzieren. Die Anzahl der Kernel ist in jeder Faltungsschicht gleich, verdoppelt sich aber in jedem VGG-Block. Daher wächst die Anzahl der Kerne im Modell von 64 im ersten Block auf 512 im vierten und fünften Block. Alle Faltungskerne haben<em>die Größe 33, während die Pooling-Kerne alle die Größe 22 haben</em>. Dies trägt dazu bei, dass mehr Informationen über das Eingangsbild erhalten bleiben.</p>
<p>Daher ist VGG16 in diesem Fall ein geeignetes Modell für die Bilderkennung von großen Datensätzen. Sie können Python, Tensorflow und Keras verwenden, um ein Modell zur Extraktion von Bildmerkmalen auf der Grundlage von VGG16 zu trainieren.</p>
<h3 id="Using-Milvus-for-vector-similarity-search" class="common-anchor-header">Verwendung von Milvus für die Vektorähnlichkeitssuche</h3><p>Nach der Verwendung des VGG16-Modells zur Extraktion von Bildmerkmalen und der Umwandlung von Logobildern in Einbettungsvektoren müssen Sie in einem großen Datensatz nach ähnlichen Vektoren suchen.</p>
<p>Milvus ist eine Cloud-native Datenbank, die sich durch hohe Skalierbarkeit und Elastizität auszeichnet. Als Datenbank kann sie außerdem die Datenkonsistenz sicherstellen. Bei einem System zur Suche nach Markenähnlichkeit wie diesem werden neue Daten wie die neuesten Markenregistrierungen in Echtzeit in das System hochgeladen. Und diese neu hochgeladenen Daten müssen sofort für die Suche verfügbar sein. Daher wird in diesem Artikel die Open-Source-Vektordatenbank Milvus für die Vektorähnlichkeitssuche verwendet.</p>
<p>Beim Einfügen der Logovektoren können Sie in Milvus Sammlungen für verschiedene Arten von Logovektoren gemäß der <a href="https://en.wikipedia.org/wiki/International_(Nice)_Classification_of_Goods_and_Services">Internationalen Klassifikation von Waren und Dienstleistungen (Nizza)</a> erstellen, einem System zur Klassifizierung von Waren und Dienstleistungen für die Eintragung von Marken. Sie können zum Beispiel eine Gruppe von Vektoren von Bekleidungsmarkenlogos in eine Sammlung mit dem Namen &quot;Bekleidung&quot; in Milvus einfügen und eine andere Gruppe von Vektoren von technologischen Markenlogos in eine andere Sammlung mit dem Namen &quot;Technologie&quot;. Auf diese Weise können Sie die Effizienz und Geschwindigkeit Ihrer Vektorähnlichkeitssuche erheblich steigern.</p>
<p>Milvus unterstützt nicht nur mehrere Indizes für die Vektorähnlichkeitssuche, sondern bietet auch umfangreiche APIs und Tools zur Erleichterung von DevOps. Das folgende Diagramm veranschaulicht die <a href="https://milvus.io/docs/v2.0.x/architecture_overview.md">Milvus-Architektur</a>. Sie können mehr über Milvus erfahren, indem Sie die <a href="https://milvus.io/docs/v2.0.x/overview.md">Einführung</a> lesen.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/milvus_architecture_ea45a5ab53.png" alt="11.png" class="doc-image" id="11.png" />
   </span> <span class="img-wrapper"> <span>11.png</span> </span></p>
<h2 id="Looking-for-more-resources" class="common-anchor-header">Suchen Sie nach weiteren Ressourcen?<button data-href="#Looking-for-more-resources" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p>Bauen Sie mit Milvus weitere Systeme zur Suche nach Vektorähnlichkeit für andere Anwendungsszenarien:</p>
<ul>
<li><a href="https://milvus.io/blog/dna-sequence-classification-based-on-milvus.md">DNA-Sequenz-Klassifizierung auf der Grundlage von Milvus</a></li>
<li><a href="https://milvus.io/blog/audio-retrieval-based-on-milvus.md">Audio-Suche basierend auf Milvus</a></li>
<li><a href="https://milvus.io/blog/building-video-search-system-with-milvus.md">4 Schritte zum Aufbau eines Video-Suchsystems</a></li>
<li><a href="https://milvus.io/blog/building-intelligent-chatbot-with-nlp-and-milvus.md">Aufbau eines intelligenten QA-Systems mit NLP und Milvus</a></li>
<li><a href="https://milvus.io/blog/molecular-structure-similarity-with-milvus.md">Beschleunigung der Entdeckung neuer Medikamente</a></li>
</ul></li>
<li><p>Beteiligen Sie sich an unserer Open-Source-Community:</p>
<ul>
<li>Finden Sie Milvus auf <a href="https://bit.ly/307b7jC">GitHub</a> oder tragen Sie dazu bei.</li>
<li>Interagieren Sie mit der Community über das <a href="https://bit.ly/3qiyTEk">Forum</a>.</li>
<li>Verbinden Sie sich mit uns auf <a href="https://bit.ly/3ob7kd8">Twitter</a>.</li>
</ul></li>
</ul>


Milvus in IP Protection：Building a Trademark Similarity Search System with Milvus

<p>Um Ihnen den Einstieg in Milvus, die Open-Source-Vektordatenbank, zu erleichtern, haben wir ein weiteres Open-Source-Projekt, <a href="https://github.com/milvus-io/bootcamp">Milvus Bootcamp</a>, auf GitHub veröffentlicht. Das Milvus Bootcamp stellt nicht nur Skripte und Daten für Benchmark-Tests zur Verfügung, sondern enthält auch Projekte, die Milvus nutzen, um einige MVPs (Minimum Viable Products) zu bauen, wie z. B. ein System zur umgekehrten Bildsuche, ein Videoanalysesystem, einen QA-Chatbot oder ein Empfehlungssystem. Im Milvus Bootcamp können Sie lernen, wie man die Vektorähnlichkeitssuche in einer Welt voller unstrukturierter Daten anwendet und praktische Erfahrungen sammeln.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/2_5b60157b4d.png" alt="2.png" class="doc-image" id="2.png" />
   </span> <span class="img-wrapper"> <span>2.png</span> </span></p>
<p>Wir bieten sowohl Front-End- als auch Back-End-Dienste für die Projekte in Milvus Bootcamp an. Allerdings haben wir vor kurzem die Entscheidung getroffen, das verwendete Web-Framework von Flask auf FastAPI umzustellen.</p>
<p>In diesem Artikel möchten wir unsere Beweggründe für den Wechsel des Web-Frameworks für Milvus Bootcamp erläutern und erklären, warum wir uns für FastAPI statt Flask entschieden haben.</p>
<h2 id="Web-frameworks-for-Python" class="common-anchor-header">Web-Frameworks für Python<button data-href="#Web-frameworks-for-Python" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Ein Web-Framework bezieht sich auf eine Sammlung von Paketen oder Modulen. Es handelt sich dabei um eine Reihe von Softwarearchitekturen für die Webentwicklung, die es Ihnen ermöglichen, Webanwendungen oder -dienste zu schreiben, und Ihnen die Mühe ersparen, sich mit Details auf niedriger Ebene wie Protokollen, Sockets oder Prozess-/Thread-Management zu beschäftigen. Die Verwendung von Web-Frameworks kann die Arbeitsbelastung bei der Entwicklung von Webanwendungen erheblich reduzieren, da Sie Ihren Code einfach in das Framework "einfügen" können, ohne sich um Daten-Caching, Datenbankzugriff und Datensicherheitsüberprüfung kümmern zu müssen. Weitere Informationen darüber, was ein Web-Framework für Python ist, finden Sie unter <a href="https://wiki.python.org/moin/WebFrameworks">Web-Frameworks</a>.</p>
<p>Es gibt verschiedene Arten von Python-Web-Frameworks. Zu den gängigsten gehören Django, Flask, Tornado und FastAPI.</p>
<h3 id="Flask" class="common-anchor-header">Flask</h3><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/3_1abd170939.png" alt="3.png" class="doc-image" id="3.png" />
   </span> <span class="img-wrapper"> <span>3.png</span> </span></p>
<p><a href="https://flask.palletsprojects.com/en/2.0.x/">Flask</a> ist ein leichtgewichtiges Microframework für Python mit einem einfachen und leicht zu verwendenden Kern, mit dem Sie Ihre eigenen Webanwendungen entwickeln können. Darüber hinaus ist der Kern von Flask auch erweiterbar. Daher unterstützt Flask die On-Demand-Erweiterung verschiedener Funktionen, um Ihre persönlichen Bedürfnisse bei der Entwicklung von Webanwendungen zu erfüllen. Das heißt, dass Sie mit einer Bibliothek verschiedener Plug-ins in Flask leistungsstarke Websites entwickeln können.</p>
<p>Flask hat die folgenden Eigenschaften:</p>
<ol>
<li>Flask ist ein Microframework, das nicht auf andere spezifische Tools oder Komponenten von Drittanbieter-Bibliotheken angewiesen ist, um gemeinsame Funktionalitäten bereitzustellen. Flask verfügt nicht über eine Datenbankabstraktionsschicht und erfordert keine Formularvalidierung. Flask ist jedoch in hohem Maße erweiterbar und unterstützt das Hinzufügen von Anwendungsfunktionalität in einer Weise, die den Implementierungen in Flask selbst ähnelt. Zu den relevanten Erweiterungen gehören objektrelationale Mapper, Formularvalidierung, Upload-Verarbeitung, offene Authentifizierungstechnologien und einige gängige Tools, die für Web-Frameworks entwickelt wurden.</li>
<li>Flask ist ein Webanwendungs-Framework, das auf <a href="https://wsgi.readthedocs.io/">WSGI</a> (Web Server Gateway Interface) basiert. WSGI ist eine einfache Schnittstelle, die einen Webserver mit einer Webanwendung oder einem für die Sprache Python definierten Framework verbindet.</li>
<li>Flask enthält zwei zentrale Funktionsbibliotheken, <a href="https://www.palletsprojects.com/p/werkzeug">Werkzeug</a> und <a href="https://www.palletsprojects.com/p/jinja">Jinja2</a>. Werkzeug ist ein WSGI-Toolkit, das Request- und Response-Objekte sowie praktische Funktionen implementiert, mit denen Sie darauf aufbauend Web-Frameworks erstellen können. Jinja2 ist eine populäre Templating-Engine mit vollem Funktionsumfang für Python. Sie bietet volle Unterstützung für Unicode und eine optionale, aber weit verbreitete integrierte Sandbox-Ausführungsumgebung.</li>
</ol>
<h3 id="FastAPI" class="common-anchor-header">FastAPI</h3><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/4_05cb0dac4e.png" alt="4.png" class="doc-image" id="4.png" />
   </span> <span class="img-wrapper"> <span>4.png</span> </span></p>
<p><a href="https://fastapi.tiangolo.com/">FastAPI</a> ist ein modernes Python-Framework für Webanwendungen, das die gleiche hohe Leistung wie Go und NodeJS bietet. Der Kern von FastAPI basiert auf <a href="https://www.starlette.io/">Starlette</a> und <a href="https://pydantic-docs.helpmanual.io/">Pydantic</a>. Starlette ist ein leichtgewichtiges <a href="https://asgi.readthedocs.io/">ASGI</a>(Asynchronous Server Gateway Interface)-Framework-Toolkit zur Erstellung hochleistungsfähiger <a href="https://docs.python.org/3/library/asyncio.html">Asyncio-Dienste</a>. Pydantic ist eine Bibliothek, die Datenvalidierung, Serialisierung und Dokumentation auf der Grundlage von Python-Typ-Hinweisen definiert.</p>
<p>FastAPI hat die folgenden Eigenschaften:</p>
<ol>
<li>FastAPI ist ein Webanwendungs-Framework, das auf ASGI basiert, einer asynchronen Gateway-Protokollschnittstelle, die Netzwerkprotokolldienste und Python-Anwendungen verbindet. FastAPI kann eine Vielzahl gängiger Protokolltypen verarbeiten, darunter HTTP, HTTP2 und WebSocket.</li>
<li>FastAPI basiert auf Pydantic, das die Funktion der Überprüfung des Schnittstellendatentyps bietet. Sie brauchen Ihre Schnittstellenparameter nicht zusätzlich zu überprüfen oder zusätzlichen Code zu schreiben, um zu überprüfen, ob die Parameter leer sind oder ob der Datentyp korrekt ist. Durch die Verwendung von FastAPI können menschliche Fehler im Code vermieden und die Entwicklungseffizienz verbessert werden.</li>
<li>FastAPI unterstützt Dokumente in zwei Formaten - <a href="https://swagger.io/specification/">OpenAPI</a> (früher Swagger) und <a href="https://www.redoc.com/">Redoc</a>. Daher müssen Sie als Benutzer keine zusätzliche Zeit mit dem Schreiben zusätzlicher Schnittstellendokumente verbringen. Das von FastAPI bereitgestellte OpenAPI-Dokument ist im folgenden Screenshot dargestellt.</li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/5_d91d34cb0f.png" alt="5.png" class="doc-image" id="5.png" />
   </span> <span class="img-wrapper"> <span>5.png</span> </span></p>
<h3 id="Flask-Vs-FastAPI" class="common-anchor-header">Flask vs. FastAPI</h3><p>Die folgende Tabelle zeigt die Unterschiede zwischen Flask und FastAPI in verschiedenen Aspekten.</p>
<table>
<thead>
<tr><th></th><th><strong>FastAPI</strong></th><th><strong>Flask</strong></th></tr>
</thead>
<tbody>
<tr><td><strong>Interface-Gateway</strong></td><td>ASGI</td><td>WSGI</td></tr>
<tr><td><strong>Asynchroner Rahmen</strong></td><td>✅</td><td>❌</td></tr>
<tr><td><strong>Leistung</strong></td><td>Schneller</td><td>Langsamer</td></tr>
<tr><td><strong>Interaktives Dokument</strong></td><td>OpenAPI, Redoc</td><td>Keine</td></tr>
<tr><td><strong>Überprüfung der Daten</strong></td><td>✅</td><td>❌</td></tr>
<tr><td><strong>Entwicklungskosten</strong></td><td>Niedriger</td><td>Höher</td></tr>
<tr><td><strong>Benutzerfreundlichkeit</strong></td><td>Niedriger</td><td>Höher</td></tr>
<tr><td><strong>Flexibilität</strong></td><td>Weniger flexibel</td><td>Flexibler</td></tr>
<tr><td><strong>Gemeinschaft</strong></td><td>Kleiner</td><td>Aktiver</td></tr>
</tbody>
</table>
<h2 id="Why-FastAPI" class="common-anchor-header">Warum FastAPI?<button data-href="#Why-FastAPI" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Bevor wir uns für ein Python-Webanwendungs-Framework für die Projekte im Milvus Bootcamp entschieden haben, haben wir mehrere Mainstream-Frameworks wie Django, Flask, FastAPI, Tornado und andere untersucht. Da die Projekte im Milvus Bootcamp als Referenzen für Sie dienen, ist es unsere Priorität, ein externes Framework von größtmöglicher Leichtigkeit und Geschicklichkeit zu wählen. Nach dieser Regel haben wir unsere Wahl auf Flask und FastAPI eingegrenzt.</p>
<p>Den Vergleich zwischen den beiden Web-Frameworks können Sie im vorherigen Abschnitt sehen. Im Folgenden wird unsere Motivation, FastAPI gegenüber Flask für die Projekte im Milvus Bootcamp zu bevorzugen, ausführlich erläutert. Dafür gibt es mehrere Gründe:</p>
<h3 id="1-Performance" class="common-anchor-header">1. Leistung</h3><p>Die meisten der Projekte im Milvus Bootcamp sind um umgekehrte Bildsuchsysteme, QA-Chatbots und Textsuchmaschinen herum aufgebaut, die alle hohe Anforderungen an die Echtzeit-Datenverarbeitung stellen. Dementsprechend benötigen wir ein Framework mit hervorragender Leistung, was genau ein Highlight von FastAPI ist. Daher haben wir uns unter dem Gesichtspunkt der Systemleistung für FastAPI entschieden.</p>
<h3 id="2-Efficiency" class="common-anchor-header">2. Effizienz</h3><p>Bei der Verwendung von Flask müssen Sie Code für die Datentypüberprüfung in jeder der Schnittstellen schreiben, damit das System feststellen kann, ob die Eingabedaten leer sind oder nicht. Durch die Unterstützung der automatischen Datentypüberprüfung trägt FastAPI jedoch dazu bei, menschliche Fehler bei der Programmierung während der Systementwicklung zu vermeiden, und kann die Entwicklungseffizienz erheblich steigern. Das Bootcamp ist als eine Art Schulungsressource positioniert. Das bedeutet, dass der Code und die Komponenten, die wir verwenden, intuitiv und hocheffizient sein müssen. In dieser Hinsicht haben wir uns für FastAPI entschieden, um die Systemeffizienz zu steigern und die Benutzererfahrung zu verbessern.</p>
<h3 id="3-Asynchronous-framework" class="common-anchor-header">3. Asynchroner Rahmen</h3><p>FastAPI ist von Natur aus ein asynchrones Framework. Ursprünglich haben wir vier <a href="https://zilliz.com/milvus-demos?isZilliz=true">Demos</a> veröffentlicht: umgekehrte Bildsuche, Videoanalyse, QA Chatbot und molekulare Ähnlichkeitssuche. In diesen Demos können Sie Datensätze hochladen und erhalten sofort die Meldung &quot;Anfrage erhalten&quot;. Wenn die Daten in das Demosystem hochgeladen wurden, erhalten Sie eine weitere Meldung &quot;Datenupload erfolgreich&quot;. Dies ist ein asynchroner Prozess, der ein Framework erfordert, das diese Funktion unterstützt. FastAPI ist selbst ein asynchrones Framework. Um alle Milvus-Ressourcen aufeinander abzustimmen, haben wir beschlossen, einen einzigen Satz von Entwicklungswerkzeugen und Software sowohl für das Milvus Bootcamp als auch für die Milvus-Demos zu verwenden. Infolgedessen haben wir das Framework von Flask auf FastAPI umgestellt.</p>
<h3 id="4-Automatic-interactive-documents" class="common-anchor-header">4. Automatische interaktive Dokumente</h3><p>Wenn Sie auf herkömmliche Weise den Code für die Serverseite fertig geschrieben haben, müssen Sie ein zusätzliches Dokument schreiben, um eine Schnittstelle zu erstellen, und dann Tools wie <a href="https://www.postman.com/">Postman</a> für API-Tests und Debugging verwenden. Was also, wenn Sie nur schnell mit dem Webserver-seitigen Entwicklungsteil der Projekte in Milvus Bootcamp beginnen wollen, ohne zusätzlichen Code zur Erstellung einer Schnittstelle zu schreiben? FastAPI ist die Lösung. Durch die Bereitstellung eines OpenAPI-Dokuments erspart Ihnen FastAPI das Testen oder Debuggen von APIs und die Zusammenarbeit mit Front-End-Teams zur Entwicklung einer Benutzeroberfläche. Mit FastAPI können Sie die erstellte Anwendung mit einer automatischen, aber intuitiven Schnittstelle ohne zusätzlichen Programmieraufwand schnell testen.</p>
<h3 id="5-User-friendliness" class="common-anchor-header">5. Benutzerfreundlichkeit</h3><p>FastAPI ist einfacher zu bedienen und zu entwickeln, so dass Sie sich mehr auf die konkrete Umsetzung des Projekts konzentrieren können. Ohne zu viel Zeit auf die Entwicklung von Web-Frameworks zu verwenden, können Sie sich mehr auf das Verständnis der Projekte in Milvus Bootcamp konzentrieren.</p>
<h2 id="Recap" class="common-anchor-header">Rekapitulation<button data-href="#Recap" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Flask und FlastAPI haben ihre eigenen Vor- und Nachteile. FlastAPI ist ein aufstrebendes Webanwendungs-Framework, das im Kern auf ausgereiften Toolkits und Bibliotheken wie Starlette und Pydantic aufbaut. FastAPI ist ein asynchrones Framework mit hoher Leistung. Seine Geschicklichkeit, Erweiterbarkeit und Unterstützung für die automatische Datentypüberprüfung sowie viele andere leistungsstarke Funktionen haben uns veranlasst, FastAPI als Framework für Milvus-Bootcamp-Projekte einzusetzen.</p>
<p>Bitte beachten Sie, dass Sie das passende Framework für Ihr Anwendungsszenario wählen sollten, wenn Sie ein Vektorähnlichkeitssuchsystem in der Produktion aufbauen wollen.</p>
<h2 id="About-the-author" class="common-anchor-header">Über den Autor<button data-href="#About-the-author" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Yunmei Li, Zilliz Data Engineer, hat einen Abschluss in Informatik von der Huazhong University of Science and Technology. Seit sie bei Zilliz ist, arbeitet sie an der Erforschung von Lösungen für das Open-Source-Projekt Milvus und hilft Benutzern, Milvus in realen Szenarien anzuwenden. Ihr Hauptaugenmerk liegt auf NLP und Empfehlungssystemen, und sie möchte ihren Fokus auf diese beiden Bereiche weiter vertiefen. Sie verbringt gerne Zeit alleine und liest.</p>
<h2 id="Looking-for-more-resources" class="common-anchor-header">Suchen Sie nach weiteren Ressourcen?<button data-href="#Looking-for-more-resources" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p>Beginnen Sie mit der Erstellung von KI-Systemen mit Milvus und sammeln Sie mehr praktische Erfahrung, indem Sie unsere Tutorials lesen!</p>
<ul>
<li><a href="https://milvus.io/blog/2021-10-10-milvus-helps-analys-vedios.md">Was ist sie? Wer ist sie? Milvus hilft bei der intelligenten Analyse von Videos</a></li>
<li><a href="https://milvus.io/blog/2021-09-26-onnx.md">Kombinieren Sie AI-Modelle für die Bildsuche mit ONNX und Milvus</a></li>
<li><a href="https://milvus.io/blog/dna-sequence-classification-based-on-milvus.md">DNA-Sequenz-Klassifizierung auf Basis von Milvus</a></li>
<li><a href="https://milvus.io/blog/audio-retrieval-based-on-milvus.md">Audio-Retrieval auf Basis von Milvus</a></li>
<li><a href="https://milvus.io/blog/building-video-search-system-with-milvus.md">4 Schritte zum Aufbau eines Video-Suchsystems</a></li>
<li><a href="https://milvus.io/blog/building-intelligent-chatbot-with-nlp-and-milvus.md">Aufbau eines intelligenten QA-Systems mit NLP und Milvus</a></li>
<li><a href="https://milvus.io/blog/molecular-structure-similarity-with-milvus.md">Beschleunigung der Entdeckung von neuen Medikamenten</a></li>
</ul></li>
<li><p>Beteiligen Sie sich an unserer Open-Source-Community:</p>
<ul>
<li>Finden Sie Milvus auf <a href="https://bit.ly/307b7jC">GitHub</a> oder tragen Sie dazu bei.</li>
<li>Interagieren Sie mit der Community über das <a href="https://bit.ly/3qiyTEk">Forum</a>.</li>
<li>Verbinden Sie sich mit uns auf <a href="https://bit.ly/3ob7kd8">Twitter</a>.</li>
</ul></li>
</ul>


Warum FastAPI statt Flask wählen?

Beschleunigte Kandidatengenerierung in Empfehlungssystemen mit Milvus in Verbindung mit PaddlePaddle

<p>Dieses Tutorial zeigt Ihnen, wie Sie Milvus 2.0 unter Windows ausführen können. Wenn Sie mit Milvus 2.0 unter Windows beginnen möchten oder Milvus aufgrund von Umgebungsbeschränkungen einfach unter Windows laufen lassen müssen, kann dieses Tutorial eine gute Referenz sein. Dieser Artikel wurde ursprünglich von <a href="https://github.com/matrixji">@matrixji</a> geschrieben.</p>
<p>Es gibt zwei Möglichkeiten, Milvus 2.0 unter Windows auszuführen:</p>
<ul>
<li><a href="#Compile-from-source-code">Kompilieren aus dem Quellcode</a></li>
<li><a href="#Install-from-the-binary-package">Installation aus dem Binärpaket</a></li>
</ul>
<h2 id="Compile-from-source-code" class="common-anchor-header">Kompilieren aus dem Quellcode<button data-href="#Compile-from-source-code" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="Prerequisites" class="common-anchor-header">Voraussetzungen</h3><p>Sie müssen die MinGW64/MSYS-Toolchain installieren, bevor Sie Milvus 2.0 unter Windows kompilieren können. Siehe <a href="https://www.msys2.org/">MSYS2</a> für die Installationsanleitung. Die Kompilierung in diesem Lernprogramm wird in der Shell von MSYS2 MinGW 64-bit durchgeführt. Sie können <code translate="no">$ pacman -Su</code> ausführen, um die Toolchain zu aktualisieren.</p>
<p>Wir empfehlen Ihnen auch, <code translate="no">$ pacman -S git</code> auszuführen, um git zu installieren.</p>
<h3 id="Step-1-Clone-code" class="common-anchor-header">Schritt 1. Code klonen</h3><p>Führen Sie den folgenden Befehl aus, um den Code aus dem <strong>windows-dev-Zweig</strong> im <strong>matrixji/milvus-Repository</strong> zu klonen. Derzeit können alle Commits im <strong>windows-dev-Zweig</strong> nachvollzogen werden, der wöchentlich Commits aus dem Upstream-Hauptzweig <a href="https://github.com/milvus-io/milvus"><strong>milvus-io/milvus</strong></a> umbasiert.</p>
<pre><code translate="no" class="language-python">$ git <span class="hljs-built_in">clone</span> git@github.com:matrixji/milvus.git -b windows-dev
<button class="copy-code-btn"></button></code></pre>
<h3 id="Step-2-Compile-Milvus" class="common-anchor-header">Schritt 2. Milvus kompilieren</h3><h4 id="1-Install-dependencies-and-toolchain" class="common-anchor-header">1. Abhängigkeiten und Toolchain installieren</h4><p>Führen Sie den folgenden Befehl aus, um die erforderlichen Abhängigkeiten und die Toolchain zu installieren. Nach der Installation müssen Sie die MinGW/MYSY-Shell neu starten, um sicherzustellen, dass die Konfigurationen einiger Werkzeuge korrekt übernommen werden.</p>
<pre><code translate="no" class="language-python">$ <span class="hljs-built_in">cd</span> milvus
$ scripts/install_deps_msys.sh
<button class="copy-code-btn"></button></code></pre>
<h4 id="2-Compile-Milvus" class="common-anchor-header">2. Kompilieren Sie Milvus</h4><p>Führen Sie den folgenden Befehl aus, um Milvus zu kompilieren und zu paketieren.</p>
<pre><code translate="no" class="language-python">$ make
$ sh scripts/package_windows.sh
<button class="copy-code-btn"></button></code></pre>
<p>Bei Erfolg finden Sie eine Zip-Datei im Unterverzeichnis von <code translate="no">windows_package</code>. Die Zip-Datei enthält alle Dateien für die Ausführung von <code translate="no">milvus.exe</code>, einschließlich <code translate="no">minio.exe</code> und <code translate="no">etcd.exe</code>.</p>
<div class="alert note">
Milvus 2.0 ist in Go entwickelt. Möglicherweise müssen Sie <a href='https://goproxy.cn/'>Goproxy</a> konfigurieren, um Module von Drittanbietern zu installieren.</div>
<h2 id="Install-from-the-binary-package" class="common-anchor-header">Installation aus dem Binärpaket<button data-href="#Install-from-the-binary-package" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Sie können auch das bereits kompilierte Binärpaket aus <a href="https://github.com/matrixji/milvus/releases">Releases - matrixji/milvus</a> herunterladen. Jede Version hat als Präfix <strong>windows-test-</strong>, zum Beispiel <strong>windows-test-v8</strong>. Suchen Sie die gewünschte Version und laden Sie das entsprechende Zip-Paket herunter.</p>
<h3 id="Step-1-Start-Milvus" class="common-anchor-header">Schritt 1. Starten Sie Milvus</h3><h4 id="1-Unzip-the-package" class="common-anchor-header">1. Entpacken Sie das Paket</h4><p>Entpacken Sie das Paket. Sie finden dann ein Verzeichnis <code translate="no">milvus</code>, das alle benötigten Dateien enthält.</p>
<h4 id="2-Start-a-MinIO-service" class="common-anchor-header">2. Starten Sie einen MinIO-Dienst</h4><p>Doppelklicken Sie auf die Datei <code translate="no">run_minio.bat</code>, um einen MinIO-Dienst mit Standardkonfigurationen zu starten. Die Daten werden in dem Unterverzeichnis <code translate="no">s3data</code> gespeichert.</p>
<h4 id="3-Start-an-etcd-service" class="common-anchor-header">3. Starten eines etcd-Dienstes</h4><p>Doppelklicken Sie auf die Datei <code translate="no">run_etcd.bat</code>, um einen etcd-Dienst mit Standardkonfigurationen zu starten.</p>
<h4 id="4-Start-Milvus-service" class="common-anchor-header">4. Milvus-Dienst starten</h4><p>Doppelklicken Sie auf die Datei <code translate="no">run_milvus.bat</code>, um den Milvus-Dienst zu starten.</p>
<h3 id="Step-2-Run-hellomilvuspy" class="common-anchor-header">Schritt 2. Ausführen von <code translate="no">hello_milvus.py</code></h3><p>Nachdem Sie den Milvus-Dienst gestartet haben, können Sie ihn testen, indem Sie <code translate="no">hello_milvus.py</code> ausführen. Weitere Informationen finden Sie unter <a href="https://milvus.io/docs/v2.0.x/example_code.md">Hallo Milvus</a>.</p>
<h2 id="Engage-with-our-open-source-community" class="common-anchor-header">Beteiligen Sie sich an unserer Open-Source-Community:<button data-href="#Engage-with-our-open-source-community" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li>Finden Sie Milvus auf <a href="https://bit.ly/3khejQB">GitHub</a> oder tragen Sie dazu bei.</li>
<li>Interagieren Sie mit der Community über das <a href="https://bit.ly/307HVsY">Forum</a>.</li>
<li>Verbinden Sie sich mit uns auf <a href="https://bit.ly/3wn5aek">Twitter</a>.</li>
</ul>


Milvus 2.0 unter Windows ausführen

<custom-h1>Das war's - Milvus Hacktoberfest 2021</custom-h1><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Blog_cover_a6ce8748d7.jpeg" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<p>Das Hacktoberfest ist zu Ende, aber das Mitwirken an Open-Source-Projekten hört nicht auf!</p>
<p>Während des gesamten Oktobers hatten wir insgesamt <strong>44 Pull Requests</strong> (PRs) in unseren Repos von <strong>36 Mitwirkenden</strong> (ohne unser Kernteam). Obwohl es das erste Jahr ist, in dem die Milvus-Community am Hacktoberfest teilnimmt, übertraf die Zahl der Teilnehmer unsere Erwartungen, was ein Zeichen für das wachsende Bewusstsein für den Open-Source-Geist ist.</p>
<p>Wir hoffen, dass jeder, der an dieser Veranstaltung teilgenommen hat, praktische Erfahrungen oder Kenntnisse über Open Source, die Gemeinschaft und hilfreiche technische Fähigkeiten gewonnen hat.️️</p>
<p>In diesem Beitrag möchten wir euch dazu einladen, unsere Erfolge gemeinsam zu feiern und zu erfahren, wie ihr nach dem Hacktoberfest weiter zu Milvus beitragen könnt.</p>
<h2 id="📣-Shout-out-to-our-contributors" class="common-anchor-header"><strong>📣 Ein großes Lob an unsere Mitwirkenden:</strong><button data-href="#📣-Shout-out-to-our-contributors" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Während des diesjährigen Hacktoberfestes wurden in den Repositories des Milvus-Projekts <strong>44 Pull Requests zusammengeführt</strong>! Das ist eine große Leistung auf allen Seiten. Gute Arbeit, Leute! 🎉</p>
<p><a href="https://github.com/parthiv11">parthiv11</a>, <a href="https://github.com/joremysh">joremysh</a>, <a href="https://github.com/noviicee">noviicee</a>, <a href="https://github.com/Biki-das">Biki-das</a>, <a href="https://github.com/Nadyamilona">Nadyamilona</a>, <a href="https://github.com/ashish4arora">ashish4arora</a>, <a href="https://github.com/Dhruvacube">Dhruvacube</a>, <a href="https://github.com/iamartyaa">iamartyaa</a>, <a href="https://github.com/RafaelDSS">RafaelDSS</a>, <a href="https://github.com/kartikcho">kartikcho</a>, <a href="https://github.com/GuyKh">GuyKh</a>, <a href="https://github.com/Deep1Shikha">Deep1Shikha</a>, <a href="https://github.com/shreemaan-abhishek">shreemaan-abhishek</a>, <a href="https://github.com/daniel-shuy">daniel-shuy</a>, <a href="https://github.com/Hard-Coder05">Hard-Coder05</a>, <a href="https://github.com/sapora1">sapora1</a>, <a href="https://github.com/Rutam21">Rutam21</a>, <a href="https://github.com/idivyanshbansal">idivyanshbansal</a>, <a href="https://github.com/Mihir501">Mihir501</a>, <a href="https://github.com/Ayushchaudhary-Github">YushChaudhary</a>, <a href="https://github.com/sreyan-ghosh">sreyan-ghosh</a>, <a href="https://github.com/chiaramistro">chiaramistro</a>, <a href="https://github.com/appledora">appledora</a>, <a href="https://github.com/luisAzcuaga">luisAzcuaga</a>, <a href="https://github.com/matteomessmer">matteomessmer</a>, <a href="https://github.com/Nadyamilona">Nadyamilona</a>, <a href="https://github.com/Tititesouris">Tititesouris</a>, <a href="https://github.com/amusfq">amusfq</a>, <a href="https://github.com/matrixji">matrixji</a> &amp; <a href="https://github.com/zamanmub">allgemeinZman</a></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/_80b0d87746.png" alt="image-20211110180357460" class="doc-image" id="image-20211110180357460" />
   </span> <span class="img-wrapper"> <span>image-20211110180357460</span> </span></p>
<h3 id="Here-are-some-extraordinary-Milvus-Hacktoberfest-2021-contributions" class="common-anchor-header">Hier sind einige außergewöhnliche Beiträge zum Milvus Hacktoberfest 2021:</h3><p><strong>⚙️ Neue Funktionen</strong></p>
<p><a href="https://github.com/milvus-io/milvus/issues/7706">Kompilieren und Ausführen von Milvus auf mehreren Plattformen</a> von <a href="https://github.com/matrixji">matrixji</a></p>
<p><strong>(🏆 Top Contributor 🏆 )</strong></p>
<p><strong>📝 Dokumentation</strong></p>
<ul>
<li><a href="https://github.com/milvus-io/bootcamp/issues/720">Hello Milvus (example_code.md) in eine beliebige Sprache übersetzen</a> von <a href="https://github.com/chiaramistro">chiaramistro</a>, <a href="https://github.com/appledora">appledora</a>, <a href="https://github.com/luisAzcuaga">luisAzcuaga</a>, <a href="https://github.com/matteomessmer">matteomessmer</a>, <a href="https://github.com/Nadyamilona">Nadyamilona</a>, <a href="https://github.com/Tititesouris">Tititesouris</a> &amp; <a href="https://github.com/amusfq">amusfq</a></li>
<li><a href="https://github.com/milvus-io/bootcamp/issues/720">NodeJS Beispiel zu example_code.md hinzufügen</a> von <a href="https://github.com/GuyKh">GuyKh</a></li>
<li><a href="https://github.com/milvus-io/milvus-docs/pull/921/files">upgrade.md übersetzt</a> &amp; <a href="https://github.com/milvus-io/milvus-docs/pull/892">Parameter im User Guide zu CN hinzugefügt und übersetzt</a> von <a href="https://github.com/joremysh">joremysh</a></li>
<li><a href="https://github.com/milvus-io/milvus-docs/pull/753">tutorials/dna_sequence_classification.md in CN übersetzen</a> &amp; <a href="https://github.com/milvus-io/milvus-docs/pull/752">reference/schema/collection_schema.md in CN übersetzen</a> von <a href="https://github.com/daniel-shuy">daniel-shuy</a></li>
</ul>
<p><strong>🚀 Bootcamp</strong></p>
<ul>
<li><a href="https://github.com/milvus-io/bootcamp/pull/858">Verbesserung Jupyter Notebook-Tutorial für Bild-Hash-Suche </a>von <a href="https://github.com/zamanmub">generalZman</a></li>
<li><a href="https://github.com/milvus-io/bootcamp/pull/792">Behebung des TOPK-Bugs von reverse_image_search</a> von <a href="https://github.com/RafaelDSS">RafaelDSS</a></li>
</ul>
<p><strong>🐍 PyMilvus</strong></p>
<ul>
<li><a href="https://github.com/milvus-io/pymilvus/issues/741">Update GitHub issue forms </a>(mehrere Repos) von <a href="https://github.com/Hard-Coder05">Hard-Coder05</a></li>
</ul>
<h3 id="Share-your-feedback-with-us" class="common-anchor-header">Teilen Sie Ihr Feedback mit uns!</h3><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/h3_412b0f649b.png" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<p>Du bist mehr als willkommen, deine Erfahrungen mit dem Milvus Hacktoberfest 2021 mit uns zu teilen! Sei es ein Blogbeitrag, ein Tweet (@milvusio) oder einfach ein Beitrag in unserem <a href="https://discuss.milvus.io/c/hacktoberfest/9">Forum</a>- wir freuen uns über alles!</p>
<h2 id="Whats-Next" class="common-anchor-header">Was kommt als nächstes？<button data-href="#Whats-Next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="👩‍💻-Code--Documentation" class="common-anchor-header"><strong>👩‍💻</strong> <strong>Code &amp; Dokumentation</strong></h3><p>Wenn Sie nur begrenzte Kenntnisse über Milvus haben, können Sie sich zunächst mit der Arbeitsweise der Gemeinschaft vertraut machen, indem Sie zu den Repos <a href="https://github.com/milvus-io/pymilvus">pymilvus</a> oder <a href="https://github.com/milvus-io/milvus-docs">docs</a> beitragen. Sie können auch nach Tags wie <strong>#goodfirstissue</strong> oder <strong>#helpwanted</strong> suchen.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/h4_f18c9b6c2c.png" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/h5_a4f90c24a8.png" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<p>Wenn Sie Fragen zum Thema Beiträge haben, können Sie sich jederzeit an die Community wenden, und zwar in der Forumskategorie <strong>Beitragende:</strong> https://discuss.milvus.io/t/things-you-need-to-know-before-you-get-started/64.</p>
<h3 id="🏆-Be-a-Milvus-Advocate" class="common-anchor-header">🏆 Werden Sie ein Milvus-Befürworter</h3><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/advocate_1052d8249a.jpg" alt="image-20211110180730866" class="doc-image" id="image-20211110180730866" />
   </span> <span class="img-wrapper"> <span>image-20211110180730866</span> </span></p>
<p>Teilen Sie Ihre Erfahrungen und Erkenntnisse mit der Gemeinschaft, machen Sie Vorschläge, wie wir uns verbessern können, beantworten Sie Fragen und helfen Sie anderen im Milvus-Forum, usw. Es gibt viele Möglichkeiten, sich an der Gemeinschaft zu beteiligen. Wir haben unten einige Beispiele aufgelistet, aber wir begrüßen jede Art von Beitrag:</p>
<ul>
<li><p><strong>Demos und Lösungen:</strong> Zeigen Sie Milvus-Benutzern, wie sie die Plattform in bestimmten Szenarien nutzen können (z. B. Musikempfehlungssystem). Beispiele sind im <a href="https://github.com/milvus-io/bootcamp">Milvus Bootcamp</a> verfügbar.</p></li>
<li><p><strong>Blog-Artikel, Anwenderberichte oder Whitepapers:</strong> Schreiben Sie qualitativ hochwertige Inhalte, die technische Details über Milvus klar und präzise erklären.</p></li>
<li><p><strong>Technische Vorträge/Live-Übertragungen:</strong> Halten Sie Vorträge oder veranstalten Sie Live-Übertragungen, die dazu beitragen, das Bewusstsein für Milvus zu erhöhen.</p></li>
<li><p><strong>Sonstiges:</strong> Jeder Inhalt, der eine positive Rolle bei der Entwicklung von Milvus und seiner Open-Source-Community spielt, wird als förderungswürdig angesehen.</p></li>
</ul>
<p>Für weitere Details lesen Sie bitte: https://milvus.io/community/milvus_advocate.md</p>
<p>Abschließend möchten wir uns noch einmal bei Ihnen bedanken, dass Sie mit uns am diesjährigen Hacktoberfest teilgenommen haben und wir Ihre Mentoren und Schüler sein durften. Vielen Dank an <a href="https://hacktoberfest.digitalocean.com/">Digital Ocean</a> für die Ausrichtung eines weiteren Jahres dieser großartigen Veranstaltung. Bis zum nächsten Mal!</p>
<p>Viel Spaß beim Coding!</p>
<p>Milvus Community Team</p>


Es ist vollbracht! Milvus Hacktoberfest 2021

<p><em>Yufen Zong, Testentwicklungsingenieurin bei Zilliz, schloss ihr Studium an der Huazhong University of Science and Technology mit einem Master-Abschluss in Computertechnik ab. Derzeit ist sie mit der Qualitätssicherung der Milvus-Vektordatenbank beschäftigt, einschließlich, aber nicht beschränkt auf Schnittstellenintegrationstests, SDK-Tests, Benchmark-Tests usw. Yufen ist eine begeisterte Problemlöserin bei den Tests und der Entwicklung von Milvus und ein großer Fan der Chaos-Engineering-Theorie und der Fehlerbehebungspraxis.</em></p>
<h2 id="Background" class="common-anchor-header">Hintergrund<button data-href="#Background" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Wenn Sie die Vektordatenbank Milvus verwenden, müssen Sie die Standardkonfiguration ändern, um die Anforderungen verschiedener Szenarien zu erfüllen. Zuvor hat ein Milvus-Benutzer darüber berichtet, <a href="/blog/de/2021-10-22-apply-configuration-changes-on-milvus-2.md">wie man die Konfiguration von Milvus, das mit Docker Compose bereitgestellt wird, ändern kann</a>. In diesem Artikel möchte ich Ihnen zeigen, wie Sie die Konfiguration von Milvus, das auf Kubernetes bereitgestellt wird, ändern können.</p>
<h2 id="Modify-configuration-of-Milvus-on-Kubernetes" class="common-anchor-header">Ändern der Konfiguration von Milvus auf Kubernetes<button data-href="#Modify-configuration-of-Milvus-on-Kubernetes" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Sie können je nach den Konfigurationsparametern, die Sie ändern möchten, verschiedene Änderungspläne wählen. Alle Milvus-Konfigurationsdateien werden unter <strong>milvus/configs</strong> gespeichert. Bei der Installation von Milvus auf Kubernetes wird ein Milvus Helm Chart-Repository lokal hinzugefügt. Wenn Sie <code translate="no">helm show values milvus/milvus</code> ausführen, können Sie die Parameter überprüfen, die direkt mit Chart geändert werden können. Für die mit Chart änderbaren Parameter können Sie den Parameter mit <code translate="no">--values</code> oder <code translate="no">--set</code> übergeben. Weitere Informationen finden Sie unter <a href="https://artifacthub.io/packages/helm/milvus/milvus">Milvus Helm Chart</a> und <a href="https://helm.sh/docs/">Helm</a>.</p>
<p>Wenn die Parameter, die Sie ändern möchten, nicht in der Liste aufgeführt sind, können Sie die folgenden Anweisungen befolgen.</p>
<p>In den folgenden Schritten soll der Parameter <code translate="no">rootcoord.dmlChannelNum</code> in <strong>/milvus/configs/advanced/root_coord.yaml</strong> zu Demonstrationszwecken geändert werden. Die Verwaltung der Konfigurationsdateien von Milvus auf Kubernetes wird durch das Ressourcenobjekt ConfigMap implementiert. Um den Parameter zu ändern, sollten Sie zuerst das ConfigMap-Objekt der entsprechenden Chart-Version aktualisieren und dann die Deployment-Ressourcendateien der entsprechenden Pods ändern.</p>
<p>Beachten Sie, dass diese Methode nur für die Änderung von Parametern in der bereitgestellten Milvus-Anwendung gilt. Um die Parameter in <strong>/milvus/configs/advanced/*.yaml</strong> vor der Bereitstellung zu ändern, müssen Sie das Milvus Helm Chart neu entwickeln.</p>
<h3 id="Modify-ConfigMap-YAML" class="common-anchor-header">Ändern der ConfigMap YAML</h3><p>Wie unten dargestellt, entspricht Ihr Milvus-Release, das auf Kubernetes läuft, einem ConfigMap-Objekt mit demselben Namen wie das Release. Der Abschnitt <code translate="no">data</code> des ConfigMap-Objekts enthält nur Konfigurationen in <strong>milvus.yaml</strong>. Um die <code translate="no">rootcoord.dmlChannelNum</code> in <strong>root_coord.yaml</strong> zu ändern, müssen Sie die Parameter in <strong>root_coord.yaml</strong> zum Abschnitt <code translate="no">data</code> in der ConfigMap YAML hinzufügen und den spezifischen Parameter ändern.</p>
<pre><code translate="no">kind: ConfigMap
apiVersion: v1
metadata:
  name: milvus-chaos
  ...
data:
  milvus.yaml: &gt;
    ......
  root_coord.yaml: |
    rootcoord:
      dmlChannelNum: 128
      maxPartitionNum: 4096
      minSegmentSizeToEnableIndex: 1024
      <span class="hljs-built_in">timeout</span>: 3600 <span class="hljs-comment"># time out, 5 seconds</span>
      timeTickInterval: 200 <span class="hljs-comment"># ms</span>
<button class="copy-code-btn"></button></code></pre>
<h3 id="Modify-Deployment-YAML" class="common-anchor-header">Deployment YAML modifizieren</h3><p>Die in einer ConfigMap gespeicherten Daten können in einem Volume des Typs configMap referenziert und dann von containerisierten Anwendungen, die in einem Pod laufen, konsumiert werden. Um die Pods auf die neuen Konfigurationsdateien zu verweisen, müssen Sie die Pod-Vorlagen ändern, die die Konfigurationen in <strong>root_coord.yaml</strong> laden müssen. Insbesondere müssen Sie eine Mount-Deklaration unter dem Abschnitt <code translate="no">spec.template.spec.containers.volumeMounts</code> in der deployment YAML hinzufügen.</p>
<p>In der Deployment-YAML des Rootcoord-Pods ist zum Beispiel im Abschnitt <code translate="no">.spec.volumes</code> ein Volume vom Typ <code translate="no">configMap</code> mit dem Namen <strong>milvus-config</strong> angegeben. Und im Abschnitt <code translate="no">spec.template.spec.containers.volumeMounts</code> wird das Volume so deklariert, dass es die <strong>milvus.yaml</strong> Ihrer Milvus-Version unter <strong>/milvus/configs/milvus.yaml</strong> einbindet. In ähnlicher Weise müssen Sie nur eine Mount-Deklaration speziell für den rootcoord-Container hinzufügen, um die <strong>root_coord.yaml</strong> unter <strong>/milvus/configs/advanced/root_coord.yaml</strong> zu mounten, und so kann der Container auf die neue Konfigurationsdatei zugreifen.</p>
<pre><code translate="no" class="language-yaml">spec:
  replicas: 1
  selector:
    ......
  template:
    metadata:
      ...
    spec:
      volumes:
        - name: milvus-config
          configMap:
            name: milvus-chaos
            defaultMode: 420
      containers:
        - name: rootcoord
          image: <span class="hljs-string">&#x27;milvusdb/milvus-dev:master-20210906-86afde4&#x27;</span>
          args:
            ...
          ports:
            ...
          resources: {}
          volumeMounts:
            - name: milvus-config
              readOnly: <span class="hljs-literal">true</span>
              mountPath: /milvus/configs/milvus.yaml
              subPath: milvus.yaml
            - name: milvus-config
              readOnly: <span class="hljs-literal">true</span>
              mountPath: /milvus/configs/advanced/`root_coord.yaml
              subPath: root_coord.yaml
          terminationMessagePath: /dev/termination-log
          terminationMessagePolicy: File
          imagePullPolicy: IfNotPresent
      restartPolicy: Always
      terminationGracePeriodSeconds: 30
      dnsPolicy: ClusterFirst
      securityContext: {}
      schedulerName: default-scheduler
<button class="copy-code-btn"></button></code></pre>
<h3 id="Verify-the-result" class="common-anchor-header">Überprüfen Sie das Ergebnis</h3><p>Das Kubelet prüft bei jedem periodischen Sync, ob die gemountete ConfigMap frisch ist. Wenn die im Volume verbrauchte ConfigMap aktualisiert wird, werden auch die projizierten Schlüssel automatisch aktualisiert. Wenn der neue Pod wieder in Betrieb ist, können Sie überprüfen, ob die Änderung im Pod erfolgreich war. Die Befehle zum Überprüfen des Parameters <code translate="no">rootcoord.dmlChannelNum</code> sind unten angegeben.</p>
<pre><code translate="no" class="language-bash">$ kctl <span class="hljs-built_in">exec</span> -ti milvus-chaos-rootcoord-6f56794f5b-xp2zs -- sh
<span class="hljs-comment"># cd configs/advanced</span>
<span class="hljs-comment"># pwd</span>
/milvus/configs/advanced
<span class="hljs-comment"># ls</span>
channel.yaml  common.yaml  data_coord.yaml  data_node.yaml  etcd.yaml  proxy.yaml  query_node.yaml  root_coord.yaml
<span class="hljs-comment"># cat root_coord.yaml</span>
rootcoord:
  dmlChannelNum: 128
  maxPartitionNum: 4096
  minSegmentSizeToEnableIndex: 1024
  <span class="hljs-built_in">timeout</span>: 3600 <span class="hljs-comment"># time out, 5 seconds</span>
  timeTickInterval: 200 <span class="hljs-comment"># ms</span>
<span class="hljs-comment"># exit</span>
<button class="copy-code-btn"></button></code></pre>
<p>Dies ist die Methode zur Änderung der erweiterten Konfigurationen in Milvus, das auf Kubernetes bereitgestellt wird. Zukünftige Versionen von Milvus werden alle Konfigurationen in eine Datei integrieren und die Aktualisierung der Konfiguration über ein Helm-Diagramm unterstützen. Aber bis dahin hoffe ich, dass dieser Artikel Ihnen als vorübergehende Lösung helfen kann.</p>
<h2 id="Engage-with-our-open-source-community" class="common-anchor-header">Beteiligen Sie sich an unserer Open-Source-Community:<button data-href="#Engage-with-our-open-source-community" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p>Finden Sie Milvus auf <a href="https://bit.ly/307b7jC">GitHub</a> oder tragen Sie dazu bei.</p></li>
<li><p>Interagieren Sie mit der Community über das <a href="https://bit.ly/3qiyTEk">Forum</a>.</p></li>
<li><p>Verbinden Sie sich mit uns auf <a href="https://bit.ly/3ob7kd8">Twitter</a>.</p></li>
</ul>


Wie man die erweiterten Milvus-Konfigurationen ändert

Einführung

<custom-h1>Technische Freigabe: Anwendung von Konfigurationsänderungen auf Milvus 2.0 mit Docker Compose</custom-h1><p><em>Jingjing Jia, Zilliz Data Engineer, hat einen Abschluss in Informatik von der Xi'an Jiaotong Universität. Nachdem sie zu Zilliz gekommen ist, arbeitet sie hauptsächlich an der Vorverarbeitung von Daten, dem Einsatz von KI-Modellen, der Erforschung von Milvus-bezogenen Technologien und der Unterstützung von Community-Benutzern bei der Implementierung von Anwendungsszenarien. Sie ist sehr geduldig, kommuniziert gerne mit Community-Partnern und hört gerne Musik und schaut Anime.</em></p>
<p>Als regelmäßiger Nutzer von Milvus war ich sehr gespannt auf die neu veröffentlichte Version 2.0 RC von Milvus. Laut der Einführung auf der offiziellen Website scheint Milvus 2.0 seine Vorgänger bei weitem zu übertreffen. Ich war so gespannt darauf, es selbst auszuprobieren.</p>
<p>Und das habe ich auch getan.  Doch als ich Milvus 2.0 in die Hände bekam, musste ich feststellen, dass ich die Konfigurationsdatei in Milvus 2.0 nicht so einfach ändern konnte wie in Milvus 1.1.1. Ich konnte die Konfigurationsdatei innerhalb des Docker-Containers von Milvus 2.0, der mit Docker Compose gestartet wurde, nicht ändern, und selbst eine erzwungene Änderung würde nicht wirksam werden. Später erfuhr ich, dass Milvus 2.0 RC nicht in der Lage war, Änderungen an der Konfigurationsdatei nach der Installation zu erkennen. In einer zukünftigen stabilen Version wird dieses Problem behoben werden.</p>
<p>Nachdem ich verschiedene Ansätze ausprobiert habe, habe ich einen zuverlässigen Weg gefunden, um Änderungen an den Konfigurationsdateien für Milvus 2.0 standalone &amp; cluster zu übernehmen, und hier ist, wie.</p>
<p>Beachten Sie, dass alle Änderungen an der Konfiguration vor dem Neustart von Milvus mit Docker Compose vorgenommen werden müssen.</p>
<h2 id="Modify-configuration-file-in-Milvus-standalone" class="common-anchor-header">Ändern der Konfigurationsdatei in Milvus Standalone<button data-href="#Modify-configuration-file-in-Milvus-standalone" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Zunächst müssen Sie eine Kopie der Datei <strong>milvus.yaml</strong> auf Ihr lokales Gerät <a href="https://github.com/milvus-io/milvus/blob/master/configs/milvus.yaml">herunterladen</a>.</p>
<p>Dann können Sie die Konfigurationen in der Datei ändern. Sie können zum Beispiel das Protokollformat ändern: <code translate="no">.json</code>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_1_ee4a16a3ee.png" alt="1.1.png" class="doc-image" id="1.1.png" />
   </span> <span class="img-wrapper"> <span>1.1.png</span> </span></p>
<p>Sobald die Datei <strong>milvus.yaml</strong> geändert wurde, müssen Sie auch die Datei <strong>docker-compose.yaml</strong> für Standalone <a href="https://github.com/milvus-io/milvus/blob/master/deployments/docker/standalone/docker-compose.yml">herunterladen</a> und ändern, indem Sie den lokalen Pfad zu milvus.yaml auf den entsprechenden Pfad des Docker-Containers zur Konfigurationsdatei <code translate="no">/milvus/configs/milvus.yaml</code> unter dem Abschnitt <code translate="no">volumes</code> abbilden.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_2_5e7c73708c.png" alt="1.2.png" class="doc-image" id="1.2.png" />
   </span> <span class="img-wrapper"> <span>1.2.png</span> </span></p>
<p>Starten Sie abschließend Milvus standalone mit <code translate="no">docker-compose up -d</code> und überprüfen Sie, ob die Änderungen erfolgreich waren. Führen Sie zum Beispiel <code translate="no">docker logs</code> aus, um das Protokollformat zu überprüfen.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_3_a0406df3ab.png" alt="1.3.png" class="doc-image" id="1.3.png" />
   </span> <span class="img-wrapper"> <span>1.3.png</span> </span></p>
<h2 id="Modify-configuration-file-in-Milvus-cluster" class="common-anchor-header">Ändern der Konfigurationsdatei im Milvus-Cluster<button data-href="#Modify-configuration-file-in-Milvus-cluster" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><a href="https://github.com/milvus-io/milvus/blob/master/configs/milvus.yaml">Laden Sie</a> zunächst die Datei <strong>milvus.yaml</strong> <a href="https://github.com/milvus-io/milvus/blob/master/configs/milvus.yaml">herunter</a> und passen Sie sie an Ihre Bedürfnisse an.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_4_758b182846.png" alt="1.4.png" class="doc-image" id="1.4.png" />
   </span> <span class="img-wrapper"> <span>1.4.png</span> </span></p>
<p>Dann müssen Sie die Clusterdatei <strong>docker-compose.yml</strong> <a href="https://github.com/milvus-io/milvus/blob/master/deployments/docker/cluster/docker-compose.yml">herunterladen</a> und ändern, indem Sie den lokalen Pfad zu <strong>milvus.yaml</strong> auf den entsprechenden Pfad zu den Konfigurationsdateien in allen Komponenten abbilden, d. h. Root-Koordinate, Datenkoordinate, Datenknoten, Abfragekoordinate, Abfrageknoten, Indexkoordinate, Indexknoten und Proxy.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_5_80e15811b8.png" alt="1.5.png" class="doc-image" id="1.5.png" />
   </span> <span class="img-wrapper"> <span>1.5.png</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_6_b2f3e4e47f.png" alt="1.6.png" class="doc-image" id="1.6.png" />
   </span> <span class="img-wrapper"> <span>1.6.png</span> </span> <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_7_4d1eb5e1e5.png" alt="1.7.png" class="doc-image" id="1.7.png" /></span> <span class="img-wrapper">1 </span>. <span class="img-wrapper">7 <span>.png</span> </span></p>
<p>Abschließend können Sie den Milvus-Cluster mit <code translate="no">docker-compose up -d</code> starten und überprüfen, ob die Änderungen erfolgreich waren.</p>
<h2 id="Change-log-file-path-in-configuration-file" class="common-anchor-header">Ändern Sie den Pfad der Protokolldatei in der Konfigurationsdatei<button data-href="#Change-log-file-path-in-configuration-file" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><a href="https://github.com/milvus-io/milvus/blob/master/configs/milvus.yaml">Laden Sie</a> zunächst die Datei <strong>milvus.yaml</strong> <a href="https://github.com/milvus-io/milvus/blob/master/configs/milvus.yaml">herunter</a> und ändern Sie den Abschnitt <code translate="no">rootPath</code> in das Verzeichnis, in dem Sie die Protokolldateien im Docker-Container speichern möchten.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_8_e3bdc4843f.png" alt="1.8.png" class="doc-image" id="1.8.png" />
   </span> <span class="img-wrapper"> <span>1.8.png</span> </span></p>
<p>Danach laden Sie die entsprechende Datei <strong>docker-compose.yml</strong> für Milvus <a href="https://github.com/milvus-io/milvus/blob/master/deployments/docker/standalone/docker-compose.yml">standalone</a> oder <a href="https://github.com/milvus-io/milvus/blob/master/deployments/docker/cluster/docker-compose.yml">cluster</a> herunter.</p>
<p>Für Standalone müssen Sie den lokalen Pfad zu <strong>milvus.yaml</strong> auf den entsprechenden Docker-Container-Pfad zur Konfigurationsdatei <code translate="no">/milvus/configs/milvus.yaml</code> abbilden und das lokale Protokolldateiverzeichnis auf das zuvor erstellte Docker-Container-Verzeichnis abbilden.</p>
<p>Bei Clustern müssen Sie beide Pfade in jeder Komponente zuordnen.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_9_22d8929d92.png" alt="1.9.png" class="doc-image" id="1.9.png" />
   </span> <span class="img-wrapper"> <span>1.9.png</span> </span></p>
<p>Starten Sie abschließend Milvus standalone oder cluster mit <code translate="no">docker-compose up -d</code> und überprüfen Sie die Protokolldateien, um zu sehen, ob die Änderung erfolgreich war.</p>


Technische Freigabe: Konfigurationsänderungen auf Milvus 2.0 mit Docker Compose anwenden

<custom-h1>Aufbau eines Videoanalysesystems mit der Milvus-Vektordatenbank</custom-h1><p><em>Shiyu Chen, eine Dateningenieurin bei Zilliz, hat an der Xidian Universität einen Abschluss in Informatik gemacht. Seit sie bei Zilliz ist, hat sie Lösungen für Milvus in verschiedenen Bereichen erforscht, wie z.B. Audio- und Videoanalyse, Molekülformelabfrage usw., was die Anwendungsszenarien der Gemeinschaft sehr bereichert hat. Derzeit erforscht sie weitere interessante Lösungen. In ihrer Freizeit treibt sie gerne Sport und liest.</em></p>
<p>Als ich letztes Wochenende <em>Free Guy</em> sah, hatte ich das Gefühl, den Schauspieler, der Buddy, den Wachmann, spielt, schon einmal gesehen zu haben, konnte mich aber an keine seiner Arbeiten erinnern. In meinem Kopf schwirrte die Frage: "Wer ist dieser Typ?" Ich war mir sicher, dieses Gesicht schon einmal gesehen zu haben, und versuchte so sehr, mich an seinen Namen zu erinnern. Ein ähnlicher Fall ist, dass ich einmal den Hauptdarsteller in einem Video sah, der ein Getränk trank, das ich früher sehr mochte, aber ich konnte mich nicht an den Markennamen erinnern.</p>
<p>Die Antwort lag mir auf der Zunge, aber mein Gehirn war völlig blockiert.</p>
<p>Das Phänomen der Zungenspitze (TOT) macht mich verrückt, wenn ich Filme sehe. Wenn es doch nur eine umgekehrte Bildsuchmaschine für Videos gäbe, die es mir ermöglicht, Videos zu finden und Videoinhalte zu analysieren. Früher habe ich <a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/reverse_image_search/quick_deploy">mit Milvus</a> eine <a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/reverse_image_search/quick_deploy">umgekehrte Bildsuchmaschine</a> gebaut. In Anbetracht der Tatsache, dass die Analyse von Videoinhalten in gewisser Weise der Bildanalyse ähnelt, beschloss ich, eine Maschine zur Analyse von Videoinhalten auf der Grundlage von Milvus zu entwickeln.</p>
<h2 id="Object-detection" class="common-anchor-header">Objekt-Erkennung<button data-href="#Object-detection" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="Overview" class="common-anchor-header">Übersicht</h3><p>Bevor ein Video analysiert werden kann, müssen die Objekte in einem Video zunächst erkannt werden. Die effektive und genaue Erkennung von Objekten in einem Video ist die größte Herausforderung bei dieser Aufgabe. Sie ist auch eine wichtige Aufgabe für Anwendungen wie Autopilot, tragbare Geräte und IoT.</p>
<p>Zu den heute gängigen Modellen für die Objekterkennung gehören R-CNN, FRCNN, SSD und YOLO, die von traditionellen Bildverarbeitungsalgorithmen zu tiefen neuronalen Netzen (DNN) weiterentwickelt wurden. Das in diesem Thema vorgestellte Milvus-basierte Deep-Learning-Videoanalysesystem kann Objekte auf intelligente und schnelle Weise erkennen.</p>
<h3 id="Implementation" class="common-anchor-header">Implementierung</h3><p>Zur Erkennung und Erkennung von Objekten in einem Video sollte das System zunächst Frames aus einem Video extrahieren und Objekte in den Frame-Bildern mithilfe der Objekterkennung erkennen, dann Merkmalsvektoren aus den erkannten Objekten extrahieren und schließlich das Objekt anhand der Merkmalsvektoren analysieren.</p>
<ul>
<li>Extraktion von Bildern</li>
</ul>
<p>Die Videoanalyse wird mithilfe der Bildextraktion in eine Bildanalyse umgewandelt. Derzeit ist die Technologie der Bildextraktion sehr ausgereift. Programme wie FFmpeg und OpenCV unterstützen die Extraktion von Frames in bestimmten Intervallen. In diesem Artikel wird erläutert, wie man mit OpenCV jede Sekunde Bilder aus einem Video extrahiert.</p>
<ul>
<li>Objekterkennung</li>
</ul>
<p>Bei der Objekterkennung geht es darum, Objekte in extrahierten Frames zu finden und Screenshots der Objekte entsprechend ihrer Position zu extrahieren. Wie in den folgenden Abbildungen gezeigt, wurden ein Fahrrad, ein Hund und ein Auto erkannt. In diesem Thema wird die Erkennung von Objekten mit YOLOv3 vorgestellt, das üblicherweise für die Objekterkennung verwendet wird.</p>
<ul>
<li>Merkmalsextraktion</li>
</ul>
<p>Unter Merkmalsextraktion versteht man die Umwandlung unstrukturierter Daten, die für Maschinen schwer zu erkennen sind, in Merkmalsvektoren. So können beispielsweise Bilder mithilfe von Deep-Learning-Modellen in mehrdimensionale Merkmalsvektoren umgewandelt werden. Zu den derzeit beliebtesten KI-Modellen für die Bilderkennung gehören VGG, GNN und ResNet. In diesem Thema wird erläutert, wie man mit ResNet-50 Merkmale aus erkannten Objekten extrahiert.</p>
<ul>
<li>Vektoranalyse</li>
</ul>
<p>Die extrahierten Merkmalsvektoren werden mit Bibliotheksvektoren verglichen, und die entsprechenden Informationen zu den ähnlichsten Vektoren werden zurückgegeben. Bei großen Merkmalsvektor-Datensätzen stellt die Berechnung eine große Herausforderung dar. In diesem Thema wird die Analyse von Merkmalsvektoren mit Milvus vorgestellt.</p>
<h2 id="Key-technologies" class="common-anchor-header">Schlüsseltechnologien<button data-href="#Key-technologies" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="OpenCV" class="common-anchor-header">OpenCV</h3><p>Die Open Source Computer Vision Library (OpenCV) ist eine plattformübergreifende Bildverarbeitungsbibliothek, die viele universelle Algorithmen für die Bildverarbeitung und die Computer Vision bereitstellt. OpenCV wird häufig im Bereich der Computer Vision eingesetzt.</p>
<p>Das folgende Beispiel zeigt, wie man mit OpenCV und Python Videobilder in bestimmten Intervallen erfasst und als Bilder speichert.</p>
<pre><code translate="no" class="language-python"><span class="hljs-keyword">import</span> cv2 
<span class="hljs-built_in">cap</span> = cv2.VideoCapture(file_path)   
framerate = <span class="hljs-built_in">cap</span>.get(cv2.CAP_PROP_FPS)   
allframes = <span class="hljs-type">int</span>(cv2.VideoCapture.get(<span class="hljs-built_in">cap</span>, <span class="hljs-type">int</span>(cv2.CAP_PROP_FRAME_COUNT)))  
success, image = <span class="hljs-built_in">cap</span>.read() 
cv2.imwrite(file_name, image)
<button class="copy-code-btn"></button></code></pre>
<h3 id="YOLOv3" class="common-anchor-header">YOLOv3</h3><p>You Only Look Once, Version 3 (YOLOv3 [5]) ist ein einstufiger Algorithmus zur Objekterkennung, der in den letzten Jahren vorgeschlagen wurde. Im Vergleich zu den traditionellen Objekterkennungsalgorithmen mit derselben Genauigkeit ist YOLOv3 doppelt so schnell. YOLOv3, das in diesem Thema erwähnt wird, ist die verbesserte Version von PaddlePaddle [6]. Es verwendet mehrere Optimierungsmethoden mit einer höheren Inferenzgeschwindigkeit.</p>
<h3 id="ResNet-50" class="common-anchor-header">ResNet-50</h3><p>ResNet [7] ist aufgrund seiner Einfachheit und Praktikabilität der Gewinner des ILSVRC 2015 im Bereich Bildklassifikation. Als Grundlage vieler Bildanalysemethoden erweist sich ResNet als ein beliebtes Modell, das auf Bilderkennung, -segmentierung und -erkennung spezialisiert ist.</p>
<h3 id="Milvus" class="common-anchor-header">Milvus</h3><p><a href="https://milvus.io/">Milvus</a> ist eine Cloud-native, quelloffene Vektordatenbank zur Verwaltung von Einbettungsvektoren, die von maschinellen Lernmodellen und neuronalen Netzen erzeugt werden. Sie wird häufig in Szenarien wie Computer Vision, Verarbeitung natürlicher Sprache, computergestützte Chemie, personalisierte Empfehlungssysteme und mehr eingesetzt.</p>
<p>Die folgenden Verfahren beschreiben, wie Milvus funktioniert.</p>
<ol>
<li>Unstrukturierte Daten werden mit Hilfe von Deep-Learning-Modellen in Merkmalsvektoren umgewandelt und in Milvus importiert.</li>
<li>Milvus speichert und indiziert die Merkmalsvektoren.</li>
<li>Milvus gibt die Vektoren zurück, die den vom Benutzer abgefragten Vektoren am ähnlichsten sind.</li>
</ol>
<h2 id="Deployment" class="common-anchor-header">Einsatz<button data-href="#Deployment" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Jetzt haben Sie ein gewisses Verständnis für Milvus-basierte Videoanalysesysteme. Das System besteht hauptsächlich aus zwei Teilen, wie in der folgenden Abbildung dargestellt.</p>
<ul>
<li><p>Die roten Pfeile zeigen den Prozess des Datenimports an. Verwenden Sie ResNet-50, um Merkmalsvektoren aus dem Bilddatensatz zu extrahieren, und importieren Sie die Merkmalsvektoren in Milvus.</p></li>
<li><p>Die schwarzen Pfeile zeigen den Prozess der Videoanalyse an. Zunächst werden Frames aus einem Video extrahiert und als Bilder gespeichert. Zweitens: Erkennen und Extrahieren von Objekten in den Bildern mit YOLOv3. Anschließend werden mit ResNet-50 Merkmalsvektoren aus den Bildern extrahiert. Schließlich sucht Milvus die Informationen zu den Objekten mit den entsprechenden Merkmalsvektoren und gibt sie zurück.</p></li>
</ul>
<p>Weitere Informationen finden Sie unter <a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/video_similarity_search/object_detection">Milvus Bootcamp: Video-Objekt-Erkennungssystem</a>.</p>
<p><strong>Datenimport</strong></p>
<p>Der Prozess des Datenimports ist einfach. Konvertieren Sie die Daten in 2.048-dimensionale Vektoren und importieren Sie die Vektoren in Milvus.</p>
<pre><code translate="no" class="language-python">vector = image_encoder.execute(filename)
entities = [vector]
collection.insert(data=entities)
<button class="copy-code-btn"></button></code></pre>
<p><strong>Video-Analyse</strong></p>
<p>Wie oben beschrieben, umfasst der Videoanalyseprozess die Erfassung von Videobildern, die Erkennung von Objekten in jedem Bild, die Extraktion von Vektoren aus den Objekten, die Berechnung der Vektorähnlichkeit mit der euklidischen Distanz (L2) und die Suche nach Ergebnissen mit Milvus.</p>
<pre><code translate="no" class="language-python">images = extract_frame(filename, 1, prefix)   
detector = Detector()   
run(detector, DATA_PATH)       
vectors = get_object_vector(image_encoder, DATA_PATH)
search_params = {<span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&quot;L2&quot;</span>, <span class="hljs-string">&quot;params&quot;</span>: {<span class="hljs-string">&quot;nprobe&quot;</span>: 10}}
results = collection.search(vectors, param=search_params, <span class="hljs-built_in">limit</span>=10)
<button class="copy-code-btn"></button></code></pre>
<h2 id="Conclusion" class="common-anchor-header">Schlussfolgerung<button data-href="#Conclusion" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Derzeit sind mehr als 80 % der Daten unstrukturiert. Mit der rasanten Entwicklung der KI wurden immer mehr Deep-Learning-Modelle für die Analyse unstrukturierter Daten entwickelt. Technologien wie die Objekterkennung und die Bildverarbeitung haben sowohl in der Wissenschaft als auch in der Industrie große Durchbrüche erzielt. Mit Hilfe dieser Technologien haben immer mehr KI-Plattformen die praktischen Anforderungen erfüllt.</p>
<p>Das in diesem Thema behandelte Videoanalysesystem wurde mit Milvus entwickelt, das eine schnelle Analyse von Videoinhalten ermöglicht.</p>
<p>Als Open-Source-Vektordatenbank unterstützt Milvus Feature-Vektoren, die mit verschiedenen Deep-Learning-Modellen extrahiert werden. Durch die Integration von Bibliotheken wie Faiss, NMSLIB und Annoy bietet Milvus eine Reihe intuitiver APIs, die das Umschalten von Indextypen je nach Szenario unterstützen. Darüber hinaus unterstützt Milvus die skalare Filterung, die die Wiederfindungsrate und die Suchflexibilität erhöht. Milvus wurde bereits in vielen Bereichen eingesetzt, wie z.B. Bildverarbeitung, Computer Vision, Verarbeitung natürlicher Sprache, Spracherkennung, Empfehlungssysteme und Entdeckung neuer Medikamente.</p>
<h2 id="References" class="common-anchor-header">Referenzen<button data-href="#References" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>[1] A. D. Bagdanov, L. Ballan, M. Bertini, A. Del Bimbo. "Trademark matching and retrieval in sports video databases". Proceedings of the international workshop on Workshop on multimedia information retrieval, ACM, 2007. https://www.researchgate.net/publication/210113141_Trademark_matching_and_retrieval_in_sports_video_databases</p>
<p>[2] J. Kleban, X. Xie, W.-Y. Ma. "Spatial pyramid mining for logo detection in natural scenes". IEEE International Conference, 2008. https://ieeexplore.ieee.org/document/4607625</p>
<p>[3] R. Boia, C. Florea, L. Florea, R. Dogaru. "Logo-Lokalisierung und -Erkennung in natürlichen Bildern unter Verwendung homographischer Klassendiagramme". Machine Vision and Applications 27 (2), 2016. https://link.springer.com/article/10.1007/s00138-015-0741-7</p>
<p>[4] R. Boia, C. Florea, L. Florea. "Elliptical asift agglomeration in class prototype for logo detection." BMVC, 2015. http://citeseerx.ist.psu.edu/viewdoc/download;jsessionid=5C87F52DE38AB0C90F8340DFEBB841F7?doi=10.1.1.707.9371&amp;rep=rep1&amp;type=pdf</p>
<p>[5] https://arxiv.org/abs/1804.02767</p>
<p>[6] https://paddlepaddle.org.cn/modelbasedetail/yolov3</p>
<p>[7] https://arxiv.org/abs/1512.03385</p>


Objekt-Erkennung

<custom-h1>Milvus nimmt am Hacktoberfest 2021 teil</custom-h1><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Hacktoberfest_89c929cace.png" alt="hacktoberfestCover" class="doc-image" id="hacktoberfestcover" />
   </span> <span class="img-wrapper"> <span>hacktoberfestCover</span> </span></p>
<p><strong>Milvus, die Vektordatenbank zur Unterstützung von KI-Anwendungen, kündigte heute seine Teilnahme am 8. jährlichen Hacktoberfest an, das von DigitalOcean gesponsert wird!</strong></p>
<p>Im Jahr 2014 rief DigitalOcean das <a href="https://hacktoberfest.digitalocean.com/">Hacktoberfest</a> mit der Idee ins Leben, Open-Source-Softwareprojekte zu feiern. Im Laufe der Jahre ist die Veranstaltung stetig von einigen Dutzend auf Tausende von Teilnehmern angewachsen.  In diesem Jahr wird die einmonatige Veranstaltung voraussichtlich auf über 200.000 aktive Teilnehmer anwachsen!</p>
<p>Ab dem 1. Oktober kann jeder, von erfahrenen Entwicklern bis hin zu Studenten, Code-Neulingen und technischen Redakteuren bis hin zu UX-Designern, einen Beitrag zu Open-Source-Communities leisten und seine Fähigkeiten weiterentwickeln - mit dem Vorteil, dass man unter anderem limitierte Sachpreise gewinnen kann.</p>
<h2 id="Everyone-is-welcome" class="common-anchor-header">Jeder ist willkommen<button data-href="#Everyone-is-welcome" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Es gibt viele Möglichkeiten, zum Milvus-Projekt beizutragen - Sie müssen kein Code-Superstar sein, um mitzumachen! Sie brauchen nicht einmal einen umfangreichen Hintergrund oder eine lange Liste von Fähigkeiten, um mitzuhelfen. Bist du ein großartiger Autor oder Redakteur, super!  Sie erstellen gerne Grafiken oder Illustrationen - perfekt!  Hier finden Sie einige Möglichkeiten, wie Sie während der Veranstaltung einen Beitrag leisten können, sowie eine Liste von GitHub-"Issues", die neue Mitarbeiter in Angriff nehmen können!</p>
<p><a href="https://discuss.milvus.io/t/join-hacktoberfest-2021-with-us/72#how-to-participate-1">Hier</a> findest du die Details.</p>
<h2 id="Contribute-get-noticed--earn-swag" class="common-anchor-header">Beitrag leisten, auffallen &amp; Swag verdienen<button data-href="#Contribute-get-noticed--earn-swag" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/swag_cae44023e8.png" alt="swag" class="doc-image" id="swag" />
   </span> <span class="img-wrapper"> <span>swag</span> </span></p>
<p>Natürlich ist ein Beitrag zu Open Source bzw. zum Konzept von Open Source im Grunde genommen ein Ausdruck von Altruismus, aber ein paar coole Werbegeschenke können auch nicht schaden. Wir haben exklusive Aufkleber, T-Shirts, Tastaturen und sogar eine Drohne zu verschenken! Die Details finden Sie auf unserer <a href="https://discuss.milvus.io/t/join-hacktoberfest-2021-with-us/72#prizes-8">Forumsseite</a>.</p>
<p>DigitalOcean stellt ebenfalls Sachpreise für die Teilnehmer bereit. Die Regeln findest du auf der offiziellen Hacktoberfest-Website.</p>
<h2 id="Whats-next" class="common-anchor-header">Was kommt als Nächstes?<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p>Wir haben kürzlich eine virtuelle Fragerunde zum Hacktoberfest veranstaltet.  Sie können sich die Aufzeichnung <a href="https://www.youtube.com/watch?v=cHjSTEHoiF8">hier</a> ansehen.</p></li>
<li><p>Um an der Veranstaltung teilzunehmen, empfehlen wir Ihnen, auf unserer milvus.io Hacktoberfest-Seite zu beginnen und sich den <a href="https://hacktoberfest.com/">"Quick Start"-Leitfaden</a> anzusehen</p></li>
<li><p>Schauen Sie sich unser <a href="https://github.com/milvus-io">GitHub Repo</a> an (und geben Sie uns einen Stern)!</p></li>
<li><p>Sehen Sie sich unsere Liste der kuratierten <a href="https://github.com/milvus-io/milvus/issues?q=is%3Aopen+is%3Aissue+label%3AHacktoberfest">"Issues"</a> für Teilnehmer an, die Ihnen helfen können, ein Rockstar zu werden!</p></li>
</ul>
<h2 id="Helpful-links" class="common-anchor-header">Hilfreiche Links<button data-href="#Helpful-links" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p><a href="https://hacktoberfest.com/"><strong>Milvus x Hactoberfest Veranstaltungsseite</strong></a></p></li>
<li><p><a href="https://discuss.milvus.io/c/hacktoberfest/9"><strong>Milvus-Diskussionsforum</strong></a> - Treten Sie unserem Milvus-Forum bei, um über Milvus-Veröffentlichungen auf dem Laufenden zu bleiben, sich mit anderen Benutzern auszutauschen und während der Veranstaltung Fragen zu stellen.</p></li>
<li><p><strong>Folgen Sie uns auf <a href="https://twitter.com/milvusio">Twitter</a></strong>, und wenn Ihr Beitrag während der Veranstaltung hervorgehoben wird, können Sie besondere Sachpreise erhalten!</p></li>
</ul>


Jeder ist willkommen

<custom-h1>Kombinieren Sie AI-Modelle für die Bildsuche mit ONNX und Milvus</custom-h1><p>Open Neural Network Exchange (ONNX) ist ein offenes Format, das zur Darstellung von Modellen für maschinelles Lernen entwickelt wurde. Seit seiner Freigabe im Jahr 2017 hat sich ONNX zu einem Standard für KI entwickelt und bietet Bausteine für Modelle für maschinelles Lernen und Deep Learning. ONNX definiert ein gemeinsames Dateiformat, das es KI-Entwicklern ermöglicht, Modelle mit verschiedenen Frameworks, Tools, Laufzeiten und Compilern zu verwenden, und trägt dazu bei, die Innovationsgeschwindigkeit in der Gemeinschaft der künstlichen Intelligenz zu erhöhen.</p>
<p>Milvus ist eine quelloffene Vektordatenbank, die äußerst flexibel, zuverlässig und rasend schnell ist. Sie unterstützt das Hinzufügen, Löschen, Aktualisieren und Suchen von Vektoren nahezu in Echtzeit. Milvus verfügt über ein umfassendes Set an intuitiven APIs und unterstützt mehrere weit verbreitete Indexbibliotheken (z.B. Faiss, NMSLIB und Annoy), was die Indexauswahl für ein bestimmtes Szenario vereinfacht. Milvus ist einfach zu bedienen und wurde bereits in Hunderten von Organisationen und Institutionen weltweit eingesetzt, z. B. bei der Bild-, Audio- und Videosuche, bei Empfehlungen, Chatbots, der Suche nach neuen Medikamenten usw.</p>
<p>In diesem Artikel erfahren Sie, wie Sie mehrere Modelle für die Bildsuche auf der Grundlage von ONNX und Milvus verwenden können. Er nimmt VGG16- und ResNet50-Modelle als Beispiele, verwendet ONNX, um verschiedene KI-Modelle laufen zu lassen, um Merkmalsvektoren zu generieren, und führt schließlich ein Merkmalsvektor-Retrieval in Milvus durch, um ähnliche Bilder zurückzugeben.</p>
<h2 id="Process-Models-with-ONNX" class="common-anchor-header">Modelle mit ONNX verarbeiten<button data-href="#Process-Models-with-ONNX" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Das ONNX-Format kann leicht zwischen KI-Modellen ausgetauscht werden. Zum Beispiel kann das TensorFlow-Modell in das ONNX-Format konvertiert und in der Caffe-Umgebung ausgeführt werden. In diesem Beispiel konvertieren wir das vortrainierte ResNet50-Modell unter dem Keras-Framework in das ONNX-Format und rufen dann das VGG16-Modell im ONNX-Format auf, um verschiedene Modelle zu analysieren.</p>
<pre><code translate="no" class="language-python"><span class="hljs-keyword">from</span> keras.applications.resnet50 <span class="hljs-keyword">import</span> ResNet50
<span class="hljs-keyword">import</span> tensorflow <span class="hljs-keyword">as</span> tf

<span class="hljs-comment"># load keras-resnet50 model and save as a floder</span>
model_resnet50 = ResNet50(include_top=<span class="hljs-literal">False</span>, pooling=<span class="hljs-string">&#x27;max&#x27;</span>, weights=<span class="hljs-string">&#x27;imagenet&#x27;</span>)
tf.saved_model.save(model_resnet50, <span class="hljs-string">&quot;keras_resnet50_model&quot;</span>)

<span class="hljs-comment"># convert resnet50 model to onnx</span>
! python -m tf2onnx.convert --saved-model <span class="hljs-string">&quot;keras_resnet50_model&quot;</span> --output <span class="hljs-string">&quot;onnx_resnet50.onnx&quot;</span>
<button class="copy-code-btn"></button></code></pre>
<p>Hinweis: Wenn wir die Schnittstelle <code translate="no">keras2onnx.convert_keras(model, model.name)</code> verwenden, um das Modell zu konvertieren, gibt sie den Fehler <code translate="no">AttributeError:'KerasTensor' object has no attribute'graph'</code> zurück. Dann können wir den Bash-Befehl von Python zur Konvertierung gemäß der Lösung auf Stack Overflow verwenden.</p>
<h2 id="Extract-Feature-Vectors-using-Models" class="common-anchor-header">Extrahieren von Merkmalsvektoren mit Modellen<button data-href="#Extract-Feature-Vectors-using-Models" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Nach der Konvertierung des ResNet50-Modells in das ONNX-Format können Sie den Merkmalsvektor des Bildes direkt durch die Inferenz extrahieren. Hinweis: Die Feature-Vektoren müssen nach der Extraktion normalisiert werden.</p>
<pre><code translate="no" class="language-python"><span class="hljs-comment"># get the image vectors with onnx model</span>
<span class="hljs-keyword">def</span> <span class="hljs-title function_">get_onnx_vectors</span>(<span class="hljs-params">onnx_model, img_path</span>):
    img = image.load_img(img_path, target_size=(<span class="hljs-number">224</span>, <span class="hljs-number">224</span>))
    x = image.img_to_array(img)
    x = np.expand_dims(x, axis=<span class="hljs-number">0</span>)
    x = preprocess_input(x)
    
    sess = onnxruntime.InferenceSession(onnx_model)
    x = x <span class="hljs-keyword">if</span> <span class="hljs-built_in">isinstance</span>(x, <span class="hljs-built_in">list</span>) <span class="hljs-keyword">else</span> [x]
    feed = <span class="hljs-built_in">dict</span>([(<span class="hljs-built_in">input</span>.name, x[n]) <span class="hljs-keyword">for</span> n, <span class="hljs-built_in">input</span> <span class="hljs-keyword">in</span> <span class="hljs-built_in">enumerate</span>(sess.get_inputs())])
    feat = sess.run(<span class="hljs-literal">None</span>, feed)[<span class="hljs-number">0</span>]
    
    norm_feat = feat[<span class="hljs-number">0</span>] / LA.norm(feat[<span class="hljs-number">0</span>])
    norm_feat = [i.item() <span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> norm_feat]
    <span class="hljs-keyword">return</span> norm_feat
<button class="copy-code-btn"></button></code></pre>
<p>Verwenden Sie ein VGG16-Modell im ONNX-Format, um Bilddaten zu verarbeiten:</p>
<pre><code translate="no" class="language-python"><span class="hljs-comment"># generate vectors with ResNet50 and VGG16 ONNX model</span>
2vec_resnet = get_onnx_vectors(<span class="hljs-string">&quot;onnx_resnet50.onnx&quot;</span>, <span class="hljs-string">&quot;./pic/example.jpg&quot;</span>)
3vec_vgg = get_onnx_vectors(<span class="hljs-string">&quot;onnx_vgg16.onnx&quot;</span>, <span class="hljs-string">&quot;./pic/example.jpg&quot;</span>)
<button class="copy-code-btn"></button></code></pre>
<h2 id="Store-Vector-Data" class="common-anchor-header">Speichern von Vektordaten<button data-href="#Store-Vector-Data" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Unstrukturierte Daten wie Bilder können nicht direkt von einem Computer verarbeitet werden, aber sie können durch ein KI-Modell in Vektoren umgewandelt und dann von einem Computer analysiert werden. Die Milvus-Vektordatenbank ist für die Analyse umfangreicher unstrukturierter Daten ausgelegt. Sie kann Vektordaten speichern und Analysen nahezu in Echtzeit durchführen. Erstellen Sie zunächst eine Sammlung des entsprechenden Modells in Milvus, und fügen Sie dann die Bildvektoren ein.</p>
<pre><code translate="no" class="language-python"><span class="hljs-keyword">from</span> milvus <span class="hljs-keyword">import</span> *

<span class="hljs-comment"># create collections in Milvus</span>
milvus.create_collection(resnet_collection_param)
milvus.create_collection(vgg_collection_param)

<span class="hljs-comment"># insert data to Milvus and return ids</span>
status, resnet_ids = milvus.insert(resnet_collection_name, resnet_vectors)
status, vgg_ids = milvus.insert(vgg_collection_name, vgg_vectors)
<button class="copy-code-btn"></button></code></pre>
<p>Nachdem die Daten erfolgreich eingefügt wurden, gibt Milvus die ID zurück, die dem Vektor entspricht, und dann können wir das Bild anhand der ID finden. Da Milvus 1.1, das in diesem Fall verwendet wird, keine skalare Filterung unterstützt (die Milvus 2.0 jetzt unterstützt), wird Redis verwendet, um die Vektor-ID und den Schlüsselwert des Bildpfads zu speichern.</p>
<pre><code translate="no" class="language-python"><span class="hljs-keyword">import</span> redis
<span class="hljs-keyword">def</span> <span class="hljs-title function_">img_ids_to_redis</span>(<span class="hljs-params">img_directory, res_ids</span>):
  <span class="hljs-keyword">for</span> img, ids <span class="hljs-keyword">in</span> <span class="hljs-built_in">zip</span>(images, res_ids):
    redis.<span class="hljs-built_in">set</span>(ids, img)
<button class="copy-code-btn"></button></code></pre>
<h2 id="Search-for-Similar-Images" class="common-anchor-header">Suche nach ähnlichen Bildern<button data-href="#Search-for-Similar-Images" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Nach dem Speichern der Daten können wir den Vektor abrufen. Milvus unterstützt mehrere Methoden zur Abstandsberechnung, darunter Euklidischer Abstand, Inneres Produkt und Hamming-Abstand. Die Bildähnlichkeitssuche in diesem Artikel verwendet die euklidische Abstandsberechnung zwischen den Vektoren in Milvus, gibt die ähnliche Vektor-ID zurück und findet dann das Bild, das der ID in Redis entspricht.</p>
<pre><code translate="no" class="language-python"><span class="hljs-comment"># search in Milvus and return the similarly results with ids</span>
<span class="hljs-keyword">def</span> <span class="hljs-title function_">search_in_milvus</span>(<span class="hljs-params">collection_name, search_vector</span>):
    status, results = milvus.search(collection_name, TOP_K, [search_vector])
    <span class="hljs-built_in">print</span>(status)
    re_ids = [x.<span class="hljs-built_in">id</span> <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> results[<span class="hljs-number">0</span>]]
    re_distance = [x.distance <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> results[<span class="hljs-number">0</span>]]
    <span class="hljs-keyword">return</span> re_ids, re_distance
    
<span class="hljs-comment"># get the images according the result ids</span>
<span class="hljs-keyword">def</span> <span class="hljs-title function_">get_sim_imgs</span>(<span class="hljs-params">collection_name, search_vector</span>):
    ids, distance = search_in_milvus(collection_name, search_vector)
    img = [red.get(i).decode(<span class="hljs-string">&quot;utf-8&quot;</span>) <span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> ids]
    <span class="hljs-keyword">return</span> ids, distance, img
<button class="copy-code-btn"></button></code></pre>
<p>Anhand der Modelle VGG16 und ResNet50 zeigt dieser Artikel die Verarbeitung mehrerer Modelle durch ONNX und die Kombination mehrerer Modelle mit Milvus für die Suche nach ähnlichen Vektoren, um ähnliche Bilder zu erhalten. Die beiden oben genannten Modelle basieren auf dem Keras-Framework, das schnell Feature-Vektoren extrahieren kann. Aus dem Notebook geht hervor, dass die Ergebnisse der Milvus-Suche nach Bildern im COCO-Datensatz auf der Grundlage dieser beiden Modelle zwar ähnlich sind, ihre euklidischen Abstände aber nicht gleich sind. Sie können auch versuchen, die Suchergebnisse der beiden Modelle mit anderen Datensätzen zu vergleichen.</p>
<p>Milvus ist eine hochleistungsfähige, hochverfügbare Vektordatenbank, die für die Verarbeitung von Merkmalsvektoren aus umfangreichen unstrukturierten Daten verwendet werden kann. Weitere Lösungen finden Sie im <a href="https://github.com/milvus-io/bootcamp">Milvus Bootcamp</a>.</p>
<h2 id="References" class="common-anchor-header">Referenzen<button data-href="#References" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ol>
<li>https://github.com/onnx/onnx</li>
<li>https://onnx.ai/</li>
<li>https://milvus.io/cn/</li>
<li>https://github.com/milvus-io/bootcamp</li>
</ol>
<h3 id="About-author" class="common-anchor-header">Über den Autor</h3><p>Shiyu Chen, Dateningenieurin bei Zilliz, hat einen Abschluss in Informatik von der Xidian Universität. Seit sie bei Zilliz arbeitet, hat sie Lösungen für Milvus in verschiedenen Bereichen erforscht, wie z.B. Audio- und Videoanalyse, Abrufen von Molekülformeln usw., was die Anwendungsszenarien der Gemeinschaft sehr bereichert hat. Derzeit erforscht sie weitere interessante Lösungen. In ihrer Freizeit treibt sie gerne Sport und liest.</p>


Modelle mit ONNX verarbeiten

DiskANN, eine festplattenbasierte ANNS-Lösung mit hohem Recall und hoher QPS auf einem milliardenschweren Datensatz

Überblick

<custom-h1>Klassifizierung von DNA-Sequenzen auf der Grundlage von Milvus</custom-h1><blockquote>
<p>Autorin: Mengjia Gu, Dateningenieurin bei Zilliz, schloss ihr Studium an der McGill University mit einem Master in Informationswissenschaften ab. Ihre Interessen umfassen KI-Anwendungen und Ähnlichkeitssuche mit Vektordatenbanken. Als Mitglied der Community des Open-Source-Projekts Milvus hat sie verschiedene Lösungen wie ein Empfehlungssystem und ein DNA-Sequenz-Klassifizierungsmodell entwickelt und verbessert. Sie genießt Herausforderungen und gibt niemals auf!</p>
</blockquote>
<custom-h1>Einführung</custom-h1><p>Die DNA-Sequenz ist ein beliebtes Konzept sowohl in der akademischen Forschung als auch bei praktischen Anwendungen wie der Rückverfolgbarkeit von Genen, der Identifizierung von Arten und der Diagnose von Krankheiten. Während alle Branchen nach einer intelligenteren und effizienteren Forschungsmethode suchen, hat die künstliche Intelligenz vor allem im biologischen und medizinischen Bereich viel Aufmerksamkeit auf sich gezogen. Immer mehr Wissenschaftler und Forscher leisten einen Beitrag zum maschinellen Lernen und zum Deep Learning in der Bioinformatik. Um experimentelle Ergebnisse überzeugender zu machen, ist eine gängige Option die Vergrößerung der Stichprobe. Die Zusammenarbeit mit Big Data in der Genomik bringt auch in der Realität mehr Möglichkeiten für Anwendungsfälle. Das traditionelle Sequenzalignment hat jedoch Einschränkungen, die es <a href="https://www.frontiersin.org/articles/10.3389/fbioe.2020.01032/full#h5">für große Datenmengen ungeeignet</a> machen. Um in der Realität weniger Kompromisse eingehen zu müssen, ist die Vektorisierung eine gute Wahl für einen großen Datensatz von DNA-Sequenzen.</p>
<p>Die Open-Source-Vektordatenbank <a href="https://milvus.io/docs/v2.0.x/overview.md">Milvus</a> ist für große Datenmengen geeignet. Sie ist in der Lage, Vektoren von Nukleinsäuresequenzen zu speichern und eine hocheffiziente Abfrage durchzuführen. Sie kann auch dazu beitragen, die Kosten für Produktion und Forschung zu senken. Das auf Milvus basierende System zur Klassifizierung von DNA-Sequenzen benötigt nur Millisekunden, um eine Genklassifizierung durchzuführen. Außerdem weist es eine höhere Genauigkeit auf als andere gängige Klassifizierungsverfahren des maschinellen Lernens.</p>
<custom-h1>Verarbeitung der Daten</custom-h1><p>Ein Gen, das genetische Informationen kodiert, besteht aus einem kleinen Abschnitt der DNA-Sequenz, die aus 4 Nukleotidbasen [A, C, G, T] besteht. Im menschlichen Genom gibt es etwa 30.000 Gene, fast 3 Milliarden DNA-Basenpaare, und jedes Basenpaar hat 2 entsprechende Basen. Um verschiedene Verwendungszwecke zu unterstützen, können DNA-Sequenzen in verschiedene Kategorien eingeteilt werden. Um die Kosten zu senken und die Nutzung von Daten mit langen DNA-Sequenzen zu erleichtern, wird <a href="https://en.wikipedia.org/wiki/K-mer#:~:text=Usually%2C%20the%20term%20k%2Dmer,total%20possible%20k%2Dmers%2C%20where">k-mer </a>zur Datenvorverarbeitung eingeführt. Dadurch werden die DNA-Sequenzdaten dem Klartext ähnlicher. Darüber hinaus können vektorisierte Daten die Berechnungen bei der Datenanalyse oder beim maschinellen Lernen beschleunigen.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_a7469e9eac.png" alt="1.png" class="doc-image" id="1.png" />
   </span> <span class="img-wrapper"> <span>1.png</span> </span></p>
<p><strong>k-mer</strong></p>
<p>Die k-mer-Methode wird häufig bei der Vorverarbeitung von DNA-Sequenzen verwendet. Sie extrahiert von jeder Base der ursprünglichen Sequenz einen kleinen Abschnitt der Länge k und wandelt so eine lange Sequenz der Länge s in (s-k+1) kurze Sequenzen der Länge k um. Die Anpassung des Wertes von k verbessert die Leistung des Modells. Listen kurzer Sequenzen sind einfacher für das Lesen der Daten, die Merkmalsextraktion und die Vektorisierung.</p>
<p><strong>Vektorisierung</strong></p>
<p>DNA-Sequenzen werden in Form von Text vektorisiert. Eine durch k-mer transformierte Sequenz wird zu einer Liste kurzer Sequenzen, die wie eine Liste einzelner Wörter in einem Satz aussieht. Daher sollten die meisten Modelle zur Verarbeitung natürlicher Sprache auch für DNA-Sequenzdaten funktionieren. Für das Modelltraining, die Merkmalsextraktion und die Kodierung können ähnliche Methoden angewendet werden. Da jedes Modell seine eigenen Vor- und Nachteile hat, hängt die Auswahl der Modelle von den Merkmalen der Daten und dem Zweck der Forschung ab. CountVectorizer zum Beispiel, ein Bag-of-Words-Modell, implementiert die Merkmalsextraktion durch einfache Tokenisierung. Es setzt keine Begrenzung der Datenlänge, aber das zurückgegebene Ergebnis ist im Hinblick auf den Ähnlichkeitsvergleich weniger offensichtlich.</p>
<custom-h1>Milvus-Demo</custom-h1><p>Milvus kann unstrukturierte Daten problemlos verwalten und die ähnlichsten Ergebnisse unter Billionen von Vektoren innerhalb einer durchschnittlichen Verzögerung von Millisekunden abrufen. Die Ähnlichkeitssuche basiert auf dem ANN-Suchalgorithmus (Approximate Nearest Neighbor). Diese Highlights machen Milvus zu einer großartigen Option für die Verwaltung von Vektoren von DNA-Sequenzen und fördern somit die Entwicklung und Anwendungen der Bioinformatik.</p>
<p>Hier ist eine Demo, die zeigt, wie man ein DNA-Sequenz-Klassifizierungssystem mit Milvus erstellt. Der <a href="https://www.kaggle.com/nageshsingh/dna-sequence-dataset">Versuchsdatensatz </a>umfasst 3 Organismen und 7 Genfamilien. Alle Daten werden mit Hilfe von k-mers in Listen von kurzen Sequenzen umgewandelt. Mit einem vortrainierten CountVectorizer-Modell kodiert das System dann Sequenzdaten in Vektoren. Das folgende Flussdiagramm zeigt die Struktur des Systems und die Prozesse des Einfügens und Suchens.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_ebd89660f6.png" alt="1.png" class="doc-image" id="1.png" />
   </span> <span class="img-wrapper"> <span>1.png</span> </span></p>
<p>Probieren Sie diese Demo im <a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/dna_sequence_classification">Milvus-Bootcamp</a> aus.</p>
<p>In Milvus erstellt das System eine Sammlung und fügt entsprechende Vektoren von DNA-Sequenzen in die Sammlung (oder Partition, falls aktiviert) ein. Bei einer Abfrage gibt Milvus die Abstände zwischen dem Vektor der eingegebenen DNA-Sequenz und den ähnlichsten Ergebnissen in der Datenbank zurück. Die Klasse der Eingabesequenz und die Ähnlichkeit zwischen den DNA-Sequenzen kann durch die Vektorabstände in den Ergebnissen bestimmt werden.</p>
<pre><code translate="no"><span class="hljs-comment"># Insert vectors to Milvus collection (partition &quot;human&quot;)</span>
DNA_human = collection.insert([human_ids, human_vectors], partition_name=<span class="hljs-string">&#x27;human&#x27;</span>)
<span class="hljs-comment"># Search topK results (in partition &quot;human&quot;) for test vectors</span>
res = collection.search(test_vectors, <span class="hljs-string">&quot;vector_field&quot;</span>, search_params, limit=topK, partition_names=[<span class="hljs-string">&#x27;human&#x27;</span>])
<span class="hljs-keyword">for</span> results <span class="hljs-keyword">in</span> res:
    res_ids = results.ids <span class="hljs-comment"># primary keys of topK results</span>
    res_distances = results.distances <span class="hljs-comment"># distances between topK results &amp; search input</span>
<button class="copy-code-btn"></button></code></pre>
<p><strong>Klassifizierung von DNA-Sequenzen</strong>Die Suche nach den ähnlichsten DNA-Sequenzen in Milvus kann auf die Genfamilie einer unbekannten Probe hindeuten und somit Aufschluss über ihre mögliche Funktionalität geben.<a href="https://www.nature.com/scitable/topicpage/gpcr-14047471/"> Wenn eine Sequenz als GPCRs klassifiziert wird, dann hat sie wahrscheinlich Einfluss auf Körperfunktionen. </a>In dieser Demo hat Milvus das System erfolgreich in die Lage versetzt, die Genfamilien der menschlichen DNA-Sequenzen zu identifizieren, mit denen gesucht wurde.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/3_1616da5bb0.png" alt="3.png" class="doc-image" id="3.png" />
   </span> <span class="img-wrapper"> <span>3.png</span> </span> <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/4_d719b22fc7.png" alt="4.png" class="doc-image" id="4.png" /><span>4.png</span> </span></p>
<p><strong>Genetische Ähnlichkeit</strong></p>
<p>Die durchschnittliche DNA-Sequenz-Ähnlichkeit zwischen Organismen zeigt, wie ähnlich sich ihre Genome sind. Die Demo sucht in den menschlichen Daten nach den ähnlichsten DNA-Sequenzen wie die von Schimpansen und Hunden. Dann berechnet und vergleicht sie die durchschnittlichen inneren Produktabstände (0,97 für Schimpansen und 0,70 für Hunde), was beweist, dass Schimpansen mehr ähnliche Gene mit dem Menschen teilen als Hunde. Mit komplexeren Daten und einem komplexeren Systemdesign ist Milvus in der Lage, die Genforschung auch auf höherer Ebene zu unterstützen.</p>
<pre><code translate="no">search_params = {<span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&quot;IP&quot;</span>, <span class="hljs-string">&quot;params&quot;</span>: {<span class="hljs-string">&quot;nprobe&quot;</span>: <span class="hljs-number">20</span>}}
<button class="copy-code-btn"></button></code></pre>
<p><strong>Leistung</strong></p>
<p>In der Demo wird das Klassifizierungsmodell mit 80 % der menschlichen Beispieldaten (insgesamt 3629) trainiert und die restlichen Daten als Testdaten verwendet. Sie vergleicht die Leistung des DNA-Sequenz-Klassifizierungsmodells, das Milvus verwendet, mit dem Modell, das auf Mysql und 5 gängigen Machine-Learning-Klassifizierern basiert. Das auf Milvus basierende Modell übertrifft seine Gegenstücke in der Genauigkeit.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> sklearn.<span class="hljs-property">model_selection</span> <span class="hljs-keyword">import</span> train_test_split
X, y = human_sequence_kmers, human_labels
X_train, X_test, y_train, y_test = <span class="hljs-title function_">train_test_split</span>(X, y, test_size=<span class="hljs-number">0.2</span>, random_state=<span class="hljs-number">42</span>)
<button class="copy-code-btn"></button></code></pre>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_6541a7dec6.png" alt="1.png" class="doc-image" id="1.png" />
   </span> <span class="img-wrapper"> <span>1.png</span> </span></p>
<custom-h1>Weitere Erkundung</custom-h1><p>Mit der Entwicklung der Big-Data-Technologie wird die Vektorisierung von DNA-Sequenzen eine immer wichtigere Rolle in der genetischen Forschung und Praxis spielen. Kombiniert mit professionellem Wissen in der Bioinformatik können verwandte Studien weiter von der Einbeziehung der DNA-Sequenzvektorisierung profitieren. Daher kann Milvus in der Praxis bessere Ergebnisse liefern. Je nach den verschiedenen Szenarien und Bedürfnissen der Benutzer bieten die Ähnlichkeitssuche und die Abstandsberechnung mit Milvus ein großes Potenzial und viele Möglichkeiten.</p>
<ul>
<li><strong>Untersuchung unbekannter Sequenzen</strong>: <a href="https://iopscience.iop.org/article/10.1088/1742-6596/1453/1/012071/pdf">Nach Ansicht einiger Forscher kann die Vektorisierung DNA-Sequenzdaten komprimieren.</a> Gleichzeitig erfordert sie weniger Aufwand, um Struktur, Funktion und Evolution unbekannter DNA-Sequenzen zu untersuchen. Milvus kann eine große Anzahl von DNA-Sequenzvektoren speichern und abrufen, ohne an Genauigkeit zu verlieren.</li>
<li><strong>Geräte anpassen</strong>: Begrenzt durch traditionelle Algorithmen des Sequenzalignments, kann die Ähnlichkeitssuche kaum von der Verbesserung der Geräte<a href="https://www.ncbi.nlm.nih.gov/pmc/articles/PMC7884812/">(</a><a href="https://mjeer.journals.ekb.eg/article_146090.html">CPU/GPU</a>) profitieren. Milvus, das sowohl reguläre CPU-Berechnungen als auch GPU-Beschleunigung unterstützt, löst dieses Problem mit dem Algorithmus der nächsten Nachbarn.</li>
<li><strong>Erkennung von Viren und Rückverfolgung ihrer Herkunft</strong>: <a href="https://www.nature.com/articles/s41586-020-2012-7?fbclid=IwAR2hxnXb9nLWgA8xexEoNrCNH8WHqvHhhbN38aSm48AaH6fTzGMB1BLljf4">Wissenschaftler haben Genomsequenzen verglichen und berichtet, dass das COVID19-Virus, das wahrscheinlich von Fledermäusen stammt, zu SARS-COV gehört</a>. Auf der Grundlage dieser Schlussfolgerung können die Forscher die Stichprobengröße erweitern, um weitere Beweise und Muster zu finden.</li>
<li><strong>Krankheiten diagnostizieren</strong>: In der Klinik könnten Ärzte DNA-Sequenzen zwischen Patienten und Gesunden vergleichen, um krankheitsverursachende Genvarianten zu identifizieren. Es ist möglich, Merkmale zu extrahieren und diese Daten mit geeigneten Algorithmen zu kodieren. Milvus ist in der Lage, Abstände zwischen Vektoren zu ermitteln, die mit Krankheitsdaten in Verbindung gebracht werden können. Neben der Unterstützung der Krankheitsdiagnose kann diese Anwendung auch die Erforschung <a href="https://www.frontiersin.org/articles/10.3389/fgene.2021.680117/full">gezielter Therapien</a> inspirieren.</li>
</ul>
<custom-h1>Erfahren Sie mehr über Milvus</custom-h1><p>Milvus ist ein leistungsstarkes Tool, das eine Vielzahl von Anwendungen für künstliche Intelligenz und Vektorähnlichkeitssuche unterstützt. Wenn Sie mehr über das Projekt erfahren möchten, lesen Sie die folgenden Ressourcen:</p>
<ul>
<li>Lesen Sie unseren <a href="https://milvus.io/blog">Blog</a>.</li>
<li>Interagieren Sie mit unserer Open-Source-Community auf <a href="https://milvusio.slack.com/join/shared_invite/zt-e0u4qu3k-bI2GDNys3ZqX1YCJ9OM~GQ#/shared-invite/email">Slack</a>.</li>
<li>Nutzen Sie die beliebteste Vektordatenbank der Welt auf <a href="https://github.com/milvus-io/milvus/">GitHub</a> oder tragen Sie zu ihr bei.</li>
<li>Testen und implementieren Sie KI-Anwendungen schnell mit unserem neuen <a href="https://github.com/milvus-io/bootcamp">Bootcamp</a>.</li>
</ul>


DNA-Sequenz-Klassifizierung auf der Grundlage von Milvus

Lesen von Papier｜HM-ANN Wenn ANNS auf heterogenen Speicher trifft

Milvus 2.0 definiert die Vektordatenbank neu

<custom-h1>Aufbau eines personalisierten Produktempfehlungssystems mit Vipshop und Milvus</custom-h1><p>Mit dem explosionsartigen Wachstum des Internet-Datenvolumens steigen einerseits die Produktmenge und die Produktkategorien auf den gängigen E-Commerce-Plattformen, andererseits wird es für die Benutzer immer schwieriger, die gewünschten Produkte zu finden.</p>
<p><a href="https://www.vip.com/">Vipshop</a> ist ein führender Online-Discounter für Markenartikel in China. Das Unternehmen bietet Verbrauchern in ganz China hochwertige und beliebte Markenprodukte zu einem erheblichen Preisnachlass gegenüber den Einzelhandelspreisen an. Um das Einkaufserlebnis für seine Kunden zu optimieren, beschloss das Unternehmen, ein personalisiertes Suchempfehlungssystem zu entwickeln, das auf den Schlüsselwörtern der Benutzeranfrage und den Benutzerporträts basiert.</p>
<p>Die Kernfunktion des E-Commerce-Suchempfehlungssystems besteht darin, aus einer großen Anzahl von Produkten geeignete Produkte zu finden und sie den Nutzern entsprechend ihrer Suchabsicht und Präferenz anzuzeigen. In diesem Prozess muss das System die Ähnlichkeit zwischen den Produkten und den Suchintentionen und -präferenzen der Benutzer berechnen und den Benutzern die TopK-Produkte mit der höchsten Ähnlichkeit empfehlen.</p>
<p>Daten wie Produktinformationen, Suchabsichten und Präferenzen der Nutzer sind allesamt unstrukturierte Daten. Wir haben versucht, die Ähnlichkeit solcher Daten mit CosineSimilarity(7.x) der Suchmaschine Elasticsearch (ES) zu berechnen, aber dieser Ansatz hat die folgenden Nachteile</p>
<ul>
<li><p>Lange Rechenzeit - die durchschnittliche Latenzzeit für das Abrufen von TopK-Ergebnissen aus Millionen von Einträgen beträgt etwa 300 ms.</p></li>
<li><p>Hohe Wartungskosten für ES-Indizes - derselbe Satz von Indizes wird sowohl für Warenmerkmalsvektoren als auch für andere verwandte Daten verwendet, was die Indexerstellung kaum erleichtert, aber eine riesige Datenmenge erzeugt.</p></li>
</ul>
<p>Wir haben versucht, unser eigenes lokal sensitives Hash-Plug-in zu entwickeln, um die CosineSimilarity-Berechnung von ES zu beschleunigen. Obwohl die Leistung und der Durchsatz nach der Beschleunigung erheblich verbessert wurden, war die Latenzzeit von 100+ ms immer noch schwierig, um die tatsächlichen Anforderungen an die Online-Produktabfrage zu erfüllen.</p>
<p>Nach einer gründlichen Recherche entschieden wir uns für Milvus, eine Open-Source-Vektordatenbank, die im Vergleich zu der üblicherweise verwendeten eigenständigen Faiss den Vorteil hat, dass sie eine verteilte Bereitstellung, mehrsprachige SDKs und eine Trennung von Lesen und Schreiben unterstützt.</p>
<p>Mithilfe verschiedener Deep-Learning-Modelle wandeln wir massive unstrukturierte Daten in Merkmalsvektoren um und importieren die Vektoren in Milvus. Mit der hervorragenden Leistung von Milvus kann unser E-Commerce-Suchempfehlungssystem effizient die TopK-Vektoren abfragen, die den Zielvektoren ähnlich sind.</p>
<h2 id="Overall-Architecture" class="common-anchor-header">Allgemeine Architektur<button data-href="#Overall-Architecture" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>![Architektur](https://assets.zilliz.com/1_01551e7b2b.jpg &quot;Architektur.) Wie im Diagramm dargestellt, besteht die Gesamtarchitektur des Systems aus zwei Hauptteilen.</p>
<ul>
<li><p>Schreibprozess: Die durch das Deep-Learning-Modell erzeugten Element-Merkmalsvektoren (im Folgenden als Elementvektoren bezeichnet) werden normalisiert und in MySQL geschrieben. MySQL liest dann die verarbeiteten Item-Merkmalsvektoren mithilfe des Datensynchronisierungstools (ETL) und importiert sie in die Vektordatenbank Milvus.</p></li>
<li><p>Lesevorgang: Der Suchdienst erhält die Merkmalsvektoren der Benutzerpräferenzen (im Folgenden als Benutzervektoren bezeichnet) auf der Grundlage der Schlüsselwörter der Benutzerabfrage und der Benutzerporträts, fragt ähnliche Vektoren in Milvus ab und ruft die TopK-Item-Vektoren ab.</p></li>
</ul>
<p>Milvus unterstützt sowohl inkrementelle Datenaktualisierungen als auch vollständige Datenaktualisierungen. Bei jeder inkrementellen Aktualisierung wird der vorhandene Objektvektor gelöscht und ein neuer Objektvektor eingefügt, was bedeutet, dass jede neu aktualisierte Sammlung neu indiziert wird. Dies eignet sich besser für ein Szenario mit mehr Lese- und weniger Schreibvorgängen. Daher wählen wir die Methode der vollständigen Datenaktualisierung. Darüber hinaus dauert es nur wenige Minuten, die gesamten Daten in Stapeln von mehreren Partitionen zu schreiben, was einer Aktualisierung nahezu in Echtzeit entspricht.</p>
<p>Die Milvus-Schreibknoten führen alle Schreibvorgänge durch, einschließlich der Erstellung von Datensammlungen, der Erstellung von Indizes, dem Einfügen von Vektoren usw., und bieten der Öffentlichkeit Dienste mit Schreibdomänennamen an. Milvus-Leseknoten führen alle Lesevorgänge durch und stellen der Öffentlichkeit Dienste mit reinen Lese-Domänennamen zur Verfügung.</p>
<p>Während die aktuelle Version von Milvus das Umschalten von Sammlungsaliasen nicht unterstützt, führen wir Redis ein, um nahtlos zwischen mehreren vollständigen Datensammlungen umzuschalten.</p>
<p>Der Leseknoten muss nur vorhandene Metadateninformationen und Vektordaten oder Indizes aus MySQL, Milvus und dem verteilten Dateisystem GlusterFS lesen, so dass die Lesefähigkeit durch den Einsatz mehrerer Instanzen horizontal erweitert werden kann.</p>
<h2 id="Implementation-Details" class="common-anchor-header">Details zur Implementierung<button data-href="#Implementation-Details" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="Data-Update" class="common-anchor-header">Datenaktualisierung</h3><p>Der Datenaktualisierungsdienst umfasst nicht nur das Schreiben von Vektordaten, sondern auch die Erkennung des Datenvolumens von Vektoren, den Aufbau von Indizes, das Vorladen von Indizes, die Kontrolle von Aliasen, usw. Der Gesamtprozess sieht wie folgt aus. <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/2_6052b01334.jpg" alt="Process" class="doc-image" id="process" /><span>Prozess</span> </span></p>
<ol>
<li><p>Nehmen wir an, dass SammlungA vor dem Aufbau der gesamten Daten einen Datendienst für die Öffentlichkeit bereitstellt und die gesamten Daten, die verwendet werden, an SammlungA gerichtet werden (<code translate="no">redis key1 = CollectionA</code>). Der Zweck des Aufbaus der Gesamtdaten ist die Erstellung einer neuen Sammlung CollectionB.</p></li>
<li><p>Überprüfung der Warendaten - Überprüfung der Positionsnummer der Warendaten in der MySQL-Tabelle, Vergleich der Warendaten mit den vorhandenen Daten in SammlungA. Die Warnung kann nach Menge oder Prozentsatz eingestellt werden. Wenn die eingestellte Menge (Prozentsatz) nicht erreicht wird, werden die gesamten Daten nicht aufgebaut, was als Fehlschlag dieses Aufbauprozesses angesehen wird und den Alarm auslöst; sobald die eingestellte Menge (Prozentsatz) erreicht ist, beginnt der gesamte Datenaufbauprozess.</p></li>
<li><p>Start des Aufbaus der gesamten Daten - Initialisierung des Alias der gesamten Daten, die aufgebaut werden, und Aktualisierung von Redis. Nach der Aktualisierung wird der Alias der gesamten Daten, die erstellt werden, an CollectionB (<code translate="no">redis key2 = CollectionB</code>) weitergeleitet.</p></li>
<li><p>Erstellen Sie eine neue vollständige Sammlung - stellen Sie fest, ob CollectionB existiert. Wenn ja, löschen Sie sie, bevor Sie eine neue Sammlung erstellen.</p></li>
<li><p>Schreiben von Datenstapeln - Berechnen Sie die Partitions-ID der einzelnen Warendaten mit ihrer eigenen ID mithilfe der Modulo-Operation und schreiben Sie die Daten in mehreren Partitionen stapelweise in die neu erstellte Sammlung.</p></li>
<li><p>Erstellen und Vorladen des Index - Erstellen eines Index (<code translate="no">createIndex()</code>) für die neue Sammlung. Die Indexdatei wird auf dem verteilten Speicherserver GlusterFS gespeichert. Das System simuliert automatisch Abfragen auf die neue Sammlung und lädt den Index zum Aufwärmen der Abfrage vor.</p></li>
<li><p>Überprüfung der Sammlungsdaten - Überprüfung der Anzahl der Daten in der neuen Sammlung, Vergleich der Daten mit der bestehenden Sammlung und Festlegen von Alarmen auf der Grundlage der Menge und des Prozentsatzes. Wenn die eingestellte Anzahl (Prozentsatz) nicht erreicht wird, wird die Sammlung nicht umgestellt und der Erstellungsprozess wird als Fehlschlag betrachtet, wodurch der Alarm ausgelöst wird.</p></li>
<li><p>Umschalten der Sammlung - Alias-Kontrolle. Nach der Aktualisierung von Redis wird der gesamte verwendete Datenalias in die SammlungB (<code translate="no">redis key1 = CollectionB</code>) umgeleitet, der ursprüngliche Redis-Schlüssel2 wird gelöscht, und der Erstellungsprozess ist abgeschlossen.</p></li>
</ol>
<h3 id="Data-Recall" class="common-anchor-header">Datenabruf</h3><p>Die Milvus-Partitionsdaten werden mehrmals aufgerufen, um die Ähnlichkeit zwischen den Benutzervektoren, die auf der Grundlage der Schlüsselwörter der Benutzerabfrage und des Benutzerporträts ermittelt wurden, und dem Objektvektor zu berechnen. Nach der Zusammenführung werden die TopK-Objektvektoren zurückgegeben. Der gesamte Arbeitsablauf sieht wie folgt aus: <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/3_93518602b1.jpg" alt="workflow" class="doc-image" id="workflow" /><span>workflow</span>In der </span>folgenden Tabelle sind die wichtigsten an diesem Prozess beteiligten Dienste aufgeführt. Es ist ersichtlich, dass die durchschnittliche Latenzzeit für den Abruf der TopK-Vektoren etwa 30 ms beträgt.</p>
<table>
<thead>
<tr><th><strong>Dienst</strong></th><th><strong>Rolle</strong></th><th><strong>Eingabe-Parameter</strong></th><th><strong>Ausgabe-Parameter</strong></th><th><strong>Antwort-Latenzzeit</strong></th></tr>
</thead>
<tbody>
<tr><td>Erfassung von Benutzervektoren</td><td>Abrufen des Benutzervektors</td><td>Benutzerinfo + Abfrage</td><td>Benutzervektor</td><td>10 ms</td></tr>
<tr><td>Milvus-Suche</td><td>Berechnet die Vektorähnlichkeit und liefert TopK-Ergebnisse</td><td>Benutzer-Vektor</td><td>Element-Vektor</td><td>10 Sekunden</td></tr>
<tr><td>Logik der Zeitplanung</td><td>Gleichzeitiges Abrufen und Zusammenführen von Ergebnissen</td><td>Mehrkanalig abgerufene Item-Vektoren und die Ähnlichkeitsbewertung</td><td>TopK-Elemente</td><td>10 Minuten</td></tr>
</tbody>
</table>
<p><strong>Implementierungsprozess:</strong></p>
<ol>
<li>Basierend auf den Schlüsselwörtern der Benutzerabfrage und dem Benutzerporträt wird der Benutzervektor durch das Deep-Learning-Modell berechnet.</li>
<li>Abrufen des Sammlungsalias der gesamten verwendeten Daten aus Redis currentInUseKeyRef und Abrufen von Milvus CollectionName. Bei diesem Prozess handelt es sich um einen Datensynchronisierungsdienst, d. h. der Alias wird nach der Aktualisierung der gesamten Daten auf Redis umgestellt.</li>
<li>Milvus wird gleichzeitig und asynchron mit dem User-Vektor aufgerufen, um Daten aus verschiedenen Partitionen derselben Sammlung zu erhalten. Milvus berechnet die Ähnlichkeit zwischen dem User-Vektor und dem Item-Vektor und gibt die TopK ähnlichen Item-Vektoren in jeder Partition zurück.</li>
<li>Die aus jeder Partition zurückgegebenen TopK-Element-Vektoren werden zusammengeführt und die Ergebnisse in umgekehrter Reihenfolge der Ähnlichkeitsdistanz geordnet, die mit dem inneren Produkt von IP berechnet wird (je größer die Distanz zwischen den Vektoren, desto ähnlicher sind sie). Die endgültigen TopK-Item-Vektoren werden zurückgegeben.</li>
</ol>
<h2 id="Looking-Ahead" class="common-anchor-header">Ein Blick in die Zukunft<button data-href="#Looking-Ahead" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Gegenwärtig kann die Milvus-basierte Vektorsuche kontinuierlich bei der Suche nach Empfehlungsszenarien eingesetzt werden, und ihre hohe Leistung gibt uns mehr Spielraum bei der Dimensionalität des Modells und der Auswahl des Algorithmus.</p>
<p>Milvus wird eine entscheidende Rolle als Middleware für weitere Szenarien spielen, einschließlich der Erinnerung an die Suche auf der Hauptseite und Empfehlungen für alle Szenarien.</p>
<p>Die drei am meisten erwarteten Funktionen von Milvus für die Zukunft sind folgende</p>
<ul>
<li>Logik für das Umschalten von Sammlungsalias - koordinieren Sie das Umschalten zwischen Sammlungen ohne externe Komponenten.</li>
<li>Filtermechanismus - Milvus v0.11.0 unterstützt den ES DSL-Filtermechanismus nur in der Standalone-Version. Das neu veröffentlichte Milvus 2.0 unterstützt die skalare Filterung und die Trennung von Lesen und Schreiben.</li>
<li>Speicherunterstützung für Hadoop Distributed File System (HDFS) - Das von uns verwendete Milvus v0.10.6 unterstützt nur die POSIX-Dateischnittstelle, und wir haben GlusterFS mit FUSE-Unterstützung als Speicher-Backend eingesetzt. HDFS ist jedoch in Bezug auf Leistung und einfache Skalierung die bessere Wahl.</li>
</ul>
<h2 id="Lessons-Learned-and-Best-Practices" class="common-anchor-header">Lehren und bewährte Praktiken<button data-href="#Lessons-Learned-and-Best-Practices" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ol>
<li>Bei Anwendungen, bei denen Lesevorgänge im Vordergrund stehen, kann eine Lese-Schreib-Trennung die Verarbeitungsleistung erheblich steigern und die Leistung verbessern.</li>
<li>Dem Milvus-Java-Client fehlt ein Mechanismus zur Wiederherstellung der Verbindung, da der vom Rückrufdienst verwendete Milvus-Client im Speicher resident ist. Wir müssen unseren eigenen Verbindungspool aufbauen, um die Verfügbarkeit der Verbindung zwischen dem Java-Client und dem Server durch Heartbeat-Tests sicherzustellen.</li>
<li>Gelegentlich treten bei Milvus langsame Abfragen auf. Dies ist auf eine unzureichende Aufwärmphase der neuen Sammlung zurückzuführen. Durch die Simulation der Abfrage auf die neue Sammlung wird die Indexdatei in den Speicher geladen, um das Aufwärmen des Index zu erreichen.</li>
<li>nlist ist der Indexaufbauparameter und nprobe ist der Abfrageparameter. Sie müssen einen angemessenen Schwellenwert entsprechend Ihrem Geschäftsszenario durch Drucktest-Experimente ermitteln, um ein Gleichgewicht zwischen Abrufleistung und Genauigkeit herzustellen.</li>
<li>Bei einem Szenario mit statischen Daten ist es effizienter, zunächst alle Daten in die Sammlung zu importieren und später Indizes zu erstellen.</li>
</ol>


Allgemeine Architektur

<custom-h1>Audio-Retrieval auf der Grundlage von Milvus</custom-h1><p>Ton ist ein sehr informationsreicher Datentyp. Auch wenn er im Zeitalter von Videoinhalten veraltet erscheinen mag, bleibt Audio für viele Menschen eine primäre Informationsquelle. Trotz des langfristigen Rückgangs der Hörerzahlen haben 83 % der Amerikaner ab 12 Jahren in einer bestimmten Woche im Jahr 2020 terrestrisches Radio (AM/FM) gehört (gegenüber 89 % im Jahr 2019). Im Gegensatz dazu hat die Zahl der Online-Audiohörer in den letzten zwei Jahrzehnten stetig zugenommen, wobei 62 % der Amerikaner laut derselben <a href="https://www.journalism.org/fact-sheet/audio-and-podcasting/">Studie des Pew Research Centers</a> wöchentlich irgendeine Form von Radio hören.</p>
<p>Als Welle hat der Schall vier Eigenschaften: Frequenz, Amplitude, Wellenform und Dauer. In der musikalischen Terminologie werden diese Eigenschaften als Tonhöhe, Dynamik, Klang und Dauer bezeichnet. Geräusche helfen auch Menschen und anderen Tieren, ihre Umwelt wahrzunehmen und zu verstehen, indem sie Hinweise auf den Standort und die Bewegung von Objekten in unserer Umgebung liefern.</p>
<p>Als Informationsträger kann Audio in drei Kategorien eingeteilt werden:</p>
<ol>
<li><strong>Sprache:</strong> Ein Kommunikationsmedium, das aus Wörtern und Grammatik besteht. Mit Spracherkennungsalgorithmen kann Sprache in Text umgewandelt werden.</li>
<li><strong>Musik:</strong> Gesangs- und/oder Instrumentalklänge, die zu einer Komposition aus Melodie, Harmonie, Rhythmus und Klangfarbe kombiniert werden. Musik kann durch eine Partitur dargestellt werden.</li>
<li><strong>Wellenform:</strong> Ein digitales Audiosignal, das durch die Digitalisierung von analogen Klängen gewonnen wird. Wellenformen können Sprache, Musik und natürliche oder synthetische Klänge darstellen.</li>
</ol>
<p>Audio-Retrieval kann zum Durchsuchen und Überwachen von Online-Medien in Echtzeit verwendet werden, um gegen Verstöße gegen Rechte an geistigem Eigentum vorzugehen. Sie spielt auch eine wichtige Rolle bei der Klassifizierung und statistischen Analyse von Audiodaten.</p>
<h2 id="Processing-Technologies" class="common-anchor-header">Verarbeitungstechnologien<button data-href="#Processing-Technologies" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Sprache, Musik und andere generische Klänge haben jeweils einzigartige Merkmale und erfordern unterschiedliche Verarbeitungsmethoden. In der Regel werden Audiodaten in Gruppen unterteilt, die Sprache enthalten, und in Gruppen, die keine Sprache enthalten:</p>
<ul>
<li>Gesprochene Audiodaten werden durch automatische Spracherkennung verarbeitet.</li>
<li>Nicht-sprachliche Audiodaten, wie Musik, Soundeffekte und digitalisierte Sprachsignale, werden mit Hilfe von Audio-Retrieval-Systemen verarbeitet.</li>
</ul>
<p>Dieser Artikel befasst sich mit der Verwendung eines Audio-Retrieval-Systems zur Verarbeitung von Nicht-Sprach-Audiodaten. Die Spracherkennung wird in diesem Artikel nicht behandelt.</p>
<h3 id="Audio-feature-extraction" class="common-anchor-header">Audio-Merkmalsextraktion</h3><p>Die Merkmalsextraktion ist die wichtigste Technologie in Audio-Retrieval-Systemen, da sie die Ähnlichkeitssuche von Audiodaten ermöglicht. Methoden zur Extraktion von Audiomerkmalen werden in zwei Kategorien unterteilt:</p>
<ul>
<li>Traditionelle Modelle zur Extraktion von Audiomerkmalen wie Gaussian Mixture Models (GMMs) und Hidden Markov Models (HMMs);</li>
<li>Modelle zur Extraktion von Audiomerkmalen, die auf Deep Learning basieren, wie z. B. rekurrente neuronale Netze (RNN), Netze mit Langzeitgedächtnis (LSTM), Kodierungs-Dekodierungs-Frameworks, Aufmerksamkeitsmechanismen usw.</li>
</ul>
<p>Auf Deep Learning basierende Modelle haben eine um eine Größenordnung niedrigere Fehlerrate als herkömmliche Modelle und gewinnen daher als Kerntechnologie im Bereich der Audiosignalverarbeitung an Bedeutung.</p>
<p>Audiodaten werden normalerweise durch die extrahierten Audiomerkmale dargestellt. Bei der Suche werden diese Merkmale und Attribute und nicht die Audiodaten selbst gesucht und verglichen. Daher hängt die Effektivität der Audio-Ähnlichkeitssuche weitgehend von der Qualität der Merkmalsextraktion ab.</p>
<p>In diesem Artikel werden <a href="https://github.com/qiuqiangkong/audioset_tagging_cnn">groß angelegte, vortrainierte neuronale Audionetzwerke für die Audio-Mustererkennung (PANNs)</a> verwendet, um Merkmalsvektoren zu extrahieren, die eine mittlere durchschnittliche Genauigkeit (mAP) von 0,439 erreichen (Hershey et al., 2017).</p>
<p>Nach der Extraktion der Merkmalsvektoren der Audiodaten können wir mit Milvus eine leistungsstarke Merkmalsvektoranalyse durchführen.</p>
<h3 id="Vector-similarity-search" class="common-anchor-header">Vektorielle Ähnlichkeitssuche</h3><p><a href="https://milvus.io/">Milvus</a> ist eine Cloud-native Open-Source-Vektordatenbank, die für die Verwaltung von Einbettungsvektoren entwickelt wurde, die von maschinellen Lernmodellen und neuronalen Netzen generiert werden. Sie wird häufig in Szenarien wie Computer Vision, natürliche Sprachverarbeitung, computergestützte Chemie, personalisierte Empfehlungssysteme und mehr eingesetzt.</p>
<p>Das folgende Diagramm zeigt den allgemeinen Prozess der Ähnlichkeitssuche mit Milvus: <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/how_does_milvus_work_6926180543.png" alt="how-does-milvus-work.png" class="doc-image" id="how-does-milvus-work.png" /><span>how-does-milvus-work.png</span> </span></p>
<ol>
<li>Unstrukturierte Daten werden von Deep Learning-Modellen in Merkmalsvektoren umgewandelt und in Milvus eingefügt.</li>
<li>Milvus speichert und indiziert diese Merkmalsvektoren.</li>
<li>Auf Anfrage sucht Milvus die Vektoren, die dem Abfragevektor am ähnlichsten sind, und gibt sie zurück.</li>
</ol>
<h2 id="System-overview" class="common-anchor-header">Überblick über das System<button data-href="#System-overview" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Das Audio-Retrieval-System besteht hauptsächlich aus zwei Teilen: Einfügen (schwarze Linie) und Suchen (rote Linie).</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/audio_retrieval_system_663a911c95.png" alt="audio-retrieval-system.png" class="doc-image" id="audio-retrieval-system.png" />
   </span> <span class="img-wrapper"> <span>audio-retrieval-system.png</span> </span></p>
<p>Der in diesem Projekt verwendete Beispieldatensatz enthält Open-Source-Spielesounds, und der Code ist im <a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/audio_similarity_search">Milvus-Bootcamp</a> ausführlich beschrieben.</p>
<h3 id="Step-1-Insert-data" class="common-anchor-header">Schritt 1: Daten einfügen</h3><p>Nachfolgend finden Sie den Beispielcode zur Erzeugung von Audioeinbettungen mit dem vortrainierten PANNs-Inferenzmodell und zum Einfügen in Milvus, das jeder Vektoreinbettung eine eindeutige ID zuweist.</p>
<pre><code translate="no"><span class="hljs-number">1</span> wav_name, vectors_audio = get_audio_embedding(audio_path)  
<span class="hljs-number">2</span> <span class="hljs-keyword">if</span> vectors_audio:    
<span class="hljs-number">3</span>     embeddings.<span class="hljs-built_in">append</span>(vectors_audio)  
<span class="hljs-number">4</span>     wav_names.<span class="hljs-built_in">append</span>(wav_name)  
<span class="hljs-number">5</span> ids_milvus = insert_vectors(milvus_client, table_name, embeddings)  
<span class="hljs-number">6</span> 
<button class="copy-code-btn"></button></code></pre>
<p>Die zurückgegebenen <strong>ids_milvus</strong> werden dann zusammen mit anderen relevanten Informationen (z.B. <strong>wav_name</strong>) für die Audiodaten in einer MySQL-Datenbank zur weiteren Verarbeitung gespeichert.</p>
<pre><code translate="no">1 get_ids_correlation(ids_milvus, wav_name)  
2 load_data_to_mysql(conn, cursor, table_name)    
3  
<button class="copy-code-btn"></button></code></pre>
<h3 id="Step-2-Audio-search" class="common-anchor-header">Schritt 2: Audio-Suche</h3><p>Milvus berechnet die innere Produktdistanz zwischen den vorgespeicherten Merkmalsvektoren und den Eingabe-Merkmalsvektoren, die aus den abgefragten Audiodaten mit Hilfe des PANNs-Inferenzmodells extrahiert wurden, und gibt die <strong>ids_milvus</strong> ähnlicher Merkmalsvektoren zurück, die den gesuchten Audiodaten entsprechen.</p>
<pre><code translate="no"><span class="hljs-number">1</span> _, vectors_audio = get_audio_embedding(audio_filename)    
<span class="hljs-number">2</span> results = search_vectors(milvus_client, table_name, [vectors_audio], METRIC_TYPE, TOP_K)  
<span class="hljs-number">3</span> ids_milvus = [x.<span class="hljs-built_in">id</span> <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> results[<span class="hljs-number">0</span>]]  
<span class="hljs-number">4</span> audio_name = search_by_milvus_ids(conn, cursor, ids_milvus, table_name)    
<span class="hljs-number">5</span>
<button class="copy-code-btn"></button></code></pre>
<h2 id="API-reference-and-demo" class="common-anchor-header">API-Referenz und Demo<button data-href="#API-reference-and-demo" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="API" class="common-anchor-header">API</h3><p>Dieses Audio-Retrieval-System wurde mit Open-Source-Code entwickelt. Seine Hauptfunktionen sind das Einfügen und Löschen von Audiodaten. Alle APIs können durch Eingabe von <strong>127.0.0.1:<port></strong> /docs in den Browser eingesehen werden.</p>
<h3 id="Demo" class="common-anchor-header">Demo</h3><p>Wir stellen eine <a href="https://zilliz.com/solutions">Live-Demo</a> des Milvus-basierten Audio-Retrieval-Systems online, die Sie mit Ihren eigenen Audiodaten ausprobieren können.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/audio_search_demo_cae60625db.png" alt="audio-search-demo.png" class="doc-image" id="audio-search-demo.png" />
   </span> <span class="img-wrapper"> <span>audio-suche-demo.png</span> </span></p>
<h2 id="Conclusion" class="common-anchor-header">Schlussfolgerung<button data-href="#Conclusion" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Im Zeitalter von Big Data ist das Leben der Menschen voll von Informationen aller Art. Um diese besser zu verstehen, reicht die traditionelle Textsuche nicht mehr aus. Die heutige Information Retrieval Technologie benötigt dringend die Abfrage verschiedener unstrukturierter Datentypen, wie Videos, Bilder und Audio.</p>
<p>Unstrukturierte Daten, die für Computer nur schwer zu verarbeiten sind, können mithilfe von Deep-Learning-Modellen in Merkmalsvektoren umgewandelt werden. Diese umgewandelten Daten können problemlos von Maschinen verarbeitet werden, so dass wir unstrukturierte Daten auf eine Weise analysieren können, die unseren Vorgängern nicht möglich war. Milvus, eine Open-Source-Vektordatenbank, kann die von KI-Modellen extrahierten Merkmalsvektoren effizient verarbeiten und bietet eine Reihe von gängigen Vektorähnlichkeitsberechnungen.</p>
<h2 id="References" class="common-anchor-header">Referenzen<button data-href="#References" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Hershey, S., Chaudhuri, S., Ellis, D.P., Gemmeke, J.F., Jansen, A., Moore, R.C., Plakal, M., Platt, D., Saurous, R.A., Seybold, B. und Slaney, M., 2017, March. CNN-Architekturen für groß angelegte Audioklassifikation. In 2017 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 131-135, 2017</p>
<h2 id="Dont-be-a-stranger" class="common-anchor-header">Don't be a stranger<button data-href="#Dont-be-a-stranger" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p>Finden Sie Milvus auf <a href="https://github.com/milvus-io/milvus/">GitHub</a> oder tragen Sie dazu bei.</p></li>
<li><p>Interagieren Sie mit der Community über <a href="https://join.slack.com/t/milvusio/shared_invite/zt-e0u4qu3k-bI2GDNys3ZqX1YCJ9OM~GQ">Slack</a>.</p></li>
<li><p>Verbinden Sie sich mit uns auf <a href="https://twitter.com/milvusio">Twitter</a>.</p></li>
</ul>


Verarbeitungstechnologien

<custom-h1>MilMil: Ein von Milvus betriebener FAQ-Chatbot, der Fragen über Milvus beantwortet</custom-h1><p>Die Open-Source-Community hat vor kurzem MilMil ins Leben gerufen - einen Milvus-FAQ-Chatbot, der von und für Milvus-Nutzer entwickelt wurde. MilMil ist rund um die Uhr unter <a href="https://milvus.io/">Milvus.io</a> verfügbar, um allgemeine Fragen zu Milvus, der weltweit fortschrittlichsten Open-Source-Vektordatenbank, zu beantworten.</p>
<p>Dieses System zur Beantwortung von Fragen hilft nicht nur dabei, häufige Probleme, auf die Milvus-Benutzer stoßen, schneller zu lösen, sondern identifiziert auch neue Probleme auf der Grundlage von Benutzereingaben. Die Datenbank von MilMil enthält Fragen, die Nutzer gestellt haben, seit das Projekt 2019 erstmals unter einer Open-Source-Lizenz veröffentlicht wurde. Die Fragen werden in zwei Sammlungen gespeichert, eine für Milvus 1.x und früher und eine für Milvus 2.0.</p>
<p>MilMil ist derzeit nur in englischer Sprache verfügbar.</p>
<h2 id="How-does-MilMil-work" class="common-anchor-header">Wie funktioniert MilMil?<button data-href="#How-does-MilMil-work" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>MilMil stützt sich auf das <em>sentence-transformers/paraphrase-mpnet-base-v2-Modell</em>, um Vektordarstellungen der FAQ-Datenbank zu erhalten. Anschließend wird Milvus für die Suche nach Vektorähnlichkeit verwendet, um semantisch ähnliche Fragen zu finden.</p>
<p>Zunächst werden die FAQ-Daten mit BERT, einem Modell zur Verarbeitung natürlicher Sprache (NLP), in semantische Vektoren umgewandelt. Die Einbettungen werden dann in Milvus eingefügt und jeder Frage wird eine eindeutige ID zugewiesen. Schließlich werden die Fragen und Antworten zusammen mit ihren Vektor-IDs in PostgreSQL, eine relationale Datenbank, eingefügt.</p>
<p>Wenn die Benutzer eine Frage einreichen, wandelt das System sie mithilfe von BERT in einen Merkmalsvektor um. Anschließend sucht es in Milvus nach fünf Vektoren, die dem Abfragevektor am ähnlichsten sind, und ruft deren IDs ab. Schließlich werden die Fragen und Antworten, die mit den abgerufenen Vektor-IDs übereinstimmen, an den Benutzer zurückgegeben.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/system_process_dca67a80a6.png" alt="system-process.png" class="doc-image" id="system-process.png" />
   </span> <span class="img-wrapper"> <span>system-process.png</span> </span></p>
<p>Sehen Sie sich das Projekt des <a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/question_answering_system">Fragebeantwortungssystems</a> im Milvus-Bootcamp an, um den Code für die Erstellung von KI-Chatbots zu erkunden.</p>
<h2 id="Ask-MilMil-about-Milvus" class="common-anchor-header">Fragen Sie MilMil über Milvus<button data-href="#Ask-MilMil-about-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Um mit MilMil zu chatten, navigieren Sie zu einer beliebigen Seite auf <a href="https://milvus.io/">Milvus.io</a> und klicken Sie auf das Vogel-Symbol in der unteren rechten Ecke. Geben Sie Ihre Frage in das Texteingabefeld ein und klicken Sie auf Senden. MilMil wird Ihnen innerhalb von Millisekunden antworten! Zusätzlich kann die Dropdown-Liste in der oberen linken Ecke verwendet werden, um zwischen der technischen Dokumentation für verschiedene Versionen von Milvus zu wechseln.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/milvus_chatbot_icon_f3c25708ca.png" alt="milvus-chatbot-icon.png" class="doc-image" id="milvus-chatbot-icon.png" />
   </span> <span class="img-wrapper"> <span>milvus-chatbot-icon.png</span> </span></p>
<p>Nach dem Absenden einer Frage gibt der Bot sofort drei Fragen zurück, die der Frage semantisch ähnlich sind. Sie können auf "Antwort anzeigen" klicken, um mögliche Antworten auf Ihre Frage zu sehen, oder auf "Mehr anzeigen", um weitere Fragen zu Ihrer Suche anzuzeigen. Wenn keine passende Antwort verfügbar ist, klicken Sie auf "Geben Sie hier Ihr Feedback ein", um Ihre Frage zusammen mit einer E-Mail-Adresse zu stellen. Die Hilfe der Milvus-Community wird in Kürze eintreffen!</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/chatbot_UI_0f4a7655d4.png" alt="chatbot_UI.png" class="doc-image" id="chatbot_ui.png" />
   </span> <span class="img-wrapper"> <span>chatbot_UI.png</span> </span></p>
<p>Probieren Sie MilMil aus und lassen Sie uns wissen, was Sie davon halten. Alle Fragen, Kommentare und jede Form von Feedback sind willkommen.</p>
<h2 id="Dont-be-a-stranger" class="common-anchor-header">Seien Sie kein Fremder<button data-href="#Dont-be-a-stranger" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li>Finden Sie Milvus auf <a href="https://github.com/milvus-io/milvus/">GitHub</a> oder tragen Sie dazu bei.</li>
<li>Interagieren Sie mit der Community über <a href="https://join.slack.com/t/milvusio/shared_invite/zt-e0u4qu3k-bI2GDNys3ZqX1YCJ9OM~GQ">Slack</a>.</li>
<li>Verbinden Sie sich mit uns auf <a href="https://twitter.com/milvusio">Twitter</a>.</li>
</ul>


MilMil Ein von Milvus betriebener FAQ-Chatbot, der Fragen über Milvus beantwortet

<custom-h1>Schnelles Testen und Bereitstellen von Vektorsuchlösungen mit dem Milvus 2.0 Bootcamp</custom-h1><p>Mit der Veröffentlichung von Milvus 2.0 hat das Team das <a href="https://github.com/milvus-io/bootcamp">Milvus-Bootcamp</a> überarbeitet. Das neue und verbesserte Bootcamp bietet aktualisierte Anleitungen und leichter nachvollziehbare Codebeispiele für eine Vielzahl von Anwendungsfällen und Implementierungen. Darüber hinaus wurde diese neue Version für <a href="https://milvus.io/blog/milvus2.0-redefining-vector-database.md">Milvus 2.0</a> aktualisiert, eine neu gestaltete Version der weltweit fortschrittlichsten Vektordatenbank.</p>
<h3 id="Stress-test-your-system-against-1M-and-100M-dataset-benchmarks" class="common-anchor-header">Stresstest für Ihr System anhand von 1M- und 100M-Datensatz-Benchmarks</h3><p>Das <a href="https://github.com/milvus-io/bootcamp/tree/master/benchmark_test">Benchmark-Verzeichnis</a> enthält 1 Million und 100 Millionen Vektor-Benchmark-Tests, die zeigen, wie Ihr System auf unterschiedlich große Datensätze reagieren wird.</p>
<p><br/></p>
<h3 id="Explore-and-build-popular-vector-similarity-search-solutions" class="common-anchor-header">Erforschen und erstellen Sie beliebte Lösungen für die Vektorähnlichkeitssuche</h3><p>Das <a href="https://github.com/milvus-io/bootcamp/tree/master/solutions">Lösungsverzeichnis</a> enthält die gängigsten Anwendungsfälle für die Vektorähnlichkeitssuche. Jeder Anwendungsfall enthält eine Notebook-Lösung und eine mit Docker bereitstellbare Lösung. Zu den Anwendungsfällen gehören:</p>
<ul>
<li><a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/reverse_image_search">Bildähnlichkeitssuche</a></li>
<li><a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/video_similarity_search">Video-Ähnlichkeitssuche</a></li>
<li><a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/audio_similarity_search">Audio-Ähnlichkeitssuche</a></li>
<li><a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/recommendation_system">Empfehlungssystem</a></li>
<li><a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/molecular_similarity_search">Molekulare Suche</a></li>
<li><a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/question_answering_system">System zur Beantwortung von Fragen</a></li>
</ul>
<p><br/></p>
<h3 id="Quickly-deploy-a-fully-built-application-on-any-system" class="common-anchor-header">Schnelle Bereitstellung einer vollständig erstellten Anwendung auf einem beliebigen System</h3><p>Bei den Quick-Deployment-Lösungen handelt es sich um Docker-Lösungen, mit denen Benutzer vollständig erstellte Anwendungen auf jedem beliebigen System bereitstellen können. Diese Lösungen eignen sich ideal für kurze Demos, erfordern aber im Vergleich zu Notebooks mehr Arbeit bei der Anpassung und beim Verständnis.</p>
<p><br/></p>
<h3 id="Use-scenario-specific-notebooks-to-easily-deploy-pre-configured-applications" class="common-anchor-header">Verwenden Sie szenariospezifische Notebooks zur einfachen Bereitstellung vorkonfigurierter Anwendungen</h3><p>Die Notebooks enthalten ein einfaches Beispiel für den Einsatz von Milvus zur Lösung eines Problems in einem bestimmten Anwendungsfall. Jedes der Beispiele kann von Anfang bis Ende ausgeführt werden, ohne dass Dateien oder Konfigurationen verwaltet werden müssen. Jedes Notizbuch ist außerdem leicht nachvollziehbar und veränderbar, so dass es sich ideal als Basis für andere Projekte eignet.</p>
<p><br/></p>
<h3 id="Image-similarity-search-notebook-example" class="common-anchor-header">Beispiel für ein Notizbuch zur Bildähnlichkeitssuche</h3><p>Die Ähnlichkeitssuche von Bildern ist eine der Kernideen hinter vielen verschiedenen Technologien, einschließlich autonomer Autos, die Objekte erkennen. In diesem Beispiel wird erklärt, wie man mit Milvus auf einfache Weise Computer-Vision-Programme erstellen kann.</p>
<p>Dieses Notizbuch dreht sich um drei Dinge:</p>
<ul>
<li>Milvus-Server</li>
<li>Redis-Server (für die Speicherung von Metadaten)</li>
<li>Vortrainiertes Resnet-18-Modell.</li>
</ul>
<h4 id="Step-1-Download-required-packages" class="common-anchor-header">Schritt 1: Herunterladen der benötigten Pakete</h4><p>Beginnen Sie mit dem Herunterladen aller für dieses Projekt erforderlichen Pakete. Dieses Notizbuch enthält eine Tabelle, in der die zu verwendenden Pakete aufgelistet sind.</p>
<pre><code translate="no">pip install -r requirements.txt
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-2-Server-startup" class="common-anchor-header">Schritt 2: Starten des Servers</h4><p>Nachdem die Pakete installiert sind, starten Sie die Server und stellen sicher, dass beide ordnungsgemäß laufen. Achten Sie darauf, dass Sie die richtigen Anweisungen zum Starten der <a href="https://milvus.io/docs/v2.0.x/install_standalone-docker.md">Milvus-</a> und <a href="https://hub.docker.com/_/redis">Redis-Server</a> befolgen.</p>
<h4 id="Step-3-Download-project-data" class="common-anchor-header">Schritt 3: Herunterladen von Projektdaten</h4><p>Standardmäßig lädt dieses Notizbuch einen Ausschnitt der VOCImage-Daten als Beispiel herunter, aber jedes Verzeichnis mit Bildern sollte funktionieren, solange es der Dateistruktur folgt, die oben im Notizbuch zu sehen ist.</p>
<pre><code translate="no">! gdown <span class="hljs-string">&quot;https://drive.google.com/u/1/uc?id=1jdudBiUu41kL-U5lhH3ari_WBRXyedWo&amp;export=download&quot;</span>
! tar -xf <span class="hljs-string">&#x27;VOCdevkit.zip&#x27;</span>
! <span class="hljs-built_in">rm</span> <span class="hljs-string">&#x27;VOCdevkit.zip&#x27;</span>
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-4-Connect-to-the-servers" class="common-anchor-header">Schritt 4: Verbindung zu den Servern herstellen</h4><p>In diesem Beispiel laufen die Server auf den Standardports auf dem localhost.</p>
<pre><code translate="no">connections.<span class="hljs-title function_">connect</span>(host=<span class="hljs-string">&quot;127.0.0.1&quot;</span>, port=<span class="hljs-number">19537</span>)
red = redis.<span class="hljs-title class_">Redis</span>(host = <span class="hljs-string">&#x27;127.0.0.1&#x27;</span>, port=<span class="hljs-number">6379</span>, db=<span class="hljs-number">0</span>)
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-5-Create-a-collection" class="common-anchor-header">Schritt 5: Erstellen Sie eine Sammlung</h4><p>Nachdem Sie die Server gestartet haben, erstellen Sie eine Sammlung in Milvus, um alle Vektoren zu speichern. In diesem Beispiel wird die Dimensionsgröße auf 512, die Größe der resnet-18-Ausgabe, und die Ähnlichkeitsmetrik auf den euklidischen Abstand (L2) eingestellt. Milvus unterstützt eine Vielzahl verschiedener <a href="https://milvus.io/docs/v2.0.x/metric.md">Ähnlichkeitsmetriken</a>.</p>
<pre><code translate="no">collection_name = <span class="hljs-string">&quot;image_similarity_search&quot;</span>
dim = <span class="hljs-number">512</span>
default_fields = [
    schema.FieldSchema(name=<span class="hljs-string">&quot;id&quot;</span>, dtype=DataType.INT64, is_primary=<span class="hljs-literal">True</span>, auto_id=<span class="hljs-literal">True</span>),
    schema.FieldSchema(name=<span class="hljs-string">&quot;vector&quot;</span>, dtype=DataType.FLOAT_VECTOR, dim=dim)
]
default_schema = schema.CollectionSchema(fields=default_fields, description=<span class="hljs-string">&quot;Image test collection&quot;</span>)
collection = Collection(name=collection_name, schema=default_schema)
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-6-Build-an-index-for-the-collection" class="common-anchor-header">Schritt 6: Erstellen eines Index für die Sammlung</h4><p>Sobald die Sammlung erstellt ist, erstellen Sie einen Index für sie. In diesem Fall wird der Index IVF_SQ8 verwendet. Dieser Index erfordert den Parameter "nlist", der Milvus mitteilt, wie viele Cluster in jeder Datendatei (Segment) gebildet werden sollen. Verschiedene <a href="https://milvus.io/docs/v2.0.x/index.md">Indizes</a> erfordern verschiedene Parameter.</p>
<pre><code translate="no">default_index = {<span class="hljs-string">&quot;index_type&quot;</span>: <span class="hljs-string">&quot;IVF_SQ8&quot;</span>, <span class="hljs-string">&quot;params&quot;</span>: {<span class="hljs-string">&quot;nlist&quot;</span>: <span class="hljs-number">2048</span>}, <span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&quot;L2&quot;</span>}
collection.<span class="hljs-title function_">create_index</span>(field_name=<span class="hljs-string">&quot;vector&quot;</span>, index_params=default_index)
collection.<span class="hljs-title function_">load</span>()
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-7-Set-up-model-and-data-loader" class="common-anchor-header">Schritt 7: Modell und Datenlader einrichten</h4><p>Nachdem der IVF_SQ8-Index erstellt wurde, richten Sie das neuronale Netz und den Datenlader ein. Das in diesem Beispiel verwendete vortrainierte pytorch resnet-18 verfügt nicht über die letzte Schicht, die Vektoren für die Klassifizierung komprimiert, wodurch wertvolle Informationen verloren gehen können.</p>
<pre><code translate="no">model = torch.hub.load(<span class="hljs-string">&#x27;pytorch/vision:v0.9.0&#x27;</span>, <span class="hljs-string">&#x27;resnet18&#x27;</span>, pretrained=<span class="hljs-literal">True</span>)
encoder = torch.nn.Sequential(*(<span class="hljs-built_in">list</span>(model.children())[:-<span class="hljs-number">1</span>]))
<button class="copy-code-btn"></button></code></pre>
<p>Der Datensatz und der Datenlader müssen so modifiziert werden, dass sie in der Lage sind, die Bilder vorzuverarbeiten und zu stapeln und gleichzeitig die Dateipfade der Bilder bereitzustellen. Dies kann mit einem leicht modifizierten Torchvision-Datenlader erreicht werden. Für die Vorverarbeitung müssen die Bilder beschnitten und normalisiert werden, da das resnet-18-Modell auf eine bestimmte Größe und einen bestimmten Wertebereich trainiert wurde.</p>
<pre><code translate="no">dataset = ImageFolderWithPaths(data_dir, transform=transforms.Compose([
                                                transforms.Resize(256),
                                                transforms.CenterCrop(224),
                                                transforms.ToTensor(),
                                                transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])]))

dataloader = torch.utils.data.DataLoader(dataset, num_workers=0, batch_si
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-8-Insert-vectors-into-the-collection" class="common-anchor-header">Schritt 8: Einfügen von Vektoren in die Sammlung</h4><p>Wenn die Sammlung eingerichtet ist, können die Bilder verarbeitet und in die erstellte Sammlung geladen werden. Zunächst werden die Bilder vom Datenlader gezogen und durch das resnet-18-Modell geleitet. Die resultierenden Vektoreinbettungen werden dann in Milvus eingefügt, das für jeden Vektor eine eindeutige ID zurückgibt. Die Vektor-IDs und Bilddateipfade werden dann als Schlüssel-Wert-Paare in den Redis-Server eingefügt.</p>
<pre><code translate="no">steps = <span class="hljs-built_in">len</span>(dataloader)
step = <span class="hljs-number">0</span>
<span class="hljs-keyword">for</span> inputs, labels, paths <span class="hljs-keyword">in</span> dataloader:
    <span class="hljs-keyword">with</span> torch.no_grad():
        output = encoder(inputs).squeeze()
        output = output.numpy()

    mr = collection.insert([output.tolist()])
    ids = mr.primary_keys
    <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-built_in">len</span>(ids)):
        red.<span class="hljs-built_in">set</span>(<span class="hljs-built_in">str</span>(ids[x]), paths[x])
    <span class="hljs-keyword">if</span> step%<span class="hljs-number">5</span> == <span class="hljs-number">0</span>:
        <span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Insert Step: &quot;</span> + <span class="hljs-built_in">str</span>(step) + <span class="hljs-string">&quot;/&quot;</span> + <span class="hljs-built_in">str</span>(steps))
    step += <span class="hljs-number">1</span>
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-9-Conduct-a-vector-similarity-search" class="common-anchor-header">Schritt 9: Durchführen einer Vektorähnlichkeitssuche</h4><p>Sobald alle Daten in Milvus und Redis eingefügt sind, kann die eigentliche Vektorähnlichkeitssuche durchgeführt werden. In diesem Beispiel werden drei zufällig ausgewählte Bilder aus dem Redis-Server für eine Vektorähnlichkeitssuche herangezogen.</p>
<pre><code translate="no">random_ids = [<span class="hljs-built_in">int</span>(red.randomkey()) <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-number">3</span>)]
search_images = [x.decode(<span class="hljs-string">&quot;utf-8&quot;</span>) <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> red.mget(random_ids)]
<button class="copy-code-btn"></button></code></pre>
<p>Diese Bilder durchlaufen zunächst die gleiche Vorverarbeitung wie in Schritt 7 und werden dann durch das resnet-18-Modell gejagt.</p>
<pre><code translate="no">transform_ops = transforms.Compose([
                transforms.Resize(<span class="hljs-number">256</span>),
                transforms.CenterCrop(<span class="hljs-number">224</span>),
                transforms.ToTensor(),
                transforms.Normalize(mean=[<span class="hljs-number">0.485</span>, <span class="hljs-number">0.456</span>, <span class="hljs-number">0.406</span>], std=[<span class="hljs-number">0.229</span>, <span class="hljs-number">0.224</span>, <span class="hljs-number">0.225</span>])])

embeddings = [transform_ops(Image.<span class="hljs-built_in">open</span>(x)) <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> search_images]
embeddings = torch.stack(embeddings, dim=<span class="hljs-number">0</span>)

<span class="hljs-keyword">with</span> torch.no_grad():
    embeddings = encoder(embeddings).squeeze().numpy()
<button class="copy-code-btn"></button></code></pre>
<p>Anschließend werden die resultierenden Vektoreinbettungen für eine Suche verwendet. Zunächst werden die Suchparameter festgelegt, darunter der Name der zu durchsuchenden Sammlung, nprobe (die Anzahl der zu durchsuchenden Cluster) und top_k (die Anzahl der zurückgegebenen Vektoren). In diesem Beispiel sollte die Suche sehr schnell sein.</p>
<pre><code translate="no">search_params = {<span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&quot;L2&quot;</span>, <span class="hljs-string">&quot;params&quot;</span>: {<span class="hljs-string">&quot;nprobe&quot;</span>: 32}}
start = time.time()
results = collection.search(embeddings, <span class="hljs-string">&quot;vector&quot;</span>, param=search_params, <span class="hljs-built_in">limit</span>=3, <span class="hljs-built_in">expr</span>=None)
end = time.time() - start
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-10-Image-search-results" class="common-anchor-header">Schritt 10: Ergebnisse der Bildsuche</h4><p>Die von den Abfragen zurückgegebenen Vektor-IDs werden verwendet, um die entsprechenden Bilder zu finden. Matplotlib wird dann verwendet, um die Ergebnisse der Bildsuche anzuzeigen.<br/></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/pic1_c8652c7fae.png" alt="pic1.png" class="doc-image" id="pic1.png" />
   </span> <span class="img-wrapper"> <span>pic1.png</span> </span> <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/pic2_355b054161.png" alt="pic2.png" class="doc-image" id="pic2.png" /><span>pic2.png</span> </span> <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/pic3_01780c6aac.png" alt="pic3.png" class="doc-image" id="pic3.png" /><span>pic3.png</span> </span></p>
<p><br/></p>
<h3 id="Learn-how-to-deploy-Milvus-in-different-enviroments" class="common-anchor-header">Erfahren Sie, wie Sie Milvus in verschiedenen Umgebungen einsetzen können</h3><p>Der <a href="https://github.com/milvus-io/bootcamp/tree/master/deployments">Abschnitt "Einsatz"</a> des neuen Bootcamps enthält alle Informationen zur Verwendung von Milvus in verschiedenen Umgebungen und Konfigurationen. Dazu gehören die Bereitstellung von Mishards, die Verwendung von Kubernetes mit Milvus, Lastausgleich und vieles mehr. Für jede Umgebung gibt es eine detaillierte Schritt-für-Schritt-Anleitung, die erklärt, wie man Milvus in dieser Umgebung zum Laufen bringt.</p>
<p><br/></p>
<h3 id="Dont-be-a-stranger" class="common-anchor-header">Seien Sie kein Fremder</h3><ul>
<li>Lesen Sie unseren <a href="https://zilliz.com/blog">Blog</a>.</li>
<li>Interagieren Sie mit unserer Open-Source-Community auf <a href="https://join.slack.com/t/milvusio/shared_invite/zt-e0u4qu3k-bI2GDNys3ZqX1YCJ9OM~GQ">Slack</a>.</li>
<li>Verwenden Sie Milvus, die beliebteste Vektordatenbank der Welt, auf <a href="https://github.com/milvus-io/milvus">Github</a> oder tragen Sie zu ihr bei.</li>
</ul>


Schnelles Testen und Bereitstellen von Vektorsuchlösungen mit dem Milvus 2.0 Bootcamp

<custom-h1>Erstellung einer App zur Kleiderschrank- und Outfitplanung mit Milvus</custom-h1><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/stylepedia_1_5f239a8d48.png" alt="stylepedia-1.png" class="doc-image" id="stylepedia-1.png" />
   </span> <span class="img-wrapper"> <span>stylepedia-1.png</span> </span></p>
<p><a href="http://www.mozat.com/home">Mozat</a> wurde 2003 gegründet und ist ein Start-up-Unternehmen mit Hauptsitz in Singapur und Niederlassungen in China und Saudi-Arabien. Das Unternehmen hat sich auf die Entwicklung von Social-Media-, Kommunikations- und Lifestyle-Anwendungen spezialisiert. <a href="https://stylepedia.com/">Stylepedia</a> ist eine von Mozat entwickelte Kleiderschrank-App, die den Nutzern hilft, neue Stile zu entdecken und sich mit anderen Modebegeisterten zu vernetzen. Zu den wichtigsten Funktionen gehören die Möglichkeit, einen digitalen Kleiderschrank anzulegen, personalisierte Stilempfehlungen, Social-Media-Funktionen und eine Bildersuche, um ähnliche Artikel zu finden, wie man sie online oder im echten Leben gesehen hat.</p>
<p><a href="https://milvus.io">Milvus</a> wird verwendet, um das Bildsuchsystem in Stylepedia zu betreiben. Die App verarbeitet drei Bildtypen: Benutzerbilder, Produktbilder und Modefotos. Jedes Bild kann ein oder mehrere Elemente enthalten, was jede Abfrage noch komplizierter macht. Um nützlich zu sein, muss ein Bildsuchsystem genau, schnell und stabil sein. Diese Eigenschaften bilden eine solide technische Grundlage für die Erweiterung der App um neue Funktionen wie Outfitvorschläge und Empfehlungen für Modeinhalte.</p>
<h2 id="System-overview" class="common-anchor-header">System-Übersicht<button data-href="#System-overview" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/stylepedia_system_process_8e7e2ab3e4.png" alt="stylepedia-system-process.png" class="doc-image" id="stylepedia-system-process.png" />
   </span> <span class="img-wrapper"> <span>stylepedia-system-prozess.png</span> </span></p>
<p>Das Bildsuchsystem ist in eine Offline- und eine Online-Komponente unterteilt.</p>
<p>Offline werden die Bilder vektorisiert und in eine Vektordatenbank (Milvus) eingefügt. Im Daten-Workflow werden relevante Produktbilder und Modefotos mit Hilfe von Objekterkennungs- und Merkmalsextraktionsmodellen in 512-dimensionale Merkmalsvektoren umgewandelt. Die Vektordaten werden dann indiziert und in die Vektordatenbank eingefügt.</p>
<p>Online wird die Bilddatenbank abgefragt und ähnliche Bilder werden dem Nutzer zurückgegeben. Ähnlich wie bei der Offline-Komponente wird ein abgefragtes Bild mit Objekterkennungs- und Merkmalsextraktionsmodellen verarbeitet, um einen Merkmalsvektor zu erhalten. Anhand des Merkmalsvektors sucht Milvus nach ähnlichen TopK-Vektoren und ermittelt die entsprechenden Bild-IDs. Nach der Nachbearbeitung (Filterung, Sortierung usw.) wird schließlich eine Sammlung von Bildern zurückgegeben, die dem abgefragten Bild ähnlich sind.</p>
<h2 id="Implementation" class="common-anchor-header">Implementierung<button data-href="#Implementation" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Die Implementierung gliedert sich in vier Module:</p>
<ol>
<li>Erkennung von Kleidungsstücken</li>
<li>Merkmalsextraktion</li>
<li>Vektorielle Ähnlichkeitssuche</li>
<li>Nachbearbeitung</li>
</ol>
<h3 id="Garment-detection" class="common-anchor-header">Erkennung von Kleidungsstücken</h3><p>Im Modul für die Erkennung von Kleidungsstücken wird <a href="https://pytorch.org/hub/ultralytics_yolov5/">YOLOv5</a>, ein einstufiges, ankerbasiertes Zielerkennungsmodell, als Objekterkennungsmodell verwendet, da es sehr klein ist und in Echtzeit funktioniert. Es bietet vier Modellgrößen (YOLOv5s/m/l/x), wobei jede spezifische Größe Vor- und Nachteile hat. Die größeren Modelle sind leistungsfähiger (höhere Genauigkeit), benötigen aber viel mehr Rechenleistung und laufen langsamer. Da es sich in diesem Fall um relativ große und leicht zu erkennende Objekte handelt, ist das kleinste Modell, YOLOv5s, ausreichend.</p>
<p>Die Kleidungsstücke in jedem Bild werden erkannt und ausgeschnitten, um als Input für das Modell zur Merkmalsextraktion zu dienen, das in der nachfolgenden Verarbeitung verwendet wird. Gleichzeitig sagt das Objekterkennungsmodell auch die Klassifizierung der Kleidungsstücke nach vordefinierten Klassen (Oberteile, Oberbekleidung, Hosen, Röcke, Kleider und Strampler) voraus.</p>
<h3 id="Feature-extraction" class="common-anchor-header">Merkmalsextraktion</h3><p>Der Schlüssel zur Ähnlichkeitssuche ist das Modell zur Merkmalsextraktion. Ausgeschnittene Bilder von Kleidungsstücken werden in 512-dimensionale Fließkomma-Vektoren eingebettet, die ihre Attribute in einem maschinenlesbaren numerischen Datenformat darstellen. Die Methodik des <a href="https://github.com/Joon-Park92/Survey_of_Deep_Metric_Learning">tiefen metrischen Lernens (DML)</a> wird mit <a href="https://arxiv.org/abs/1905.11946">EfficientNet</a> als Backbone-Modell eingesetzt.</p>
<p>Metrisches Lernen zielt darauf ab, ein CNN-basiertes nichtlineares Merkmalsextraktionsmodul (oder einen Encoder) zu trainieren, um den Abstand zwischen den Merkmalsvektoren, die der gleichen Klasse von Proben entsprechen, zu verringern und den Abstand zwischen den Merkmalsvektoren, die verschiedenen Klassen von Proben entsprechen, zu vergrößern. In diesem Szenario bezieht sich die gleiche Klasse von Mustern auf das gleiche Kleidungsstück.</p>
<p>EfficientNet berücksichtigt bei der einheitlichen Skalierung von Netzwerkbreite, -tiefe und -auflösung sowohl Geschwindigkeit als auch Präzision. EfficientNet-B4 wird als Netzwerk zur Merkmalsextraktion verwendet, und die Ausgabe der letzten vollständig verknüpften Schicht sind die Bildmerkmale, die zur Durchführung der Vektorähnlichkeitssuche benötigt werden.</p>
<h3 id="Vector-similarity-search" class="common-anchor-header">Vektorielle Ähnlichkeitssuche</h3><p>Milvus ist eine Open-Source-Vektordatenbank, die das Erstellen, Lesen, Aktualisieren und Löschen (CRUD) von Datensätzen mit einer Größe von einer Billion Byte sowie die Suche in nahezu Echtzeit unterstützt. In Stylepedia wird sie für die groß angelegte Vektorähnlichkeitssuche verwendet, da sie äußerst elastisch, stabil, zuverlässig und blitzschnell ist. Milvus erweitert die Fähigkeiten weit verbreiteter Vektorindexbibliotheken (Faiss, NMSLIB, Annoy usw.) und bietet eine Reihe einfacher und intuitiver APIs, mit denen Benutzer den idealen Indextyp für ein bestimmtes Szenario auswählen können.</p>
<p>Angesichts der Anforderungen des Szenarios und des Datenumfangs verwendeten die Stylepedia-Entwickler die CPU-only-Distribution von Milvus in Kombination mit dem HNSW-Index. Zwei indizierte Sammlungen, eine für Produkte und eine für Modefotografien, wurden erstellt, um verschiedene Anwendungsfunktionalitäten zu unterstützen. Jede Sammlung wird auf der Grundlage der Erkennungs- und Klassifizierungsergebnisse in sechs Partitionen unterteilt, um den Suchbereich einzugrenzen. Milvus führt die Suche auf mehreren Millionen Vektoren in Millisekunden durch und bietet so eine optimale Leistung, während die Entwicklungskosten niedrig gehalten und der Ressourcenverbrauch minimiert werden.</p>
<h3 id="Post-processing" class="common-anchor-header">Nachbearbeitung</h3><p>Um die Ähnlichkeit zwischen den Ergebnissen der Bildsuche und dem gesuchten Bild zu verbessern, verwenden wir Farbfilter und Filter für Schlüsselbegriffe (Ärmellänge, Kleidungslänge, Kragenform usw.), um ungeeignete Bilder herauszufiltern. Darüber hinaus wird ein Algorithmus zur Bewertung der Bildqualität verwendet, um sicherzustellen, dass den Nutzern zuerst die qualitativ besseren Bilder präsentiert werden.</p>
<h2 id="Application" class="common-anchor-header">Anwendung<button data-href="#Application" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="User-uploads-and-image-search" class="common-anchor-header">Benutzer-Uploads und Bildsuche</h3><p>Die Benutzer können Bilder ihrer eigenen Kleidung machen und sie in ihren digitalen Kleiderschrank bei Stylepedia hochladen, um dann die Produktbilder abzurufen, die ihren hochgeladenen Bildern am ähnlichsten sind.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/stylepedia_search_results_0568e20dc0.png" alt="stylepedia-search-results.png" class="doc-image" id="stylepedia-search-results.png" />
   </span> <span class="img-wrapper"> <span>stylepedia-suche-ergebnisse.png</span> </span></p>
<h3 id="Outfit-suggestions" class="common-anchor-header">Outfit-Vorschläge</h3><p>Durch eine Ähnlichkeitssuche in der Stylepedia-Datenbank können die Nutzer Modefotos finden, die ein bestimmtes Kleidungsstück enthalten. Dabei kann es sich um neue Kleidungsstücke handeln, die jemand kaufen möchte, oder um etwas aus der eigenen Kollektion, das anders getragen oder kombiniert werden könnte. Durch die Gruppierung der Artikel, mit denen sie häufig kombiniert werden, werden dann Outfitvorschläge generiert. So kann beispielsweise eine schwarze Bikerjacke mit einer Vielzahl von Kleidungsstücken kombiniert werden, etwa mit einer schwarzen Skinny Jeans. Die Nutzer können dann relevante Modefotos durchsuchen, auf denen diese Kombination in der ausgewählten Formel vorkommt.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/stylepedia_jacket_outfit_e84914da9e.png" alt="stylepedia-jacket-outfit.png" class="doc-image" id="stylepedia-jacket-outfit.png" />
   </span> <span class="img-wrapper"> <span>stylepedia-jacket-outfit.png</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/stylepedia_jacket_snapshot_25f53cc09b.png" alt="stylepedia-jacket-snapshot.png" class="doc-image" id="stylepedia-jacket-snapshot.png" />
   </span> <span class="img-wrapper"> <span>stylepedia-jacke-schnappschuss.png</span> </span></p>
<h3 id="Fashion-photograph-recommendations" class="common-anchor-header">Empfehlungen für Modefotos</h3><p>Auf der Grundlage des Browserverlaufs eines Nutzers, seiner Vorlieben und des Inhalts seines digitalen Kleiderschranks berechnet das System Ähnlichkeiten und bietet maßgeschneiderte Empfehlungen für Modefotos, die von Interesse sein könnten.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/stylepedia_user_wardrobe_6770c856b9.png" alt="stylepedia-user-wardrobe.png" class="doc-image" id="stylepedia-user-wardrobe.png" />
   </span> <span class="img-wrapper"> <span>stylepedia-benutzer-kleiderschrank.png</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/stylepedia_streetsnap_rec_901601a34d.png" alt="stylepedia-streetsnap-rec.png" class="doc-image" id="stylepedia-streetsnap-rec.png" />
   </span> <span class="img-wrapper"> <span>stylepedia-streetsnap-rec.png</span> </span></p>
<p>Durch die Kombination von Deep-Learning- und Computer-Vision-Methoden konnte Mozat ein schnelles, stabiles und genaues System für die Suche nach Bildähnlichkeiten entwickeln, das Milvus nutzt, um verschiedene Funktionen in der Stylepedia-App zu unterstützen.</p>
<h2 id="Dont-be-a-stranger" class="common-anchor-header">Seien Sie kein Fremder<button data-href="#Dont-be-a-stranger" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li>Finden Sie Milvus auf <a href="https://github.com/milvus-io/milvus/">GitHub</a> oder tragen Sie dazu bei.</li>
<li>Interagiere mit der Community über <a href="https://join.slack.com/t/milvusio/shared_invite/zt-e0u4qu3k-bI2GDNys3ZqX1YCJ9OM~GQ">Slack</a>.</li>
<li>Verbinde dich mit uns auf <a href="https://twitter.com/milvusio">Twitter</a>.</li>
</ul>


System-Übersicht

<custom-h1>Aufbau eines Milvus-Clusters auf Basis von JuiceFS</custom-h1><p>Die Zusammenarbeit zwischen Open-Source-Gemeinschaften ist eine magische Sache. Leidenschaftliche, intelligente und kreative Freiwillige sorgen nicht nur dafür, dass Open-Source-Lösungen innovativ bleiben, sondern auch dafür, dass verschiedene Tools auf interessante und nützliche Weise zusammengeführt werden. <a href="https://milvus.io/">Milvus</a>, die weltweit beliebteste Vektordatenbank, und <a href="https://github.com/juicedata/juicefs">JuiceFS</a>, ein gemeinsam genutztes Dateisystem für Cloud-native Umgebungen, wurden von ihren jeweiligen Open-Source-Gemeinschaften in diesem Sinne zusammengeführt. In diesem Artikel wird erklärt, was JuiceFS ist, wie man einen Milvus-Cluster auf der Grundlage des gemeinsamen Dateispeichers JuiceFS aufbaut und welche Leistung die Benutzer von dieser Lösung erwarten können.</p>
<h2 id="What-is-JuiceFS" class="common-anchor-header"><strong>Was ist JuiceFS?</strong><button data-href="#What-is-JuiceFS" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>JuiceFS ist ein leistungsstarkes, quelloffenes, verteiltes POSIX-Dateisystem, das auf Redis und S3 aufgebaut werden kann. Es wurde für Cloud-native Umgebungen entwickelt und unterstützt das Verwalten, Analysieren, Archivieren und Sichern von Daten jeglicher Art. JuiceFS wird häufig für die Lösung von Big-Data-Herausforderungen, den Aufbau von Anwendungen für künstliche Intelligenz (KI) und die Protokollerfassung verwendet. Das System unterstützt auch die gemeinsame Nutzung von Daten durch mehrere Clients und kann direkt als gemeinsamer Speicher in Milvus verwendet werden.</p>
<p>Nachdem die Daten und die zugehörigen Metadaten im Objektspeicher bzw. in <a href="https://redis.io/">Redis</a> persistiert wurden, dient JuiceFS als zustandslose Middleware. Die gemeinsame Nutzung von Daten wird dadurch realisiert, dass verschiedene Anwendungen über eine Standard-Dateisystemschnittstelle nahtlos aneinander andocken können. JuiceFS nutzt Redis, einen Open-Source-In-Memory-Datenspeicher, für die Speicherung von Metadaten. Redis wird verwendet, weil es Atomarität garantiert und hochleistungsfähige Metadatenoperationen bietet. Alle Daten werden über den JuiceFS-Client im Objektspeicher gespeichert. Das Architekturdiagramm sieht wie folgt aus:</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/juicefs_architecture_2023b37a4e.png" alt="juicefs-architecture.png" class="doc-image" id="juicefs-architecture.png" />
   </span> <span class="img-wrapper"> <span>juicefs-architecture.png</span> </span></p>
<h2 id="Build-a-Milvus-cluster-based-on-JuiceFS" class="common-anchor-header"><strong>Aufbau eines Milvus-Clusters auf der Grundlage von JuiceFS</strong><button data-href="#Build-a-Milvus-cluster-based-on-JuiceFS" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Ein mit JuiceFS aufgebauter Milvus-Cluster (siehe nachstehendes Architekturdiagramm) funktioniert durch die Aufteilung von Upstream-Anforderungen mithilfe von Mishards, einer Cluster-Sharding-Middleware, um die Anforderungen kaskadenförmig an seine Untermodule weiterzuleiten. Beim Einfügen von Daten weist Mishards vorgelagerte Anforderungen dem Milvus-Schreibknoten zu, der neu eingefügte Daten in JuiceFS speichert. Beim Lesen von Daten lädt Mishards die Daten aus dem JuiceFS über einen Milvus-Leseknoten zur Verarbeitung in den Speicher und sammelt dann die Ergebnisse der vorgelagerten Teildienste und gibt sie zurück.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/milvus_cluster_built_with_juicefs_3a43cd262c.png" alt="milvus-cluster-built-with-juicefs.png" class="doc-image" id="milvus-cluster-built-with-juicefs.png" />
   </span> <span class="img-wrapper"> <span>milvus-cluster-built-mit-juicefs.png</span> </span></p>
<h3 id="Step-1-Launch-MySQL-service" class="common-anchor-header"><strong>Schritt 1: Starten des MySQL-Dienstes</strong></h3><p>Starten Sie den MySQL-Dienst auf <strong>einem beliebigen</strong> Knoten des Clusters. Einzelheiten finden Sie unter <a href="https://milvus.io/docs/v1.1.0/data_manage.md">Verwalten von Metadaten mit MySQL</a>.</p>
<h3 id="Step-2-Create-a-JuiceFS-file-system" class="common-anchor-header"><strong>Schritt 2: Erstellen eines JuiceFS-Dateisystems</strong></h3><p>Zu Demonstrationszwecken wird das vorkompilierte Binärprogramm JuiceFS verwendet. Laden Sie das richtige <a href="https://github.com/juicedata/juicefs/releases">Installationspaket</a> für Ihr System herunter und befolgen Sie die <a href="https://github.com/juicedata/juicefs-quickstart">JuiceFS-Kurzanleitung</a> für detaillierte Installationsanweisungen. Um ein JuiceFS-Dateisystem zu erstellen, richten Sie zunächst eine Redis-Datenbank für die Speicherung von Metadaten ein. Es wird empfohlen, den Redis-Dienst bei Public Cloud-Bereitstellungen in derselben Cloud wie die Anwendung zu hosten. Richten Sie außerdem einen Objektspeicher für JuiceFS ein. In diesem Beispiel wird Azure Blob Storage verwendet; JuiceFS unterstützt jedoch fast alle Objektdienste. Wählen Sie den Objektspeicherdienst, der den Anforderungen Ihres Szenarios am besten entspricht.</p>
<p>Nachdem Sie den Redis-Dienst und den Objektspeicher konfiguriert haben, formatieren Sie ein neues Dateisystem und hängen JuiceFS in das lokale Verzeichnis ein:</p>
<pre><code translate="no">1 $  <span class="hljs-built_in">export</span> AZURE_STORAGE_CONNECTION_STRING=<span class="hljs-string">&quot;DefaultEndpointsProtocol=https;AccountName=XXX;AccountKey=XXX;EndpointSuffix=core.windows.net&quot;</span>
2 $ ./juicefs format \
3     --storage wasb \
4     --bucket https://&lt;container&gt; \
5     ... \
6     localhost <span class="hljs-built_in">test</span> <span class="hljs-comment">#format</span>
7 $ ./juicefs mount -d localhost ~/jfs  <span class="hljs-comment">#mount</span>
8
<button class="copy-code-btn"></button></code></pre>
<blockquote>
<p>Wenn der Redis-Server nicht lokal ausgeführt wird, ersetzen Sie localhost durch die folgende Adresse: <code translate="no">redis://&lt;user:password&gt;@host:6379/1</code>.</p>
</blockquote>
<p>Wenn die Installation erfolgreich war, gibt JuiceFS die Seite des gemeinsamen Speichers <strong>/root/jfs</strong> zurück.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/installation_success_9d05279ecd.png" alt="installation-success.png" class="doc-image" id="installation-success.png" />
   </span> <span class="img-wrapper"> <span>installation-success.png</span> </span></p>
<h3 id="Step-3-Start-Milvus" class="common-anchor-header"><strong>Schritt 3: Starten Sie Milvus</strong></h3><p>Auf allen Knoten des Clusters sollte Milvus installiert sein, und jeder Milvus-Knoten sollte mit Lese- oder Schreibberechtigung konfiguriert sein. Nur ein Milvus-Knoten kann als Schreibknoten konfiguriert werden, die anderen müssen Leseknoten sein. Setzen Sie zunächst die Parameter der Abschnitte <code translate="no">cluster</code> und <code translate="no">general</code> in der Milvus-Systemkonfigurationsdatei <strong>server_config.yaml</strong>:</p>
<p><strong>Abschnitt</strong> <code translate="no">cluster</code></p>
<table>
<thead>
<tr><th style="text-align:left"><strong>Parameter</strong></th><th style="text-align:left"><strong>Beschreibung</strong></th><th style="text-align:left"><strong>Konfiguration</strong></th></tr>
</thead>
<tbody>
<tr><td style="text-align:left"><code translate="no">enable</code></td><td style="text-align:left">Ob der Clustermodus aktiviert werden soll</td><td style="text-align:left"><code translate="no">true</code></td></tr>
<tr><td style="text-align:left"><code translate="no">role</code></td><td style="text-align:left">Milvus-Bereitstellungsrolle</td><td style="text-align:left"><code translate="no">rw</code>/<code translate="no">ro</code></td></tr>
</tbody>
</table>
<p><strong>Abschnitt</strong> <code translate="no">general</code></p>
<pre><code translate="no"><span class="hljs-comment"># meta_uri is the URI for metadata storage, using MySQL (for Milvus Cluster). Format: mysql://&lt;username:password&gt;@host:port/database</span>
general:
  timezone: UTC+8
  meta_uri: mysql://root:milvusroot@host:3306/milvus
<button class="copy-code-btn"></button></code></pre>
<p>Während der Installation wird der gemeinsam genutzte JuiceFS-Speicherpfad auf <strong>/root/jfs/milvus/db</strong> festgelegt.</p>
<pre><code translate="no">1 <span class="hljs-built_in">sudo</span> docker run -d --name milvus_gpu_1.0.0 --gpus all \
2 -p 19530:19530 \
3 -p 19121:19121 \
4 -v /root/jfs/milvus/db:/var/lib/milvus/db \  <span class="hljs-comment">#/root/jfs/milvus/db is the shared storage path</span>
5 -v /home/<span class="hljs-variable">$USER</span>/milvus/conf:/var/lib/milvus/conf \
6 -v /home/<span class="hljs-variable">$USER</span>/milvus/logs:/var/lib/milvus/logs \
7 -v /home/<span class="hljs-variable">$USER</span>/milvus/wal:/var/lib/milvus/wal \
8 milvusdb/milvus:1.0.0-gpu-d030521-1ea92e
9
<button class="copy-code-btn"></button></code></pre>
<p>Starten Sie nach Abschluss der Installation Milvus und vergewissern Sie sich, dass es ordnungsgemäß gestartet wurde. Starten Sie anschließend den Mishards-Dienst auf <strong>einem der</strong> Knoten im Cluster. Das folgende Bild zeigt einen erfolgreichen Start von Mishards. Weitere Informationen finden Sie in der <a href="https://github.com/milvus-io/bootcamp/tree/new-bootcamp/deployments/juicefs">GitHub-Anleitung</a>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/mishards_launch_success_921695d3a8.png" alt="mishards-launch-success.png" class="doc-image" id="mishards-launch-success.png" />
   </span> <span class="img-wrapper"> <span>mishards-launch-erfolgreich.png</span> </span></p>
<h2 id="Performance-benchmarks" class="common-anchor-header"><strong>Leistungs-Benchmarks</strong><button data-href="#Performance-benchmarks" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Gemeinsame Speicherlösungen werden in der Regel durch Network-Attached-Storage-Systeme (NAS) implementiert. Zu den häufig verwendeten NAS-Systemtypen gehören Network File System (NFS) und Server Message Block (SMB). Öffentliche Cloud-Plattformen bieten im Allgemeinen verwaltete Speicherdienste an, die mit diesen Protokollen kompatibel sind, wie z. B. Amazon Elastic File System (EFS).</p>
<p>Im Gegensatz zu herkömmlichen NAS-Systemen ist JuiceFS auf der Grundlage von FUSE (Filesystem in Userspace) implementiert, wobei alle Lese- und Schreibvorgänge direkt auf der Anwendungsseite stattfinden, was die Zugriffslatenz weiter verringert. JuiceFS verfügt außerdem über einzigartige Funktionen, die in anderen NAS-Systemen nicht zu finden sind, wie z. B. Datenkomprimierung und Caching.</p>
<p>Benchmark-Tests zeigen, dass JuiceFS erhebliche Vorteile gegenüber EFS bietet. Im Metadaten-Benchmark (Abbildung 1) verzeichnet JuiceFS bis zu zehnmal höhere E/A-Operationen pro Sekunde (IOPS) als EFS. Außerdem zeigt der E/A-Durchsatz-Benchmark (Abbildung 2), dass JuiceFS sowohl in Einzel- als auch in Multi-Job-Szenarien besser abschneidet als EFS.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/performance_benchmark_1_b7fcbb4439.png" alt="performance-benchmark-1.png" class="doc-image" id="performance-benchmark-1.png" />
   </span> <span class="img-wrapper"> <span>leistung-benchmark-1.png</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/performance_benchmark_2_e311098123.png" alt="performance-benchmark-2.png" class="doc-image" id="performance-benchmark-2.png" />
   </span> <span class="img-wrapper"> <span>leistung-benchmark-2.png</span> </span></p>
<p>Darüber hinaus zeigen die Benchmark-Tests, dass die Zeit für die erste Abfrage, d. h. die Zeit zum Laden neu eingefügter Daten von der Festplatte in den Speicher, für den JuiceFS-basierten Milvus-Cluster im Durchschnitt nur 0,032 Sekunden beträgt, was darauf hindeutet, dass die Daten fast sofort von der Festplatte in den Speicher geladen werden. Für diesen Test wurde die Abrufzeit für die erste Abfrage mit einer Million Zeilen 128-dimensionaler Vektordaten gemessen, die in Stapeln von 100k in Intervallen von 1 bis 8 Sekunden eingefügt wurden.</p>
<p>JuiceFS ist ein stabiles und zuverlässiges gemeinsames Dateispeichersystem, und der auf JuiceFS aufgebaute Milvus-Cluster bietet sowohl hohe Leistung als auch flexible Speicherkapazität.</p>
<h2 id="Learn-more-about-Milvus" class="common-anchor-header"><strong>Erfahren Sie mehr über Milvus</strong><button data-href="#Learn-more-about-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus ist ein leistungsstarkes Tool, das eine Vielzahl von Anwendungen für künstliche Intelligenz und Vektorähnlichkeitssuche unterstützt. Wenn Sie mehr über das Projekt erfahren möchten, lesen Sie die folgenden Ressourcen:</p>
<ul>
<li>Lesen Sie unseren <a href="https://zilliz.com/blog">Blog</a>.</li>
<li>Interagieren Sie mit unserer Open-Source-Community auf <a href="https://join.slack.com/t/milvusio/shared_invite/zt-e0u4qu3k-bI2GDNys3ZqX1YCJ9OM~GQ">Slack</a>.</li>
<li>Nutzen Sie die beliebteste Vektordatenbank der Welt auf <a href="https://github.com/milvus-io/milvus/">GitHub</a> oder tragen Sie zu ihr bei.</li>
<li>Testen und implementieren Sie KI-Anwendungen schnell mit unserem neuen <a href="https://github.com/milvus-io/bootcamp">Bootcamp</a>.</li>
</ul>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/writer_bio_changjian_gao_68018f7716.png" alt="writer bio-changjian gao.png" class="doc-image" id="writer-bio-changjian-gao.png" />
   </span> <span class="img-wrapper"> <span>Autor bio-changjian gao.png</span> </span> <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/writer_bio_jingjing_jia_a85d1c2e3b.png" alt="writer bio-jingjing jia.png" class="doc-image" id="writer-bio-jingjing-jia.png" /><span>Autor bio-jingjing jia.png</span> </span></p>


Was ist JuiceFS?

<custom-h1>Aufbau eines intelligenten Nachrichtenempfehlungssystems in der Sohu News App</custom-h1><p>Da <a href="https://www.socialmediatoday.com/news/new-research-shows-that-71-of-americans-now-get-news-content-via-social-pl/593255/">71 % der Amerikaner</a> ihre Nachrichtenempfehlungen von sozialen Plattformen beziehen, sind personalisierte Inhalte schnell zu einer Art und Weise geworden, wie neue Medien entdeckt werden. Ganz gleich, ob die Nutzer nach bestimmten Themen suchen oder mit empfohlenen Inhalten interagieren, alles, was sie sehen, wird von Algorithmen optimiert, um die Klickraten (CTR), das Engagement und die Relevanz zu verbessern. Sohu ist eine an der NASDAQ notierte chinesische Online-Medien-, Video-, Such- und Spielegruppe. Es nutzte <a href="https://milvus.io/">Milvus</a>, eine von <a href="https://zilliz.com/">Zilliz</a> entwickelte Open-Source-Vektordatenbank, um eine semantische Vektorsuchmaschine in seiner Nachrichten-App zu entwickeln. In diesem Artikel wird erläutert, wie das Unternehmen mithilfe von Nutzerprofilen die personalisierten Inhaltsempfehlungen im Laufe der Zeit verfeinert und so die Nutzererfahrung und das Engagement verbessert hat.</p>
<h2 id="Recommending-content-using-semantic-vector-search" class="common-anchor-header">Empfehlen von Inhalten mithilfe der semantischen Vektorsuche<button data-href="#Recommending-content-using-semantic-vector-search" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Die Benutzerprofile von Sohu News werden aus dem Browserverlauf erstellt und angepasst, wenn die Benutzer nach Nachrichteninhalten suchen und mit diesen interagieren. Das Empfehlungssystem von Sohu nutzt die semantische Vektorsuche, um relevante Nachrichtenartikel zu finden. Das System ermittelt eine Reihe von Schlagwörtern, von denen erwartet wird, dass sie für jeden Nutzer aufgrund seines Surfverhaltens von Interesse sind. Es sucht dann schnell nach relevanten Artikeln und sortiert die Ergebnisse nach Beliebtheit (gemessen an der durchschnittlichen CTR), bevor es sie den Nutzern anbietet.</p>
<p>Allein die New York Times veröffentlicht <a href="https://www.theatlantic.com/technology/archive/2016/05/how-many-stories-do-newspapers-publish-per-day/483845/">230 Artikel</a> pro Tag, was einen Eindruck von der Menge neuer Inhalte vermittelt, die ein effektives Empfehlungssystem verarbeiten können muss. Die Aufnahme großer Mengen von Nachrichten erfordert eine Ähnlichkeitssuche im Millisekundenbereich und die stündliche Zuordnung von Tags zu neuen Inhalten. Sohu hat sich für Milvus entschieden, weil es riesige Datenmengen effizient und genau verarbeitet, den Speicherverbrauch während der Suche reduziert und Hochleistungsimplementierungen unterstützt.</p>
<h2 id="Understanding-a-news-recommendation-system-workflow" class="common-anchor-header">Verstehen des Arbeitsablaufs eines Nachrichtenempfehlungssystems<button data-href="#Understanding-a-news-recommendation-system-workflow" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Die auf semantischer Vektorsuche basierende Inhaltsempfehlung von Sohu basiert auf dem Deep Structured Semantic Model (DSSM), das zwei neuronale Netze verwendet, um Benutzeranfragen und Nachrichtenartikel als Vektoren darzustellen. Das Modell berechnet die Kosinus-Ähnlichkeit der beiden semantischen Vektoren, dann wird die ähnlichste Gruppe von Nachrichten an den Empfehlungskandidaten-Pool gesendet. Anschließend werden die Nachrichtenartikel auf der Grundlage ihrer geschätzten CTR in eine Rangfolge gebracht, und die Artikel mit der höchsten vorhergesagten Klickrate werden den Nutzern angezeigt.</p>
<h3 id="Encoding-news-articles-into-semantic-vectors-with-BERT-as-service" class="common-anchor-header">Kodierung von Nachrichtenartikeln in semantische Vektoren mit BERT-as-service</h3><p>Um Nachrichtenartikel in semantische Vektoren zu kodieren, verwendet das System das Tool <a href="https://github.com/hanxiao/bert-as-service.git">BERT-as-service</a>. Wenn die Wortzahl eines Inhalts bei Verwendung dieses Modells 512 überschreitet, kommt es während des Einbettungsprozesses zu Informationsverlusten. Um dies zu vermeiden, extrahiert das System zunächst eine Zusammenfassung und kodiert sie in einen 768-dimensionalen semantischen Vektor. Dann werden die beiden relevantesten Themen aus jedem Nachrichtenartikel extrahiert und die entsprechenden vortrainierten Themenvektoren (200 Dimensionen) anhand der Themen-ID identifiziert. Anschließend werden die Themenvektoren in den 768-dimensionalen semantischen Vektor, der aus der Artikelzusammenfassung extrahiert wurde, eingefügt, wodurch ein 968-dimensionaler semantischer Vektor entsteht.</p>
<p>Über Kafta kommen ständig neue Inhalte herein, die in semantische Vektoren umgewandelt werden, bevor sie in die Milvus-Datenbank eingefügt werden.</p>
<h3 id="Extracting-semantically-similar-tags-from-user-profiles-with-BERT-as-service" class="common-anchor-header">Extrahieren semantisch ähnlicher Tags aus Nutzerprofilen mit BERT-as-service</h3><p>Das andere neuronale Netz des Modells ist der semantische Vektor des Nutzers. Semantisch ähnliche Tags (z. B. Coronavirus, Covid, COVID-19, Pandemie, neuartiger Stamm, Lungenentzündung) werden aus Nutzerprofilen auf der Grundlage von Interessen, Suchanfragen und Browserverlauf extrahiert. Die Liste der erfassten Tags wird nach Gewicht sortiert, und die 200 wichtigsten werden in verschiedene semantische Gruppen unterteilt. Permutationen der Tags innerhalb jeder semantischen Gruppe werden verwendet, um neue Tag-Phrasen zu generieren, die dann durch BERT-as-service in semantische Vektoren kodiert werden</p>
<p>Für jedes Benutzerprofil gibt es zu den Tag-Phrasen eine <a href="https://github.com/baidu/Familia">Reihe von Themen</a>, die mit einer Gewichtung versehen sind, die das Interessenniveau des Benutzers angibt. Die beiden wichtigsten Themen aus allen relevanten Themen werden ausgewählt und vom Modell für maschinelles Lernen (ML) kodiert, um in den entsprechenden semantischen Tag-Vektor eingefügt zu werden, wodurch ein 968-dimensionaler semantischer Vektor für den Benutzer entsteht. Selbst wenn das System für verschiedene Nutzer dieselben Tags generiert, wird durch die unterschiedliche Gewichtung der Tags und der zugehörigen Themen sowie die explizite Varianz zwischen den Themenvektoren der einzelnen Nutzer sichergestellt, dass die Empfehlungen einzigartig sind.</p>
<p>Das System ist in der Lage, personalisierte Nachrichtenempfehlungen zu geben, indem es die Kosinusähnlichkeit der semantischen Vektoren berechnet, die sowohl aus den Benutzerprofilen als auch aus den Nachrichtenartikeln extrahiert wurden.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Sohu01_1e466fe0c3.jpg" alt="Sohu01.jpg" class="doc-image" id="sohu01.jpg" />
   </span> <span class="img-wrapper"> <span>Sohu01.jpg</span> </span></p>
<h3 id="Computing-new-semantic-user-profile-vectors-and-inserting-them-to-Milvus" class="common-anchor-header">Berechnen neuer semantischer Benutzerprofilvektoren und Einfügen in Milvus</h3><p>Die Vektoren der semantischen Nutzerprofile werden täglich berechnet, wobei die Daten des vorangegangenen 24-Stunden-Zeitraums am folgenden Abend verarbeitet werden. Die Vektoren werden einzeln in Milvus eingefügt und durchlaufen den Abfrageprozess, um den Benutzern relevante Nachrichtenergebnisse zu liefern. Nachrichteninhalte sind von Natur aus aktuell, so dass die Berechnungen stündlich durchgeführt werden müssen, um einen aktuellen Newsfeed zu generieren, der Inhalte enthält, die eine hohe prognostizierte Klickrate haben und für die Nutzer relevant sind. Die Nachrichteninhalte werden außerdem nach Datum sortiert, und alte Nachrichten werden täglich gelöscht.</p>
<h3 id="Decreasing-semantic-vector-extraction-time-from-days-to-hours" class="common-anchor-header">Verringerung der Zeit für die semantische Vektorextraktion von Tagen auf Stunden</h3><p>Für das Abrufen von Inhalten mit Hilfe semantischer Vektoren müssen täglich zig Millionen von Tag-Phrasen in semantische Vektoren umgewandelt werden. Dies ist ein zeitaufwändiger Prozess, der selbst bei Verwendung von Grafikprozessoren (GPU), die diese Art der Berechnung beschleunigen, Tage in Anspruch nehmen würde. Um dieses technische Problem zu überwinden, müssen die semantischen Vektoren aus der vorherigen Einbettung so optimiert werden, dass beim Auftauchen ähnlicher Tag-Phrasen die entsprechenden semantischen Vektoren direkt abgerufen werden.</p>
<p>Der semantische Vektor des bestehenden Satzes von Tag-Phrasen wird gespeichert, und ein neuer Satz von Tag-Phrasen, der täglich erzeugt wird, wird in MinHash-Vektoren kodiert. Die <a href="https://milvus.io/docs/v1.1.1/metric.md">Jaccard-Distanz</a> wird verwendet, um die Ähnlichkeit zwischen dem MinHash-Vektor der neuen Tag-Phrase und dem gespeicherten Tag-Phrasen-Vektor zu berechnen. Wenn der Jaccard-Abstand einen vordefinierten Schwellenwert überschreitet, werden die beiden Sätze als ähnlich betrachtet. Wenn der Ähnlichkeitsschwellenwert erreicht ist, können neue Phrasen die semantischen Informationen aus früheren Einbettungen nutzen. Tests haben ergeben, dass ein Abstand von über 0,8 in den meisten Fällen eine ausreichende Genauigkeit gewährleistet.</p>
<p>Durch diesen Prozess wird die tägliche Konvertierung der oben erwähnten zig Millionen Vektoren von Tagen auf etwa zwei Stunden reduziert. Obwohl andere Methoden zur Speicherung semantischer Vektoren je nach den spezifischen Projektanforderungen geeigneter sein könnten, ist die Berechnung der Ähnlichkeit zwischen zwei Tag-Phrasen unter Verwendung der Jaccard-Distanz in einer Milvus-Datenbank nach wie vor eine effiziente und genaue Methode für eine Vielzahl von Szenarien.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Sohu02_d50fccc538.jpg" alt="Sohu02.jpg" class="doc-image" id="sohu02.jpg" />
   </span> <span class="img-wrapper"> <span>Sohu02.jpg</span> </span></p>
<h2 id="Overcoming-bad-cases-of-short-text-classification" class="common-anchor-header">Überwindung der "schlechten Fälle" bei der Klassifizierung von Kurztexten<button data-href="#Overcoming-bad-cases-of-short-text-classification" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Bei der Klassifizierung von Nachrichtentexten stehen für kurze Nachrichtenartikel weniger Merkmale zur Verfügung als für längere. Aus diesem Grund versagen Klassifizierungsalgorithmen, wenn Inhalte unterschiedlicher Länge durch denselben Klassifikator laufen. Milvus hilft bei der Lösung dieses Problems, indem es nach mehreren Informationen zur Klassifizierung von Langtexten mit ähnlicher Semantik und zuverlässigen Werten sucht und dann einen Abstimmungsmechanismus verwendet, um die Klassifizierung von Kurztexten zu ändern.</p>
<h3 id="Identifying-and-resolving-misclassified-short-text" class="common-anchor-header">Identifizierung und Beseitigung falsch klassifizierter Kurztexte</h3><p>Die genaue Klassifizierung jedes Nachrichtenartikels ist entscheidend für die Bereitstellung nützlicher Inhaltsempfehlungen. Da kurze Nachrichtenartikel weniger Merkmale aufweisen, führt die Anwendung desselben Klassifikators für Nachrichten unterschiedlicher Länge zu einer höheren Fehlerquote bei der Klassifizierung von Kurztexten. Daher werden BERT-as-service und Milvus eingesetzt, um schnell falsch klassifizierte Kurztexte in Stapeln zu identifizieren, sie korrekt neu zu klassifizieren und dann Stapel von Daten als Korpus für das Training gegen dieses Problem zu verwenden.</p>
<p>BERT-as-service wird verwendet, um eine Gesamtzahl von fünf Millionen langen Nachrichtenartikeln mit einer Klassifikatorbewertung von mehr als 0,9 in semantische Vektoren zu kodieren. Nach dem Einfügen der langen Textartikel in Milvus werden die Kurznachrichten in semantische Vektoren kodiert. Jeder semantische Kurznachrichtenvektor wird zur Abfrage der Milvus-Datenbank verwendet, um die 20 besten Langnachrichtenartikel mit der höchsten Kosinus-Ähnlichkeit zur Ziel-Kurznachricht zu erhalten. Wenn 18 der 20 semantisch ähnlichsten Langnachrichten in der gleichen Klassifizierung erscheinen und diese sich von der der abgefragten Kurznachrichten unterscheidet, wird die Klassifizierung der Kurznachrichten als falsch angesehen und muss an die 18 Langnachrichtenartikel angepasst werden.</p>
<p>Mit diesem Verfahren lassen sich fehlerhafte Klassifizierungen von Kurznachrichten schnell erkennen und korrigieren. Stichprobenstatistiken zeigen, dass die Gesamtgenauigkeit der Textklassifizierung nach der Korrektur der Kurztextklassifizierungen über 95 % liegt. Indem die Klassifizierung von Langtexten mit hoher Zuverlässigkeit zur Korrektur der Klassifizierung von Kurztexten genutzt wird, wird die Mehrheit der fehlerhaften Klassifizierungen in kurzer Zeit korrigiert. Dies bietet auch einen guten Korpus für das Training eines Kurztextklassifikators.</p>
<p>![Sohu03.jpg](https://assets.zilliz.com/Sohu03_a43074cf5f.jpg "Flussdiagramm der Entdeckung von "schlechten Fällen" bei der Kurztextklassifizierung.")</p>
<h2 id="Milvus-can-power-real-time-news-content-recommendation-and-more" class="common-anchor-header">Milvus kann Echtzeitempfehlungen für Nachrichteninhalte und mehr liefern<button data-href="#Milvus-can-power-real-time-news-content-recommendation-and-more" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus hat die Echtzeitleistung des Nachrichtenempfehlungssystems von Sohu erheblich verbessert und auch die Effizienz der Identifizierung von falsch klassifiziertem Kurztext erhöht. Wenn Sie mehr über Milvus und seine verschiedenen Anwendungen erfahren möchten:</p>
<ul>
<li>Lesen Sie unseren <a href="https://zilliz.com/blog">Blog</a>.</li>
<li>Interagieren Sie mit unserer Open-Source-Community auf <a href="https://join.slack.com/t/milvusio/shared_invite/zt-e0u4qu3k-bI2GDNys3ZqX1YCJ9OM~GQ">Slack</a>.</li>
<li>Nutzen Sie die beliebteste Vektordatenbank der Welt auf <a href="https://github.com/milvus-io/milvus/">GitHub</a> oder tragen Sie zu ihr bei.</li>
<li>Testen und implementieren Sie KI-Anwendungen schnell mit unserem neuen <a href="https://github.com/milvus-io/bootcamp">Bootcamp</a>.</li>
</ul>


Empfehlen von Inhalten mithilfe der semantischen Vektorsuche

<custom-h1>2,5-fache Beschleunigung der Kompilierung mit Dependency Decoupling &amp; Testing Containerization</custom-h1><p>Die Kompilierungszeit kann durch komplexe interne und externe Abhängigkeiten, die sich im Laufe des Entwicklungsprozesses entwickeln, sowie durch Änderungen in den Kompilierungsumgebungen, wie z. B. dem Betriebssystem oder den Hardwarearchitekturen, verlängert werden. Die folgenden Probleme können bei der Arbeit an großen KI- oder MLOps-Projekten häufig auftreten:</p>
<p><strong>Langwierige Kompilierung</strong> - Die Code-Integration wird jeden Tag Hunderte Male durchgeführt. Bei Hunderttausenden von Codezeilen kann selbst eine kleine Änderung zu einer vollständigen Kompilierung führen, die normalerweise eine oder mehrere Stunden dauert.</p>
<p><strong>Komplexe Kompilierungsumgebung</strong> - Der Projektcode muss unter verschiedenen Umgebungen kompiliert werden, die unterschiedliche Betriebssysteme (z. B. CentOS und Ubuntu), zugrunde liegende Abhängigkeiten (z. B. GCC, LLVM und CUDA) und Hardwarearchitekturen umfassen. Und die Kompilierung unter einer bestimmten Umgebung funktioniert normalerweise nicht unter einer anderen Umgebung.</p>
<p><strong>Komplexe Abhängigkeiten</strong> - Die Projektkompilierung umfasst mehr als 30 Abhängigkeiten zwischen Komponenten und von Dritten. Die Projektentwicklung führt häufig zu Änderungen in den Abhängigkeiten, was unweigerlich zu Abhängigkeitskonflikten führt. Die Versionskontrolle zwischen den Abhängigkeiten ist so komplex, dass sich eine Versionsaktualisierung von Abhängigkeiten leicht auf andere Komponenten auswirken kann.</p>
<p><strong>Der Download von Abhängigkeiten von Drittanbietern ist langsam oder schlägt fehl</strong> - Netzwerkverzögerungen oder instabile Bibliotheken von Drittanbietern führen zu langsamen Ressourcendownloads oder Zugriffsfehlern, was die Code-Integration erheblich beeinträchtigt.</p>
<p>Durch die Entkopplung von Abhängigkeiten und die Implementierung von Testcontainern ist es uns gelungen, die durchschnittliche Kompilierzeit um 60 % zu senken, während wir an dem Open-Source-Projekt <a href="https://milvus.io/">Milvus</a> zur Ähnlichkeitssuche von Embeddings gearbeitet haben.</p>
<p><br/></p>
<h3 id="Decouple-the-dependencies-of-the-project" class="common-anchor-header">Entkoppeln Sie die Abhängigkeiten des Projekts</h3><p>Die Kompilierung eines Projekts umfasst in der Regel eine große Anzahl von internen und externen Komponentenabhängigkeiten. Je mehr Abhängigkeiten ein Projekt hat, desto komplexer wird es, diese zu verwalten. Je größer die Software wird, desto schwieriger und kostspieliger wird es, die Abhängigkeiten zu ändern oder zu entfernen und die Auswirkungen dieser Änderungen zu ermitteln. Während des gesamten Entwicklungsprozesses ist eine regelmäßige Wartung erforderlich, um sicherzustellen, dass die Abhängigkeiten ordnungsgemäß funktionieren. Schlechte Wartung, komplexe Abhängigkeiten oder fehlerhafte Abhängigkeiten können Konflikte verursachen, die die Entwicklung verlangsamen oder zum Stillstand bringen. In der Praxis kann dies zu verzögerten Ressourcen-Downloads, Zugriffsfehlern, die sich negativ auf die Code-Integration auswirken, und vielem mehr führen. Die Entkopplung von Projektabhängigkeiten kann Defekte abmildern und die Kompilierzeit verkürzen, wodurch Systemtests beschleunigt und die Softwareentwicklung nicht unnötig verlangsamt wird.</p>
<p>Daher empfehlen wir, die Abhängigkeiten in Ihrem Projekt zu entkoppeln:</p>
<ul>
<li>Teilen Sie Komponenten mit komplexen Abhängigkeiten auf</li>
<li>Verwenden Sie verschiedene Repositories für die Versionsverwaltung.</li>
<li>Verwenden Sie Konfigurationsdateien zur Verwaltung von Versionsinformationen, Kompilierungsoptionen, Abhängigkeiten usw.</li>
<li>Fügen Sie die Konfigurationsdateien zu den Komponentenbibliotheken hinzu, damit sie bei der Iteration des Projekts aktualisiert werden.</li>
</ul>
<p><strong>Kompilierungsoptimierung zwischen Komponenten</strong> - Ziehen und kompilieren Sie die entsprechende Komponente entsprechend den Abhängigkeiten und den in den Konfigurationsdateien aufgezeichneten Kompilierungsoptionen. Markieren und verpacken Sie die Ergebnisse der Binärkompilierung und die entsprechenden Manifestdateien und laden Sie sie anschließend in Ihr privates Repository hoch. Wenn an einer Komponente oder den Komponenten, von denen sie abhängt, keine Änderungen vorgenommen werden, geben Sie die Kompilierungsergebnisse gemäß den Manifestdateien wieder. Bei Problemen wie Netzwerkverzögerungen oder instabilen Bibliotheken von Drittanbietern sollten Sie versuchen, ein internes Repository einzurichten oder gespiegelte Repositories zu verwenden.</p>
<p>Um die Kompilierung zwischen Komponenten zu optimieren:</p>
<p>1. erstellen Sie einen Abhängigkeitsbeziehungsgraphen - Verwenden Sie die Konfigurationsdateien in den Komponentenbibliotheken, um einen Abhängigkeitsbeziehungsgraphen zu erstellen. Verwenden Sie die Abhängigkeitsbeziehung, um die Versionsinformationen (Git Branch, Tag und Git Commit ID) und die Kompilierungsoptionen und mehr von sowohl Upstream- als auch Downstream-abhängigen Komponenten abzurufen.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_949dffec32.png" alt="1.png" class="doc-image" id="1.png" />
   </span> <span class="img-wrapper"> <span>1.png</span> </span></p>
<p>2<strong>.check for dependencies</strong> - Generieren Sie Warnungen für zirkuläre Abhängigkeiten, Versionskonflikte und andere Probleme, die zwischen Komponenten auftreten.</p>
<p>3<strong>.flatten dependencies</strong> - Sortieren Sie Abhängigkeiten nach Depth First Search (DFS) und fassen Sie Komponenten mit doppelten Abhängigkeiten zu einem Abhängigkeitsdiagramm zusammen.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/2_45130c55e4.png" alt="2.png" class="doc-image" id="2.png" />
   </span> <span class="img-wrapper"> <span>2.png</span> </span></p>
<p>4.verwenden Sie den MerkleTree-Algorithmus, um einen Hash (Root Hash) zu generieren, der die Abhängigkeiten jeder Komponente auf der Grundlage von Versionsinformationen, Kompilierungsoptionen und mehr enthält. In Kombination mit Informationen wie dem Komponentennamen bildet der Algorithmus ein eindeutiges Tag für jede Komponente.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/3_6a4fcdf4e3.png" alt="3.png" class="doc-image" id="3.png" />
   </span> <span class="img-wrapper"> <span>3.png</span> </span></p>
<p>Auf der Grundlage der eindeutigen Tag-Informationen der Komponente wird geprüft, ob ein entsprechendes Kompilierungsarchiv in der privaten Repo existiert. Wenn ein Kompilierungsarchiv abgerufen wird, entpacken Sie es, um die Manifestdatei für die Wiedergabe zu erhalten; wenn nicht, kompilieren Sie die Komponente, markieren Sie die generierten Kompilierungsobjektdateien und die Manifestdatei und laden Sie sie in die private Repo hoch.</p>
<p><br/></p>
<p><strong>Implementieren Sie Kompilierungsoptimierungen innerhalb von Komponenten</strong> - Wählen Sie ein sprachspezifisches Kompilierungs-Cache-Tool, um die kompilierten Objektdateien zwischenzuspeichern, und laden Sie sie in Ihr privates Repository hoch und speichern Sie sie dort. Wählen Sie für die C/C++-Kompilierung ein Kompilierungs-Cache-Tool wie CCache, um die C/C++-Kompilierungs-Zwischendateien zwischenzuspeichern, und archivieren Sie dann den lokalen CCache-Cache nach der Kompilierung. Solche Kompilier-Cache-Tools zwischenspeichern einfach die geänderten Codedateien eine nach der anderen nach der Kompilierung und kopieren die kompilierten Komponenten der unveränderten Codedatei, damit sie direkt in die endgültige Kompilierung einbezogen werden können. Die Optimierung der Kompilierung innerhalb der Komponenten umfasst die folgenden Schritte:</p>
<ol>
<li>Hinzufügen der erforderlichen Kompilierungsabhängigkeiten zum Dockerfile. Verwenden Sie Hadolint, um Konformitätsprüfungen an Dockerfile durchzuführen, um sicherzustellen, dass das Image den Best Practices von Docker entspricht.</li>
<li>Spiegeln Sie die Kompilierungsumgebung entsprechend der Projekt-Sprint-Version (Version + Build), des Betriebssystems und anderer Informationen.</li>
<li>Führen Sie den gespiegelten Kompilierungsumgebungs-Container aus und übertragen Sie die Image-ID als Umgebungsvariable an den Container. Hier ein Beispielbefehl zum Abrufen der Image-ID: "docker inspect ' - type=image' - format '{{.ID}}' repository/build-env:v0.1-centos7".</li>
<li>Wählen Sie das entsprechende Compile-Cache-Tool: Geben Sie Ihren Containter ein, um Ihre Codes zu integrieren und zu kompilieren, und prüfen Sie in Ihrem privaten Repository, ob ein geeigneter Kompilier-Cache vorhanden ist. Wenn ja, laden Sie ihn herunter und entpacken Sie ihn in das angegebene Verzeichnis. Nachdem alle Komponenten kompiliert wurden, wird der vom Kompilier-Cache-Tool generierte Cache verpackt und in Ihr privates Repository hochgeladen, basierend auf der Projektversion und der Image-ID.</li>
</ol>
<p><br/></p>
<h3 id="Further-compilation-optimization" class="common-anchor-header">Weitere Optimierung der Kompilierung</h3><p>Da unsere ursprüngliche Version zu viel Speicherplatz und Netzwerkbandbreite beansprucht und die Bereitstellung sehr lange dauert, haben wir die folgenden Maßnahmen ergriffen:</p>
<ol>
<li>Wählen Sie das schlankste Basis-Image, um die Image-Größe zu reduzieren, z.B. Alpine, Busybox, etc.</li>
<li>Reduzieren Sie die Anzahl der Bildschichten. Wiederverwendung von Abhängigkeiten so weit wie möglich. Führen Sie mehrere Befehle mit "&amp;&amp;" zusammen.</li>
<li>Bereinigen Sie die Zwischenprodukte bei der Bilderstellung.</li>
<li>Verwenden Sie den Image-Cache, um das Image so weit wie möglich zu erstellen.</li>
</ol>
<p>Mit dem Fortschreiten unseres Projekts stiegen die Festplattennutzung und die Netzwerkressourcen an, da der Kompilierungscache zunahm, während einige der Kompilierungscaches nicht ausgelastet waren. Wir haben daraufhin die folgenden Anpassungen vorgenommen:</p>
<p><strong>Regelmäßiges Bereinigen von Cache-Dateien</strong> - Überprüfen Sie regelmäßig das private Repository (z. B. mithilfe von Skripten) und bereinigen Sie Cache-Dateien, die sich seit einiger Zeit nicht mehr geändert haben oder die nicht häufig heruntergeladen wurden.</p>
<p><strong>Selektives Zwischenspeichern von Kompilaten</strong> - Zwischenspeichern Sie nur ressourcenintensive Kompilate und überspringen Sie das Zwischenspeichern von Kompilaten, die nicht viele Ressourcen benötigen.</p>
<p><br/></p>
<h3 id="Leveraging-containerized-testing-to-reduce-errors-improve-stability-and-reliability" class="common-anchor-header">Nutzung von Containertests zur Reduzierung von Fehlern, Verbesserung der Stabilität und Zuverlässigkeit</h3><p>Codes müssen in verschiedenen Umgebungen kompiliert werden, die eine Vielzahl von Betriebssystemen (z. B. CentOS und Ubuntu), zugrundeliegende Abhängigkeiten (z. B. GCC, LLVM und CUDA) und spezifische Hardwarearchitekturen umfassen. Code, der in einer bestimmten Umgebung erfolgreich kompiliert wurde, schlägt in einer anderen Umgebung fehl. Durch die Ausführung von Tests in Containern wird der Testprozess schneller und genauer.</p>
<p>Die Containerisierung stellt sicher, dass die Testumgebung konsistent ist und eine Anwendung wie erwartet funktioniert. Der containerisierte Testansatz verpackt die Tests als Image-Container und baut eine wirklich isolierte Testumgebung auf. Unsere Tester fanden diesen Ansatz sehr nützlich und konnten die Kompilierzeiten um bis zu 60 % reduzieren.</p>
<p><strong>Sicherstellung einer konsistenten Kompilierumgebung</strong> - Da die kompilierten Produkte empfindlich auf Änderungen in der Systemumgebung reagieren, können auf verschiedenen Betriebssystemen unbekannte Fehler auftreten. Wir müssen den Zwischenspeicher der kompilierten Produkte entsprechend den Änderungen in der Kompilierumgebung kennzeichnen und archivieren, aber diese sind schwer zu kategorisieren. Daher haben wir die Containerisierungstechnologie eingeführt, um die Kompilierumgebung zu vereinheitlichen und solche Probleme zu lösen.</p>
<p><br/></p>
<h3 id="Conclusion" class="common-anchor-header">Schlussfolgerung</h3><p>Durch die Analyse der Projektabhängigkeiten werden in diesem Artikel verschiedene Methoden zur Optimierung der Kompilierung zwischen und innerhalb von Komponenten vorgestellt. Dabei werden Ideen und bewährte Verfahren für den Aufbau einer stabilen und effizienten kontinuierlichen Code-Integration vermittelt. Diese Methoden haben dazu beigetragen, die durch komplexe Abhängigkeiten verursachte langsame Code-Integration zu lösen, Operationen innerhalb des Containers zu vereinheitlichen, um die Konsistenz der Umgebung zu gewährleisten, und die Kompilierungseffizienz durch die Wiedergabe der Kompilierungsergebnisse und die Verwendung von Kompilierungs-Cache-Tools zum Zwischenspeichern der Kompilierungszwischenergebnisse zu verbessern.</p>
<p>Durch diese Maßnahmen konnte die Kompilierzeit des Projekts um durchschnittlich 60 % reduziert werden, was die Gesamteffizienz der Code-Integration erheblich verbessert. In Zukunft werden wir die Kompilierung zwischen und innerhalb von Komponenten weiter parallelisieren, um die Kompilierungszeiten weiter zu reduzieren.</p>
<p><br/></p>
<p><em>Die folgenden Quellen wurden für diesen Artikel verwendet:</em></p>
<ul>
<li>"Entkopplung von Quellbäumen in Komponenten auf Build-Ebene"</li>
<li>"<a href="https://dev.to/brpaz/factors-to-consider-when-adding-third-party-dependencies-to-a-project-46hf">Faktoren, die beim Hinzufügen von Abhängigkeiten von Drittanbietern zu einem Projekt zu berücksichtigen sind</a>"</li>
<li>"<a href="https://queue.acm.org/detail.cfm?id=3344149">Überleben von Software-Abhängigkeiten</a>"</li>
<li>"<a href="https://www.cc.gatech.edu/~beki/t1.pdf">Abhängigkeiten verstehen: Eine Studie über die Koordinationsherausforderungen in der Softwareentwicklung</a>"</li>
</ul>
<p><br/></p>
<h3 id="About-the-author" class="common-anchor-header">Über den Autor</h3><p>Zhifeng Zhang ist ein leitender DevOps-Ingenieur bei Zilliz.com, der an Milvus, einer Open-Source-Vektordatenbank, arbeitet, und autorisierter Dozent der LF Open-Source-Software-Universität in China. Er erhielt seinen Bachelor-Abschluss in Internet of Things (IOT) vom Software Engineering Institute of Guangzhou. Er verbringt seine Karriere mit der Teilnahme an und der Leitung von Projekten in den Bereichen CI/CD, DevOps, IT-Infrastrukturmanagement, Cloud-Native-Toolkit, Containerisierung und Optimierung von Kompilierungsprozessen.</p>


Multimodale semantische Suche mit Bildern und Text