<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Multimodal_Semantic_Search_with_Images_and_Text_180d89d5aa.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>人間として、私たちは感覚を通して世界を解釈する。私たちは音を聞き、画像、映像、テキストを目にし、しばしば互いに重ね合わせる。私たちは、このような複数のモダリティとそれらの関係を通して世界を理解する。人工知能が人間の能力に真に匹敵し、あるいはそれを超えるためには、複数のレンズを通して同時に世界を理解する、これと同じ能力を開発しなければならない。</p>
<p>この投稿とそれに付随するビデオ（近日公開予定）およびノートブックでは、テキストと画像の両方を一緒に処理できるモデルにおける最近のブレークスルーを紹介する。私たちは、単純なキーワードマッチングを超えたセマンティック検索アプリケーションを構築することで、これを実証します - ユーザが求めているものと、彼らが検索しているビジュアルコンテンツとの関係を理解します。</p>
<p>このプロジェクトが特にエキサイティングなのは、Milvusベクトル・データベース、HuggingFaceの機械学習ライブラリ、アマゾンのカスタマー・レビューのデータセットなど、すべてオープンソースのツールで構築されていることだ。ほんの10年前であれば、このようなものを構築するにはかなりの専有リソースが必要だっただろうと考えると、驚くべきことだ。今日、これらの強力なコンポーネントは自由に利用でき、実験する好奇心さえあれば誰でも革新的な方法で組み合わせることができる。</p>
<custom-h1>概要</custom-h1><p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/overview_97a124bc9a.jpg" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>我々のマルチモーダル検索アプリケーションは、<em>retrieve-and-rerank</em>タイプである。RAG（<em>retrieval-augmented-generation</em>）をご存知であれば、非常によく似ているが、最終的な出力は、大規模言語ビジョンモデル（LLVM）によって再ランク付けされた画像のリストである。ユーザーの検索クエリにはテキストと画像の両方が含まれ、ターゲットはベクトル・データベースにインデックスされた画像セットである。このアーキテクチャには、<em>インデックス作成</em>、<em>検索</em>、<em>再ランク付け</em>（「生成」のようなもの）という3つのステップがある。</p>
<h2 id="Indexing" class="common-anchor-header">インデックス作成<button data-href="#Indexing" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>検索アプリケーションは、検索する何かを持っていなければならない。私たちの場合、「Amazon Reviews 2023」データセットの小さなサブセットを使用する。このデータセットには、あらゆる種類の商品に関するAmazonのカスタマーレビューのテキストと画像の両方が含まれている。私たちが構築しているこのようなセマンティック検索は、eコマースサイトの便利な追加機能として想像できるだろう。このノートブックは、適切なデータベースと推論を導入することで、本番サイズまで拡張することができる。</p>
<p>我々のパイプラインの最初の "マジック "は、埋め込みモデルの選択である。私たちは、最近開発された<a href="https://huggingface.co/BAAI/bge-visualized">Visualized BGEと</a>呼ばれるマルチモーダルモデルを使用しています。このモデルは、テキストと画像を一緒に、またはどちらか一方を別々に、同じ空間に埋め込むことができます。このようなモデルは、例えば<a href="https://github.com/google-deepmind/magiclens">MagicLensの</a>ように、最近も開発されている。</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/indexing_1937241be5.jpg" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>上の図は、[ライオンの横向きの画像]と "この正面図 "というテキストを埋め込んだ場合の埋め込みは、[ライオンの正面向きの画像]とテキストを埋め込まない場合の埋め込みに近いことを示しています。同じモデルを、テキスト＋画像の入力にも、画像のみの入力にも（テキストのみの入力にも）用いる。<em>このようにして、モデルは、クエリテキストがクエリ画像とどのように関連しているかというユーザーの意図を理解することができる。</em></p>
<p>我々は、対応するテキストなしで900の商品画像を埋め込み、<a href="https://milvus.io/docs">milvusを</a>使用してベクトルデータベースに埋め込みを保存する。</p>
<h2 id="Retrieval" class="common-anchor-header">検索<button data-href="#Retrieval" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>データベースが構築されたので、ユーザークエリを提供することができる。あるユーザーが次のようなクエリを持ってきたとしよう：「というクエリに[Leopardの画像]を加えたとする。つまり、ヒョウ柄のスマホケースを探しているのです。</p>
<p>ユーザーのクエリのテキストは、"ヒョウの皮 "ではなく、"これ "と言っていることに注意してください。私たちの埋め込みモデルは、"this "とそれが指すものを結びつけることができるに違いない。これは、以前のモデルの反復がこのようなオープンエンドの指示を扱うことができなかったことを考えると、印象的な偉業である。<a href="https://arxiv.org/abs/2403.19651">MagicLensの論文では</a>、さらに例を挙げている。</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Retrieval_ad64f48e49.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>クエリーテキストと画像を共同で埋め込み、ベクトルデータベースの類似性検索を行い、上位9件を返す。結果をヒョウのクエリー画像とともに上図に示す。上位のヒットはクエリに最も関連するものではないようだ。7番目の結果が最も関連性が高いようで、ヒョウの皮がプリントされた電話カバーである。</p>
<h2 id="Generation" class="common-anchor-header">世代<button data-href="#Generation" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>一番上の結果が最も関連性の高いものではないという点で、検索は失敗したようだ。しかし、再ランク付けのステップでこれを修正することができる。多くのRAGパイプラインにおいて、検索されたアイテムの再ランク付けは重要なステップであることはご存知だろう。我々は<a href="https://huggingface.co/microsoft/Phi-3-vision-128k-instruct">Phi-3 Visionを</a>リランカーモデルとして使用する。</p>
<p>まず、LLVMにクエリー画像のキャプションを生成するよう依頼する。LLVMは次のように出力する：</p>
<p><em>「この画像はヒョウの顔のクローズアップで、斑点のある毛並みと緑色の目に焦点を当てています。</em></p>
<p>次に、このキャプションと、9つの結果とクエリ画像を含む1つの画像を与え、モデルに結果の再ランク付けを依頼するテキストプロンプトを構築し、答えをリストとして与え、最も一致するものを選択する理由を提供する。</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Generation_b016a6c26a.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>出力は上の図のように視覚化され、最も関連性の高いアイテムがトップマッチになりました：</p>
<p><em>"最も適切なアイテムはヒョウをテーマにしたもので、同じようなテーマのスマホケースを求めるユーザーのクエリ指示にマッチしています。"</em></p>
<p>我々のLLVMリランカーは、画像とテキストを横断して理解を行い、検索結果の関連性を向上させることができた。<em>興味深い成果として、再ランカーは8つの結果しか与えず、1つ落としていることがある。これはガードレールと構造化出力の必要性を強調している。</em></p>
<h2 id="Summary" class="common-anchor-header">まとめ<button data-href="#Summary" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>この投稿とそれに付随するビデオ（近日公開予定）と<a href="https://github.com/milvus-io/bootcamp/blob/master/bootcamp/tutorials/quickstart/multimodal_retrieval_amazon_reviews.ipynb">ノートブックでは</a>、テキストと画像を横断するマルチモーダルな意味検索のためのアプリケーションを構築した。埋め込みモデルは、テキストと画像を同じ空間に一緒に、あるいは別々に埋め込むことができ、基礎モデルは、テキストと画像を入力し、それに対してテキストを生成することができた。<em>重要なのは、埋め込みモデルは、自由形式の指示というユーザーの意図をクエリー画像に関連付けることができ、そうすることで、ユーザーが結果を入力画像にどのように関連付けたいかを指定できたことである。</em></p>
<p>これは、近い将来に起こることのほんの一例に過ぎない。画像、ビデオ、音声、分子、ソーシャルネットワーク、表データ、時系列データなど、その可能性は無限である。</p>
<p>そして、これらのシステムの中核にあるのが、システムの外部「メモリ」を保持するベクトル・データベースである。Milvusはこの目的に最適である。<a href="https://milvus.io/blog/get-started-with-hybrid-semantic-full-text-search-with-milvus-2-5.md">Milvusは</a>オープンソースで、十分な機能を備えており（<a href="https://milvus.io/blog/get-started-with-hybrid-semantic-full-text-search-with-milvus-2-5.md">Milvus 2.5の全文検索についてはこちらの記事を</a>参照）、ウェブスケールのトラフィックと100ミリ秒以下のレイテンシで数十億のベクトルまで効率的にスケールする。<a href="https://milvus.io/docs">Milvusのドキュメントで</a>詳細を確認し、私たちの<a href="https://milvus.io/discord">Discord</a>コミュニティに参加し、次回の<a href="https://lu.ma/unstructured-data-meetup">Unstructured Data meetupで</a>お会いできることを楽しみにしています。それではまた！</p>
<h2 id="Resources" class="common-anchor-header">リソース<button data-href="#Resources" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p>ノートブック「<a href="https://github.com/milvus-io/bootcamp/blob/master/bootcamp/tutorials/quickstart/multimodal_retrieval_amazon_reviews.ipynb">Amazon ReviewsとLLVM Rerankingによるマルチモーダル検索</a>"</p></li>
<li><p>Youtube AWS Developersビデオ（近日公開予定）</p></li>
<li><p><a href="https://milvus.io/docs">Milvusドキュメント</a></p></li>
<li><p><a href="https://lu.ma/unstructured-data-meetup">非構造化データミートアップ</a></p></li>
<li><p>埋め込みモデル<a href="https://huggingface.co/BAAI/bge-visualized">可視化されたBGEモデルカード</a></p></li>
<li><p>他の埋め込みモデル<a href="https://github.com/google-deepmind/magiclens">MagicLensモデルレポ</a></p></li>
<li><p>LLVM：<a href="https://huggingface.co/microsoft/Phi-3-vision-128k-instruct">Phi-3 Visionモデルカード</a></p></li>
<li><p>論文"<a href="https://arxiv.org/abs/2403.19651">MagicLens：オープンエンド命令による自己教師付き画像検索</a>"</p></li>
<li><p>データセット<a href="https://amazon-reviews-2023.github.io/">アマゾンレビュー2023</a></p></li>
</ul>


画像とテキストによるマルチモーダル意味検索

Milvusの始め方

<p>今や誰もが、ハイブリッド検索が<a href="https://zilliz.com/learn/Retrieval-Augmented-Generation">RAG</a>（Retrieval-Augmented Generation）検索の品質を向上させたことを知っている。<a href="https://zilliz.com/learn/sparse-and-dense-embeddings">密な埋め込み</a>検索は、クエリと文書間の深い意味的関係を捕らえる上で素晴らしい能力を示しているが、まだ顕著な限界がある。これには、説明可能性の欠如や、ロングテールのクエリや希少な用語に対する最適なパフォーマンスなどがある。</p>
<p>多くのRAGアプリケーションは、事前に訓練されたモデルにはドメイン固有の知識が欠けていることが多いため、苦戦している。シナリオによっては、単純なBM25キーワードマッチがこれらの洗練されたモデルを凌駕することもある。そこでハイブリッド検索がそのギャップを埋め、密なベクトル検索の意味理解とキーワードマッチングの精度を組み合わせます。</p>
<h2 id="Why-Hybrid-Search-is-Complex-in-Production" class="common-anchor-header">ハイブリッド検索が本番で複雑な理由<button data-href="#Why-Hybrid-Search-is-Complex-in-Production" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><a href="https://zilliz.com/learn/LangChain">LangChainや</a> <a href="https://zilliz.com/learn/getting-started-with-llamaindex">LlamaIndexの</a>ようなフレームワークでは、概念実証のハイブリッド検索を簡単に構築することができますが、膨大なデータセットでの実運用へのスケーリングは困難です。従来のアーキテクチャでは、ベクターデータベースと検索エンジンを別々に構築する必要があり、いくつかの重要な課題がありました：</p>
<ul>
<li><p>高いインフラ維持コストと運用の複雑さ</p></li>
<li><p>複数のシステムにまたがるデータの冗長性</p></li>
<li><p>困難なデータの一貫性管理</p></li>
<li><p>システム間の複雑なセキュリティとアクセス制御</p></li>
</ul>
<p>システムの複雑さとコストを削減しながら、字句検索と意味検索をサポートする統一されたソリューションが求められている。</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/elasticsearch_vs_milvus_5be6e2b69e.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<h2 id="The-Pain-Points-of-Elasticsearch" class="common-anchor-header">Elasticsearchの問題点<button data-href="#The-Pain-Points-of-Elasticsearch" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Elasticsearchは、過去10年間で最も影響力のあるオープンソースの検索プロジェクトの1つです。Apache Luceneをベースに構築され、その高いパフォーマンス、スケーラビリティ、分散アーキテクチャによって人気を博した。バージョン8.0でベクトルANN検索が追加されましたが、実運用ではいくつかの重大な課題に直面しています：</p>
<p><strong>高い更新コストとインデックス作成コスト</strong>Elasticsearch のアーキテクチャは、書き込み操作、インデックス構築、クエリを完全に分離していません。そのため、書き込み操作、特に一括更新において、CPUとI/Oのオーバーヘッドが大きくなります。インデックスの作成とクエリの間のリソースの競合はパフォーマンスに影響し、高頻度の更新シナリオでは大きなボトルネックとなります。</p>
<p><strong>劣悪なリアルタイム・パフォーマンス：</strong>ほぼリアルタイム」の検索エンジンであるElasticsearchは、データの可視性に顕著なレイテンシーをもたらします。このレイテンシは、高頻度のインタラクションや動的な意思決定が必要なAgentシステムなどのAIアプリケーションで特に問題となります。</p>
<p><strong>困難なシャード管理：</strong>Elasticsearch は分散アーキテクチャのためにシャーディングを使用していますが、シャード管理には大きな課題があります。動的なシャーディングのサポートがないため、小さなデータセットではシャードの数が多すぎるとパフォーマンスが低下し、大きなデータセットではシャードの数が少なすぎるとスケーラビリティが制限され、データの分散が不均一になるというジレンマが生じます。</p>
<p><strong>非クラウドネイティブ・アーキテクチャー：</strong>クラウドネイティブアーキテクチャが普及する前に開発されたElasticsearchの設計は、ストレージとコンピートを密に結合しており、パブリッククラウドやKubernetesのような最新のインフラとの統合を制限しています。リソースの拡張には、ストレージとコンピュート両方を同時に増やす必要があり、柔軟性が低下します。マルチレプリカ・シナリオでは、各シャードが独立してインデックスを構築する必要があり、計算コストが増加し、リソース効率が低下する。</p>
<p><strong>ベクトル検索のパフォーマンスの低下</strong>Elasticsearch 8.0ではベクトルANN検索が導入されましたが、そのパフォーマンスはMilvusのような専用ベクトルエンジンに大きく遅れをとっています。Luceneカーネルをベースとしたインデックス構造は高次元のデータに対して非効率的であり、大規模なベクトル検索要件に苦戦しています。スカラーフィルタリングやマルチテナンシーを含む複雑なシナリオでは特にパフォーマンスが不安定になり、高負荷や多様なビジネスニーズをサポートすることが困難になる。</p>
<p><strong>過剰なリソース消費：</strong>Elasticsearchは、特に大規模なデータを処理する際に、メモリとCPUに非常に大きな負荷をかけます。JVMに依存しているため、頻繁なヒープサイズの調整やガベージコレクションのチューニングが必要となり、メモリ効率に深刻な影響を与えます。ベクトル検索操作にはSIMDに最適化された集中的な計算が必要ですが、JVM環境は理想的とは言い難いものです。</p>
<p>これらの基本的な制限は、組織がAIインフラストラクチャを拡張するにつれてますます問題となり、Elasticsearchを高いパフォーマンスと信頼性を必要とする最新のAIアプリケーションにとって特に困難なものにしています。</p>
<h2 id="Introducing-Sparse-BM25-Reimagining-Lexical-Search" class="common-anchor-header">Sparse-BM25の導入：レキシカルサーチの再構築<button data-href="#Introducing-Sparse-BM25-Reimagining-Lexical-Search" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><a href="https://milvus.io/blog/introduce-milvus-2-5-full-text-search-powerful-metadata-filtering-and-more.md">Milvus 2.5では</a>、バージョン2.4で導入されたハイブリッド検索機能をベースに、Sparse-BM25によるネイティブなレキシカル検索のサポートが導入されました。この革新的なアプローチには、以下の主要コンポーネントが含まれます：</p>
<ul>
<li><p>Tantivyによる高度なトークン化と前処理</p></li>
<li><p>分散語彙および用語頻度管理</p></li>
<li><p>コーパスTFとクエリTF-IDFによるスパースベクトル生成</p></li>
<li><p>WANDアルゴリズムによる転置インデックスのサポート（Block-Max WANDとグラフインデックスのサポートを開発中）</p></li>
</ul>
<p>Elasticsearchと比較して、Milvusはアルゴリズムの柔軟性において大きなアドバンテージがある。ベクトル距離ベースの類似度計算により、"End-to-End Query Term Weighting "研究に基づくTW-BERT（Term Weighting BERT）の実装を含む、より洗練されたマッチングが可能です。このアプローチは、ドメイン内テストとドメイン外テストの両方で優れた性能を実証している。</p>
<p>もう一つの重要な利点は、コスト効率である。Milvusは転置インデックスと高密度埋め込み圧縮の両方を活用することで、1%未満の想起低下で5倍の性能向上を達成している。テールタームの刈り込みとベクトルの量子化により、メモリ使用量は50%以上削減された。</p>
<p>長いクエリの最適化は、特に強みとして際立っている。従来のWANDアルゴリズムが長いクエリで苦戦するところ、Milvusはスパース埋め込みとグラフインデックスを組み合わせることで優れており、高次元のスパースベクトル検索シナリオで10倍の性能向上を実現している。</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/document_in_and_out_b84771bec4.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<h2 id="Milvus-The-Ultimate-Vector-Database-for-RAG" class="common-anchor-header">Milvus: RAGのための究極のベクトルデータベース<button data-href="#Milvus-The-Ultimate-Vector-Database-for-RAG" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvusは、その包括的な機能セットにより、RAGアプリケーションのための最高の選択肢です。主な利点は以下の通りです：</p>
<ul>
<li><p>動的スキーマ機能と強力なフィルタリングオプションによる豊富なメタデータのサポート</p></li>
<li><p>コレクション、パーティション、パーティションキーによる柔軟な分離が可能なエンタープライズグレードのマルチテナンシー</p></li>
<li><p>メモリからS3までの多階層ストレージによる業界初のディスクベクトルインデックスのサポート</p></li>
<li><p>10Mから1B以上のベクターへのシームレスなスケーリングをサポートするクラウドネイティブなスケーラビリティ</p></li>
<li><p>グループ化、範囲指定、ハイブリッド検索を含む包括的な検索機能</p></li>
<li><p>LangChain、LlamaIndex、Dify、その他のAIツールとの深いエコシステム統合</p></li>
</ul>
<p>このシステムの多様な検索機能は、グループ化、範囲指定、ハイブリッド検索の手法を網羅しています。LangChain、LlamaIndex、Difyのようなツールとの深い統合、および多数のAI製品のサポートにより、Milvusは最新のAIインフラストラクチャのエコシステムの中心に位置しています。</p>
<h2 id="Looking-Forward" class="common-anchor-header">今後の展望<button data-href="#Looking-Forward" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>AIがPOCから本番へと移行する中、Milvusは進化を続けています。私たちは、検索品質を向上させながら、ベクトル検索をよりアクセスしやすく、費用対効果の高いものにすることに注力しています。新興企業であれ、大企業であれ、MilvusはAIアプリケーション開発の技術的障壁を軽減します。</p>
<p>このアクセシビリティとイノベーションへのコミットメントにより、私たちはまた新たな大きな一歩を踏み出しました。当社のオープンソース・ソリューションは、世界中の何千ものアプリケーションの基盤として機能し続けていますが、多くの組織が、運用のオーバーヘッドを排除するフルマネージド・ソリューションを必要としていることを認識しています。</p>
<h2 id="Zilliz-Cloud-The-Managed-Solution" class="common-anchor-header">Zillizクラウド：マネージド・ソリューション<button data-href="#Zilliz-Cloud-The-Managed-Solution" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>私たちは、Milvusをベースとしたフルマネージドベクターデータベースサービスである<a href="https://zilliz.com/cloud">Zilliz Cloudを</a>過去3年にわたり構築してきました。Milvusプロトコルをクラウドネイティブに再実装することで、ユーザビリティ、コスト効率、セキュリティの向上を実現しています。</p>
<p>世界最大のベクトル検索クラスタを維持し、何千ものAIアプリケーション開発者をサポートしてきた経験から、Zilliz Cloudはセルフホストソリューションと比較して運用のオーバーヘッドとコストを大幅に削減します。</p>
<p>ベクトル検索の未来を体験してみませんか？今すぐ無料トライアルを開始し、最大200ドルのクレジットをご利用ください。</p>


Elasticsearchは死んだ、レキシカル検索万歳

Milvus 2.5でハイブリッドセマンティック/フルテキスト検索を始める

Milvus 2.5のご紹介：全文検索、より強力なメタデータフィルタリング、ユーザビリティの向上！

セマンティック検索と全文検索：Milvus 2.5ではどちらを選ぶべきか？

MilvusによるマルチテナントRAGの設計: 拡張可能なエンタープライズ知識ベースのベストプラクティス

Milvusへの貢献の仕方：開発者のためのクイックスタート

Getting Started with HNSWlib

HNSWlibを始める

<p>Milvusユーザーの皆様に、<a href="https://zilliz.com/learn/what-is-vector-database">ベクターデータベースプロジェクトに関する</a>ハンズオンサポートをご提供するため、毎週オフィスアワーを開催しております！20分間の1対1のセッションで、専門家チームと一緒に洞察やガイダンス、質問への回答を得ることができます。Milvusを使い始めたばかりの方でも、特定の問題でお困りの方でも、Milvusを最大限に活用できるようお手伝いいたします。</p>
<p><strong>オフィスアワーセッションのご予約はこちらから<a href="https://meetings.hubspot.com/chloe-williams1/milvus-office-hours">:https://meetings.hubspot.com/chloe-williams1/milvus-office-hours</a></strong></p>
<h2 id="Why-Book-a-Session" class="common-anchor-header">セッションを予約する理由<button data-href="#Why-Book-a-Session" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>オフィスアワーでのセッションをご予約いただく理由は以下の通りです：</p>
<ul>
<li><p><strong>Milvusパフォーマンスの最適化：</strong>データベースパフォーマンスを向上させるための設定チューニングのヒントを得ることができます。</p></li>
<li><p><strong>データスキーマ設計のアドバイス</strong>お客様のユースケースに最適なデータスキーマとインデックスタイプのベストプラクティスを学びます。</p></li>
<li><p><strong>Milvusデプロイのスケーリング：</strong>Milvusを管理し、より大きなデータ量に拡張するためのアドバイスを得ることができます。</p></li>
<li><p><strong>特定の問題のトラブルシューティング</strong>エラーや異常な動作でお困りですか?トラブルシューティングと解決のお手伝いをいたします。</p></li>
<li><p><strong>統合支援：</strong>LangChain、LlamaIndex、Spark、データ処理パイプラインなどの他の統合フレームワークとMilvusを使用する際のガイダンスが必要ですか？</p></li>
<li><p><strong>新機能の学習：</strong>Milvusの最新機能と、それらがお客様のプロジェクトにどのようなメリットをもたらすかについての最新情報を得ることができます。</p></li>
</ul>
<p>専門家によるガイダンスでMilvusの導入をレベルアップするこの機会をお見逃しなく。</p>
<p>ライブセッションに参加できなくてもご安心ください！Milvusコミュニティは<a href="https://discord.com/invite/8uyFbECzPX">Discordと</a><a href="https://github.com/search?q=milvus&amp;type=discussions"> GitHub Discussionsの</a>両方で活発に活動しています。ライブチャットでも非同期ディスカッションでも、これらのプラットフォームは質問したり、知識を共有したり、他のMilvusユーザーや貢献者とつながったりするのに最適な場所です。</p>


Milvusオフィスアワーに参加して、ベクターDBのエキスパートからサポートを受けましょう！

What are Matryoshka Embeddings?

マトリョーシカの埋め込み複数のスケールにおけるディテール

Milvusバックアップツールの使い方：ステップバイステップガイド

KubernetesでMilvusをデプロイする：Kubernetesユーザーのためのステップバイステップガイド

オープンソースのMilvusベクターデータベースをAmazon EKSにデプロイする方法

<p><a href="https://milvus.io/intro">Milvusは</a>、AIアプリケーションのために特別に設計されたオープンソースのベクトルデータベースです。機械学習、ディープラーニング、その他のAI関連プロジェクトのいずれであっても、Milvusは大規模なベクトルデータを扱うための堅牢で効率的な方法を提供します。</p>
<p>現在、MilvusのPython SDKであるPyMilvusの<a href="https://milvus.io/docs/embeddings.md">モデルモジュール統合により</a>、EmbeddingモデルとRerankingモデルの追加がさらに簡単になりました。この統合により、データを検索可能なベクトルに変換したり、<a href="https://zilliz.com/learn/Retrieval-Augmented-Generation">RAG(Retrieval Augmented Generation)</a>のようなより正確な結果を得るために結果を再ランキングしたりすることが簡単になります。</p>
<p>このブログでは、密な埋め込みモデル、疎な埋め込みモデル、そして再ランカーについてレビューし、Pythonアプリケーションでローカルに実行できるMilvusの軽量版である<a href="https://milvus.io/blog/introducing-milvus-lite.md">Milvus Liteを</a>使用して、実際の使い方をデモンストレーションします。</p>
<h2 id="Dense-vs-Sparse-Embeddings" class="common-anchor-header">密な埋め込みと疎な埋め込み<button data-href="#Dense-vs-Sparse-Embeddings" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>統合機能の使い方を説明する前に、ベクトル埋込みの2つの主要なカテゴリを見てみましょう。</p>
<p><a href="https://zilliz.com/glossary/vector-embeddings">ベクトル埋め込みは</a>一般的に2つの主要なカテゴリに分類されます：<a href="https://zilliz.com/learn/sparse-and-dense-embeddings"><strong>密な埋め込み（Dense Embeddings</strong>）と<strong>疎な埋め込み（Sparse Embeddings）</strong></a>です。</p>
<ul>
<li><p>密な埋め込みは高次元のベクトルで、要素のほとんどまたはすべてがゼロでないため、テキストのセマンティクスやファジーな意味をエンコードするのに理想的です。</p></li>
<li><p>スパース埋め込みは、多くのゼロ要素を持つ高次元ベクトルであり、厳密な概念や隣接する概念の符号化に適しています。</p></li>
</ul>
<p>Milvusは両方のタイプの埋め込みをサポートし、ハイブリッド検索を提供します。<a href="https://zilliz.com/blog/hybrid-search-with-milvus">ハイブリッド検索では</a>、同じコレクション内の様々なベクトルフィールドを横断して検索を行うことができます。これらのベクトルは、データの異なる面を表したり、多様な埋め込みモデルを使用したり、異なるデータ処理方法を採用したりすることができ、再ランカーを使用して結果を組み合わせることができます。</p>
<h2 id="How-to-Use-Our-Embedding-and-Reranking-Integrations" class="common-anchor-header">埋め込みと再ランキング統合の使い方<button data-href="#How-to-Use-Our-Embedding-and-Reranking-Integrations" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>以下のセクションでは、埋め込みデータを生成し、ベクトル検索を行うために統合機能を使用する3つの実用的な例を示します。</p>
<h3 id="Example-1-Use-the-Default-Embedding-Function-to-Generate-Dense-Vectors" class="common-anchor-header">例1: デフォルトの埋め込み関数を使って高密度ベクトルを生成する</h3><p>Milvusで埋め込み関数とリランキング関数を使用するには、<code translate="no">model</code> パッケージと一緒に<code translate="no">pymilvus</code> クライアントをインストールする必要があります。</p>
<pre><code translate="no">pip install <span class="hljs-string">&quot;pymilvus[model]&quot;</span>
<button class="copy-code-btn"></button></code></pre>
<p>このステップでは<a href="https://milvus.io/docs/quickstart.md">Milvus Liteを</a>インストールし、Pythonアプリケーション内でローカルにMilvusを実行できるようにします。また、Milvus Liteにはモデルサブパッケージが含まれており、エンベッディングとリランキングに関するすべてのユーティリティが含まれています。</p>
<p>モデルサブパッケージは、OpenAI、<a href="https://zilliz.com/learn/Sentence-Transformers-for-Long-Form-Text">Sentence Transformers</a>、<a href="https://zilliz.com/learn/bge-m3-and-splade-two-machine-learning-models-for-generating-sparse-embeddings">BGE-M3</a>、BM25、<a href="https://zilliz.com/learn/bge-m3-and-splade-two-machine-learning-models-for-generating-sparse-embeddings">SPLADE</a>、Jina AIプレトレーニングモデルを含む様々なエンベッディングモデルをサポートしています。</p>
<p>この例では、<code translate="no">DefaultEmbeddingFunction</code> 、<code translate="no">all-MiniLM-L6-v2</code> Sentence Transformer モデルに基づいて、簡単にするために使用しています。モデルは約70MBで、最初の使用時にダウンロードされる：</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> model

<span class="hljs-comment"># This will download &quot;all-MiniLM-L6-v2&quot;, a lightweight model.</span>
ef = model.DefaultEmbeddingFunction()

<span class="hljs-comment"># Data from which embeddings are to be generated</span>
docs = [
   <span class="hljs-string">&quot;Artificial intelligence was founded as an academic discipline in 1956.&quot;</span>,
   <span class="hljs-string">&quot;Alan Turing was the first person to conduct substantial research in AI.&quot;</span>,
   <span class="hljs-string">&quot;Born in Maida Vale, London, Turing was raised in southern England.&quot;</span>,
]

embeddings = ef.encode_documents(docs)

<span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Embeddings:&quot;</span>, embeddings)
<span class="hljs-comment"># Print dimension and shape of embeddings</span>
<span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Dim:&quot;</span>, ef.dim, embeddings[<span class="hljs-number">0</span>].shape)
<button class="copy-code-btn"></button></code></pre>
<p>期待される出力は以下のようなものである：</p>
<pre><code translate="no">Embeddings: [array([<span class="hljs-number">-3.09392996e-02</span>, <span class="hljs-number">-1.80662833e-02</span>,  <span class="hljs-number">1.34775648e-02</span>,  <span class="hljs-number">2.77156215e-02</span>,
      <span class="hljs-number">-4.86349640e-03</span>, <span class="hljs-number">-3.12581174e-02</span>, <span class="hljs-number">-3.55921760e-02</span>,  <span class="hljs-number">5.76934684e-03</span>,
       <span class="hljs-number">2.80773244e-03</span>,  <span class="hljs-number">1.35783911e-01</span>,  <span class="hljs-number">3.59678417e-02</span>,  <span class="hljs-number">6.17732145e-02</span>,
...
      <span class="hljs-number">-4.61330153e-02</span>, <span class="hljs-number">-4.85207550e-02</span>,  <span class="hljs-number">3.13997865e-02</span>,  <span class="hljs-number">7.82178566e-02</span>,
      <span class="hljs-number">-4.75336798e-02</span>,  <span class="hljs-number">5.21207601e-02</span>,  <span class="hljs-number">9.04406682e-02</span>, <span class="hljs-number">-5.36676683e-02</span>],
     dtype=<span class="hljs-type">float32</span>)]
Dim: <span class="hljs-number">384</span> (<span class="hljs-number">384</span>,)
<button class="copy-code-btn"></button></code></pre>
<h3 id="Example-2-Generate-Sparse-Vectors-Using-The-BM25-Model" class="common-anchor-header">例2：BM25モデルを使った疎ベクトルの生成</h3><p>BM25は、単語の出現頻度を用いてクエリと文書の関連性を決定するよく知られた手法です。この例では、<code translate="no">BM25EmbeddingFunction</code> を使って、クエリとドキュメントのスパース埋め込みを生成する方法を示します。</p>
<p>BM25では、文書のパターンを表すことができるIDF（逆文書出現頻度）を得るために、文書の統計量を計算することが重要です。IDFは、その単語が全文書で一般的か稀少か、どれだけの情報を提供するかを測定します。</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus.model.sparse <span class="hljs-keyword">import</span> BM25EmbeddingFunction

<span class="hljs-comment"># 1. Prepare a small corpus to search</span>
docs = [
   <span class="hljs-string">&quot;Artificial intelligence was founded as an academic discipline in 1956.&quot;</span>,
   <span class="hljs-string">&quot;Alan Turing was the first person to conduct substantial research in AI.&quot;</span>,
   <span class="hljs-string">&quot;Born in Maida Vale, London, Turing was raised in southern England.&quot;</span>,
]
query = <span class="hljs-string">&quot;Where was Turing born?&quot;</span>
bm25_ef = BM25EmbeddingFunction()

<span class="hljs-comment"># 2. Fit the corpus to get BM25 model parameters on your documents.</span>
bm25_ef.fit(docs)

<span class="hljs-comment"># 3. Store the fitted parameters to expedite future processing.</span>
bm25_ef.save(<span class="hljs-string">&quot;bm25_params.json&quot;</span>)

<span class="hljs-comment"># 4. Load the saved params</span>
new_bm25_ef = BM25EmbeddingFunction()
new_bm25_ef.load(<span class="hljs-string">&quot;bm25_params.json&quot;</span>)

docs_embeddings = new_bm25_ef.encode_documents(docs)
query_embeddings = new_bm25_ef.encode_queries([query])
<span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Dim:&quot;</span>, new_bm25_ef.dim, <span class="hljs-built_in">list</span>(docs_embeddings)[<span class="hljs-number">0</span>].shape)
<button class="copy-code-btn"></button></code></pre>
<h3 id="Example-3-Using-a-ReRanker" class="common-anchor-header">例3：ReRankerを使う</h3><p>検索システムは、最も関連性の高い結果を迅速かつ効率的に見つけることを目的としている。伝統的に、BM25やTF-IDFのような方法は、キーワードのマッチングに基づいて検索結果をランク付けするために使用されてきました。埋め込みベースのコサイン類似度のような最近の方法は簡単ですが、言語の微妙なニュアンスや、最も重要なことですが、文書とクエリの意図の相互作用を見逃すことがあります。</p>
<p>そこで役立つのが、<a href="https://zilliz.com/learn/optimize-rag-with-rerankers-the-role-and-tradeoffs">リランカー</a>である。リランカーは高度なAIモデルで、検索結果の初期セット（多くの場合、エンベッディング／トークン・ベースの検索で提供される）を受け取り、ユーザーの意図により近いものになるよう再評価する。表面的な用語のマッチングにとどまらず、検索クエリとドキュメントのコンテンツとのより深い相互作用を考慮する。</p>
<p>この例では、<a href="https://milvus.io/docs/integrate_with_jina.md">Jina AI Rerankerを</a>使用する。</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus.model.reranker <span class="hljs-keyword">import</span> JinaRerankFunction

jina_api_key = <span class="hljs-string">&quot;&lt;YOUR_JINA_API_KEY&gt;&quot;</span>

rf = JinaRerankFunction(<span class="hljs-string">&quot;jina-reranker-v1-base-en&quot;</span>, jina_api_key)

query = <span class="hljs-string">&quot;What event in 1956 marked the official birth of artificial intelligence as a discipline?&quot;</span>

documents = [
   <span class="hljs-string">&quot;In 1950, Alan Turing published his seminal paper, &#x27;Computing Machinery and Intelligence,&#x27; proposing the Turing Test as a criterion of intelligence, a foundational concept in the philosophy and development of artificial intelligence.&quot;</span>,
   <span class="hljs-string">&quot;The Dartmouth Conference in 1956 is considered the birthplace of artificial intelligence as a field; here, John McCarthy and others coined the term &#x27;artificial intelligence&#x27; and laid out its basic goals.&quot;</span>,
   <span class="hljs-string">&quot;In 1951, British mathematician and computer scientist Alan Turing also developed the first program designed to play chess, demonstrating an early example of AI in game strategy.&quot;</span>,
   <span class="hljs-string">&quot;The invention of the Logic Theorist by Allen Newell, Herbert A. Simon, and Cliff Shaw in 1955 marked the creation of the first true AI program, which was capable of solving logic problems, akin to proving mathematical theorems.&quot;</span>
]

results = rf(query, documents)

<span class="hljs-keyword">for</span> result <span class="hljs-keyword">in</span> results:
   <span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;Index: <span class="hljs-subst">{result.index}</span>&quot;</span>)
   <span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;Score: <span class="hljs-subst">{result.score:<span class="hljs-number">.6</span>f}</span>&quot;</span>)
   <span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;Text: <span class="hljs-subst">{result.text}</span>\n&quot;</span>)
<button class="copy-code-btn"></button></code></pre>
<p>期待される出力は以下のようなものだ：</p>
<pre><code translate="no">Index: <span class="hljs-number">1</span>
Score: <span class="hljs-number">0.937096</span>
Text: The Dartmouth Conference <span class="hljs-keyword">in</span> <span class="hljs-number">1956</span> <span class="hljs-keyword">is</span> considered the birthplace of artificial intelligence <span class="hljs-keyword">as</span> a field; here, John McCarthy <span class="hljs-keyword">and</span> others coined the term <span class="hljs-string">&#x27;artificial intelligence&#x27;</span> <span class="hljs-keyword">and</span> laid <span class="hljs-keyword">out</span> its basic goals.

Index: <span class="hljs-number">3</span>
Score: <span class="hljs-number">0.354210</span>
Text: The invention of the Logic Theorist <span class="hljs-keyword">by</span> Allen Newell, Herbert A. Simon, <span class="hljs-keyword">and</span> Cliff Shaw <span class="hljs-keyword">in</span> <span class="hljs-number">1955</span> marked the creation of the first <span class="hljs-literal">true</span> AI program, which was capable of solving logic problems, akin to proving mathematical theorems.

Index: <span class="hljs-number">0</span>
Score: <span class="hljs-number">0.349866</span>
Text: In <span class="hljs-number">1950</span>, Alan Turing published his seminal paper, <span class="hljs-string">&#x27;Computing Machinery and Intelligence,&#x27;</span> proposing the Turing Test <span class="hljs-keyword">as</span> a criterion of intelligence, a foundational concept <span class="hljs-keyword">in</span> the philosophy <span class="hljs-keyword">and</span> development of artificial intelligence.

Index: <span class="hljs-number">2</span>
Score: <span class="hljs-number">0.272896</span>
Text: In <span class="hljs-number">1951</span>, British mathematician <span class="hljs-keyword">and</span> computer scientist Alan Turing also developed the first program designed to play chess, demonstrating an early example of AI <span class="hljs-keyword">in</span> game strategy.
<button class="copy-code-btn"></button></code></pre>
<h2 id="Star-Us-On-GitHub-and-Join-Our-Discord" class="common-anchor-header">GitHubにスターをつけ、Discordに参加しよう！<button data-href="#Star-Us-On-GitHub-and-Join-Our-Discord" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>このブログ記事が気に入ったら、Milvusを<a href="https://github.com/milvus-io/milvus">GitHubで</a>スター登録してください！💙</p>


埋め込みモデルとPyMilvusの統合の紹介

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/2_72e444c8dc.JPG" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Pythonアプリケーション内でローカルに動作する軽量なベクトルデータベース、<a href="https://milvus.io/docs/milvus_lite.md">Milvus Liteを</a>ご紹介いたします。オープンソースの<a href="https://milvus.io/intro">Milvus</a>ベクトルデータベースをベースにしたMilvus Liteは、ベクトルインデックス作成とクエリ解析のコアコンポーネントを再利用する一方で、分散システムにおける高いスケーラビリティを実現するために設計された要素を削除しています。この設計により、ラップトップ、Jupyter Notebooks、モバイルデバイスやエッジデバイスなど、コンピューティングリソースが限られた環境に理想的なコンパクトで効率的なソリューションを実現します。</p>
<p>Milvus Liteは、LangChainやLlamaIndexのような様々なAI開発スタックと統合されており、サーバーをセットアップすることなく、RAG（Retrieval Augmented Generation）パイプラインのベクターストアとして使用することができます。PythonライブラリとしてAIアプリケーションに組み込むには、<code translate="no">pip install pymilvus</code> （バージョン2.4.3以上）を実行するだけです。</p>
<p>Milvus LiteはMilvus APIを共有し、小規模なローカルデプロイメントと、数十億のベクターを持つDockerやKubernetes上にデプロイされたMilvusサーバーの両方でクライアントサイドコードが動作することを保証します。</p>
<h2 id="Why-We-Built-Milvus-Lite" class="common-anchor-header">Milvus Liteを構築した理由<button data-href="#Why-We-Built-Milvus-Lite" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>多くのAIアプリケーションは、チャットボットやショッピングアシスタントなどのアプリケーションのために、テキスト、画像、音声、動画を含む非構造化データのベクトル類似検索を必要とします。ベクトルデータベースは、ベクトル埋め込みデータを保存し検索するために作られ、AI開発スタックの重要な部分であり、特に<a href="https://zilliz.com/learn/Retrieval-Augmented-Generation">RAG（Retrieval Augmented Generation）の</a>ような生成的AIのユースケースにとって重要です。</p>
<p>数多くのベクトル検索ソリューションがあるにもかかわらず、大規模な生産展開にも対応する、簡単に始められるオプションがありませんでした。Milvusの開発者として、私たちはMilvus on Kubernetes、Docker、マネージドクラウドサービスを含む様々なデプロイメントオプションで一貫したエクスペリエンスを保証しながら、AI開発者がアプリケーションをより速く構築できるようにMilvus Liteを設計しました。</p>
<p>Milvus Liteは、Milvusエコシステム内の一連の製品群に加わる重要な製品です。Milvus Liteは、開発のあらゆる段階をサポートする汎用的なツールを開発者に提供します。プロトタイピングから本番環境、エッジコンピューティングから大規模なデプロイメントまで、Milvusはあらゆる規模、あらゆる開発段階のユースケースをカバーする唯一のベクターデータベースとなりました。</p>
<h2 id="How-Milvus-Lite-Works" class="common-anchor-header">Milvus Liteの仕組み<button data-href="#How-Milvus-Lite-Works" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus Liteは、Milvusで利用可能なすべての基本操作（コレクションの作成、ベクターの挿入、検索、削除など）をサポートしています。ハイブリッド検索などの高度な機能にも近々対応する予定です。Milvus Liteは効率的な検索のためにデータをメモリにロードし、SQLiteファイルとして永続化します。</p>
<p>Milvus Liteは<a href="https://github.com/milvus-io/pymilvus">MilvusのPython SDKに</a>含まれており、シンプルな<code translate="no">pip install pymilvus</code> 。以下のコードスニペットは、ローカルファイル名を指定し、新しいコレクションを作成することで、Milvus Liteでベクトルデータベースをセットアップする方法を示しています。<code translate="no">&quot;milvus_demo.db&quot;</code> <code translate="no">&quot;http://localhost:19530&quot;</code> MilvusのAPIに慣れている人にとって、唯一の違いは<code translate="no">uri</code> がネットワークエンドポイントではなくローカルファイル名を参照していることです。その他はすべて同じです。Milvus Liteは、以下に示すように、動的または明示的に定義されたスキーマを使用して、生のテキストやその他のラベルをメタデータとして保存することもサポートしています。</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> MilvusClient

client = MilvusClient(<span class="hljs-string">&quot;milvus_demo.db&quot;</span>)
<span class="hljs-comment"># This collection can take input with mandatory fields named &quot;id&quot;, &quot;vector&quot; and</span>
<span class="hljs-comment"># any other fields as &quot;dynamic schema&quot;. You can also define the schema explicitly.</span>
client.create_collection(
    collection_name=<span class="hljs-string">&quot;demo_collection&quot;</span>,
    dimension=<span class="hljs-number">384</span>  <span class="hljs-comment"># Dimension for vectors.</span>
)
<button class="copy-code-btn"></button></code></pre>
<p>スケーラビリティのために、Milvus Liteで開発されたAIアプリケーションは、サーバーエンドポイントで<code translate="no">uri</code> を指定するだけで、DockerやKubernetes上にデプロイされたMilvusを使用するように簡単に移行することができます。</p>
<h2 id="Integration-with-AI-Development-Stack" class="common-anchor-header">AI開発スタックとの統合<button data-href="#Integration-with-AI-Development-Stack" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>ベクトル検索を簡単に始められるMilvus Liteの導入に加え、Milvusは<a href="https://python.langchain.com/v0.2/docs/integrations/vectorstores/milvus/">LangChain</a>、<a href="https://docs.llamaindex.ai/en/stable/examples/vector_stores/MilvusIndexDemo/">LlamaIndex</a>、<a href="https://haystack.deepset.ai/integrations/milvus-document-store">Haystack</a>、<a href="https://blog.voyageai.com/2024/05/30/semantic-search-with-milvus-lite-and-voyage-ai/">Voyage AI</a>、<a href="https://milvus.io/docs/integrate_with_ragas.md">Ragas</a>、<a href="https://jina.ai/news/implementing-a-chat-history-rag-with-jina-ai-and-milvus-lite/">Jina AI</a>、<a href="https://dspy-docs.vercel.app/docs/deep-dive/retrieval_models_clients/MilvusRM">DSPy</a>、<a href="https://www.bentoml.com/blog/building-a-rag-app-with-bentocloud-and-milvus-lite">BentoML</a>、<a href="https://chiajy.medium.com/70873c7576f1">WhyHow</a>、<a href="https://blog.relari.ai/case-study-using-synthetic-data-to-benchmark-rag-systems-be324904ace1">Relari AI</a>、<a href="https://docs.airbyte.com/integrations/destinations/milvus">Airbyte</a>、<a href="https://milvus.io/docs/integrate_with_hugging-face.md">HuggingFace</a>、<a href="https://memgpt.readme.io/docs/storage#milvus">MemGPTなど</a>、AI開発スタックの多くのフレームワークやプロバイダーとも統合しています。広範なツールとサービスのおかげで、これらの統合はベクトル検索機能を備えたAIアプリケーションの開発を簡素化する。</p>
<p>そして、これはほんの始まりに過ぎません-多くのエキサイティングな統合が間もなく登場します！ご期待ください！</p>
<h2 id="More-Resources-and-Examples" class="common-anchor-header">その他のリソースと例<button data-href="#More-Resources-and-Examples" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><a href="https://milvus.io/docs/quickstart.md">Milvus クイックスタートドキュメントでは</a>、<a href="https://github.com/milvus-io/bootcamp/blob/master/bootcamp/tutorials/quickstart/build_RAG_with_milvus.ipynb">RAG（</a>Retrieval-Augmented Generation）や<a href="https://github.com/milvus-io/bootcamp/blob/master/bootcamp/tutorials/quickstart/image_search_with_milvus.ipynb">画像検索の</a>ようなAIアプリケーションを構築するためにMilvus Liteを使用するための詳細なガイドとコード例をご覧いただけます。</p>
<p>Milvus Liteはオープンソースプロジェクトです。まずは<a href="https://github.com/milvus-io/milvus-lite/blob/main/CONTRIBUTING.md">コントリビューティングガイドを</a>ご覧ください。また、<a href="https://github.com/milvus-io/milvus-lite">Milvus LiteのGitHub</a>リポジトリに課題を提出することで、バグを報告したり、機能をリクエストすることができます。</p>


Milvus Liteのご紹介：数秒でGenAIアプリケーションの構築を開始

ベクターデータベースを最適化し、RAG駆動型生成AIを強化する

MilvusクラスタとK8sを使い始める

<p>この度、大規模データセットの検索機能を強化したMilvus 2.4をリリースいたしました。この最新リリースでは、GPUベースのCAGRAインデックスのサポート、<a href="https://zilliz.com/learn/sparse-and-dense-embeddings">スパース埋込みの</a>ベータサポート、グループ検索、その他様々な検索機能の改善などの新機能が追加されています。これらの開発は、ベクトル・データの処理とクエリのための強力で効率的なツールを開発者に提供することで、コミュニティに対する我々のコミットメントを強化するものです。それでは、Milvus 2.4の主な利点をご紹介しましょう。</p>
<h2 id="Enabled-Multi-vector-Search-for-Simplified-Multimodal-Searches" class="common-anchor-header">簡素化されたマルチモーダル検索のためのマルチベクトル検索が可能に<button data-href="#Enabled-Multi-vector-Search-for-Simplified-Multimodal-Searches" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.4では、マルチベクトル検索機能が搭載され、同じMilvusシステム内で異なるベクトルタイプの同時検索と再ランク付けが可能になりました。この機能により、マルチモーダル検索が合理化され、想起率が大幅に向上し、開発者は様々なデータタイプを持つ複雑なAIアプリケーションを容易に管理できるようになります。さらに、この機能はカスタム再ランクモデルの統合と微調整を簡素化し、多次元データからの洞察を利用する正確な<a href="https://zilliz.com/vector-database-use-cases/recommender-system">推奨システムの</a>ような高度な検索機能の作成を支援します。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/How_the_multi_vector_search_feature_works_6c85961349.png" alt="How the Milti-Vector Search Feature Works" class="doc-image" id="how-the-milti-vector-search-feature-works" />
   </span> <span class="img-wrapper"> <span>ミルティベクトル検索機能の仕組み</span> </span></p>
<p>Milvusにおけるマルチベクトルのサポートには2つの要素があります：</p>
<ol>
<li><p>コレクション内の1つのエンティティに対して複数のベクトルを保存/照会する機能。</p></li>
<li><p>Milvusにあらかじめ組み込まれているリランキングアルゴリズムを活用し、リランキングアルゴリズムを構築/最適化する機能。</p></li>
</ol>
<p><a href="https://github.com/milvus-io/milvus/issues/25639">要望の多かった機能</a>であることに加え、GPT-4とクロード3のリリースにより業界がマルチモーダルモデルに移行しつつあるため、この機能を構築しました。再ランク付けは、検索におけるクエリのパフォーマンスをさらに向上させるために一般的に使用されているテクニックです。開発者がMilvusエコシステム内で簡単にリランカーを構築し、最適化できるようにすることを目指しました。</p>
<h2 id="Grouping-Search-Support-for-Enhanced-Compute-Efficiency" class="common-anchor-header">グループ化検索のサポートによる計算効率の向上<button data-href="#Grouping-Search-Support-for-Enhanced-Compute-Efficiency" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>グループ化検索は、Milvus 2.4で追加されたもう一つの<a href="https://github.com/milvus-io/milvus/issues/25343">要望の多かった機能</a>です。BOOL型、INT型、VARCHAR型のフィールド用に設計されたグループ化操作を統合し、大規模なグループ化クエリを実行する際の重要な効率性のギャップを埋めています。</p>
<p>従来、開発者は、大規模なTop-K検索と、グループ固有の結果を抽出するための手作業による後処理に頼っていました。Grouping Searchは、クエリの結果を文書名やビデオ名などの集合的なグループ識別子に効率的にリンクすることで、このプロセスを改良し、大規模なデータセット内のセグメント化されたエンティティの取り扱いを効率化します。</p>
<p>Milvusは、イテレータベースの実装によりGrouping Searchを差別化し、類似のテクノロジーと比較して計算効率を著しく向上させています。この選択により、特に計算リソースの最適化が最優先される本番環境において、優れたパフォーマンスのスケーラビリティが保証されます。データトラバーサルと計算オーバーヘッドを削減することで、Milvusはより効率的なクエリ処理をサポートし、他のベクトルデータベースと比較してレスポンスタイムと運用コストを大幅に削減します。</p>
<p>グループ化検索は、大量の複雑なクエリを管理するMilvusの能力を強化し、堅牢なデータ管理ソリューションのためのハイパフォーマンス・コンピューティングの実践に合致します。</p>
<h2 id="Beta-Support-for-Sparse-Vector-Embeddings" class="common-anchor-header">スパースベクトル埋め込みのベータサポート<button data-href="#Beta-Support-for-Sparse-Vector-Embeddings" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><a href="https://zilliz.com/learn/sparse-and-dense-embeddings">スパース埋め込みは</a>、従来の密なベクトルアプローチからのパラダイムシフトであり、単なるキーワード頻度ではなく、意味的類似性のニュアンスに対応します。この違いにより、クエリとドキュメントの意味的内容に密接に沿った、よりニュアンスのある検索機能が可能になります。情報検索や自然言語処理で特に有用なスパースベクトルモデルは、密なモデルと比較して、強力な領域外検索機能と解釈可能性を提供する。</p>
<p>Milvus 2.4では、SPLADEv2のような高度なニューラルモデルやBM25のような統計モデルによって生成されたスパース埋め込みを含むようにハイブリッド検索を拡張しました。Milvusでは、スパースベクトルは密なベクトルと同等に扱われ、スパースベクトルフィールドを持つコレクションの作成、データの挿入、インデックスの構築、類似検索の実行が可能です。特に、Milvusのスパース埋め込みは、<a href="https://zilliz.com/blog/similarity-metrics-for-vector-search#Inner-Product">内積</a>（IP）距離メトリックをサポートしており、高次元の性質上、他のメトリックが有効でないことを考えると有利です。この機能は、次元が符号なし32ビット整数、値が32ビット浮動小数点であるデータ型もサポートしているため、微妙なテキスト検索から精巧な<a href="https://zilliz.com/learn/information-retrieval-metrics">情報検索</a>システムまで、幅広い応用が可能です。</p>
<p>この新機能により、Milvusはキーワードと埋め込みベースの技術を融合させたハイブリッド検索手法を可能にし、包括的でメンテナンスの少ないソリューションを求めるキーワード中心の検索フレームワークから移行するユーザーにシームレスな移行を提供します。</p>
<p>私たちは、この機能のパフォーマンステストを継続し、コミュニティからのフィードバックを収集するために、この機能を「ベータ」と表示しています。スパースベクトルサポートの一般提供（GA）は、Milvus 3.0のリリース時に予定されています。</p>
<h2 id="CAGRA-Index-Support-for-Advanced-GPU-Accelerated-Graph-Indexing" class="common-anchor-header">高度なGPU加速グラフインデキシングのためのCAGRAインデックスサポート<button data-href="#CAGRA-Index-Support-for-Advanced-GPU-Accelerated-Graph-Indexing" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>NVIDIAによって開発された<a href="https://arxiv.org/abs/2308.15136">CAGRA</a>(Cuda Anns GRAph-based)は、GPUベースのグラフインデキシング技術であり、特に高スループット環境において、HNSWインデックスのような従来のCPUベースの手法を効率とパフォーマンスで大幅に凌駕します。</p>
<p>CAGRAインデックスの導入により、Milvus 2.4はGPUアクセラレーションによるグラフインデックス作成機能を強化しました。この機能強化は、最小限のレイテンシを必要とする類似検索アプリケーションの構築に最適です。さらに、Milvus 2.4はCAGRAインデックスとブルートフォース検索を統合することで、アプリケーションの最大再現率を実現します。詳細については、<a href="https://zilliz.com/blog/Milvus-introduces-GPU-index-CAGRA">CAGRAの紹介ブログを</a>ご覧ください。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Milvus_raft_cagra_vs_milvus_hnsw_ffe0415ff5.png" alt="Milvus Raft CAGRA vs. Milvus HNSW" class="doc-image" id="milvus-raft-cagra-vs.-milvus-hnsw" />
   </span> <span class="img-wrapper"> <span>Milvus Raft CAGRAとMilvus HNSWの比較</span> </span></p>
<h2 id="Additional-Enhancements-and-Features" class="common-anchor-header">その他の機能強化<button data-href="#Additional-Enhancements-and-Features" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.4では、<a href="https://zilliz.com/blog/metadata-filtering-with-zilliz-cloud-pipelines">メタデータフィルタリングにおける</a>部分文字列のマッチングを強化するための正規表現のサポート、スカラーデータタイプのフィルタリングを効率的に行うための新しいスカラー転置インデックス、Milvusコレクションの変更を監視し複製するための変更データキャプチャツールなど、その他の重要な機能強化も含まれています。これらのアップデートにより、Milvusのパフォーマンスと汎用性が強化され、複雑なデータ操作のための包括的なソリューションとなりました。</p>
<p>詳細は<a href="https://milvus.io/docs/release_notes.md">Milvus 2.4のドキュメントを</a>ご覧ください。</p>
<h2 id="Stay-Connected" class="common-anchor-header">つながりを保つ<button data-href="#Stay-Connected" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.4についてもっと知りたいですか？Zillizのエンジニアリング担当副社長であるJames Luanがこの最新リリースの機能について詳しく説明する<a href="https://zilliz.com/event/unlocking-advanced-search-capabilities-milvus">ウェビナーにご参加ください</a>。ご質問やご意見がございましたら、当社の<a href="https://discord.com/invite/8uyFbECzPX">Discordチャンネルに</a>参加して、当社のエンジニアやコミュニティメンバーと交流してください。Milvusに関する最新ニュースやアップデートについては、<a href="https://twitter.com/milvusio">Twitterや</a> <a href="https://www.linkedin.com/company/the-milvus-project">LinkedInでの</a>フォローをお忘れなく。</p>


Milvus 2.4 Supports Multi-vector Search, Sparse Vector, CAGRA, and More!

Milvus2.4を発表：マルチベクトル探索、スパースベクトル、CAGRAインデックスなど！

<p><a href="https://zilliz.com/what-is-milvus">Milvusは</a>、膨大なデータセットを扱うことができることで有名なスケーラブルなベクトルデータベースですが、<a href="https://zilliz.com/blog/what-is-new-in-milvus-2-3-4">バージョン2.3.4で</a>Parquetファイルのサポートを導入し、大きな一歩を踏み出しました。Apache Parquetを採用することで、ユーザーはデータのインポートプロセスを合理化し、ストレージと計算コストの大幅な削減を享受することができます。</p>
<p>最新の投稿では、Parquetの利点とMilvusユーザーにもたらすメリットを探ります。この機能を統合した動機について説明し、ParquetファイルをMilvusにシームレスにインポートするためのステップバイステップのガイドを提供します。</p>
<h2 id="What-Is-Apache-Parquet" class="common-anchor-header">Apache Parquetとは？<button data-href="#What-Is-Apache-Parquet" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><a href="https://parquet.apache.org/">Apache Parquetは</a>、大規模データセットの保存と処理の効率を高めるために設計された、オープンソースの列指向データファイルフォーマットです。CSVやJSONのような従来の行指向のデータ形式とは対照的に、Parquetは列単位でデータを保存し、より効率的なデータ圧縮とエンコード方式を提供します。このアプローチは、パフォーマンスの向上、ストレージ要件の削減、処理能力の強化につながり、複雑なデータを大量に扱うのに理想的です。</p>
<h2 id="How-Milvus-Users-Benefit-from-the-Support-for-Parquet-File-Imports" class="common-anchor-header">ParquetファイルインポートのサポートによるMilvusユーザのメリット<button data-href="#How-Milvus-Users-Benefit-from-the-Support-for-Parquet-File-Imports" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>MilvusはParquetファイルインポートのサポートを拡張し、ストレージや計算コストの削減、データ管理の合理化、インポートプロセスの簡素化など、最適化されたエクスペリエンスと様々な利点をユーザーに提供します。</p>
<h3 id="Optimized-Storage-Efficiency-and-Streamlined-Data-Management" class="common-anchor-header">ストレージ効率の最適化とデータ管理の合理化</h3><p>Parquetは、さまざまなデータタイプに対応する柔軟な圧縮オプションと効率的なエンコーディングスキームを提供し、最適なストレージ効率を実現します。この柔軟性は、ストレージを1オンスでも節約することが具体的なコスト削減に直結するクラウド環境では特に価値があります。Milvusのこの新機能により、ユーザーはすべての多様なデータを単一のファイルに簡単に統合することができ、データ管理を合理化し、全体的なユーザーエクスペリエンスを向上させることができます。この機能は、可変長のArrayデータタイプを扱うユーザーにとって特に有益であり、データのインポートプロセスを簡素化することができます。</p>
<h3 id="Improved-Query-Performance" class="common-anchor-header">クエリパフォーマンスの向上</h3><p>Parquetのカラム型ストレージ設計と高度な圧縮方法により、クエリパフォーマンスが大幅に向上しました。クエリを実行する際、無関係なデータをスキャンすることなく、必要なデータのみに集中することができます。この選択的な列の読み取りにより、CPU使用率が最小限に抑えられ、クエリ時間が短縮されます。</p>
<h3 id="Broad-Language-Compatibility" class="common-anchor-header">幅広い言語互換性</h3><p>ParquetはJava、C++、Pythonなど複数の言語で利用可能で、多数のデータ処理ツールと互換性があります。Parquetファイルのサポートにより、異なるSDKを使用しているMilvusユーザは、データベース内で解析するためのParquetファイルをシームレスに生成することができます。</p>
<h2 id="How-to-Import-Parquet-Files-into-Milvus" class="common-anchor-header">MilvusへのParquetファイルのインポート方法<button data-href="#How-to-Import-Parquet-Files-into-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>データが既にParquetファイル形式である場合、インポートは簡単です。ParquetファイルをMinIOのようなオブジェクトストレージシステムにアップロードすれば、インポートの準備は完了です。</p>
<p>下のコードはParquetファイルをMilvusにインポートする例です。</p>
<pre><code translate="no">remote_files = []
<span class="hljs-keyword">try</span>:
    <span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Prepare upload files&quot;</span>)
    minio_client = Minio(endpoint=MINIO_ADDRESS, access_key=MINIO_ACCESS_KEY, secret_key=MINIO_SECRET_KEY,
                         secure=<span class="hljs-literal">False</span>)
    found = minio_client.bucket_exists(bucket_name)
    <span class="hljs-keyword">if</span> <span class="hljs-keyword">not</span> found:
        minio_client.make_bucket(bucket_name)
        <span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;MinIO bucket &#x27;{}&#x27; doesn&#x27;t exist&quot;</span>.<span class="hljs-built_in">format</span>(bucket_name))
        <span class="hljs-keyword">return</span> <span class="hljs-literal">False</span>, []

    <span class="hljs-comment"># set your remote data path</span>
    remote_data_path = <span class="hljs-string">&quot;milvus_bulkinsert&quot;</span>

    <span class="hljs-keyword">def</span> <span class="hljs-title function_">upload_file</span>(<span class="hljs-params">f: <span class="hljs-built_in">str</span></span>):
        file_name = os.path.basename(f)
        minio_file_path = os.path.join(remote_data_path, <span class="hljs-string">&quot;parquet&quot;</span>, file_name)
        minio_client.fput_object(bucket_name, minio_file_path, f)
        <span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Upload file &#x27;{}&#x27; to &#x27;{}&#x27;&quot;</span>.<span class="hljs-built_in">format</span>(f, minio_file_path))
        remote_files.append(minio_file_path)

    upload_file(data_file)

<span class="hljs-keyword">except</span> S3Error <span class="hljs-keyword">as</span> e:
    <span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Failed to connect MinIO server {}, error: {}&quot;</span>.<span class="hljs-built_in">format</span>(MINIO_ADDRESS, e))
    <span class="hljs-keyword">return</span> <span class="hljs-literal">False</span>, []

<span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Successfully upload files: {}&quot;</span>.<span class="hljs-built_in">format</span>(remote_files))
<span class="hljs-keyword">return</span> <span class="hljs-literal">True</span>, remote_files
<button class="copy-code-btn"></button></code></pre>
<p>データがParquetファイルでない場合やダイナミックフィールドを持つ場合は、データフォーマット変換ツールであるBulkWriterを活用してParquetファイルを生成することができます。BulkWriterはデフォルトの出力データ形式としてParquetを採用し、開発者にとってより直感的な操作性を実現しています。</p>
<p>以下のコードスニペットは、BulkWriterを使用してParquetファイルを生成する例です。</p>
<pre><code translate="no"><span class="hljs-keyword">import</span> numpy <span class="hljs-keyword">as</span> np
<span class="hljs-keyword">import</span> json

<span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> (
    RemoteBulkWriter,
    BulkFileType,
)

remote_writer = RemoteBulkWriter(
        schema=your_collection_schema,
        remote_path=<span class="hljs-string">&quot;your_remote_data_path&quot;</span>,
        connect_param=RemoteBulkWriter.ConnectParam(
            endpoint=YOUR_MINIO_ADDRESS,
            access_key=YOUR_MINIO_ACCESS_KEY,
            secret_key=YOUR_MINIO_SECRET_KEY,
            bucket_name=<span class="hljs-string">&quot;a-bucket&quot;</span>,
        ),
        file_type=BulkFileType.PARQUET,
)

<span class="hljs-comment"># append your data</span>
batch_count = <span class="hljs-number">10000</span>
<span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(batch_count):
    row = {
        <span class="hljs-string">&quot;id&quot;</span>: i,
        <span class="hljs-string">&quot;bool&quot;</span>: <span class="hljs-literal">True</span> <span class="hljs-keyword">if</span> i % <span class="hljs-number">5</span> == <span class="hljs-number">0</span> <span class="hljs-keyword">else</span> <span class="hljs-literal">False</span>,
        <span class="hljs-string">&quot;int8&quot;</span>: i % <span class="hljs-number">128</span>,
        <span class="hljs-string">&quot;int16&quot;</span>: i % <span class="hljs-number">1000</span>,
        <span class="hljs-string">&quot;int32&quot;</span>: i % <span class="hljs-number">100000</span>,
        <span class="hljs-string">&quot;int64&quot;</span>: i,
        <span class="hljs-string">&quot;float&quot;</span>: i / <span class="hljs-number">3</span>,
        <span class="hljs-string">&quot;double&quot;</span>: i / <span class="hljs-number">7</span>,
        <span class="hljs-string">&quot;varchar&quot;</span>: <span class="hljs-string">f&quot;varchar_<span class="hljs-subst">{i}</span>&quot;</span>,
        <span class="hljs-string">&quot;json&quot;</span>: {<span class="hljs-string">&quot;dummy&quot;</span>: i, <span class="hljs-string">&quot;ok&quot;</span>: <span class="hljs-string">f&quot;name_<span class="hljs-subst">{i}</span>&quot;</span>},
        <span class="hljs-string">&quot;vector&quot;</span>: gen_binary_vector() <span class="hljs-keyword">if</span> bin_vec <span class="hljs-keyword">else</span> gen_float_vector(),
        <span class="hljs-string">f&quot;dynamic_<span class="hljs-subst">{i}</span>&quot;</span>: i,
    }
    remote_writer.append_row(row)

<span class="hljs-comment"># append rows by numpy type</span>
<span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(batch_count):
    remote_writer.append_row({
        <span class="hljs-string">&quot;id&quot;</span>: np.int64(i + batch_count),
        <span class="hljs-string">&quot;bool&quot;</span>: <span class="hljs-literal">True</span> <span class="hljs-keyword">if</span> i % <span class="hljs-number">3</span> == <span class="hljs-number">0</span> <span class="hljs-keyword">else</span> <span class="hljs-literal">False</span>,
        <span class="hljs-string">&quot;int8&quot;</span>: np.int8(i % <span class="hljs-number">128</span>),
        <span class="hljs-string">&quot;int16&quot;</span>: np.int16(i % <span class="hljs-number">1000</span>),
        <span class="hljs-string">&quot;int32&quot;</span>: np.int32(i % <span class="hljs-number">100000</span>),
        <span class="hljs-string">&quot;int64&quot;</span>: np.int64(i),
        <span class="hljs-string">&quot;float&quot;</span>: np.float32(i / <span class="hljs-number">3</span>),
        <span class="hljs-string">&quot;double&quot;</span>: np.float64(i / <span class="hljs-number">7</span>),
        <span class="hljs-string">&quot;varchar&quot;</span>: <span class="hljs-string">f&quot;varchar_<span class="hljs-subst">{i}</span>&quot;</span>,
        <span class="hljs-string">&quot;json&quot;</span>: json.dumps({<span class="hljs-string">&quot;dummy&quot;</span>: i, <span class="hljs-string">&quot;ok&quot;</span>: <span class="hljs-string">f&quot;name_<span class="hljs-subst">{i}</span>&quot;</span>}),
        <span class="hljs-string">&quot;vector&quot;</span>: gen_binary_vector() <span class="hljs-keyword">if</span> bin_vec <span class="hljs-keyword">else</span> gen_float_vector(),
        <span class="hljs-string">f&quot;dynamic_<span class="hljs-subst">{i}</span>&quot;</span>: i,
    })

<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;<span class="hljs-subst">{remote_writer.total_row_count}</span> rows appends&quot;</span>)
<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;<span class="hljs-subst">{remote_writer.buffer_row_count}</span> rows in buffer not flushed&quot;</span>)
<span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Generate data files...&quot;</span>)
remote_writer.commit()
<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;Data files have been uploaded: <span class="hljs-subst">{remote_writer.batch_files}</span>&quot;</span>)
remote_files = remote_writer.batch_files
<button class="copy-code-btn"></button></code></pre>
<p>次に、Parquetファイルをmilvusにインポートします。</p>
<pre><code translate="no">remote_files = [remote_file_path]
task_id = utility.do_bulk_insert(collection_name=collection_name,
                                 files=remote_files)

task_ids = [task_id]         
states = wait_tasks_to_state(task_ids, BulkInsertState.ImportCompleted)
complete_count = 0
for state in states:
    if state.state == BulkInsertState.ImportCompleted:
        complete_count = complete_count + 1
<button class="copy-code-btn"></button></code></pre>
<p>これで、あなたのデータはMilvusにシームレスに統合されました。</p>
<h2 id="Whats-Next" class="common-anchor-header">今後の展開<button data-href="#Whats-Next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvusが増え続けるデータ量に対応し続けるにつれ、特にParquetファイルが10GBを超えるような大規模なインポートの管理という課題が生じます。この課題に取り組むため、インポートデータをスカラー列とベクトル列に分離し、インポートごとに2つのParquetファイルを作成してI/Oプレッシャーを軽減する予定です。数百ギガバイトを超えるデータセットの場合は、複数回インポートすることをお勧めします。</p>


Milvus Supports Imports of Apache Parquet Files

Milvus、Apache Parquetファイルのインポートをサポートし、データ処理効率を向上

<custom-h1>Milvusバージョン紹介</custom-h1><p>ベクトル検索技術を活用したプロジェクトを成功させるためには、Milvusの適切なバージョンを選択することが何よりも重要です。Milvusのバージョンは様々な要件に合わせて調整されているため、正しいバージョンを選択することの重要性を理解することは、望ましい結果を得るために非常に重要です。</p>
<p>Milvusの適切なバージョンは、開発者の迅速な学習とプロトタイプ作成、リソース利用の最適化、開発作業の効率化、既存のインフラやツールとの互換性の確保に役立ちます。最終的には、開発者の生産性を維持し、効率性、信頼性、ユーザー満足度を向上させることになります。</p>
<h2 id="Available-Milvus-versions" class="common-anchor-header">利用可能なMilvusのバージョン<button data-href="#Available-Milvus-versions" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvusは開発者向けに3つのバージョンが提供されており、いずれもオープンソースである。その3つのバージョンとは、Milvus Lite、Milvus Standalone、Milvus Clusterであり、それぞれ機能や短期的・長期的なMilvusの利用方法が異なる。では、これらを個別に探ってみよう。</p>
<h2 id="Milvus-Lite" class="common-anchor-header">Milvus Lite<button data-href="#Milvus-Lite" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>その名の通り、Milvus LiteはGoogle ColabやJupyter Notebookとシームレスに統合できる軽量版である。追加の依存関係を持たない単一のバイナリとしてパッケージ化されているため、マシンへのインストールや実行、Pythonアプリケーションへの組み込みが容易です。さらに、Milvus LiteにはCLIベースのMilvusスタンドアロンサーバーが含まれており、あなたのマシン上でMilvusを直接実行するための柔軟性を提供します。Pythonコードに組み込むか、スタンドアロンサーバーとして利用するかは、お客様の好みと特定のアプリケーション要件次第です。</p>
<h3 id="Features-and-Capabilities" class="common-anchor-header">特徴と機能</h3><p>Milvus Liteには、Milvusのコアとなるベクトル検索機能が全て含まれています。</p>
<ul>
<li><p><strong>検索機能</strong>メタデータフィルタリングを含むトップk検索、範囲検索、ハイブリッド検索をサポートし、多様な検索要件に対応します。</p></li>
<li><p><strong>インデックスタイプと類似度メトリック</strong>11種類のインデックスタイプと5種類の類似度メトリクスをサポートし、特定のユースケースに対応する柔軟性とカスタマイズオプションを提供します。</p></li>
<li><p><strong>データ処理</strong>：バッチ処理（Apache Parquet、Arrays、JSON）およびストリーム処理が可能で、Airbyte、Apache Kafka、Apache Sparkのコネクターを通じてシームレスに統合できます。</p></li>
<li><p><strong>CRUDオペレーション</strong>：完全なCRUDサポート（create、read、update/upsert、delete）を提供し、包括的なデータ管理機能をユーザーに提供します。</p></li>
</ul>
<h3 id="Applications-and-limitations" class="common-anchor-header">用途と制限</h3><p>Milvus Liteは、迅速なプロトタイピングやローカル開発に理想的であり、小規模なデータセットの迅速なセットアップや実験が可能です。しかし、より大規模なデータセットや、より厳しいインフラ要件が要求される本番環境に移行する際には、その限界が明らかになります。そのため、Milvus Liteは初期の調査やテストには最適なツールですが、大量のアプリケーションや本番環境でのアプリケーションの展開には適していないかもしれません。</p>
<h3 id="Available-Resources" class="common-anchor-header">利用可能なリソース</h3><ul>
<li><p><a href="https://milvus.io/docs/milvus_lite.md">ドキュメント</a></p></li>
<li><p><a href="https://github.com/milvus-io/milvus-lite/">Githubリポジトリ</a></p></li>
<li><p><a href="https://github.com/milvus-io/milvus-lite/tree/main/examples">Google Colabサンプル</a></p></li>
<li><p><a href="https://www.youtube.com/watch?v=IgJdrGiB5ZY">ビデオ</a></p></li>
</ul>
<h2 id="Milvus-Standalone" class="common-anchor-header">Milvusスタンドアロン<button data-href="#Milvus-Standalone" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvusには2つの運用モードがあります：スタンドアロンとクラスタです。どちらのモードもコアとなるベクターデータベースの機能は同じで、データサイズのサポートとスケーラビリティ要件が異なります。この違いにより、お客様のデータセットサイズ、トラフィック量、その他本番稼動に必要なインフラ要件に最適なモードを選択することができます。</p>
<p>Milvusスタンドアロンとは、Milvusベクトルデータベースシステムがクラスタリングや分散セットアップを行うことなく、単一のインスタンスとして独立して動作するモードです。Milvusはこのモードでは単一のサーバーまたはマシン上で動作し、インデックス作成やベクトル検索などの機能を提供します。データやトラフィックの規模が比較的小さく、クラスタ構成による分散機能を必要としない場合に適しています。</p>
<h3 id="Features-and-Capabilities" class="common-anchor-header">特徴と機能</h3><ul>
<li><p><strong>高性能</strong>：膨大なデータセット（数十億以上）のベクトル検索を卓越したスピードと効率で実行します。</p></li>
<li><p><strong>検索機能</strong>：メタデータのフィルタリングを含むトップk検索、範囲検索、ハイブリッド検索をサポートし、多様な検索要件に対応します。</p></li>
<li><p><strong>インデックスタイプと類似度メトリクス</strong>：11種類のインデックスタイプと5種類の類似度メトリクスをサポートし、特定のユースケースに対応する柔軟性とカスタマイズオプションを提供します。</p></li>
<li><p><strong>データ処理</strong>：バッチ処理（Apache Parquet、Arrays、Json）とストリーム処理の両方が可能で、Airbyte、Apache Kafka、Apache Sparkのコネクターを通じてシームレスに統合できます。</p></li>
<li><p><strong>データのレプリケーションとフェイルオーバー</strong>：組み込みのレプリケーションとフェイルオーバー/フェイルバック機能により、中断や障害時でもデータの整合性とアプリケーションの可用性を確保します。</p></li>
<li><p><strong>スケーラビリティ</strong>：コンポーネントレベルのスケーリングにより動的なスケーラビリティを実現し、需要に応じたシームレスなスケールアップとスケールダウンを可能にします。Milvusはコンポーネントレベルでオートスケールが可能で、リソース割り当てを最適化し、効率を高めます。</p></li>
<li><p><strong>マルチテナンシー</strong>：クラスタ内で最大10,000のコレクション/パーティションを管理できるマルチテナンシーをサポートし、異なるユーザやアプリケーションに対して効率的なリソース利用と分離を提供します。</p></li>
<li><p><strong>CRUDオペレーション</strong>：完全なCRUDサポート（作成、読み取り、更新/アップサート、削除）を提供し、ユーザーに包括的なデータ管理機能を提供します。</p></li>
</ul>
<h3 id="Essential-components" class="common-anchor-header">必須コンポーネント</h3><ul>
<li><p>milvus：中核となる機能コンポーネント。</p></li>
<li><p>etcdMilvusの内部コンポーネント（プロキシ、インデックスノードなど）からのメタデータへのアクセスと保存を担当するメタデータエンジン。</p></li>
<li><p>MinIO：Milvus内のデータ永続化を担うストレージエンジン。</p></li>
</ul>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Screenshot_2024_02_19_at_4_16_41_PM_5e635586a7.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>図1: Milvusスタンドアロンアーキテクチャ</p>
<h3 id="Available-Resources" class="common-anchor-header">利用可能なリソース</h3><ul>
<li><p>ドキュメント</p>
<ul>
<li><p><a href="https://milvus.io/docs/prerequisite-docker.md">Docker Composeを使用したMilvusの環境チェックリスト</a></p></li>
<li><p><a href="https://milvus.io/docs/install_standalone-docker.md">DockerによるMilvusスタンドアロンのインストール</a></p></li>
</ul></li>
<li><p><a href="https://github.com/milvus-io/milvus">Githubリポジトリ</a></p></li>
</ul>
<h2 id="Milvus-Cluster" class="common-anchor-header">Milvusクラスタ<button data-href="#Milvus-Cluster" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvusクラスタとは、Milvusベクトルデータベースシステムが複数のノードやサーバに分散して動作するモードです。このモードでは、Milvusインスタンスはクラスタ化され、スタンドアロンのセットアップと比較して、より大容量のデータと高いトラフィック負荷を処理できる統合システムを形成します。Milvus Clusterはスケーラビリティ、フォールトトレランス、ロードバランシング機能を備えており、ビッグデータの処理や多数の同時クエリを効率的に処理する必要があるシナリオに適しています。</p>
<h3 id="Features-and-Capabilities" class="common-anchor-header">特徴と機能</h3><ul>
<li><p>高性能ベクトル検索、複数のインデックスタイプと類似度メトリックのサポート、バッチおよびストリーム処理フレームワークとのシームレスな統合など、Milvus Standaloneで利用可能なすべての機能を継承。</p></li>
<li><p>複数のノードにまたがる分散コンピューティングとロードバランシングを活用することで、比類のない可用性、パフォーマンス、コストの最適化を実現。</p></li>
<li><p>クラスタ全体のリソースを効率的に活用し、ワークロードの需要に基づいてリソースの割り当てを最適化することで、総コストを抑えながらセキュアでエンタープライズグレードのワークロードを展開および拡張できます。</p></li>
</ul>
<h3 id="Essential-components" class="common-anchor-header">必須コンポーネント</h3><p>Milvus Clusterには、8つのマイクロサービスコンポーネントと3つのサードパーティ依存コンポーネントが含まれています。すべてのマイクロサービスは互いに独立してKubernetes上にデプロイできます。</p>
<h4 id="Microservice-components" class="common-anchor-header">マイクロサービスコンポーネント</h4><ul>
<li><p>ルートコーディネーション</p></li>
<li><p>プロキシ</p></li>
<li><p>クエリコーデック</p></li>
<li><p>クエリノード</p></li>
<li><p>インデックス・ノード</p></li>
<li><p>インデックス・ノード</p></li>
<li><p>データ・ノード</p></li>
<li><p>データノード</p></li>
</ul>
<h4 id="Third-party-dependencies" class="common-anchor-header">サードパーティ依存</h4><ul>
<li><p>etcd：クラスタ内のさまざまなコンポーネントのメタデータを格納します。</p></li>
<li><p>MinIO：インデックスやバイナリ・ログ・ファイルなど、クラスタ内の大容量ファイルのデータ永続化を担当。</p></li>
<li><p>Pulsar：パルサー：最近の変異操作のログを管理し、ストリーミング・ログを出力し、ログ・パブリッシュ・サブスクライブ・サービスを提供する。</p></li>
</ul>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Screenshot_2024_02_19_at_4_18_01_PM_88971280ed.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>図2: Milvusクラスタアーキテクチャ</p>
<h4 id="Available-Resources" class="common-anchor-header">利用可能なリソース</h4><ul>
<li><p><a href="https://milvus.io/docs/install_cluster-milvusoperator.md">ドキュメント</a>｜始め方</p>
<ul>
<li><p><a href="https://milvus.io/docs/install_cluster-milvusoperator.md">Milvus OperatorでMilvusクラスタをインストールする</a></p></li>
<li><p><a href="https://milvus.io/docs/install_cluster-helm.md">HelmによるMilvusクラスタのインストール</a></p></li>
<li><p><a href="https://milvus.io/docs/scaleout.md">Milvusクラスタのスケール方法</a></p></li>
</ul></li>
<li><p><a href="https://github.com/milvus-io/milvus">Githubリポジトリ</a></p></li>
</ul>
<h2 id="Making-the-Decision-on-which-Milvus-version-to-use" class="common-anchor-header">Milvusバージョンの決定<button data-href="#Making-the-Decision-on-which-Milvus-version-to-use" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>プロジェクトに使用するMilvusのバージョンを決定する際には、データセットのサイズ、トラフィック量、スケーラビリティ要件、本番環境の制約などの要素を考慮する必要があります。Milvus Liteはラップトップでのプロトタイピングに最適です。Milvus Standaloneは、データセットに対してベクトル検索を行うための高いパフォーマンスと柔軟性を提供し、小規模なデプロイメント、CI/CD、Kubernetesをサポートしていないオフラインのデプロイメントに適しています...そして最後に、Milvus Clusterは、エンタープライズグレードのワークロードに対して比類のない可用性、スケーラビリティ、コストの最適化を提供し、大規模で可用性の高い本番環境に適した選択肢となります。</p>
<p>もう1つ、手間のかからないバージョンがあり、それは<a href="https://cloud.zilliz.com/signup">Zilliz Cloudと</a>呼ばれるMilvusのマネージド・バージョンだ。</p>
<p>最終的には、Milvusのバージョンは、特定のユースケース、インフラ要件、および長期的な目標によって異なります。これらの要素を慎重に評価し、各バージョンの特徴と能力を理解することで、プロジェクトのニーズと目的に沿った情報に基づいた決定を下すことができます。MilvusスタンドアロンまたはMilvusクラスタのいずれを選択しても、ベクトルデータベースのパワーを活用してAIアプリケーションのパフォーマンスと効率を向上させることができます。</p>


Milvusのバージョンは？

Top 10 Keywords Dominating the Milvus Community in 2023

2023年、milvusコミュニティを支配するキーワード・トップ10を発表

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/What_is_new_in_Milvus_2_3_4_1847b0fa8a.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Milvus 2.3.4の最新リリースを発表できることを嬉しく思います。このアップデートでは、パフォーマンスを最適化し、効率を高め、シームレスなユーザーエクスペリエンスを提供するために細心の注意を払って作られた一連の機能と機能強化が導入されています。本ブログでは、Milvus 2.3.4のハイライトをご紹介いたします。</p>
<h2 id="Access-logs-for-improved-monitoring" class="common-anchor-header">アクセスログによるモニタリングの向上<button data-href="#Access-logs-for-improved-monitoring" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvusはアクセスログをサポートするようになり、外部インターフェースとのインタラクションに関する貴重な洞察を提供します。これらのログは、メソッド名、ユーザリクエスト、レスポンスタイム、エラーコード、およびその他のインタラクション情報を記録し、開発者やシステム管理者がパフォーマンス分析、セキュリティ監査、および効率的なトラブルシューティングを実施できるようにします。</p>
<p><strong><em>注：</em></strong> <em>現在のところ、アクセスログはgRPCインタラクションのみをサポートしています。将来のバージョンでは、この機能を拡張し、RESTful リクエストログを含める予定です。</em></p>
<p>詳細については、<a href="https://milvus.io/docs/configure_access_logs.md">アクセスログの設定を</a>参照してください。</p>
<h2 id="Parquet-file-imports-for-enhanced-data-processing-efficiency" class="common-anchor-header">Parquet ファイルインポートによるデータ処理効率の向上<button data-href="#Parquet-file-imports-for-enhanced-data-processing-efficiency" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus2.3.4では、大規模なデータセットの保存と処理の効率を高めるために設計された、広く受け入れられているカラム型ストレージフォーマットであるParquetファイルのインポートに対応しました。この機能追加により、ユーザはデータ処理における柔軟性と効率性を向上させることができます。手間のかかるデータ形式の変換が不要になるため、Parquet形式で大規模なデータセットを管理しているユーザーは、データのインポート処理が合理化され、最初のデータ準備からその後のベクトル検索までの時間が大幅に短縮されます。</p>
<p>さらに、当社のデータ形式変換ツールであるBulkWriterは、デフォルトの出力データ形式としてParquetを採用し、開発者がより直感的に操作できるようになりました。</p>
<h2 id="Binlog-index-on-growing-segments-for-faster-searches" class="common-anchor-header">Binlog インデックスによる成長セグメントの高速検索<button data-href="#Binlog-index-on-growing-segments-for-faster-searches" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvusは、成長するセグメントにおけるBinlogインデックスを活用し、成長するセグメントにおける検索を最大10倍高速化しました。この機能強化により、検索効率が大幅に向上し、IVFやFast Scanのような高度なインデックスもサポートされ、全体的なユーザーエクスペリエンスが向上します。</p>
<h2 id="Support-for-up-to-10000-collectionspartitions" class="common-anchor-header">最大10,000のコレクション/パーティションをサポート<button data-href="#Support-for-up-to-10000-collectionspartitions" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>リレーショナルデータベースのテーブルとパーティションのように、コレクションとパーティションはMilvusにおけるベクトルデータの保存と管理の中核となる単位です。Milvus2.3.4では、ユーザーの進化するデータ整理のニーズに応え、従来の4,096個から大幅に増加し、クラスタ内で最大10,000個のコレクション/パーティションをサポートするようになりました。この機能拡張は、ナレッジベース管理やマルチテナント環境などの多様なユースケースにメリットをもたらします。コレクション/パーティションのサポート拡大は、タイムティックメカニズム、ゴルーチン管理、メモリ使用の改良に起因しています。</p>
<p><strong><em>注：</em></strong> <em>コレクション/パーティション数の推奨上限は10,000です。この上限を超えると、障害回復やリソース使用に影響を与える可能性があります。</em></p>
<h2 id="Other-enhancements" class="common-anchor-header">その他の機能強化<button data-href="#Other-enhancements" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.3.4では、上記の機能に加えて、様々な改善やバグフィックスが行われています。これらには、データ検索時および可変長データ処理時のメモリ使用量の削減、エラーメッセージの改善、ロード速度の高速化、クエリシャードバランスの改善などが含まれます。これらの機能強化は、よりスムーズで効率的な全体的なユーザー・エクスペリエンスに貢献します。</p>
<p>Milvus 2.3.4で導入されたすべての変更点の包括的な概要については、<a href="https://milvus.io/docs/release_notes.md#v234">リリースノートを</a>ご参照ください。</p>
<h2 id="Stay-connected" class="common-anchor-header">引き続きお付き合いください！<button data-href="#Stay-connected" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvusに関するご質問やご意見がございましたら、<a href="https://discord.com/invite/8uyFbECzPX">Discordチャンネルに</a>ご参加いただき、エンジニアやコミュニティと直接やりとりしていただくか、<a href="https://discord.com/invite/RjNbk8RR4f">Milvus Community Lunch and Learn（</a>毎週火曜日PST12-12:30）にご参加ください。また、<a href="https://twitter.com/milvusio">Twitterや</a> <a href="https://www.linkedin.com/company/the-milvus-project">LinkedInで</a>Milvusに関する最新ニュースやアップデートをフォローすることもできます。</p>


Milvus 2.3.4：検索の高速化、データサポートの拡大、モニタリングの改善など

2023年：AIの年

MilvusとNVIDIA Merlinを用いた推薦ワークフローにおける効率的なベクトル類似度検索

正しいベクトル埋め込みを取得する方法

Milvusにデータをシームレスに移行する方法：包括的ガイド

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Exploring_NATS_878f48c848.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>データ処理という複雑なタペストリーにおいて、シームレスなコミュニケーションは業務を結びつける糸である。<a href="https://zilliz.com/cloud">オープンソースのベクターデータベースの</a>先駆者である<a href="https://zilliz.com/what-is-milvus">Milvusは</a>、その最新機能で変革の旅に出ました：NATSメッセージングの統合です。この包括的なブログポストでは、この統合の複雑さを解き明かし、そのコア機能、セットアッププロセス、移行のメリット、そして前身であるRocksMQとの違いを探ります。</p>
<h2 id="Understanding-the-role-of-message-queues-in-Milvus" class="common-anchor-header">Milvusにおけるメッセージキューの役割を理解する<button data-href="#Understanding-the-role-of-message-queues-in-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvusのクラウドネイティブアーキテクチャにおいて、メッセージキュー（Log Broker）は極めて重要な役割を担っている。これは、永続的なデータストリーム、同期、イベント通知、システム復旧時のデータ整合性を保証するバックボーンです。従来、Milvusスタンドアロン・モードでは、特にPulsarやKafkaと比較した場合、RocksMQが最も分かりやすい選択肢でしたが、膨大なデータや複雑なシナリオでは、その限界が明らかになりました。</p>
<p>Milvus 2.3では、シングル・ノードMQ実装であるNATSが導入され、データ・ストリームの管理方法が再定義されました。NATSは従来のものとは異なり、Milvusユーザをパフォーマンスの制約から解放し、大容量のデータをシームレスに処理できるようにします。</p>
<h2 id="What-is-NATS" class="common-anchor-header">NATSとは？<button data-href="#What-is-NATS" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>NATSはGoで実装された分散システム接続技術です。システム間のRequest-ReplyやPublish-Subscribeのような様々な通信モードをサポートし、JetStreamによるデータの永続性を提供し、組み込みのRAFTによる分散機能を提供します。NATSの詳細については<a href="https://nats.io/">NATS公式サイトを</a>参照してください。</p>
<p>Milvus2.3スタンドアロンモードでは、NATS、JetStream、PubSubはMilvusに堅牢なMQ機能を提供します。</p>
<h2 id="Enabling-NATS" class="common-anchor-header">NATSの有効化<button data-href="#Enabling-NATS" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus2.3では、<code translate="no">mq.type</code> という新しいコントロールオプションが用意されており、使用するMQのタイプを指定することができます。NATSを有効にするには、<code translate="no">mq.type=natsmq</code> を設定します。Milvusインスタンスを起動した後、以下のようなログが表示されれば、メッセージキューとしてNATSを有効にしたことになります。</p>
<pre><code translate="no">[INFO] [dependency/factory.go:83] [<span class="hljs-string">&quot;try to init mq&quot;</span>] [standalone=<span class="hljs-literal">true</span>] [mqType=natsmq]
<button class="copy-code-btn"></button></code></pre>
<h2 id="Configuring-NATS-for-Milvus" class="common-anchor-header">MilvusのNATSの設定<button data-href="#Configuring-NATS-for-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>NATSのカスタマイズオプションには、リスニングポート、JetStreamストレージディレクトリ、最大ペイロードサイズ、および初期化タイムアウトの指定が含まれます。これらの設定を微調整することで、最適なパフォーマンスと信頼性を確保することができます。</p>
<pre><code translate="no">natsmq:
server: <span class="hljs-comment"># server side configuration for natsmq.</span>
port: <span class="hljs-number">4222</span> <span class="hljs-comment"># 4222 by default, Port for nats server listening.</span>
storeDir: /var/lib/milvus/nats <span class="hljs-comment"># /var/lib/milvus/nats by default, directory to use for JetStream storage of nats.</span>
maxFileStore: <span class="hljs-number">17179869184</span> <span class="hljs-comment"># (B) 16GB by default, Maximum size of the &#x27;file&#x27; storage.</span>
maxPayload: <span class="hljs-number">8388608</span> <span class="hljs-comment"># (B) 8MB by default, Maximum number of bytes in a message payload.</span>
maxPending: <span class="hljs-number">67108864</span> <span class="hljs-comment"># (B) 64MB by default, Maximum number of bytes buffered for a connection Applies to client connections.</span>
initializeTimeout: <span class="hljs-number">4000</span> <span class="hljs-comment"># (ms) 4s by default, waiting for initialization of natsmq finished.</span>
monitor:
trace: false <span class="hljs-comment"># false by default, If true enable protocol trace log messages.</span>
debug: false <span class="hljs-comment"># false by default, If true enable debug log messages.</span>
logTime: true <span class="hljs-comment"># true by default, If set to false, log without timestamps.</span>
logFile: /tmp/milvus/logs/nats.log <span class="hljs-comment"># /tmp/milvus/logs/nats.log by default, Log file path relative to .. of milvus binary if use relative path.</span>
logSizeLimit: <span class="hljs-number">536870912</span> <span class="hljs-comment"># (B) 512MB by default, Size in bytes after the log file rolls over to a new one.</span>
retention:
maxAge: <span class="hljs-number">4320</span> <span class="hljs-comment"># (min) 3 days by default, Maximum age of any message in the P-channel.</span>
maxBytes: <span class="hljs-comment"># (B) None by default, How many bytes the single P-channel may contain. Removing oldest messages if the P-channel exceeds this size.</span>
maxMsgs: <span class="hljs-comment"># None by default, How many message the single P-channel may contain. Removing oldest messages if the P-channel exceeds this limit.</span>
<button class="copy-code-btn"></button></code></pre>
<p><strong>注意してください：</strong></p>
<ul>
<li><p>NATSサーバーのリスニングには、<code translate="no">server.port</code> を指定する必要があります。ポートが競合すると、Milvusは起動できません。<code translate="no">server.port=-1</code> をランダムにポートを選択するように設定してください。</p></li>
<li><p><code translate="no">storeDir</code> JetStreamストレージのディレクトリを指定します。Milvusの読み書きスループットを向上させるため、高性能なソリッドステートドライブ(SSD)にディレクトリを保存することを推奨します。</p></li>
<li><p><code translate="no">maxFileStore</code> JetStreamストレージサイズの上限を設定します。この上限を超えると、それ以降のデータ書き込みができなくなります。</p></li>
<li><p><code translate="no">maxPayload</code> 個々のメッセージサイズを制限します。書き込み拒否を避けるため、5MB以上にしておく必要があります。</p></li>
<li><p><code translate="no">initializeTimeout</code>NATSサーバーの起動タイムアウトを制御します。</p></li>
<li><p><code translate="no">monitor</code> NATSの独立ログを設定します。</p></li>
<li><p><code translate="no">retention</code> NATSメッセージの保持メカニズムを制御します。</p></li>
</ul>
<p>詳細は<a href="https://docs.nats.io/running-a-nats-service/configuration">NATSの公式ドキュメントを</a>参照してください。</p>
<h2 id="Migrating-from-RocksMQ-to-NATS" class="common-anchor-header">RocksMQからNATSへの移行<button data-href="#Migrating-from-RocksMQ-to-NATS" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>RocksMQからNATSへの移行は、書き込み操作の停止、データのフラッシュ、設定の変更、milvusのログによる移行の検証といったステップを含むシームレスなプロセスです。</p>
<ol>
<li><p>移行を開始する前に、milvusで全ての書き込み操作を停止します。</p></li>
<li><p>Milvusで<code translate="no">FlushALL</code> 操作を実行し、その完了を待ちます。このステップにより、保留中のデータがすべてフラッシュされ、システムがシャットダウンできる状態になります。</p></li>
<li><p>Milvus設定ファイルを変更し、<code translate="no">mq.type=natsmq</code> を設定し、<code translate="no">natsmq</code> セクションの関連オプションを調整します。</p></li>
<li><p>Milvus 2.3 を起動する。</p></li>
<li><p><code translate="no">rocksmq.path</code> ディレクトリに保存されているオリジナルデータをバックアップし、クリーンアップする。(オプション)</p></li>
</ol>
<h2 id="NATS-vs-RocksMQ-A-Performance-Showdown" class="common-anchor-header">NATS vs. RocksMQ: パフォーマンス対決<button data-href="#NATS-vs-RocksMQ-A-Performance-Showdown" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="PubSub-Performance-Testing" class="common-anchor-header">Pub/Sub パフォーマンステスト</h3><ul>
<li><p><strong>テスト・プラットフォーム</strong>M1 Proチップ / メモリ：16GB</p></li>
<li><p><strong>テストシナリオ</strong>トピックへのランダムなデータパケットのサブスクライブとパブリッシュを、最後にパブリッシュされた結果を受信するまで繰り返す。</p></li>
<li><p><strong>結果</strong></p>
<ul>
<li><p>小さいデータパケット（64kb未満）では、RocksMQがメモリ、CPU、応答速度でNATSを上回る。</p></li>
<li><p>より大きなデータパケット（64kb以上）では、NATSがRocksMQを凌駕し、レスポンスタイムがはるかに速い。</p></li>
</ul></li>
</ul>
<table>
<thead>
<tr><th>テストタイプ</th><th>MQ</th><th>演算回数</th><th>opあたりのコスト</th><th>メモリコスト</th><th>CPU総時間</th><th>ストレージコスト</th></tr>
</thead>
<tbody>
<tr><td>5MB*100 Pub/Sub</td><td>NATS</td><td>50</td><td>1.650328186 s/op</td><td>4.29 GB</td><td>85.58</td><td>25G</td></tr>
<tr><td>5MB*100 Pub/Sub</td><td>ロックMQ</td><td>50</td><td>2.475595131 s/op</td><td>1.18 GB</td><td>81.42</td><td>19G</td></tr>
<tr><td>1MB*500 パブ/サブ</td><td>NATS</td><td>50</td><td>2.248722593 S/OP</td><td>2.60 GB</td><td>96.50</td><td>25G</td></tr>
<tr><td>1MB*500 パブ/サブ</td><td>ロックMQ</td><td>50</td><td>2.554614279 S/OP</td><td>614.9 MB</td><td>80.19</td><td>19G</td></tr>
<tr><td>64KB*10000 Pub/Sub</td><td>NATS</td><td>50</td><td>2.133345262 S/OP</td><td>3.29 GB</td><td>97.59</td><td>31G</td></tr>
<tr><td>64KB*10000 Pub/Sub</td><td>ロックMQ</td><td>50</td><td>3.253778195 S/OP</td><td>331.2 MB</td><td>134.6</td><td>24G</td></tr>
<tr><td>1KB*50000 パブ/サブ</td><td>NATS</td><td>50</td><td>2.629391004 S/OP</td><td>635.1 MB</td><td>179.67</td><td>2.6G</td></tr>
<tr><td>1KB*50000 パブ/サブ</td><td>ロックMQ</td><td>50</td><td>0.897638581 s/op</td><td>232.3 MB</td><td>60.42</td><td>521M</td></tr>
</tbody>
</table>
<p>表 1: Pub/Sub パフォーマンステスト結果</p>
<h3 id="Milvus-Integration-Testing" class="common-anchor-header">Milvus統合テスト</h3><p><strong>データサイズ:</strong>100M</p>
<p><strong>結果</strong>1億のベクトルデータセットを用いた広範なテストにおいて、NATSはベクトル検索とクエリのレイテンシが低いことを示した。</p>
<table>
<thead>
<tr><th>指標</th><th>RocksMQ (ms)</th><th>NATS (ms)</th></tr>
</thead>
<tbody>
<tr><td>平均ベクトル検索レイテンシ</td><td>23.55</td><td>20.17</td></tr>
<tr><td>ベクトル検索リクエスト/秒（RPS）</td><td>2.95</td><td>3.07</td></tr>
<tr><td>平均クエリ待ち時間</td><td>7.2</td><td>6.74</td></tr>
<tr><td>クエリーリクエスト/秒（RPS）</td><td>1.47</td><td>1.54</td></tr>
</tbody>
</table>
<p>表2: 100MデータセットによるMilvus統合テスト結果</p>
<p><strong>データセット: &lt;100M</strong></p>
<p><strong>結果</strong>100M未満のデータセットでは、NATSとRocksMQは同程度のパフォーマンスを示している。</p>
<h2 id="Conclusion-Empowering-Milvus-with-NATS-messaging" class="common-anchor-header">結論NATSメッセージングによるMilvusの強化<button data-href="#Conclusion-Empowering-Milvus-with-NATS-messaging" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>MilvusにNATSが統合されたことで、データ処理は大きく前進した。リアルタイム分析、機械学習アプリケーション、あるいはデータ集約的なベンチャーであろうと、NATSは効率性、信頼性、スピードでプロジェクトを強化します。データ環境が進化する中、MilvusにNATSのような堅牢なメッセージングシステムがあれば、シームレスで信頼性が高く、パフォーマンスの高いデータ通信が可能になります。</p>


データ通信の最適化：Milvus、NATSメッセージングを採用

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/What_s_New_in_Milvus_2_3_2_and_2_3_3_d3d0db03c3.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>進化し続けるベクター検索技術の中で、Milvusは常に最前線に立ち、限界を押し広げ、新たな基準を打ち立て続けています。本日、Milvus 2.3.2および2.3.3のリリースを発表できることを嬉しく思います！これらのアップデートは、多くのエキサイティングな機能、最適化、改善をもたらし、システムパフォーマンス、柔軟性、そして全体的なユーザーエクスペリエンスを向上させます。</p>
<h2 id="Support-for-Array-data-types---making-search-results-more-accurate-and-relevant" class="common-anchor-header">配列データ型のサポート - 検索結果をより正確で適切なものに<button data-href="#Support-for-Array-data-types---making-search-results-more-accurate-and-relevant" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Arrayデータ型のサポートは、Milvusにとって極めて重要な機能強化であり、特にIntersectionやUnionのようなクエリフィルタリングシナリオにおいて重要です。この追加により、検索結果がより正確であるだけでなく、より適切なものになります。例えば、Eコマース分野では、文字列配列として保存された商品タグにより、消費者は高度な検索を実行し、無関係な結果を除外することができます。</p>
<p>MilvusでArray型を活用するための詳細なガイドについては、包括的な<a href="https://milvus.io/docs/array_data_type.md">ドキュメントを</a>ご覧ください。</p>
<h2 id="Support-for-complex-delete-expressions---improving-your-data-management" class="common-anchor-header">複雑な削除式のサポート - データ管理の向上<button data-href="#Support-for-complex-delete-expressions---improving-your-data-management" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>以前のバージョンでは、Milvusは主キーの削除式をサポートし、安定した合理的なアーキテクチャを提供していました。Milvus 2.3.2または2.3.3では、複雑な削除式を使用することができるようになり、古いデータのローリングクリーンアップやGDPRコンプライアンスに基づいたユーザIDに基づくデータ削除など、高度なデータ管理タスクが容易になりました。</p>
<p>注：複雑な式を使用する前に、コレクションをロードしていることを確認してください。さらに、削除プロセスはアトミック性を保証しないことに注意することが重要です。</p>
<h2 id="TiKV-integration---scalable-metadata-storage-with-stability" class="common-anchor-header">TiKVの統合 - 安定性を備えたスケーラブルなメタデータストレージ<button data-href="#TiKV-integration---scalable-metadata-storage-with-stability" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>これまでMilvusは、メタデータストレージをEtcdに依存していたため、メタデータストレージの容量制限とスケーラビリティの問題に直面していました。これらの問題に対処するため、Milvusはメタデータストレージの新たな選択肢として、オープンソースのキーバリューストアであるTiKVを追加しました。TiKVは拡張性、安定性、効率性が強化されており、Milvusの進化する要件に理想的なソリューションとなっている。Milvus 2.3.2からは、設定を変更することでメタデータストレージをTiKVにシームレスに移行することができます。</p>
<h2 id="Support-for-FP16-vector-type---embracing-machine-learning-efficiency" class="common-anchor-header">FP16ベクトル型のサポート - 機械学習の効率化を実現<button data-href="#Support-for-FP16-vector-type---embracing-machine-learning-efficiency" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.3.2以降のバージョンでは、インターフェイスレベルでFP16ベクトル型をサポートするようになりました。FP16（16ビット浮動小数点）は、ディープラーニングや機械学習で広く使用されているデータフォーマットで、数値の効率的な表現と計算を提供します。FP16の完全サポートは現在進行中ですが、インデクシング・レイヤーのさまざまなインデックスでは、構築時にFP16をFP32に変換する必要があります。</p>
<p>Milvusの後のバージョンでは、FP16、BF16、int8データ型を完全にサポートする予定です。ご期待ください。</p>
<h2 id="Significant-improvement-in-the-rolling-upgrade-experience---seamless-transition-for-users" class="common-anchor-header">ローリングアップグレード体験の大幅な改善 - ユーザのシームレスな移行<button data-href="#Significant-improvement-in-the-rolling-upgrade-experience---seamless-transition-for-users" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>ローリングアップグレードは分散システムにとって重要な機能であり、ビジネスサービスを中断させたり、ダウンタイムを発生させることなくシステムのアップグレードを可能にします。Milvusの最新リリースでは、Milvusのローリングアップグレード機能を強化し、バージョン2.2.15から2.3.3およびそれ以降のバージョンへのアップグレードにおいて、より合理的かつ効率的な移行を実現しました。また、コミュニティは広範なテストと最適化に投資し、アップグレード中のクエリへの影響を5分未満に減らし、ユーザーに手間のかからない体験を提供します。</p>
<h2 id="Performance-optimization" class="common-anchor-header">パフォーマンスの最適化<button data-href="#Performance-optimization" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>新機能の導入に加え、最新の2つのリリースではMilvusのパフォーマンスを大幅に最適化しました。</p>
<ul>
<li><p>データコピー操作を最小化し、データロードを最適化</p></li>
<li><p>varchar一括読み込みによる大容量インサートの簡素化</p></li>
<li><p>データパディング時の不要なオフセットチェックを削除し、リコールフェーズのパフォーマンスを向上。</p></li>
<li><p>大容量のデータ挿入を伴うシナリオにおけるCPU消費量の問題に対処</p></li>
</ul>
<p>これらの最適化により、Milvusはより高速で効率的なサービスを提供できるようになりました。Milvusがどのようにパフォーマンスを向上させたかについては、モニタリングダッシュボードをご覧ください。</p>
<h2 id="Incompatible-changes" class="common-anchor-header">互換性のない変更<button data-href="#Incompatible-changes" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p>TimeTravel関連のコードを永久に削除しました。</p></li>
<li><p>メタデータストアとしてのMySQLのサポートを廃止しました。</p></li>
</ul>
<p><a href="https://milvus.io/docs/release_notes.md">Milvusの</a>新機能と機能強化の詳細については、<a href="https://milvus.io/docs/release_notes.md">Milvusリリースノートを</a>ご参照ください。</p>
<h2 id="Conclusion" class="common-anchor-header">まとめ<button data-href="#Conclusion" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>最新のMilvus 2.3.2および2.3.3リリースでは、堅牢で機能豊富、高性能なデータベースソリューションの提供をお約束いたします。Milvusを進化させ、最新のデータマネジメントの要求に応えるべく、これらの新機能を探索し、最適化を活用し、このエキサイティングな旅にご参加ください。今すぐ最新バージョンをダウンロードし、Milvusによるデータストレージの未来をご体験ください！</p>
<h2 id="Let’s-keep-in-touch" class="common-anchor-header">連絡を取り合いましょう<button data-href="#Let’s-keep-in-touch" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvusに関するご質問やご意見がございましたら、<a href="https://discord.com/invite/8uyFbECzPX">Discordチャンネルに</a>ご参加いただき、エンジニアやコミュニティと直接やりとりしていただくか、<a href="https://discord.com/invite/RjNbk8RR4f">Milvus Community Lunch and Learn（</a>毎週火曜日PST12-12:30）にご参加ください。また、<a href="https://twitter.com/milvusio">Twitterや</a> <a href="https://www.linkedin.com/company/the-milvus-project">LinkedInで</a>Milvusに関する最新ニュースやアップデートをフォローすることも大歓迎です。</p>


milvus2.3.2および2.3.3を公開：配列データ型、複合削除、TiKVとの統合などをサポート

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Exploring_M_Map_5086d652bd.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p><a href="https://zilliz.com/what-is-milvus">Milvusは</a>オープンソースの<a href="https://zilliz.com/blog/what-is-a-real-vector-database">ベクターデータベースで</a>最も高速なソリューションであり、集中的なパフォーマンスを必要とするユーザーに対応しています。しかし、ユーザーのニーズの多様性は、彼らが扱うデータを反映している。中には、圧倒的なスピードよりも、予算に見合ったソリューションや広大なストレージを優先するユーザーもいます。Milvusはこのような多様な要求を理解し、MMap機能を導入することで、大容量データの扱い方を再定義し、機能を犠牲にすることなくコスト効率を約束します。</p>
<h2 id="What-is-MMap" class="common-anchor-header">MMapとは？<button data-href="#What-is-MMap" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>MMapとは、memory-mapped filesの略で、オペレーティングシステム内のファイルとメモリ間のギャップを埋めるものです。この技術により、Milvusは大容量ファイルをシステムのメモリ空間に直接マッピングし、ファイルを連続したメモリブロックに変換することができます。この統合により、明示的な読み書きの操作が不要になり、Milvusのデータ管理方法が根本的に変わります。これにより、大容量ファイルやユーザがランダムにファイルにアクセスする必要がある場合でも、シームレスなアクセスと効率的なストレージを実現します。</p>
<h2 id="Who-benefits-from-MMap" class="common-anchor-header">MMapの利点は？<button data-href="#Who-benefits-from-MMap" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>ベクターデータベースは、ベクターデータのストレージ要件のため、かなりのメモリ容量を必要とします。MMap機能により、限られたメモリ内でより多くのデータを処理することが可能になります。しかし、この能力の向上はパフォーマンス・コストを伴います。システムはインテリジェントにメモリを管理し、負荷と使用量に基づいていくつかのデータを退避させます。この退避により、Milvusは同じメモリ容量内でより多くのデータを処理できる。</p>
<p>我々のテストでは、十分なメモリを搭載している場合、ウォームアップ期間後にすべてのデータがメモリに常駐し、システムのパフォーマンスが維持されることが確認された。しかし、データ量が増加するにつれて、性能は徐々に低下します。<strong>したがって、性能の変動にあまり敏感でないユーザーにはMMap機能を推奨する。</strong></p>
<h2 id="Enabling-MMap-in-Milvus-a-simple-configuration" class="common-anchor-header">MilvusでMMapを有効にする：簡単な設定<button data-href="#Enabling-MMap-in-Milvus-a-simple-configuration" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>MilvusでMMapを有効にするのは非常に簡単です。<code translate="no">milvus.yaml</code> ファイルを修正するだけです。<code translate="no">queryNode</code> コンフィギュレーションの下に<code translate="no">mmapDirPath</code> アイテムを追加し、その値として有効なパスを設定します。</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/enabling_mmap_a2df88276b.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<h2 id="Striking-the-balance-performance-storage-and-system-limits" class="common-anchor-header">バランスをとる：パフォーマンス、ストレージ、システム制限<button data-href="#Striking-the-balance-performance-storage-and-system-limits" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>データアクセスパターンはパフォーマンスに大きく影響します。MilvusのMMap機能は局所性に基づいてデータアクセスを最適化します。MMapは、シーケンシャルにアクセスされるデータセグメントに対して、milvusがスカラーデータをディスクに直接書き込むことを可能にします。文字列のような可変長データは平坦化され、メモリ内のオフセット配列を使ってインデックスが付けられます。このアプローチにより、データアクセスの局所性が確保され、各可変長データを個別に格納するオーバーヘッドが排除される。ベクトル・インデックスの最適化には細心の注意が払われている。MMapは、隣接リストをメモリ内に保持しながら、ベクトル・データに対して選択的に採用され、パフォーマンスを損なうことなく大幅なメモリ節約を実現している。</p>
<p>さらに、MMapはメモリ使用量を最小化することでデータ処理を最大化する。QueryNodeがデータセット全体をコピーしていた以前のMilvusバージョンとは異なり、MMapは開発中に合理化されたコピーフリーのストリーミングプロセスを採用しています。この最適化により、メモリのオーバーヘッドが大幅に削減されます。</p>
<p><strong>社内テストの結果、MMapを有効にするとMilvusは2倍のデータ量を効率的に処理できることがわかりました。</strong></p>
<h2 id="The-road-ahead-continuous-innovation-and-user-centric-enhancements" class="common-anchor-header">今後の展望：継続的なイノベーションとユーザー中心の機能強化<button data-href="#The-road-ahead-continuous-innovation-and-user-centric-enhancements" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>MMap機能はベータ段階ですが、Milvusチームは継続的な改善に取り組んでいます。今後のアップデートにより、システムのメモリ使用量が改善され、Milvusは単一ノードでより広範なデータボリュームをサポートできるようになります。ユーザーはMMap機能をより細かく制御できるようになり、コレクションの動的な変更や高度なフィールドロードモードが可能になります。これらの機能強化により、これまでにない柔軟性が提供され、ユーザーは特定の要件に合わせてデータ処理戦略を調整することができます。</p>
<h2 id="Conclusion-redefining-data-processing-excellence-with-Milvus-MMap" class="common-anchor-header">結論：Milvus MMapで卓越したデータ処理を再定義する<button data-href="#Conclusion-redefining-data-processing-excellence-with-Milvus-MMap" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus2.3のMMap機能は、データ処理技術の大きな飛躍を意味します。Milvusは、性能、コスト、システム限界の微妙なバランスを取ることにより、膨大な量のデータを効率的かつコスト効率よく処理することを可能にします。Milvusは進化を続けながら、革新的なソリューションの最前線に立ち続け、データ管理において達成可能なことの限界を再定義していきます。</p>
<p>Milvusが比類のない優れたデータ処理への旅を続ける中、さらなる画期的な開発にご期待ください。</p>


Milvus、データ管理の再定義とストレージ能力の向上を実現するMMapを発表

ベクターデータベース、ベクター検索ライブラリ、ベクター検索プラグインの比較

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Ingesting_Chaos_20231017_110103_54fe2009cb.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>データは、想像しうるあらゆる形で、かつてない速さで生成されている。このデータは、人工知能アプリケーションの新しい波を動かすガソリンとなるが、これらの生産性向上エンジンには、この燃料を取り込む手助けが必要だ。非構造化データを取り巻くシナリオやエッジケースは多岐にわたるため、本番のAIシステムで使用するのは難しい。</p>
<p>まず、膨大な数のデータソースが存在する。これらのデータは様々なファイル形式でエクスポートされ、それぞれに偏りがある。例えば、PDFをどのように処理するかは、それがどこから来たかによって大きく異なる。証券訴訟案件のPDFを取り込む場合、おそらくテキストデータが中心になるでしょう。これとは対照的に、ロケット技術者のためのシステム設計仕様書は、視覚的な処理を必要とする図表でいっぱいでしょう。非構造化データには定義されたスキーマがないため、さらに複雑さが増す。データ処理の課題が克服されたとしても、それを大規模に取り込むという問題は残る。ファイルのサイズは大きく異なるため、処理方法も変わってくる。1MBのアップロードならHTTP経由のAPIで素早く処理できるが、1つのファイルから数十GBのデータを読み込むには、ストリーミングと専用のワーカーが必要になる。</p>
<p><a href="https://github.com/milvus-io/milvus">Milvusの</a>ような<a href="https://zilliz.com/learn/what-is-vector-database">ベクトル・データベースを介して</a>生データを<a href="https://zilliz.com/glossary/large-language-models-(llms)">LLMに</a>接続する場合、このような伝統的なデータ工学の課題を克服することは簡単なことだ。しかし、ベクターデータベースの助けを借りて意味的類似性検索を実行するような新しいユースケースには、ソースデータのチャンキング、ハイブリッド検索のためのメタデータのオーケストレーション、適切なベクター埋め込みモデルの選択、LLMに供給するデータを決定するための検索パラメータの調整といった新しい処理ステップが必要です。これらのワークフローは非常に新しいため、開発者が従うべき確立されたベストプラクティスは存在しない。その代わりに、開発者は自分のデータに適した構成と使用ケースを見つけるために実験しなければならない。このプロセスをスピードアップするために、ベクトル埋め込みパイプラインを使用してベクトルデータベースへのデータ取り込みを処理することは非常に貴重である。</p>
<p><a href="https://github.com/dgarnitz/vectorflow">VectorFlowの</a>ようなベクターエンベッディングパイプラインは、チャンキング、メタデータオーケストレーション、エンベッディング、アップロードを含め、生データをベクターデータベースに接続します。VectorFlowにより、エンジニアリングチームはコアアプリケーションロジックに集中することができ、エンベッディングモデルから生成される様々な検索パラメータ、チャンキング戦略、メタデータフィールド、検索のアスペクトを実験し、何がベストパフォーマンスかを確認することができます。</p>
<p>エンジニアリングチームが<a href="https://zilliz.com/use-cases/llm-retrieval-augmented-generation">検索拡張世代（RAG）</a>システムをプロトタイプからプロダクションに移行するのを支援する仕事において、RAG検索パイプラインの様々なパラメータをテストする際に、以下のアプローチが成功することを確認している：</p>
<ol>
<li>検索クエリに関連するチャンクを持ついくつかのPDFのような、反復のスピードを上げるために使い慣れたデータの小さなセットを使用する。</li>
<li>そのデータのサブセットに関する標準的な質問と回答のセットを作成する。例えば、PDFを読んだ後、質問のリストを書き、チームで答えに合意する。</li>
<li>各質問に対して検索がどうであったかをスコアリングする自動評価システムを作る。これを行う1つの方法は、RAGシステムから答えを取り出し、このRAGの結果が正しい答えが与えられた質問に答えるかどうかを尋ねるプロンプトとともに、LLMにそれを戻して実行することです。これは「はい」または「いいえ」の答えでなければなりません。例えば、文書に25の質問があり、システムが20の正解を出した場合、これを他のアプローチに対するベンチマークに使用することができます。</li>
<li>評価には、データベースに格納されたベクトル埋め込みをエンコードするために使用したのとは異なるLLMを使用するようにしてください。評価用LLMは通常GPT-4のようなモデルのデコーダタイプです。覚えておくべきことのひとつは、繰り返し実行する場合の評価コストです。Llama2 70BやDeci AI LLM 6Bのようなオープンソースのモデルは、単一の小型GPUで実行することができ、ほぼ同じ性能をわずかなコストで実現できます。</li>
<li>各テストを複数回実行し、スコアを平均してLLMの確率性を平滑化する。</li>
</ol>
<p>1つを除くすべてのオプションを一定に保つことで、どのパラメータがユースケースに最適かを素早く判断できます。VectorFlowのようなベクトル埋め込みパイプラインは、インジェスト側で特にこれを容易にします。様々なチャンキング戦略、チャンクの長さ、チャンクのオーバーラップ、オープンソースの埋め込みモデルを素早く試して、何が最良の結果につながるかを確認することができます。これは、データセットに様々なファイルタイプやデータソースがあり、カスタムロジックが必要な場合に特に有効です。</p>
<p>一旦チームが使用ケースに適したものを知れば、ベクター埋め込みパイプラインによって、信頼性やモニタリングなどを考慮してシステムを再設計することなく、迅速に本番稼動に移行することができる。オープンソースでプラットフォームにとらわれないVectorFlowや<a href="https://zilliz.com/what-is-milvus">Milvusの</a>ような技術により、チームはプライバシーやセキュリティの要件を遵守しながら、異なる環境間で効率的にテストを行うことができる。</p>


カオスを取り込む：非構造化データをRAGのスケールで確実に扱うためのMLOPS

目的別ベクターデータベースが必要な理由と時期

Milvus2.3を発表：GPU、Arm64、CDC、その他多くの待望の機能をサポートするマイルストーンリリース

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/What_s_New_in_2_2_12_20230720_143424_7d19280738.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Milvus 2.2.12をリリースいたしました。今回のアップデートでは、RESTful API のサポート、<code translate="no">json_contains</code> 機能、ANN 検索時のベクトル検索など、ユーザーからのフィードバックに対応した複数の新機能が追加されました。また、ユーザーエクスペリエンスの合理化、ベクトル検索速度の向上、多くの問題の解決も行いました。それでは、Milvus 2.2.12に期待されるものを掘り下げてみましょう。</p>
<h2 id="Support-for-RESTful-API" class="common-anchor-header">RESTful APIのサポート<button data-href="#Support-for-RESTful-API" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.2.12ではRESTful APIに対応し、クライアントをインストールすることなくMilvusにアクセスできるようになった。また、Milvus SDKとRESTful APIが同じポート番号を共有しているため、Milvusの導入がより便利になりました。</p>
<p><strong>注</strong>：高度な運用やレイテンシを重視するビジネスでは、SDKを使用してMilvusを導入することをお勧めします。</p>
<h2 id="Vector-retrieval-during-ANN-searches" class="common-anchor-header">ANN検索時のベクトル検索<button data-href="#Vector-retrieval-during-ANN-searches" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>以前のバージョンでは、Milvusはパフォーマンスとメモリ使用量を優先するため、近似最近傍(ANN)検索中のベクトル検索を許可していませんでした。その結果、生ベクトルの検索はANN検索の実行と、IDに基づく生ベクトルのクエリの2つのステップに分ける必要がありました。このアプローチは開発コストを増加させ、ユーザがMilvusを導入することを困難にしていました。</p>
<p>Milvus2.2.12では、ベクトルフィールドを出力フィールドとして設定し、HNSW、DiskANN、またはIVF-FLATでインデックスされたコレクションでクエリを実行することで、ANN検索中に生のベクトルを取得することができます。さらに、ベクトル検索速度の大幅な高速化が期待できます。</p>
<h2 id="Support-for-operations-on-JSON-arrays" class="common-anchor-header">JSON配列に対する操作のサポート<button data-href="#Support-for-operations-on-JSON-arrays" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.2.8でJSONのサポートが追加されました。それ以来、ユーザからは、包含、除外、交差、和集合、差分などのJSON配列の追加操作をサポートしてほしいという多くの要望が寄せられていました。Milvus 2.2.12では、<code translate="no">json_contains</code> 関数のサポートを優先し、インクルード操作を可能にしました。今後のバージョンアップでは、他の演算子のサポートも追加していく予定です。</p>
<h2 id="Enhancements-and-bug-fixes" class="common-anchor-header">機能強化とバグ修正<button data-href="#Enhancements-and-bug-fixes" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.2.12では、新機能の導入に加え、オーバーヘッドを削減したベクトル検索性能の向上により、広範なtopk検索を容易に扱えるようになりました。さらに、パーティションキー有効時およびマルチパーティション時の書き込み性能を向上させ、大規模マシンのCPU使用率を最適化しています。 このアップデートでは、過剰なディスク使用、コンパクションのスタック、頻繁でないデータ削除、一括挿入の失敗といった様々な問題に対処しています。詳細については、<a href="https://milvus.io/docs/release_notes.md#2212">Milvus 2.2.12リリースノートを</a>ご参照ください。</p>
<h2 id="Lets-keep-in-touch" class="common-anchor-header">今後ともよろしくお願いいたします！<button data-href="#Lets-keep-in-touch" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvusに関するご質問やご意見がございましたら、<a href="https://twitter.com/milvusio">Twitterや</a> <a href="https://www.linkedin.com/company/the-milvus-project">LinkedInを通じて</a>お気軽にご連絡ください。また、<a href="https://milvus.io/slack/">Slackチャンネルに</a>参加してエンジニアやコミュニティと直接チャットしたり、<a href="https://us02web.zoom.us/meeting/register/tZ0pcO6vrzsuEtVAuGTpNdb6lGnsPBzGfQ1T#/registration">火曜日のオフィスアワーを</a>チェックしたりすることも大歓迎です！</p>


Milvus 2.2.12: より簡単なアクセス、より速いベクトル検索速度、より良いユーザーエクスペリエンス

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/What_s_New_in_Milvus_2_2_10_and_2_2_11_5018946465.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Milvusファンの皆様、こんにちは！この度、Milvus 2.2.10と2.2.11をリリースいたしました。この2つのアップデートは、主にバグフィックスと全体的なパフォーマンス向上に焦点を当てたマイナーアップデートです。この2つのアップデートにより、より安定したシステムと、より良いユーザーエクスペリエンスが期待できます。この2つのリリースの新機能を簡単に見てみましょう。</p>
<h2 id="Milvus-2210" class="common-anchor-header">Milvus 2.2.10<button data-href="#Milvus-2210" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.2.10では、システムクラッシュの修正、ローディングとインデックス作成の高速化、データノードのメモリ使用量の削減、その他多くの改善が行われました。以下は注目すべき変更点です：</p>
<ul>
<li>古いCGOペイロードライターを純粋なGoで書かれた新しいものに置き換え、データノードのメモリ使用量を削減しました。</li>
<li><code translate="no">milvus-proto</code> のバージョン違いによる混乱を防ぐため、<code translate="no">milvus-proto</code> ファイルに<code translate="no">go-api/v2</code> を追加。</li>
<li>Ginをバージョン1.9.0から1.9.1にアップグレードし、<code translate="no">Context.FileAttachment</code> 関数のバグを修正。</li>
<li>FlushAllおよびDatabase APIにロールベースのアクセス制御（RBAC）を追加しました。</li>
<li>AWS S3 SDKによって引き起こされるランダムクラッシュを修正しました。</li>
<li>読み込み速度とインデックス作成速度を改善しました。</li>
</ul>
<p>詳細は<a href="https://milvus.io/docs/release_notes.md#2210">Milvus 2.2.10リリースノートを</a>ご参照ください。</p>
<h2 id="Milvus-2211" class="common-anchor-header">Milvus 2.2.11<button data-href="#Milvus-2211" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.2.11では、システムの安定性を向上させるために様々な問題を解決しました。また、モニタリング、ロギング、レート制限、クロスクラスタ要求の遮断のパフォーマンスが改善されました。今回のアップデートのハイライトは以下をご覧ください。</p>
<ul>
<li>MilvusのGRPCサーバーにインターセプターを追加し、Cross-Clusterルーティングの問題を防止。</li>
<li>エラーの診断と修正を容易にするため、minioチャンクマネージャーにエラーコードを追加した。</li>
<li>シングルトンコルーチンプールを利用して、コルーチンの浪費を避け、リソースを最大限に利用するようにした。</li>
<li>zstd圧縮を有効にすることで、RocksMqのディスク使用量を10分の1に削減。</li>
<li>ロード中に時々発生するQueryNodeのパニックを修正。</li>
<li>キューの長さを2回誤って計算することによる読み取り要求のスロットリング問題を修正。</li>
<li>MacOS上でGetObjectがNULL値を返す問題を修正しました。</li>
<li>noexcept修飾子の誤った使用によるクラッシュを修正しました。</li>
</ul>
<p>詳細は<a href="https://milvus.io/docs/release_notes.md#2211">Milvus 2.2.11リリースノートを</a>ご覧ください。</p>
<h2 id="Let’s-keep-in-touch" class="common-anchor-header">今後ともよろしくお願いします！<button data-href="#Let’s-keep-in-touch" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvusに関するご質問やご意見がございましたら、<a href="https://twitter.com/milvusio">Twitterや</a> <a href="https://www.linkedin.com/company/the-milvus-project">LinkedInを通じて</a>お気軽にご連絡ください。また、私たちの<a href="https://milvus.io/slack/">Slackチャンネルに</a>参加してエンジニアやコミュニティと直接チャットしたり、<a href="https://us02web.zoom.us/meeting/register/tZ0pcO6vrzsuEtVAuGTpNdb6lGnsPBzGfQ1T#/registration">火曜日のオフィスアワーを</a>チェックしたりすることも大歓迎です！</p>


Milvus 2.2.10 & 2.2.11 Enhanced System Stability and User Experience

Milvus 2.2.10 &amp; 2.2.11: システムの安定性とユーザーエクスペリエンスの向上のためのマイナーアップデート

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Milvus_hit_20_000_stars_284ed694d2.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>紙吹雪をまいてお祝いしましょう！</p>
<p><a href="https://github.com/milvus-io/milvus">Milvusは</a>、GitHubで20,000スターを突破するという、輝かしいマイルストーンを達成しました！これは、私たちの忠実なファンやコミュニティメンバーのサポートとフィードバックなしには達成できませんでした。本当にありがとうございます。</p>
<p>この喜びを分かち合うために、Milvusコミュニティからの重要なトピックをまとめました：</p>
<ul>
<li>Milvusを活用した6つの著名なプロジェクト</li>
<li>他のオープンソースプロジェクトとの5つの統合</li>
<li>Milvusの5つの有名な使用例</li>
<li>5つの優れた次期機能</li>
</ul>
<h2 id="Six-LLM-projects-that-utilize-Milvus" class="common-anchor-header">Milvusを活用した6つのLLMプロジェクト<button data-href="#Six-LLM-projects-that-utilize-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="PaperGPT" class="common-anchor-header">PaperGPT</h3><p><a href="http://papergpt.bio">PaperGPTは</a>LLMとベクトルデータベースを利用した生物医学論文の検索ツールです。PubMedデータベースとSentenceTransformersやZilliz Cloudなどの技術を活用し、効率的な検索を実現しています。</p>
<h3 id="NoticeAI" class="common-anchor-header">NoticeAI</h3><p>NoticeAIは企業のカスタマーサポートプロセスの自動化を支援します。MilvusとLangChainを活用し、カスタマーサポートの質問を追跡し、ナレッジベースを更新し、人間を関与させるかどうかを決定する。</p>
<h3 id="Searchanythingio" class="common-anchor-header">サーチ・エニシング</h3><p><a href="http://search.anything.io">Search Anythingは</a>LLMとMilvusを活用し、より良い検索体験を提供する。ユーザーからのテキストの説明を受け取り、ウェブ上の対応する画像を検索します。</p>
<h3 id="IkuStudies" class="common-anchor-header">IkuStudies</h3><p><a href="https://ikustudies.xyz/">IkuStudiesは</a>、28言語の同音異義語を検索できるプロジェクトです。Milvusをベクトルストアとして使用し、単語間の類似性を見つける。</p>
<h3 id="AssistLink-AI" class="common-anchor-header">アシストリンクAI</h3><p><a href="https://www.linkedin.com/company/assistlink/about/">AssistLink AIは</a>シアトルに拠点を置くスタートアップで、MilvusとLLaMa 65bnを使って政府支援システムの変数を保存している。</p>
<h3 id="OSS-Chat" class="common-anchor-header">OSSチャット</h3><p><a href="http://osschat.io">OSSチャットは</a>、オープンソースソフトウェアとチャットすることができます。Milvusを使用してオープンソースプロジェクトに関するドメイン知識を注入し、<a href="https://zilliz.com/blog/Caching-LLM-Queries-for-performance-improvements">GPTCacheを</a>使用してよくある質問をキャッシュしてLLMコストを削減しています。</p>
<h2 id="Five-AI-projects-Milvus-integrates-with" class="common-anchor-header">Milvusが統合する5つのAIプロジェクト<button data-href="#Five-AI-projects-Milvus-integrates-with" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="LlamaIndex" class="common-anchor-header">ラマインデックス</h3><p><a href="https://github.com/jerryjliu/llama_index">LlamaIndexは</a>LLMアプリケーションのためのデータフレームワークで、外部データソースとLLMをリンクするためのデータコネクタを提供します。LlamaIndexを使用すると、プライベートデータやドメイン固有の知識をLLMアプリケーションに直接注入することができます。</p>
<h3 id="LangChainLangChainJS" class="common-anchor-header">LangChain/LangChainJS</h3><p><a href="https://github.com/hwchase17/langchain">LangChainは</a>LLMアプリケーション開発を加速するために設計されたライブラリで、プロンプト管理、チェーン、データ拡張生成、メモリなどの機能を提供します。</p>
<h3 id="ChatGPT-Retrieval-Plugin" class="common-anchor-header">ChatGPT検索プラグイン</h3><p>OpenAIの<a href="https://github.com/openai/chatgpt-retrieval-plugin">ChatGPT Retrieval Pluginは</a>、自然言語クエリを使用して、個人または組織のドキュメントのセマンティック検索と検索を可能にします。</p>
<h3 id="Haystack" class="common-anchor-header">ヘイスタック</h3><p><a href="https://github.com/deepset-ai/haystack">Haystackは</a>、質問応答、セマンティック文書検索、複雑な意思決定の構築などのタスクのためのLLM、変換モデル、ベクトル検索、および他の技術によって駆動されるNLPアプリケーションを構築するためのエンドツーエンドのNLPフレームワークです。</p>
<h3 id="GPTCache" class="common-anchor-header">GPTCache</h3><p>LLMのAPIコールはコストが高く、処理速度も遅い場合があります。<a href="https://github.com/zilliztech/gptcache">GPTCacheは</a>、LLMクエリ用のセマンティックキャッシュを提供することで、この2つの問題を解決することができる。</p>
<h2 id="Five-well-known-use-cases-of-Milvus" class="common-anchor-header">Milvusのよく知られた5つの使用例<button data-href="#Five-well-known-use-cases-of-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="LLM-augmentation" class="common-anchor-header">LLMの拡張</h3><p>LLMまたはLLMアプリケーションには、3つの主要な問題があります：ドメイン固有のデータがない、データが古い、コストが高い。Milvusは、外部データを注入し、頻繁に行われるクエリのキャッシュとして機能させることで、これら3つの問題を解決することができます。</p>
<h3 id="Anomaly-detection" class="common-anchor-header">異常検知</h3><p>異常データとは、与えられた集合の中で他のデータと大きく異なるものです。Milvusのようなベクターデータベースは、類似検索を行うのに有益であり、そのような異常なデータの特定を容易にする。</p>
<h3 id="Recommender-systems" class="common-anchor-header">推薦システム</h3><p>レコメンダーシステムは、人々が既に楽しんでいるものに似たアイテムを推薦する。Milvusが類似検索を行うことで、このプロセスを加速している典型的な例である。</p>
<h3 id="Semantic-search" class="common-anchor-header">セマンティック検索</h3><p>類似した意味を持つものを見つけるためにテキストを検索する場合、キーワード検索では不十分です。そこでセマンティック検索の出番となり、Milvusがお役に立てるのです。Milvusは、単語そのものだけでなく、テキストの背後にある意図を比較することができます。</p>
<h3 id="Automatic-data-labeling" class="common-anchor-header">自動データラベリング</h3><p>ラベル付けされたデータをさらにマークする必要がありますか？Milvusにベクトル表現を保存することで、新しいデータから最も類似したデータポイントを自動的に検出し、適切なラベルを適用することができます。</p>
<h2 id="Five-awesome-upcoming-features" class="common-anchor-header">5つの素晴らしい新機能<button data-href="#Five-awesome-upcoming-features" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="NVIDIA-GPU-support" class="common-anchor-header">NVIDIA GPUサポート</h3><p>GPUサポートはMilvus 2.3で提供され、<a href="https://github.com/milvus-io/milvus/releases/tag/v2.3.0-beta">最新のベータリリースでは</a>すでに利用可能です！</p>
<h3 id="Delete-by-Expression" class="common-anchor-header">式による削除</h3><p>Milvusではすでにブーリアン式によるスカラー/メタデータのフィルタリングが可能です。Delete by Expression機能もリリース予定です。</p>
<h3 id="Change-Data-Capture-CDC" class="common-anchor-header">変更データキャプチャ (CDC)</h3><p>CDCはMilvusインスタンスに加えられた変更をリアルタイムにキャプチャし、追跡する技術です。</p>
<h3 id="Range-Search" class="common-anchor-header">範囲検索</h3><p>範囲検索は、イプシロン検索とも呼ばれ、クエリーベクトルから一定の距離内にあるすべてのベクトルを検索することができます。</p>
<h3 id="Fast-Scan" class="common-anchor-header">高速スキャン</h3><p>4ビット量子化とFastScanがFAISSに追加されましたが、Milvusにも追加される予定です。</p>
<h2 id="Looking-forward-to-Milvus-reaching-even-greater-heights" class="common-anchor-header">Milvusがさらなる高みに到達することを楽しみにしています！<button data-href="#Looking-forward-to-Milvus-reaching-even-greater-heights" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>ユーザーの皆様、コミュニティメンバーの皆様、エコシステムパートナーの皆様、そしてスターゲイザーの皆様からの継続的なご支援、フィードバック、ご貢献に心より感謝申し上げます。Milvusの更なる飛躍にご期待ください！</p>


恒星のマイルストーン：Milvus、GitHubの2万スターを突破

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Conversational_Memory_in_Lang_Chain_7c1b4b7ba9.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>LangChainは、LLMアプリケーションを構築するための堅牢なフレームワークです。しかし、そのパワーは複雑さを伴います。LangChainはLLMをプロンプトする多くの方法と、会話記憶のような重要な機能を提供します。会話記憶は、LLMがあなたのチャットを記憶するためのコンテキストを提供します。</p>
<p>この投稿では、LangChainとmilvusで会話メモリを使う方法を見ていきます。この記事に従うには、<code translate="no">pip</code> 、4つのライブラリとOpenAI APIキーをインストールする必要があります。必要な4つのライブラリは<code translate="no">pip install langchain milvus pymilvus python-dotenv</code> を実行することでインストールできる。または、この記事の<a href="https://colab.research.google.com/drive/11p-u8nKqrQYePlXR0HiSrUapmKLD0QN9?usp=sharing">CoLab Notebookの</a>最初のブロックを実行する。</p>
<p>この記事では、以下について学びます：</p>
<ul>
<li>LangChainを使った会話記憶</li>
<li>会話コンテキストの設定</li>
<li>LangChainで会話記憶を促す</li>
<li>LangChain会話記憶のまとめ</li>
</ul>
<h2 id="Conversational-Memory-with-LangChain" class="common-anchor-header">LangChainによる会話記憶<button data-href="#Conversational-Memory-with-LangChain" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>デフォルトの状態では、LLMとの対話は単一のプロンプトを通して行われます。コンテキストのためのメモリ、つまり "会話メモリ "を追加することは、一つのプロンプトを通して全てを送信する必要がなくなることを意味します。LangChainはLLMとの会話を保存し、後でその情報を取り出すことができます。</p>
<p>ベクターストアを使った持続的会話記憶のセットアップには、LangChainの6つのモジュールが必要です。まず、<code translate="no">OpenAIEmbeddings</code> と<code translate="no">OpenAI</code> LLMを手に入れなければなりません。ベクトルストア・バックエンドを使うには、<code translate="no">VectorStoreRetrieverMemory</code> とLangChainバージョンの<code translate="no">Milvus</code> も必要です。次に、会話を保存してクエリするために、<code translate="no">ConversationChain</code> と<code translate="no">PromptTemplate</code> が必要です。</p>
<p><code translate="no">os</code> 、<code translate="no">dotenv</code> 、<code translate="no">openai</code> ライブラリは、主に運用目的で使用します。OpenAIのAPIキーをロードして使用するために使用します。最後のセットアップステップは、ローカルの<a href="https://milvus.io/docs/milvus_lite.md">Milvus Lite</a>インスタンスをスピンアップすることである。Milvus Pythonパッケージの<code translate="no">default_server</code> 。</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> langchain.<span class="hljs-property">embeddings</span>.<span class="hljs-property">openai</span> <span class="hljs-keyword">import</span> <span class="hljs-title class_">OpenAIEmbeddings</span>
<span class="hljs-keyword">from</span> langchain.<span class="hljs-property">llms</span> <span class="hljs-keyword">import</span> <span class="hljs-title class_">OpenAI</span>
<span class="hljs-keyword">from</span> langchain.<span class="hljs-property">memory</span> <span class="hljs-keyword">import</span> <span class="hljs-title class_">VectorStoreRetrieverMemory</span>
<span class="hljs-keyword">from</span> langchain.<span class="hljs-property">chains</span> <span class="hljs-keyword">import</span> <span class="hljs-title class_">ConversationChain</span>
<span class="hljs-keyword">from</span> langchain.<span class="hljs-property">prompts</span> <span class="hljs-keyword">import</span> <span class="hljs-title class_">PromptTemplate</span>
<span class="hljs-keyword">from</span> langchain.<span class="hljs-property">vectorstores</span> <span class="hljs-keyword">import</span> <span class="hljs-title class_">Milvus</span>
embeddings = <span class="hljs-title class_">OpenAIEmbeddings</span>()


<span class="hljs-keyword">import</span> os
<span class="hljs-keyword">from</span> dotenv <span class="hljs-keyword">import</span> load_dotenv
<span class="hljs-keyword">import</span> openai
<span class="hljs-title function_">load_dotenv</span>()
openai.<span class="hljs-property">api_key</span> = os.<span class="hljs-title function_">getenv</span>(<span class="hljs-string">&quot;OPENAI_API_KEY&quot;</span>)


<span class="hljs-keyword">from</span> milvus <span class="hljs-keyword">import</span> default_server
default_server.<span class="hljs-title function_">start</span>()
<button class="copy-code-btn"></button></code></pre>
<h2 id="Setting-Up-Conversation-Context" class="common-anchor-header">会話コンテキストのセットアップ<button data-href="#Setting-Up-Conversation-Context" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>これで前提条件がすべて整ったので、会話メモリの作成に進むことができる。最初のステップは、LangChainを使ってMilvusサーバーへの接続を作成することです。次に、空の辞書を使ってLangChain Milvusコレクションを作成します。さらに、上記で作成したエンベッディングとMilvus Liteサーバへの接続情報を渡します。</p>
<p>ベクターデータベースを会話記憶に使うには、ベクターデータベースをリトリーバとしてインスタンス化する必要があります。この場合、上位1つの結果のみを取得し、<code translate="no">k=1</code> 。最後の会話記憶のセットアップステップでは、先ほどセットアップしたレトリーバーとベクトルデータベースの接続を通して、<code translate="no">VectorStoreRetrieverMemory</code> オブジェクトを会話記憶として使用します。</p>
<p>会話メモリを使うには、そのメモリにコンテキストが必要です。そこで、メモリにコンテキストを与えてみましょう。この例では、5つの情報を与える。好きなスナック（チョコレート）、スポーツ（水泳）、ビール（ギネス）、デザート（チーズケーキ）、ミュージシャン（テイラー・スウィフト）。各エントリーは、<code translate="no">save_context</code> 機能を使ってメモリーに保存される。</p>
<pre><code translate="no">vectordb = Milvus.from_documents(
   {},
   embeddings,
   connection_args={<span class="hljs-string">&quot;host&quot;</span>: <span class="hljs-string">&quot;127.0.0.1&quot;</span>, <span class="hljs-string">&quot;port&quot;</span>: default_server.listen_port})
retriever = Milvus.as_retriever(vectordb, search_kwargs=<span class="hljs-built_in">dict</span>(k=<span class="hljs-number">1</span>))
memory = VectorStoreRetrieverMemory(retriever=retriever)
about_me = [
   {<span class="hljs-string">&quot;input&quot;</span>: <span class="hljs-string">&quot;My favorite snack is chocolate&quot;</span>,
    <span class="hljs-string">&quot;output&quot;</span>: <span class="hljs-string">&quot;Nice&quot;</span>},
   {<span class="hljs-string">&quot;input&quot;</span>: <span class="hljs-string">&quot;My favorite sport is swimming&quot;</span>,
    <span class="hljs-string">&quot;output&quot;</span>: <span class="hljs-string">&quot;Cool&quot;</span>},
   {<span class="hljs-string">&quot;input&quot;</span>: <span class="hljs-string">&quot;My favorite beer is Guinness&quot;</span>,
    <span class="hljs-string">&quot;output&quot;</span>: <span class="hljs-string">&quot;Great&quot;</span>},
   {<span class="hljs-string">&quot;input&quot;</span>: <span class="hljs-string">&quot;My favorite dessert is cheesecake&quot;</span>,
    <span class="hljs-string">&quot;output&quot;</span>: <span class="hljs-string">&quot;Good to know&quot;</span>},
   {<span class="hljs-string">&quot;input&quot;</span>: <span class="hljs-string">&quot;My favorite musician is Taylor Swift&quot;</span>,
    <span class="hljs-string">&quot;output&quot;</span>: <span class="hljs-string">&quot;Same&quot;</span>}
]
<span class="hljs-keyword">for</span> example <span class="hljs-keyword">in</span> about_me:
   memory.save_context({<span class="hljs-string">&quot;input&quot;</span>: example[<span class="hljs-string">&quot;input&quot;</span>]}, {<span class="hljs-string">&quot;output&quot;</span>: example[<span class="hljs-string">&quot;output&quot;</span>]})
<button class="copy-code-btn"></button></code></pre>
<h2 id="Prompting-the-Conversational-Memory-with-LangChain" class="common-anchor-header">LangChainで会話メモリをプロンプトする<button data-href="#Prompting-the-Conversational-Memory-with-LangChain" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>会話メモリーの使い方を見てみましょう。まず、LangChainを使ってOpenAI LLMに接続します。LLMに創造性を求めないことを示すために、温度を0にします。</p>
<p>次に、テンプレートを作成します。LLMが人間とフレンドリーな会話をしていることを伝え、2つの変数を挿入する。<code translate="no">history</code> 変数は会話の記憶からコンテキストを提供する。<code translate="no">input</code> 変数は現在の入力を提供する。これらの変数を挿入するために、<code translate="no">PromptTemplate</code> オブジェクトを使います。</p>
<p><code translate="no">ConversationChain</code> オブジェクトを使って、プロンプト、LLM、メモリーを結合する。これで、いくつかのプロンプトを与えて、会話の記憶をチェックする準備ができた。まずLLMに、私たちの名前がポケモンシリーズの主なライバルであるゲイリーであることを伝えます（会話メモリ内の他のすべては、私についての事実です）。</p>
<pre><code translate="no">llm = OpenAI(temperature=<span class="hljs-number">0</span>) <span class="hljs-comment"># Can be any valid LLM</span>
_DEFAULT_TEMPLATE = <span class="hljs-string">&quot;&quot;&quot;The following is a friendly conversation between a human and an AI. The AI is talkative and provides lots of specific details from its context. If the AI does not know the answer to a question, it truthfully says it does not know.


Relevant pieces of previous conversation:
{history}


(You do not need to use these pieces of information if not relevant)


Current conversation:
Human: {input}
AI:&quot;&quot;&quot;</span>
PROMPT = PromptTemplate(
   input_variables=[<span class="hljs-string">&quot;history&quot;</span>, <span class="hljs-string">&quot;input&quot;</span>], template=_DEFAULT_TEMPLATE
)
conversation_with_summary = ConversationChain(
   llm=llm,
   prompt=PROMPT,
   memory=memory,
   verbose=<span class="hljs-literal">True</span>
)
conversation_with_summary.predict(<span class="hljs-built_in">input</span>=<span class="hljs-string">&quot;Hi, my name is Gary, what&#x27;s up?&quot;</span>)
<button class="copy-code-btn"></button></code></pre>
<p>下の画像は、LLMからの予想される反応を示している。この例では、自分の名前は「AI」だと答えている。</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Conversational_Memory_in_Lang_Chain_graphics_1_2bf386d22a.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>では、ここまでの記憶をテストしてみよう。先ほど作成した<code translate="no">ConversationChain</code> オブジェクトを使い、私の好きなミュージシャンを検索します。</p>
<pre><code translate="no">conversation_with_summary.predict(<span class="hljs-built_in">input</span>=<span class="hljs-string">&quot;who is my favorite musician?&quot;</span>)
<button class="copy-code-btn"></button></code></pre>
<p>下の画像は、Conversation Chainからの予想される応答である。verboseオプションを使ったので、関連する会話も表示されている。予想通り、私の好きなアーティストがTaylor Swiftであることが返されているのがわかる。</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Conversational_Memory_in_Lang_Chain_graphics_2_8355206f3e.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>次に、私の好きなデザート、チーズケーキを調べてみましょう。</p>
<pre><code translate="no">conversation_with_summary.predict(<span class="hljs-built_in">input</span>=<span class="hljs-string">&quot;Whats my favorite dessert?&quot;</span>)
<button class="copy-code-btn"></button></code></pre>
<p>私の好きなデザートを問い合わせると、カンバセーションチェーンは再びmilvusから正しい情報を選んでいることがわかる。私の好きなデザートはチーズケーキです。</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Conversational_Memory_in_Lang_Chain_graphics_3_66a5c9690f.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>さて、先ほどの情報を照会できることを確認したところで、もうひとつ、会話の最初に提供した情報を確認してみよう。私たちはAIに自分の名前をゲイリーと告げて会話を始めた。</p>
<pre><code translate="no">conversation_with_summary.predict(<span class="hljs-built_in">input</span>=<span class="hljs-string">&quot;What&#x27;s my name?&quot;</span>)
<button class="copy-code-btn"></button></code></pre>
<p>最終的なチェックでは、会話チェーンが私たちの名前に関するビットをベクターストアの会話メモリーに保存したことを返す。私たちがゲイリーと名乗ったことが返されます。</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Conversational_Memory_in_Lang_Chain_graphics_4_f446f49672.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<h2 id="LangChain-Conversational-Memory-Summary" class="common-anchor-header">LangChain会話メモリのまとめ<button data-href="#LangChain-Conversational-Memory-Summary" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>このチュートリアルではLangChainで会話型メモリを使う方法を学びました。LangChainはMilvusのようなベクトルストア・バックエンドにアクセスして、永続的な会話型メモリを提供します。プロンプトに履歴を注入し、<code translate="no">ConversationChain</code> オブジェクトに履歴コンテキストを保存することで、会話メモリを使うことができます。</p>
<p>このチュートリアルの例では、Conversation Chainに私に関する5つの事実を伝え、ポケモンの主なライバルであるゲイリーになりすました。そして、会話チェーンに、保存しておいた先験的知識、つまり好きなミュージシャンとデザートについての質問を投げかけました。会話チェーンはこの2つの質問に正しく答え、関連するエントリーを表示した。最後に、会話の最初に答えた私たちの名前について質問すると、私たちが "ゲイリー "と答えたことを正しく返してくれた。</p>


LangChainにおける会話記憶

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/What_s_New_in_2_2_9_858e54a2d3.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Milvus 2.2.9は、チームとコミュニティにとって重要なマイルストーンとなる待望のリリースです。このリリースでは、待望のJSONデータ型、ダイナミックスキーマ、パーティションキーのサポートを含む多くのエキサイティングな機能を提供し、最適化されたユーザーエクスペリエンスと合理化された開発ワークフローを保証します。さらに、本リリースには多数の機能拡張とバグ修正が含まれています。Milvus2.2.9について、そしてなぜこのリリースがこれほどエキサイティングなのか、私たちと一緒に考えてみませんか？</p>
<h2 id="Optimized-user-experience-with-JSON-support" class="common-anchor-header">JSONサポートによるユーザーエクスペリエンスの最適化<button data-href="#Optimized-user-experience-with-JSON-support" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvusは待望のJSONデータ型のサポートを導入し、ユーザーのコレクション内のベクターのメタデータと共にJSONデータをシームレスに保存できるようになりました。この機能強化により、ユーザーはJSONデータを効率的に一括挿入し、JSONフィールドのコンテンツに基づいて高度なクエリやフィルタリングを実行することができます。さらに、データセットのJSONフィールドに合わせた式や操作の実行、クエリの構築、JSONフィールドの内容や構造に基づいたフィルタの適用が可能になり、関連情報の抽出やデータ操作がより効率的に行えるようになります。</p>
<p>将来的には、MilvusチームはJSONタイプ内のフィールドに対するインデックスを追加し、スカラーとベクトルが混在するクエリのパフォーマンスをさらに最適化する予定です。今後のエキサイティングな展開にご期待ください！</p>
<h2 id="Added-flexibility-with-support-for-dynamic-schema" class="common-anchor-header">動的スキーマのサポートによる柔軟性の追加<button data-href="#Added-flexibility-with-support-for-dynamic-schema" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>JSONデータのサポートに伴い、Milvus 2.2.9では、簡素化されたソフトウェア開発キット(SDK)を通じて動的スキーマ機能を提供するようになりました。</p>
<p>Milvus 2.2.9から、Milvus SDKには、ダイナミックフィールドをコレクションの非表示JSONフィールドに自動的に入力するハイレベルAPIが含まれており、ユーザーはビジネスフィールドのみに集中することができます。</p>
<h2 id="Better-data-separation-and-enhanced-search-efficiency-with-Partition-Key" class="common-anchor-header">パーティションキーによるデータ分離と検索効率の向上<button data-href="#Better-data-separation-and-enhanced-search-efficiency-with-Partition-Key" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.2.9では、パーティションキー機能を導入し、パーティション機能を強化しました。パーティショニングの主キーとしてユーザー固有のカラムを使用できるため、<code translate="no">loadPartition</code> や<code translate="no">releasePartition</code> などの追加APIが不要になります。この新機能により、パーティション数の制限もなくなり、より効率的なリソース利用が可能になります。</p>
<h2 id="Support-for-Alibaba-Cloud-OSS" class="common-anchor-header">Alibaba Cloud OSSのサポート<button data-href="#Support-for-Alibaba-Cloud-OSS" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.2.9ではAlibaba Cloud Object Storage Service (OSS)をサポートしました。Alibaba Cloudユーザーは、<code translate="no">cloudProvider</code> をAlibaba Cloudに簡単に設定し、クラウド上のベクトルデータの効率的な保存と検索のためのシームレスな統合を利用することができます。</p>
<p>Milvus 2.2.9では、前述の機能に加えて、ロールベースアクセスコントロール(RBAC)におけるデータベースのサポート、接続管理の導入、および複数の機能強化とバグ修正が含まれています。詳細につきましては、<a href="https://milvus.io/docs/release_notes.md">Milvus 2.2.9リリースノートを</a>ご参照ください。</p>
<h2 id="Let’s-keep-in-touch" class="common-anchor-header">今後ともよろしくお願いいたします！<button data-href="#Let’s-keep-in-touch" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvusに関するご質問やご意見がございましたら、<a href="https://twitter.com/milvusio">Twitterや</a> <a href="https://www.linkedin.com/company/the-milvus-project">LinkedInを通じて</a>お気軽にお問い合わせください。また、私たちの<a href="https://milvus.io/slack/">Slackチャンネルに</a>参加してエンジニアやコミュニティと直接チャットしたり、<a href="https://us02web.zoom.us/meeting/register/tZ0pcO6vrzsuEtVAuGTpNdb6lGnsPBzGfQ1T#/registration">火曜日のオフィスアワーを</a>チェックしたりすることも大歓迎です！</p>


Milvus 2.2.9：ユーザーエクスペリエンスを最適化した待望のリリース

<p><strong><em>重要なお知らせ</em></strong></p>
<p><em>当社は2024年6月にMilvus Liteをアップグレードし、AI開発者がMilvus on Kurbernetes、Docker、マネージドクラウドサービスを含む様々なデプロイメントオプションで一貫したエクスペリエンスを確保しながら、より迅速にアプリケーションを構築できるようになりました。また、Milvus Liteは様々なAIフレームワークやテクノロジーと統合し、ベクトル検索機能を備えたAIアプリケーションの開発を効率化します。詳細については、以下の文献を参照されたい：</em></p>
<ul>
<li><p><em>Milvus Lite発表ブログ：h<a href="https://milvus.io/blog/introducing-milvus-lite.md">ttps://</a>milvus.io/blog/introducing-milvus-lite.md</em></p></li>
<li><p><em>Milvus Lite ドキュメント: https:<a href="https://milvus.io/docs/quickstart.md">//milvus.io/docs/quickstart.md</a></em></p></li>
<li><p><em>Milvus Lite GitHubリポジトリ: https:<a href="https://github.com/milvus-io/milvus-lite">//github.com/milvus-io/milvus-lite</a></em></p></li>
</ul>
<p><br></p>
<p><a href="https://github.com/milvus-io/milvus">Milvusは</a>、ディープニューラルネットワークやその他の機械学習(ML)モデルによって生成された埋め込みベクトルを何十億もの規模でインデックス化、保存、照会することを目的として構築されたオープンソースのベクトルデータベースです。大規模なデータセットに対して類似検索を行う必要がある多くの企業、研究者、開発者にとって人気のある選択肢となっている。</p>
<p>しかし、milvusのフルバージョンは重すぎたり複雑すぎたりすると感じるユーザーもいるだろう。この問題に対処するため、Milvusコミュニティで最も活発な貢献者の一人である<a href="https://github.com/matrixji">Bin Jiは</a>、<a href="https://github.com/milvus-io/milvus-lite">Milvusの</a>軽量版である<a href="https://github.com/milvus-io/milvus-lite">Milvus Liteを</a>構築しました。</p>
<h2 id="What-is-Milvus-Lite" class="common-anchor-header">Milvus Liteとは？<button data-href="#What-is-Milvus-Lite" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>前述したように、<a href="https://github.com/milvus-io/milvus-lite">Milvus Liteは</a>Milvusの簡易版であり、多くの利点とメリットを提供します。</p>
<ul>
<li>MilvusはPythonアプリケーションに統合することができます。</li>
<li>スタンドアロンのMilvusが組み込みのEtcdやローカルストレージで動作することができるため、Milvusは自己完結しており、他の依存関係を必要としません。</li>
<li>Pythonライブラリとしてインポートし、コマンドラインインターフェース(CLI)ベースのスタンドアロンサーバーとして使用することができます。</li>
<li>Google ColabやJupyter Notebookともスムーズに連携できる。</li>
<li>他のMilvusインスタンス（スタンドアロン版、クラスタ化版、フルマネージド版）に安全に移行することができます。</li>
</ul>
<h2 id="When-should-you-use-Milvus-Lite" class="common-anchor-header">どのような場合にMilvus Liteを使うべきか？<button data-href="#When-should-you-use-Milvus-Lite" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>具体的には、Milvus Liteは以下のような状況で最も役立ちます：</p>
<ul>
<li><a href="https://milvus.io/docs/install_standalone-operator.md">Milvus Operator</a>、<a href="https://milvus.io/docs/install_standalone-helm.md">Helm</a>、<a href="https://milvus.io/docs/install_standalone-docker.md">Docker Composeの</a>ようなコンテナ技術やツールを使わずにMilvusを使用したい場合。</li>
<li>Milvusの利用に仮想マシンやコンテナを必要としない場合。</li>
<li>PythonアプリケーションにMilvusの機能を組み込みたい場合。</li>
<li>ColabやNotebookでMilvusインスタンスをスピンアップして素早く実験したい場合。</li>
</ul>
<p><strong>注意</strong>: Milvus Liteを本番環境で使用することや、高いパフォーマンス、高い可用性、高いスケーラビリティを必要とする場合には、Milvus Liteを使用することはお勧めしません。本番環境では、<a href="https://github.com/milvus-io/milvus">Milvusクラスタ</a>または<a href="https://zilliz.com/cloud">フルマネージドMilvus on Zilliz Cloudの</a>ご利用をご検討ください。</p>
<h2 id="How-to-get-started-with-Milvus-Lite" class="common-anchor-header">Milvus Liteを始めるには？<button data-href="#How-to-get-started-with-Milvus-Lite" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>それでは、Milvus Liteのインストール、設定、利用方法について説明します。</p>
<h3 id="Prerequisites" class="common-anchor-header">前提条件</h3><p>Milvus Liteを利用するためには、以下の要件を満たしている必要があります：</p>
<ul>
<li>Python 3.7またはそれ以降のバージョンがインストールされていること。</li>
<li>以下のオペレーティングシステムを使用していること：<ul>
<li>Ubuntu &gt;= 18.04 (x86_64)</li>
<li>CentOS &gt;= 7.0 (x86_64)</li>
<li>MacOS &gt;= 11.0 (Apple Silicon)</li>
</ul></li>
</ul>
<p><strong>注意</strong>事項</p>
<ol>
<li>Milvus Lite はベースイメージとして<code translate="no">manylinux2014</code> を使用しているため、Linux ユーザーのほとんどの Linux ディストリビューションと互換性があります。</li>
<li>Windows上でMilvus Liteを動作させることも可能ですが、まだ完全には検証されていません。</li>
</ol>
<h3 id="Install-Milvus-Lite" class="common-anchor-header">Milvus Liteのインストール</h3><p>Milvus LiteはPyPIで公開されているので、<code translate="no">pip</code> 。</p>
<pre><code translate="no">$ python3 -m pip install milvus
<button class="copy-code-btn"></button></code></pre>
<p>また、以下のようにPyMilvusを使ってインストールすることもできます：</p>
<pre><code translate="no">$ python3 -m pip install milvus[client]
<button class="copy-code-btn"></button></code></pre>
<h3 id="Use-and-start-Milvus-Lite" class="common-anchor-header">Milvus Liteの使用と起動</h3><p><a href="https://github.com/milvus-io/milvus-lite/tree/main/examples">サンプルノートブックを</a>プロジェクトリポジトリのexampleフォルダからダウンロードしてください。Milvus Liteを使用するには、Pythonライブラリとしてインポートするか、CLIを使用してスタンドアロンサーバとして実行するかの2つの方法があります。</p>
<ul>
<li>PythonモジュールとしてMilvus Liteを起動するには、以下のコマンドを実行します：</li>
</ul>
<pre><code translate="no"><span class="hljs-keyword">from</span> milvus <span class="hljs-keyword">import</span> default_server
<span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> connections, utility

<span class="hljs-comment"># Start your milvus server</span>
default_server.start()

<span class="hljs-comment"># Now you can connect with localhost and the given port</span>
<span class="hljs-comment"># Port is defined by default_server.listen_port</span>
connections.connect(host=<span class="hljs-string">&#x27;127.0.0.1&#x27;</span>, port=default_server.listen_port)

<span class="hljs-comment"># Check if the server is ready.</span>
<span class="hljs-built_in">print</span>(utility.get_server_version())

<span class="hljs-comment"># Stop your milvus server</span>
default_server.stop()
<button class="copy-code-btn"></button></code></pre>
<ul>
<li>Milvus Liteを一時停止または停止するには、<code translate="no">with</code> 。</li>
</ul>
<pre><code translate="no"><span class="hljs-keyword">from</span> milvus <span class="hljs-keyword">import</span> default_server

<span class="hljs-keyword">with</span> default_server:
  <span class="hljs-comment"># Milvus Lite has already started, use default_server here.</span>
  connections.connect(host=<span class="hljs-string">&#x27;127.0.0.1&#x27;</span>, port=default_server.listen_port)
<button class="copy-code-btn"></button></code></pre>
<ul>
<li>Milvus LiteをCLIベースのスタンドアロンサーバとして起動するには、以下のコマンドを実行します：</li>
</ul>
<pre><code translate="no">milvus-server
<button class="copy-code-btn"></button></code></pre>
<p>Milvus Liteを起動した後、PyMilvusや他のツールを使ってスタンドアロンサーバに接続することができます。</p>
<h3 id="Start-Milvus-Lite-in-a-debug-mode" class="common-anchor-header">デバッグモードでのMilvus Liteの起動</h3><ul>
<li>PythonモジュールとしてMilvus Liteをデバッグモードで起動するには、以下のコマンドを実行します：</li>
</ul>
<pre><code translate="no"><span class="hljs-keyword">from</span> milvus <span class="hljs-keyword">import</span> debug_server, MilvusServer

debug_server.run()

<span class="hljs-comment"># Or you can create a MilvusServer by yourself</span>
<span class="hljs-comment"># server = MilvusServer(debug=True)</span>
<button class="copy-code-btn"></button></code></pre>
<ul>
<li>スタンドアロンサーバをデバッグモードで起動するには、以下のコマンドを実行します：</li>
</ul>
<pre><code translate="no">milvus-server --debug
<button class="copy-code-btn"></button></code></pre>
<h3 id="Persist-data-and-logs" class="common-anchor-header">データとログの永続化</h3><ul>
<li>Milvus Lite用のローカルディレクトリを作成し、関連するすべてのデータとログを保存するには、以下のコマンドを実行します：</li>
</ul>
<pre><code translate="no"><span class="hljs-keyword">from</span> milvus <span class="hljs-keyword">import</span> default_server

<span class="hljs-keyword">with</span> <span class="hljs-attr">default_server</span>:
  default_server.<span class="hljs-title function_">set_base_dir</span>(<span class="hljs-string">&#x27;milvus_data&#x27;</span>)
<button class="copy-code-btn"></button></code></pre>
<ul>
<li>スタンドアロンサーバーで生成されたすべてのデータとログをローカルドライブに保存するには、次のコマンドを実行します：</li>
</ul>
<pre><code translate="no">$ milvus-server --data milvus_data
<button class="copy-code-btn"></button></code></pre>
<h3 id="Configure-Milvus-Lite" class="common-anchor-header">Milvus Liteの設定</h3><p>Milvus Liteの設定は、Python APIやCLIを使用したMilvusインスタンスの設定と同様です。</p>
<ul>
<li>PythonのAPIを使用してMilvus Liteを設定するには、基本設定と追加設定の両方で<code translate="no">MilvusServer</code> インスタンスの<code translate="no">config.set</code> APIを使用します：</li>
</ul>
<pre><code translate="no"><span class="hljs-keyword">from</span> milvus <span class="hljs-keyword">import</span> default_server

<span class="hljs-keyword">with</span> default_server:
  default_server.config.<span class="hljs-built_in">set</span>(<span class="hljs-string">&#x27;system_Log_level&#x27;</span>, <span class="hljs-string">&#x27;info&#x27;</span>)
  default_server.config.<span class="hljs-built_in">set</span>(<span class="hljs-string">&#x27;proxy_port&#x27;</span>, <span class="hljs-number">19531</span>)
  default_server.config.<span class="hljs-built_in">set</span>(<span class="hljs-string">&#x27;dataCoord.segment.maxSize&#x27;</span>, <span class="hljs-number">1024</span>)
<button class="copy-code-btn"></button></code></pre>
<ul>
<li>CLIを使用してMilvus Liteを設定する場合、基本設定は以下のコマンドを実行します：</li>
</ul>
<pre><code translate="no">$ milvus-server --system-log-level info
$ milvus-server --proxy-port 19531
<button class="copy-code-btn"></button></code></pre>
<ul>
<li>CLIを使用してMilvus Liteを設定する場合は、以下のコマンドを実行して基本設定を行います。</li>
</ul>
<pre><code translate="no">$ milvus-server --extra-config dataCoord.segment.maxSize=1024
<button class="copy-code-btn"></button></code></pre>
<p>設定可能な項目は全てMilvusパッケージに同梱されている<code translate="no">config.yaml</code> テンプレートに含まれています。</p>
<p>Milvus Liteのインストールおよび設定方法に関する技術的な詳細については、<a href="https://milvus.io/docs/milvus_lite.md#Prerequisites">ドキュメントを</a>参照してください。</p>
<h2 id="Summary" class="common-anchor-header">概要<button data-href="#Summary" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus Liteは、Milvusの機能をコンパクトにまとめたものである。研究者であれ、開発者であれ、データサイエンティストであれ、この選択肢を検討する価値はある。</p>
<p>Milvus Liteはまた、オープンソースコミュニティへの美しい追加でもあり、貢献者の並外れた仕事を紹介している。Bin Ji氏の努力のおかげで、Milvusはより多くのユーザーが利用できるようになった。私たちは、Bin Ji氏とMilvusコミュニティの他のメンバーが、今後どのような革新的なアイデアを生み出してくれるのか、今から待ち遠しい。</p>
<h2 id="Let’s-keep-in-touch" class="common-anchor-header">今後ともよろしくお願いします！<button data-href="#Let’s-keep-in-touch" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus Liteのインストールや使用で問題が発生した場合は、<a href="https://github.com/milvus-io/milvus-lite/issues/new">こちらから問題を提起して</a>いただくか、<a href="https://twitter.com/milvusio">Twitterや</a> <a href="https://www.linkedin.com/company/the-milvus-project">LinkedInを通じて</a>ご連絡ください。また、<a href="https://milvus.io/slack/">Slackチャンネルに</a>参加してエンジニアやコミュニティ全体とチャットしたり、<a href="https://us02web.zoom.us/meeting/register/tZ0pcO6vrzsuEtVAuGTpNdb6lGnsPBzGfQ1T#/registration">火曜日のオフィスアワーを</a>チェックすることもできます！</p>


Milvus Liteのご紹介：Milvusの軽量版

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/What_s_New_in_2_2_8_f4dd6de0f2.png" alt="Milvus 2.2.8" class="doc-image" id="milvus-2.2.8" />
   </span> <span class="img-wrapper"> <span>Milvus 2.2.8</span> </span></p>
<p>Milvus 2.2.8をリリースいたしました。本リリースでは、旧バージョンからの数多くの改善とバグフィックスが含まれており、クエリパフォーマンスの向上、リソースの節約、スループットの向上が実現されています。それでは、今回のリリースの新機能を一緒に見ていきましょう。</p>
<h2 id="Reduced-peak-memory-consumption-during-collection-loading" class="common-anchor-header">コレクションロード時のピークメモリ消費量の削減<button data-href="#Reduced-peak-memory-consumption-during-collection-loading" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>クエリを実行するために、Milvusはデータとインデックスをメモリにロードする必要があります。しかし、ロード処理中に複数のメモリコピーが発生することで、ピーク時のメモリ使用量が実際の実行時に比べて最大3～4倍まで増加する可能性があります。Milvusの最新バージョン2.2.8では、この問題に効果的に対処し、メモリ使用量を最適化している。</p>
<h2 id="Expanded-querying-scenarios-with-QueryNode-supporting-plugins" class="common-anchor-header">プラグインをサポートするQueryNodeによるクエリシナリオの拡張<button data-href="#Expanded-querying-scenarios-with-QueryNode-supporting-plugins" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>最新のMilvus 2.2.8では、QueryNodeがプラグインに対応しました。<code translate="no">queryNode.soPath</code> 、プラグインファイルのパスを簡単に指定することができます。Milvusは実行時にプラグインをロードし、利用可能なクエリシナリオを拡張することができます。プラグインの開発に関するガイダンスが必要な場合は、<a href="https://pkg.go.dev/plugin">Goプラグインのドキュメントを</a>参照してください。</p>
<h2 id="Optimized-querying-performance-with-enhanced-compaction-algorithm" class="common-anchor-header">コンパクションアルゴリズムの強化によるクエリ性能の最適化<button data-href="#Optimized-querying-performance-with-enhanced-compaction-algorithm" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>コンパクション アルゴリズムは、セグメントの収束速度を決定し、クエリのパフォーマンスに直接影響します。最近のコンパクション・アルゴリズムの改良により、収束効率が劇的に向上し、クエリが高速化しました。</p>
<h2 id="Better-resource-saving-and-querying-performance-with-reduced-collection-shards" class="common-anchor-header">コレクションシャードの削減によるリソースの節約とクエリ性能の向上<button data-href="#Better-resource-saving-and-querying-performance-with-reduced-collection-shards" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvusは超並列処理(MPP)システムであるため、コレクションシャードの数がMilvusの書き込みやクエリの効率に影響を与えます。旧バージョンでは、コレクションにはデフォルトで2つのシャードがあり、書き込み性能は優れていましたが、クエリ性能とリソースコストは低下していました。新しいMilvus 2.2.8のアップデートでは、デフォルトのコレクションシャードは1つに削減され、ユーザーはより多くのリソースを節約し、より良いクエリを実行できるようになりました。コミュニティのほとんどのユーザはデータボリュームが1,000万以下であり、1つのシャードで十分な書き込みパフォーマンスを得ることができます。</p>
<p><strong>注</strong>：このアップグレードは、このリリース以前に作成されたコレクションには影響しません。</p>
<h2 id="20-throughput-increase-with-an-improved-query-grouping-algorithm" class="common-anchor-header">改良されたクエリ・グルーピング・アルゴリズムによる20%のスループット向上<button data-href="#20-throughput-increase-with-an-improved-query-grouping-algorithm" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvusは効率的なクエリ・グルーピング・アルゴリズムを採用しており、キュー内の複数のクエリ・リクエストを1つにまとめて高速に実行することで、スループットを大幅に向上させています。最新リリースでは、このアルゴリズムをさらに強化し、Milvusのスループットを少なくとも20%向上させています。</p>
<p>また、Milvus 2.2.8では、これらの改良に加え、様々なバグが修正されています。詳細は<a href="https://milvus.io/docs/release_notes.md">Milvusリリースノートを</a>ご覧ください。</p>
<h2 id="Let’s-keep-in-touch" class="common-anchor-header">今後ともよろしくお願いいたします！<button data-href="#Let’s-keep-in-touch" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvusに関するご質問やご意見がございましたら、<a href="https://twitter.com/milvusio">Twitterや</a> <a href="https://www.linkedin.com/company/the-milvus-project">LinkedInを通じて</a>お気軽にご連絡ください。また、私たちの<a href="https://milvus.io/slack/">Slackチャンネルに</a>参加して、私たちのエンジニアやコミュニティ全体と直接チャットしたり、<a href="https://us02web.zoom.us/meeting/register/tZ0pcO6vrzsuEtVAuGTpNdb6lGnsPBzGfQ1T#/registration">火曜日のオフィスアワーを</a>チェックしたりすることも大歓迎です！</p>


Milvus 2.2.8：クエリのパフォーマンスが向上、スループットが20%向上

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/exploring_milvus_latest_versions_4fa890533e.png" alt="Milvus at Its Best" class="doc-image" id="milvus-at-its-best" />
   </span> <span class="img-wrapper"> <span>最高のMilvus</span> </span></p>
<p>Milvusフォロワーの皆さん、お帰りなさい！この最先端のオープンソース・ベクターデータベースの最新情報を最後にお伝えしてから、しばらく時間が経ってしまいました。しかし、心配はご無用です。昨年8月以降に行われたエキサイティングな開発について、私たちがキャッチアップするためにここにいるからです。</p>
<p>このブログでは、バージョン2.2からバージョン2.2.6までのMilvusの最新リリースをご紹介します。新機能、改善、バグフィックス、最適化など盛りだくさんです。それでは、シートベルトを締めて、さっそくご覧ください！</p>
<h2 id="Milvus-v22-a-major-release-with-enhanced-stability-faster-search-speed-and-flexible-scalability" class="common-anchor-header">Milvus v2.2：安定性の向上、検索速度の高速化、柔軟なスケーラビリティを備えたメジャーリリース<button data-href="#Milvus-v22-a-major-release-with-enhanced-stability-faster-search-speed-and-flexible-scalability" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus v2.2は、7つの新機能と旧バージョンからの数多くの画期的な改善を導入した重要なリリースです。そのハイライトを詳しく見てみましょう：</p>
<ul>
<li><strong>ファイルからのエンティティの一括挿入</strong>：この機能により、たった数行のコードで、1つまたは複数のファイル内のエンティティを一括してMilvusに直接アップロードすることができ、時間と労力を節約することができます。</li>
<li><strong>クエリ結果のページネーション</strong>：Milvus v2.2では、1回のリモートプロシージャコール(RPC)で大量の検索結果やクエリ結果が返されることを避けるために、検索やクエリでキーワードによるオフセットやフィルタリング結果を設定することができます。</li>
<li><strong>ロールベースアクセスコントロール(RBAC)：</strong>Milvus v2.2ではRBACがサポートされ、ユーザ、ロール、パーミッションを管理することにより、Milvusインスタンスへのアクセスを制御できるようになりました。</li>
<li><strong>クォータとリミット</strong>Milvus v2.2の新機能であるクオータとリミットは、急激なトラフィック急増時のメモリ不足(OOM)エラーやクラッシュからデータベースシステムを保護します。この機能により、取り込み、検索、メモリ使用量を制御することができます。</li>
<li><strong>コレクションレベルでのTTL（Time to Live）</strong>：以前のリリースでは、MilvusはクラスタのTTLを設定することしかできませんでした。しかし、Milvus v2.2ではコレクションレベルでのTTL設定に対応しました。特定のコレクションに対してTTLを設定すると、そのコレクション内のエンティティはTTL終了後に自動的に期限切れになります。この設定により、データ保持をより細かく制御することができます。</li>
<li><strong>ディスクベースの近似最近傍探索（ANNS）インデックス（ベータ）</strong>：Milvus v2.2では、SSDに常駐し、VamanaグラフベースのANNSアルゴリズムであるDiskANNのサポートが導入されました。このサポートにより、大規模データセットの直接検索が可能になり、メモリ使用量を最大10倍まで大幅に削減することができます。</li>
<li><strong>データバックアップ（ベータ版）</strong>：Milvus v2.2では、MilvusデータをコマンドラインまたはAPIサーバーから適切にバックアップおよびリストアするための<a href="https://github.com/zilliztech/milvus-backup">全く新しいツールを</a>提供します。</li>
</ul>
<p>上記の新機能に加え、Milvus v2.2では、5つのバグの修正と、Milvusの安定性、観測可能性、パフォーマンスを向上させるための複数の改善が含まれています。詳細は<a href="https://milvus.io/docs/release_notes.md#v220">Milvus v2.2リリースノートを</a>ご参照ください。</p>
<h2 id="Milvus-v221--v222-minor-releases-with-issues-fixed" class="common-anchor-header">Milvus v2.2.1 &amp; v2.2: 問題点を修正したマイナーリリース<button data-href="#Milvus-v221--v222-minor-releases-with-issues-fixed" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus v2.2.1とv2.2.2は、旧バージョンの重大な問題の修正と新機能の導入に焦点を当てたマイナーリリースです。以下はそのハイライトです：</p>
<h3 id="Milvus-v221" class="common-anchor-header">Milvus v2.2.1</h3><ul>
<li>Pulsaテナントと認証に対応</li>
<li>etcdコンフィグソースでトランスポートレイヤセキュリティ(TLS)をサポート</li>
<li>検索パフォーマンスを30%以上向上</li>
<li>スケジューラを最適化し、マージタスクの確率を向上。</li>
<li>インデックス化されたスカラ・フィールドでのターム・フィルタリングの失敗や、インデックス作成失敗時のIndexNodeパニックなど、複数のバグを修正。</li>
</ul>
<h3 id="Milvus-v222" class="common-anchor-header">milvus v2.2.2</h3><ul>
<li>プロキシがシャード・リーダのキャッシュを更新しない問題を修正しました。</li>
<li>ロードされた情報が解放されたコレクション/パーティションに対してクリーニングされない問題を修正しました。</li>
<li>ロードカウントが時間通りにクリアされない問題を修正しました。</li>
</ul>
<p>詳細は<a href="https://milvus.io/docs/release_notes.md#v221">Milvus v2.2.1リリースノート</a>および<a href="https://milvus.io/docs/release_notes.md#v222">Milvus v2.2.2リリースノートを</a>ご参照ください。</p>
<h2 id="Milvus-v223-more-secure-stable-and-available" class="common-anchor-header">Milvus v2.2.3:より安全、安定、利用可能に<button data-href="#Milvus-v223-more-secure-stable-and-available" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus v2.2.3は、システムのセキュリティ、安定性、可用性の強化に重点を置いたリリースです。さらに、2つの重要な機能が導入されています：</p>
<ul>
<li><p><strong>ローリングアップグレード</strong>：この機能により、Milvusは以前のリリースでは不可能であったアップグレードプロセス中のリクエストに応答することができるようになりました。ローリングアップグレードにより、アップグレード中であってもシステムが利用可能であり、ユーザのリクエストに応答し続けることができます。</p></li>
<li><p><strong>コーディネーターの高可用性(HA)：</strong>この機能により、Milvusのコーディネーターはアクティブ・スタンバイ・モードで動作し、シングルポイント障害のリスクを低減します。予期せぬ災害時でも、復旧時間は最大30秒に短縮されます。</p></li>
</ul>
<p>これらの新機能に加え、Milvus v2.2.3では、バルクインサートのパフォーマンス向上、メモリ使用量の削減、モニタリングメトリクスの最適化、メタストレージのパフォーマンス向上など、数多くの改善とバグ修正が行われています。詳細は<a href="https://milvus.io/docs/release_notes.md#v223">Milvus v2.2.3リリースノートを</a>ご参照ください。</p>
<h2 id="Milvus-v224-faster-more-reliable-and-resource-saving" class="common-anchor-header">Milvus v2.2.4:高速化、高信頼性、省リソース化<button data-href="#Milvus-v224-faster-more-reliable-and-resource-saving" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus v2.2.4はMilvus v2.2のマイナーアップデートです。4つの新機能といくつかの機能強化が導入され、パフォーマンスの高速化、信頼性の向上、リソース消費の削減が実現されています。本リリースのハイライトは以下の通りです：</p>
<ul>
<li><strong>リソースのグループ化</strong>：MilvusはQueryNodeを他のリソースグループにグループ化することをサポートし、異なるグループの物理リソースへのアクセスを完全に分離できるようになりました。</li>
<li><strong>コレクション名の変更</strong>：コレクション名の変更APIにより、ユーザはコレクション名を変更することができるようになり、コレクション管理の柔軟性とユーザビリティが向上しました。</li>
<li><strong>Google Cloud Storageのサポート</strong></li>
<li><strong>検索APIとクエリAPIに新しいオプションが追加さ</strong>れました：この新機能により、ユーザはすべての成長セグメントでの検索をスキップすることができ、データ挿入と同時に検索が実行されるシナリオにおいて、より優れた検索パフォーマンスを提供します。</li>
</ul>
<p>詳細は<a href="https://milvus.io/docs/release_notes.md#v224">Milvus v2.2.4リリースノートを</a>ご参照ください。</p>
<h2 id="Milvus-v225-NOT-RECOMMENDED" class="common-anchor-header">Milvus v2.2.5: 推奨しません。<button data-href="#Milvus-v225-NOT-RECOMMENDED" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus v2.2.5にはいくつかの重大な問題があるため、本リリースの使用は推奨いたしません。  これらの問題によりご迷惑をおかけしたことを深くお詫び申し上げます。Milvus v2.2.6ではこれらの問題に対処しております。</p>
<h2 id="Milvus-v226-resolves-critical-issues-from-v225" class="common-anchor-header">Milvus v2.2.6：v2.2.5からの重大な問題の解決<button data-href="#Milvus-v226-resolves-critical-issues-from-v225" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus v2.2.6では、v2.2.5で発見されたダーティbinlogデータのリサイクルの問題やDataCoord GCの失敗などの重大な問題への対処に成功しています。現在v2.2.5をお使いの方は、パフォーマンスと安定性を最適化するためにアップグレードしてください。</p>
<p>修正された重要な問題は以下の通りです：</p>
<ul>
<li>DataCoord GCの失敗</li>
<li>渡されたインデックス・パラメータの上書き</li>
<li>RootCoordメッセージのバックログによるシステム遅延</li>
<li>メトリックRootCoordInsertChannelTimeTickの不正確さ</li>
<li>タイムスタンプ停止の可能性</li>
<li>再起動プロセス中のコーディネータ・ロールの自己破壊の発生</li>
<li>ガベージコレクションの異常終了によるチェックポイントの遅れ</li>
</ul>
<p>詳細は<a href="https://milvus.io/docs/release_notes.md#v226">Milvus v2.2.6リリースノートを</a>ご参照ください。</p>
<h2 id="Summary" class="common-anchor-header">まとめ<button data-href="#Summary" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>以上、Milvusのv2.2からv2.2.6までの最新リリースでは、多くのエキサイティングなアップデートと改善が行われました。新機能からバグフィックス、最適化まで、Milvusは様々な領域において最先端のソリューションを提供し、アプリケーションを強化するというコミットメントを守り続けています。今後もMilvusコミュニティによるエキサイティングなアップデートやイノベーションにご期待ください。</p>


最高のMilvus：v2.2からv2.2.6を探る

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Dynamically_Change_Log_Levels_in_the_Milvus_Vector_Database_58e31c66cc.png" alt="Cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>表紙画像</span> </span></p>
<blockquote>
<p>この記事は<a href="https://github.com/jiaoew1991">Enwei Jiaoが</a>執筆し、<a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Niが</a>翻訳した。</p>
</blockquote>
<p>ログの過剰出力によるディスクやシステムのパフォーマンスへの影響を防ぐため、Milvusはデフォルトで、実行中に<code translate="no">info</code> レベルのログを出力する。しかし、<code translate="no">info</code> レベルのログでは、バグや問題を効率的に特定するのに十分でない場合がある。さらに悪いことに、ログレベルを変更してサービスを再起動しても問題の再現に失敗し、トラブルシューティングがより困難になるケースもあります。そのため、Milvusベクターデータベースのログレベルを動的に変更する機能が急務となっている。</p>
<p>本稿では、Milvusベクトルデータベースにおいて、ログレベルを動的に変更するための仕組みとその方法を紹介する。</p>
<p><strong>ジャンプ</strong></p>
<ul>
<li><a href="#Mechanism">仕組み</a></li>
<li><a href="#How-to-dynamically-change-log-levels">ログレベルを動的に変更する方法</a></li>
</ul>
<h2 id="Mechanism" class="common-anchor-header">仕組み<button data-href="#Mechanism" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvusベクターデータベースでは、Uber社がオープンソース化している<a href="https://github.com/uber-go/zap">zap</a>loggerを採用しています。Go言語のエコシステムで最も強力なログコンポーネントの1つであるzapには<a href="https://github.com/uber-go/zap/blob/master/http_handler.go">http_handler.go</a>モジュールが組み込まれており、HTTPインターフェースを介して現在のログレベルを表示したり、動的にログレベルを変更したりすることができます。</p>
<p>milvusは、<code translate="no">9091</code> ポートで提供されるHTTPサービスをリッスンします。したがって、<code translate="no">9091</code> ポートにアクセスして、パフォーマンスデバッグ、メトリクス、ヘルスチェックなどの機能を利用することができます。同様に、<code translate="no">9091</code> ポートは動的なログレベルの変更を可能にするために再利用され、<code translate="no">/log/level</code> パスもポートに追加されます。詳細については、<a href="https://github.com/milvus-io/milvus/pull/18430"> ログ・インターフェースPRを</a>参照してください。</p>
<h2 id="How-to-dynamically-change-log-levels" class="common-anchor-header">ログレベルを動的に変更する方法<button data-href="#How-to-dynamically-change-log-levels" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>このセクションでは、実行中のMilvusサービスを再起動することなく、動的にログレベルを変更する方法について説明します。</p>
<h3 id="Prerequisite" class="common-anchor-header">前提条件</h3><p>Milvusコンポーネントの<code translate="no">9091</code> ポートにアクセスできることを確認する。</p>
<h3 id="Change-the-log-level" class="common-anchor-header">ログレベルの変更</h3><p>MilvusプロキシのIPアドレスが<code translate="no">192.168.48.12</code> であるとする。</p>
<p>まず<code translate="no">$ curl -X GET 192.168.48.12:9091/log/level</code> を実行してプロキシの現在のログレベルを確認する。</p>
<p>その後、ログレベルを指定して調整することができます。ログレベルのオプションには以下のものがある：</p>
<ul>
<li><p><code translate="no">debug</code></p></li>
<li><p><code translate="no">info</code></p></li>
<li><p><code translate="no">warn</code></p></li>
<li><p><code translate="no">error</code></p></li>
<li><p><code translate="no">dpanic</code></p></li>
<li><p><code translate="no">panic</code></p></li>
<li><p><code translate="no">fatal</code></p></li>
</ul>
<p>以下のコード例では、ログレベルをデフォルトのログレベルから<code translate="no">info</code> から<code translate="no">error</code> に変更している。</p>
<pre><code translate="no" class="language-Python">$ curl -X PUT 192.168.48.12:9091/log/level -d level=error
<button class="copy-code-btn"></button></code></pre>


Milvusベクターデータベースのログレベルを動的に変更する

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1280_X1280_0e0d4bc107.png" alt="Cover_image" class="doc-image" id="cover_image" />
   </span> <span class="img-wrapper"> <span>表紙画像</span> </span></p>
<blockquote>
<p>この記事は<a href="https://github.com/longjiquan">Jiquan Longが</a>執筆し、<a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Niが</a>翻訳したものです。</p>
</blockquote>
<p><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md">前回の</a>一貫性に関する<a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md">ブログでは</a>、分散ベクトルデータベースにおける一貫性とは何かを説明し、Milvusベクトルデータベースでサポートされている4つの一貫性レベル（strong、bounded staleness、session、eventual）を取り上げ、それぞれの一貫性レベルに最適なアプリケーションシナリオを説明しました。</p>
<p>今回の投稿では、Milvusベクトルデータベースのユーザが様々なアプリケーションシナリオに対して理想的な一貫性レベルを柔軟に選択することを可能にする背後にあるメカニズムについて引き続き考察します。また、Milvusベクトルデータベースの一貫性レベルを調整する方法についての基本的なチュートリアルも提供します。</p>
<p><strong>ジャンプ</strong></p>
<ul>
<li><a href="#The-underlying-time-tick-mechanism">基礎となる時間刻みメカニズム</a></li>
<li><a href="#Guarantee-timestamp">タイムスタンプの保証</a></li>
<li><a href="#Consistency-levels">一貫性レベル</a></li>
<li><a href="#How-to-tune-consistency-level-in-Milvus">Milvusで一貫性レベルを調整するには？</a></li>
</ul>
<h2 id="The-underlying-time-tick-mechanism" class="common-anchor-header">基礎となるタイムティック機構<button data-href="#The-underlying-time-tick-mechanism" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvusでは、ベクトル検索やクエリを実行する際に、タイムティックメカニズムを使用して様々なレベルの一貫性を保証しています。タイムティックはMilvusの透かしであり、Milvusの時計のような役割を果たし、Milvusシステムがどの時点にあるかを示します。Milvusベクトルデータベースにデータ操作言語(DML)リクエストが送信されると、そのリクエストにタイムスタンプが割り当てられます。下図に示すように、例えば新しいデータがメッセージキューに挿入されると、Milvusは挿入されたデータにタイムスタンプを付けるだけでなく、一定の間隔でタイムティックを挿入します。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/timetick_b395df9804.png" alt="timetick" class="doc-image" id="timetick" />
   </span> <span class="img-wrapper"> <span>タイムティック</span> </span></p>
<p>上図の<code translate="no">syncTs1</code> 。クエリ・ノードのようなダウンストリームのコンシューマーが<code translate="no">syncTs1</code> を見ると、コンシューマー・コンポーネントは、<code translate="no">syncTs1</code> より前に挿入されたすべてのデータが消費されたことを理解する。言い換えると、タイムスタンプ値が<code translate="no">syncTs1</code> より小さいデータ挿入リクエストは、メッセージキューに表示されなくなる。</p>
<h2 id="Guarantee-Timestamp" class="common-anchor-header">タイムスタンプの保証<button data-href="#Guarantee-Timestamp" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>前のセクションで述べたように、クエリーノードのような下流のコンシューマーコンポーネントは、メッセージキューからデータ挿入要求とタイムティックのメッセージを継続的に取得します。タイム・ティックが消費されるたびに、クエリ・ノードはこの消費されたタイム・ティックをサービス可能時間としてマークする。<code translate="no">ServiceTime</code> 、<code translate="no">ServiceTime</code> より前に挿入されたすべてのデータがクエリ・ノードから見えるようになる。</p>
<p>また、Milvusでは、<code translate="no">ServiceTime</code> に加え、保証タイムスタンプ(<code translate="no">GuaranteeTS</code>)というタイムスタンプも採用しており、様々なユーザーによる様々なレベルの一貫性と可用性のニーズを満たしています。つまり、Milvusベクトルデータベースのユーザは、検索やクエリを実行する際に、<code translate="no">GuaranteeTs</code> 以前の全てのデータが表示され、関与していることをクエリノードに通知するために、<code translate="no">GuaranteeTs</code> を指定することができる。</p>
<p>Milvusベクトルデータベースで検索ノードが検索要求を実行する場合、通常2つのシナリオがある。</p>
<h3 id="Scenario-1-Execute-search-request-immediately" class="common-anchor-header">シナリオ1：検索要求を即座に実行する</h3><p>下図に示すように、<code translate="no">GuaranteeTs</code> が<code translate="no">ServiceTime</code> よりも小さい場合、クエリ・ノードは検索要求を直ちに実行することができる。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/execute_immediately_dd1913775d.png" alt="execute_immediately" class="doc-image" id="execute_immediately" />
   </span> <span class="img-wrapper"> <span>実行_即時</span> </span></p>
<h3 id="Scenario-2-Wait-till-ServiceTime--GuaranteeTs" class="common-anchor-header">シナリオ2："ServiceTime &gt; GuaranteeTs "まで待つ。</h3><p><code translate="no">GuaranteeTs</code> が<code translate="no">ServiceTime</code> より大きい場合、クエリ・ノードはメッセージ・ キューからタイム・ティックを消費し続けなければならない。<code translate="no">ServiceTime</code> が<code translate="no">GuaranteeTs</code> より大きくなるまで、検索リクエストは実行できない。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/wait_search_f09a2f6cf9.png" alt="wait_search" class="doc-image" id="wait_search" />
   </span> <span class="img-wrapper"> <span>wait_search</span> </span></p>
<h2 id="Consistency-Levels" class="common-anchor-header">一貫性レベル<button data-href="#Consistency-Levels" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>したがって、<code translate="no">GuaranteeTs</code> は、指定した一貫性レベルを達成するために、検索リクエストで設定可能です。大きな値を持つ<code translate="no">GuaranteeTs</code> は、高い検索レイテンシを犠牲にして、<a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md#Strong">強力な一貫性を</a>保証します。また、<code translate="no">GuaranteeTs</code> の値を小さくすると、検索待ち時間は短縮されますが、データの可視性は損なわれます。</p>
<p><code translate="no">GuaranteeTs</code> Milvusはハイブリッドタイムスタンプフォーマットです。そして、ユーザーはMilvus内部の<a href="https://github.com/milvus-io/milvus/blob/master/docs/design_docs/20211214-milvus_hybrid_ts.md">TSOを</a>知らない。従って、 の値を指定することは、ユーザーにとってあまりにも複雑な作業である。ユーザーの手間を省き、最適なユーザーエクスペリエンスを提供するために、Milvusはユーザーが特定の一貫性レベルを選択するだけで、Milvusベクトルデータベースが自動的に 。つまり、Milvusユーザは4つの整合性レベルから選択するだけでよい： , , .そして、それぞれの整合性レベルは、ある 値に対応している。<code translate="no">GuaranteeTs</code> <code translate="no">GuaranteeTs</code> <code translate="no">Strong</code> <code translate="no">Bounded</code> <code translate="no">Session</code> <code translate="no">Eventually</code> <code translate="no">GuaranteeTs</code> </p>
<p>下図は、Milvusベクトル・データベースにおける4つの一貫性レベルのそれぞれについて、<code translate="no">GuaranteeTs</code> 。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/guarantee_ts_f4b3e119d3.png" alt="guarantee_ts" class="doc-image" id="guarantee_ts" />
   </span> <span class="img-wrapper"> <span>ギャランティー</span> </span></p>
<p>Milvusベクトル・データベースは4つの整合性レベルをサポートしています：</p>
<ul>
<li><p><code translate="no">CONSISTENCY_STRONG</code> <code translate="no">GuaranteeTs</code> は最新のシステム・タイムスタンプと同じ値に設定され、クエリ・ノードはサービス時間が最新のシステム・タイムスタンプに進むまで、検索またはクエリ要求を処理するのを待ちます。</p></li>
<li><p><code translate="no">CONSISTENCY_EVENTUALLY</code>:<code translate="no">GuaranteeTs</code> は、一貫性チェックをスキップするために、最新のシステム・タイムスタンプよりも有意に小さい値に設定される。クエリ・ノードは既存のデータ・ビューを即座に検索します。</p></li>
<li><p><code translate="no">CONSISTENCY_BOUNDED</code>:<code translate="no">GuaranteeTs</code> は最新のシステム・タイムスタンプよりも比較的小さい値に設定され、クエリ・ノードは許容範囲内で更新されたデータ・ビューを検索する。</p></li>
<li><p><code translate="no">CONSISTENCY_SESSION</code>:クライアントは最後の書き込み操作のタイムスタンプを<code translate="no">GuaranteeTs</code> として使用し、各クライアントが少なくとも自分自身で挿入されたデータを取得できるようにする。</p></li>
</ul>
<h2 id="How-to-tune-consistency-level-in-Milvus" class="common-anchor-header">Milvusで一貫性レベルを調整するには？<button data-href="#How-to-tune-consistency-level-in-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvusは<a href="https://milvus.io/docs/v2.1.x/create_collection.md">コレクション作成</a>時、<a href="https://milvus.io/docs/v2.1.x/search.md">検索</a>時、<a href="https://milvus.io/docs/v2.1.x/query.md">クエリ</a>時の一貫性レベルのチューニングをサポートしています。</p>
<h3 id="Conduct-a-vector-similarity-search" class="common-anchor-header">ベクトル類似検索の実行</h3><p>希望する一貫性レベルでベクトル類似性検索を行うには、パラメータ<code translate="no">consistency_level</code> の値を<code translate="no">Strong</code>,<code translate="no">Bounded</code>,<code translate="no">Session</code>,<code translate="no">Eventually</code> のいずれかに設定するだけです。パラメータ<code translate="no">consistency_level</code> の値を設定しない場合、一貫性レベルはデフォルトで<code translate="no">Bounded</code> になります。この例では、<code translate="no">Strong</code> の一貫性でベクトル類似性検索を実行します。</p>
<pre><code translate="no">results = collection.search(
        data=[[0.1, 0.2]], 
        anns_field=<span class="hljs-string">&quot;book_intro&quot;</span>, 
        param=search_params, 
        <span class="hljs-built_in">limit</span>=10, 
        <span class="hljs-built_in">expr</span>=None,
        consistency_level=<span class="hljs-string">&quot;Strong&quot;</span>
)
<button class="copy-code-btn"></button></code></pre>
<h3 id="Conduct-a-vector-query" class="common-anchor-header">ベクトル・クエリの実行</h3><p>ベクトル類似検索の実行と同様に、ベクトル検索を実行するときに、パラメータ<code translate="no">consistency_level</code> の値を指定できます。この例では、<code translate="no">Strong</code> の一貫性でベクトル検索を行います。</p>
<pre><code translate="no">res = collection.query(
  <span class="hljs-built_in">expr</span> = <span class="hljs-string">&quot;book_id in [2,4,6,8]&quot;</span>, 
  output_fields = [<span class="hljs-string">&quot;book_id&quot;</span>, <span class="hljs-string">&quot;book_intro&quot;</span>],
  consistency_level=<span class="hljs-string">&quot;Strong&quot;</span>
)
<button class="copy-code-btn"></button></code></pre>
<h2 id="Whats-next" class="common-anchor-header">今後の予定<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.1の正式リリースに伴い、新機能を紹介するブログシリーズを用意しました。このブログシリーズの続きを読む：</p>
<ul>
<li><a href="https://milvus.io/blog/2022-08-08-How-to-use-string-data-to-empower-your-similarity-search-applications.md">類似検索アプリケーションを強化する文字列データの使い方</a></li>
<li><a href="https://milvus.io/blog/embedded-milvus.md">組み込みMilvusを使用したPythonによるMilvusのインストールと実行</a></li>
<li><a href="https://milvus.io/blog/in-memory-replicas.md">インメモリレプリカによるベクターデータベースの読み取りスループットの向上</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md">Milvusベクターデータベースの一貫性レベルを理解する</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database-2.md">Milvusベクタデータベースのコンシステンシーレベルを理解する(後編)</a></li>
<li><a href="https://milvus.io/blog/data-security.md">Milvus Vector Databaseはどのようにデータのセキュリティを確保しているのか？</a></li>
</ul>


Milvusベクターデータベースの一貫性レベルを理解する - 後編

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Security_192e35a790.png" alt="Cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>カバー画像</span> </span></p>
<p>Milvus2.1では、データの安全性を考慮し、ユーザー認証とTLS（トランスポートレイヤーセキュリティ）接続が正式に利用できるようになりました。ユーザー認証がない場合、SDKを使えば誰でもベクターデータベースの全てのデータにアクセスすることができます。しかし、Milvus 2.1からは、有効なユーザ名とパスワードを持つ者のみがMilvusベクトルデータベースにアクセスすることができます。また、Milvus 2.1では、データのセキュリティがTLSによってさらに保護され、コンピュータネットワークにおける安全な通信が保証されています。</p>
<p>本稿では、Milvusベクトルデータベースがユーザー認証とTLS接続によってどのようにデータセキュリティを確保しているかを分析し、ベクトルデータベースを使用する際にデータセキュリティを確保したいユーザーとして、この2つの機能をどのように活用できるかを説明することを目的とする。</p>
<p><strong>戻る</strong></p>
<ul>
<li><a href="#What-is-database-security-and-why-is-it-important">データベースのセキュリティとは？</a></li>
<li><a href="#How-does-the-Milvus-vector-database-ensure-data-security">Milvusベクトルデータベースはどのようにデータセキュリティを確保しているのか？</a><ul>
<li><a href="#User-authentication">ユーザー認証</a></li>
<li><a href="#TLS-connection">TLS接続</a></li>
</ul></li>
</ul>
<h2 id="What-is-database-security-and-why-is-it-important" class="common-anchor-header">データベースのセキュリティとは何ですか？<button data-href="#What-is-database-security-and-why-is-it-important" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>データベースのセキュリティとは、データベース内のすべてのデータが安全であり、機密が保持されることを保証するために取られる措置のことを指します。<a href="https://firewalltimes.com/recent-data-breaches/">Twitter、Marriott、Texas Department of Insuranceなどにおける</a>最近のデータ漏洩事件は、データ・セキュリティの問題に対する私たちの警戒心をより強くしています。これらの事件はすべて、データが十分に保護され、使用しているデータベースが安全でなければ、企業やビジネスが深刻な損失を被る可能性があることを常に私たちに思い起こさせる。</p>
<h2 id="How-does-the-Milvus-vector-database-ensure-data-security" class="common-anchor-header">Milvusベクターデータベースはどのようにデータセキュリティを確保しているのでしょうか？<button data-href="#How-does-the-Milvus-vector-database-ensure-data-security" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.1では、認証と暗号化によりデータベースの安全性を確保しています。具体的には、アクセスレベルでは、Milvusはデータベースにアクセスできるユーザを制御するための基本的なユーザ認証をサポートしています。一方、データベースレベルでは、Milvusはデータ通信を保護するためにトランスポートレイヤセキュリティ(TLS)暗号化プロトコルを採用しています。</p>
<h3 id="User-authentication" class="common-anchor-header">ユーザ認証</h3><p>Milvusの基本的なユーザ認証機能は、データセキュリティのためにユーザ名とパスワードを使用してベクトルデータベースにアクセスすることをサポートします。つまり、クライアントは認証されたユーザ名とパスワードを提供した場合のみ、Milvusインスタンスにアクセスすることができます。</p>
<h4 id="The-authentication-workflow-in-the-Milvus-vector-database" class="common-anchor-header">Milvusベクトルデータベースにおける認証ワークフロー</h4><p>すべてのgRPCリクエストはMilvusプロキシによって処理されるため、認証はプロキシによって行われます。Milvusインスタンスに接続するための認証情報でログインするワークフローは以下の通りです。</p>
<ol>
<li>Milvusインスタンスごとに認証情報を作成し、暗号化したパスワードをetcdに保存する。MilvusはProvosとMazièresの<a href="http://www.usenix.org/event/usenix99/provos/provos.pdf">適応型ハッシュアルゴリズムを</a>実装しているため、暗号化には<a href="https://golang.org/x/crypto/bcrypt">bcryptを</a>使用する。</li>
<li>クライアント側では、Milvusサービスに接続する際にSDKが暗号文を送信する。Base64暗号文(<username>:<password>)はキー<code translate="no">authorization</code> でメタデータに添付される。</li>
<li>Milvusプロキシはリクエストをインターセプトし、クレデンシャルを検証する。</li>
<li>認証情報はプロキシにローカルにキャッシュされる。</li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1280_X1280_021e90e3c8.jpeg" alt="authetication_workflow" class="doc-image" id="authetication_workflow" />
   </span> <span class="img-wrapper"> <span>authetication_workflow</span> </span></p>
<p>クレデンシャルが更新されると、Milvus のシステムワークフローは以下のようになる。</p>
<ol>
<li>insert、query、deleteのAPIが呼ばれた場合、root coordがクレデンシャルを担当する。</li>
<li>パスワードを忘れたなどの理由でクレデンシャルを更新すると、新しいパスワードがetcdに永続化される。すると、プロキシのローカルキャッシュにある古い認証情報はすべて無効になる。</li>
<li>認証インターセプターは、まずローカルキャッシュからレコードを探します。キャッシュ内の認証情報が正しくない場合、ルートコーデ ィネートから最新のレコードをフェッチするためのRPCコールがトリガされる。そして、ローカルキャッシュのクレデンシャルはそれに応じて更新される。</li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/update_5af81a4173.jpeg" alt="credential_update_workflow" class="doc-image" id="credential_update_workflow" />
   </span> <span class="img-wrapper"> <span>クレデンシャル更新ワークフロー</span> </span></p>
<h4 id="How-to-manage-user-authentication-in-the-Milvus-vector-database" class="common-anchor-header">Milvusベクターデータベースのユーザー認証の管理方法</h4><p>認証を有効にするには、まずMilvusの設定ファイル<code translate="no">milvus.yaml</code> で<code translate="no">common.security.authorizationEnabled</code> を<code translate="no">true</code> に設定する必要があります。</p>
<p>認証を有効にすると、Milvusインスタンスにrootユーザが作成されます。このrootユーザは、初期パスワード<code translate="no">Milvus</code> 、Milvusベクターデータベースに接続することができます。</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> connections
connections.<span class="hljs-title function_">connect</span>(
    alias=<span class="hljs-string">&#x27;default&#x27;</span>,
    host=<span class="hljs-string">&#x27;localhost&#x27;</span>,
    port=<span class="hljs-string">&#x27;19530&#x27;</span>,
    user=<span class="hljs-string">&#x27;root_user&#x27;</span>,
    password=<span class="hljs-string">&#x27;Milvus&#x27;</span>,
)
<button class="copy-code-btn"></button></code></pre>
<p>Milvusを初めて起動する際には、rootユーザのパスワードを変更することを強くお勧めします。</p>
<p>その後、rootユーザはさらに新しいユーザを作成するために以下のコマンドを実行することにより、認証されたアクセスのための新しいユーザを作成することができます。</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> utility
utility.<span class="hljs-title function_">create_credential</span>(<span class="hljs-string">&#x27;user&#x27;</span>, <span class="hljs-string">&#x27;password&#x27;</span>, <span class="hljs-keyword">using</span>=<span class="hljs-string">&#x27;default&#x27;</span>) 
<button class="copy-code-btn"></button></code></pre>
<p>新規ユーザを作成する際に覚えておくべきことが2つあります：</p>
<ol>
<li><p>新しいユーザー名は32文字以内で、必ず文字で始めること。ユーザー名にはアンダースコア、アルファベット、数字のみを使用できます。例えば、「2abc!</p></li>
<li><p>パスワードの長さは6～256文字でなければならない。</p></li>
</ol>
<p>新しいクレデンシャルが設定されると、新しいユーザはそのユーザ名とパスワードでMilvusインスタンスに接続することができます。</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> connections
connections.<span class="hljs-title function_">connect</span>(
    alias=<span class="hljs-string">&#x27;default&#x27;</span>,
    host=<span class="hljs-string">&#x27;localhost&#x27;</span>,
    port=<span class="hljs-string">&#x27;19530&#x27;</span>,
    user=<span class="hljs-string">&#x27;user&#x27;</span>,
    password=<span class="hljs-string">&#x27;password&#x27;</span>,
)
<button class="copy-code-btn"></button></code></pre>
<p>他の認証プロセスと同様に、パスワードを忘れても心配する必要はありません。既存ユーザのパスワードは以下のコマンドでリセットできます。</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> utility
utility.<span class="hljs-title function_">reset_password</span>(<span class="hljs-string">&#x27;user&#x27;</span>, <span class="hljs-string">&#x27;new_password&#x27;</span>, <span class="hljs-keyword">using</span>=<span class="hljs-string">&#x27;default&#x27;</span>)
<button class="copy-code-btn"></button></code></pre>
<p>ユーザ認証の詳細については、<a href="https://milvus.io/docs/v2.1.x/authenticate.md">Milvusのドキュメントを</a>お読みください。</p>
<h3 id="TLS-connection" class="common-anchor-header">TLS接続</h3><p>トランスポートレイヤーセキュリティ（TLS）は、コンピュータネットワークにおける通信セキュリティを提供するための認証プロトコルの一種です。TLSは証明書を使用して、2つ以上の通信当事者間で認証サービスを提供します。</p>
<h4 id="How-to-enable-TLS-in-the-Milvus-vector-database" class="common-anchor-header">MilvusベクターデータベースでTLSを有効にする方法</h4><p>MilvusでTLSを有効にするには、まず以下のコマンドを実行し、証明書を生成するための2つのファイルを用意する必要があります。<code translate="no">openssl.cnf</code> という名前のデフォルトのOpenSSL設定ファイルと、関連する証明書を生成するために使用される<code translate="no">gen.sh</code> という名前のファイルです。</p>
<pre><code translate="no"><span class="hljs-built_in">mkdir</span> cert &amp;&amp; <span class="hljs-built_in">cd</span> cert
<span class="hljs-built_in">touch</span> openssl.cnf gen.sh
<button class="copy-code-btn"></button></code></pre>
<p>次に、<a href="https://milvus.io/docs/v2.1.x/tls.md#Create-files">ここで</a>提供する設定を2つのファイルにコピー・アンド・ペーストするだけです。あるいは、私たちの設定をもとに、あなたのアプリケーションにより適した修正を加えることもできます。</p>
<p>2つのファイルの準備ができたら、<code translate="no">gen.sh</code> ファイルを実行して、9つの証明書ファイルを作成できます。同様に、9つの証明書ファイルの設定を必要に応じて変更することもできます。</p>
<pre><code translate="no"><span class="hljs-built_in">chmod</span> +x gen.sh
./gen.sh
<button class="copy-code-btn"></button></code></pre>
<p>MilvusサービスにTLSで接続する前に、最後のステップがあります。<code translate="no">tlsEnabled</code> を<code translate="no">true</code> に設定し、<code translate="no">server.pem</code> 、<code translate="no">server.key</code> 、<code translate="no">ca.pem</code> のファイルパスを<code translate="no">config/milvus.yaml</code> に設定する必要があります。下記のコードはその一例です。</p>
<pre><code translate="no">tls:
  serverPemPath: configs/cert/server.pem
  serverKeyPath: configs/cert/server.key
  caPemPath: configs/cert/ca.pem

common:
  security:
    tlsEnabled: <span class="hljs-literal">true</span>
<button class="copy-code-btn"></button></code></pre>
<p>Milvus接続SDKを使用する際、クライアント用に<code translate="no">client.pem</code>,<code translate="no">client.key</code>,<code translate="no">ca.pem</code> のファイルパスを指定すれば、TLSでMilvusサービスに接続することができます。下記のコードも一例です。</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> connections

_HOST = <span class="hljs-string">&#x27;127.0.0.1&#x27;</span>
_PORT = <span class="hljs-string">&#x27;19530&#x27;</span>

<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;\nCreate connection...&quot;</span>)
connections.connect(host=_HOST, port=_PORT, secure=<span class="hljs-literal">True</span>, client_pem_path=<span class="hljs-string">&quot;cert/client.pem&quot;</span>,
                        client_key_path=<span class="hljs-string">&quot;cert/client.key&quot;</span>,
                        ca_pem_path=<span class="hljs-string">&quot;cert/ca.pem&quot;</span>, server_name=<span class="hljs-string">&quot;localhost&quot;</span>)
<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;\nList connections:&quot;</span>)
<span class="hljs-built_in">print</span>(connections.list_connections())
<button class="copy-code-btn"></button></code></pre>
<h2 id="Whats-next" class="common-anchor-header">今後の予定<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.1の正式リリースに伴い、新機能を紹介するブログシリーズを用意しました。詳しくはこちらのブログシリーズをご覧ください：</p>
<ul>
<li><a href="https://milvus.io/blog/2022-08-08-How-to-use-string-data-to-empower-your-similarity-search-applications.md">類似検索アプリケーションを強化する文字列データの使い方</a></li>
<li><a href="https://milvus.io/blog/embedded-milvus.md">組み込みMilvusを使用したPythonによるMilvusのインストールと実行</a></li>
<li><a href="https://milvus.io/blog/in-memory-replicas.md">インメモリレプリカによるベクターデータベースの読み取りスループットの向上</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md">Milvusベクトルデータベースの一貫性レベルを理解する</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database-2.md">Milvusベクタデータベースのコンシステンシーレベルを理解する(後編)</a></li>
<li><a href="https://milvus.io/blog/data-security.md">Milvus Vector Databaseはどのようにデータのセキュリティを確保しているのか？</a></li>
</ul>


Milvusベクターデータベースはどのようにデータセキュリティを確保しているのか？

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1280_X1280_0e0d4bc107.png" alt="Cover_image" class="doc-image" id="cover_image" />
   </span> <span class="img-wrapper"> <span>表紙画像</span> </span></p>
<blockquote>
<p>この記事は<a href="https://github.com/JackLCL">Chenglong Liによって</a>書かれ、<a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Niによって</a>翻訳されました。</p>
</blockquote>
<p>Mlivusのベクターデータベースから削除したデータが検索結果に表示されることがあるのを不思議に思ったことはありませんか？</p>
<p>それは、アプリケーションに適切な一貫性レベルを設定していないからです。分散ベクターデータベースの一貫性レベルは、特定のデータの書き込みがどの時点でシステムによって読み取られるかを決定するため、非常に重要です。</p>
<p>そこで、この記事では一貫性の概念を解明し、Milvusベクトルデータベースがサポートする一貫性のレベルについて掘り下げていきます。</p>
<p><strong>ジャンプ</strong></p>
<ul>
<li><a href="#What-is-consistency">一貫性とは</a></li>
<li><a href="#Four-levels-of-consistency-in-the-Milvus-vector-database">Milvusベクトル・データベースにおける4つの一貫性レベル</a><ul>
<li><a href="#Strong">強い</a></li>
<li><a href="#Bounded-staleness">陳腐化</a></li>
<li><a href="#Session">セッション</a></li>
<li><a href="#Eventual">最終的</a></li>
</ul></li>
</ul>
<h2 id="What-is-consistency" class="common-anchor-header">一貫性とは何か<button data-href="#What-is-consistency" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>一貫性 "という言葉はコンピューティング業界では使い古された言葉なので、この記事を始める前にまず一貫性の意味合いを明確にする必要があります。分散データベースにおける一貫性とは、特に、ある時点でデータを書き込んだり読み込んだりする際に、すべてのノードやレプリカが同じデータビューを持つことを保証する性質を指します。したがって、ここでは<a href="https://en.wikipedia.org/wiki/CAP_theorem">CAPの定理で</a>いう一貫性について話している。</p>
<p>現代の世界では、大規模なオンラインビジネスに対応するため、複数のレプリカが一般的に採用されている。例えば、オンライン電子商取引大手のアマゾンは、システム・クラッシュや障害発生時にシステムの高い可用性を確保するために、複数のデータ・センター、ゾーン、あるいは国にまたがって注文やSKUデータを複製している。このため、システムには複数のレプリカ間でのデータの一貫性という課題が生じる。一貫性がないと、アマゾンのカートで削除された商品が再び表示される可能性が非常に高く、非常に悪いユーザー体験を引き起こします。</p>
<p>したがって、アプリケーションごとに異なるデータ一貫性レベルが必要になる。そして幸運なことに、AIのためのデータベースであるMilvusは、一貫性レベルに柔軟性を提供しており、あなたのアプリケーションに最適な一貫性レベルを設定することができます。</p>
<h3 id="Consistency-in-the-Milvus-vector-database" class="common-anchor-header">Milvusベクトル・データベースにおける一貫性</h3><p>整合性レベルの概念は、Milvus 2.0のリリースで初めて導入されました。Milvusの1.0バージョンは分散ベクタデータベースではなかったため、一貫性のレベルを調整することはできませんでした。Milvus1.0は毎秒データをフラッシュしていたため、新しいデータが挿入されるとほぼ即座に表示され、Milvusはベクトルの類似性検索やクエリ要求が来た時点で最新のデータビューを読み込む。</p>
<p>しかし、Milvusは2.0バージョンでリファクタリングされ、<a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">Milvus 2.0は</a>pub-subメカニズムに基づく<a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">分散ベクトルデータベースである</a>。<a href="https://en.wikipedia.org/wiki/PACELC_theorem">PACELCの</a>定理は、分散システムは一貫性、可用性、待ち時間の間でトレードオフしなければならないことを指摘している。さらに、異なる一貫性レベルは異なるシナリオに対応する。そのため、<a href="https://milvus.io/blog/2022-1-25-annoucing-general-availability-of-milvus-2-0.md">Milvus 2.0では</a>一貫性の概念が導入され、一貫性のレベルを調整できるようになった。</p>
<h2 id="Four-levels-of-consistency-in-the-Milvus-vector-database" class="common-anchor-header">Milvusベクトルデータベースの4つの一貫性レベル<button data-href="#Four-levels-of-consistency-in-the-Milvus-vector-database" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvusは、strong、bounded staleness、session、eventualの4つの一貫性レベルをサポートしています。そして、Milvusのユーザは、<a href="https://milvus.io/docs/v2.1.x/create_collection.md">コレクションを作成する</a>とき、または<a href="https://milvus.io/docs/v2.1.x/search.md">ベクトル類似検索や</a> <a href="https://milvus.io/docs/v2.1.x/query.md">クエリを</a>行うときに、一貫性レベルを指定することができます。このセクションでは、これら4つの一貫性レベルがどのように異なり、どのシナリオに最適であるかを説明します。</p>
<h3 id="Strong" class="common-anchor-header">強い</h3><p>Strongは最も高く、最も厳格な一貫性レベルです。ユーザが最新バージョンのデータを読めるようにします。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Consistency_Strong_5d791eb8b2.png" alt="Strong" class="doc-image" id="strong" />
   </span> <span class="img-wrapper"> <span>強い</span> </span></p>
<p>PACELCの定理によると、一貫性レベルをStrongに設定すると、待ち時間が長くなります。したがって、テスト結果の正確性を保証するために、機能テストでは強い一貫性を選択することを推奨します。また、強い一貫性は、検索速度を犠牲にしてデータの一貫性を厳しく要求するアプリケーションにも最適です。例えば、注文の支払いや請求書を扱うオンライン金融システムなどが挙げられます。</p>
<h3 id="Bounded-staleness" class="common-anchor-header">境界的陳腐性</h3><p>Bounded stalenessは、その名が示すように、ある一定期間のデータの一貫性のなさを許容する。しかし一般的には、その期間外ではデータは常にグローバルに一貫している。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Consistency_Bounded_c034bc6e51.png" alt="Bounded_staleness" class="doc-image" id="bounded_staleness" />
   </span> <span class="img-wrapper"> <span>Bounded_staleness</span> </span></p>
<p>Bounded_stalenessは、検索レイテンシを制御する必要があり、散発的なデータの不可視性を許容できるシナリオに適している。例えば、ビデオ推薦エンジンのような推薦システムでは、たまにデータが見えなくなることは、全体的な想起率に与える影響は本当に小さいですが、推薦システムのパフォーマンスを大幅に向上させることができます。例としては、オンライン注文のステータスを追跡するアプリがある。</p>
<h3 id="Session" class="common-anchor-header">セッション</h3><p>セッションは、すべてのデータの書き込みが、同じセッション中の読み込みで即座に認識できることを保証します。言い換えれば、あるクライアントを介してデータを書き込むと、新しく挿入されたデータは即座に検索可能になります。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Consistency_Session_6dc4782212.png" alt="Session" class="doc-image" id="session" />
   </span> <span class="img-wrapper"> <span>セッション</span> </span></p>
<p>同一セッション内でのデータの一貫性の要求が高いシナリオでは、一貫性レベルとしてセッションを選択することをお勧めします。例えば、図書館システムから本のエントリーのデータを削除し、削除を確認してページを更新（別のセッション）すると、その本は検索結果に表示されなくなります。</p>
<h3 id="Eventual" class="common-anchor-header">最終的な</h3><p>読み込みと書き込みの順序は保証されておらず、書き込み操作が行われない限り、レプリカは最終的に同じ状態に収束します。偶発的一貫性の下では、レプリカは最新の更新された値で読み取り要求の処理を開始する。最終的一貫性は、4つの中で最も弱いレベルである。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Consistency_Eventual_7c66dd5b6f.png" alt="Eventual" class="doc-image" id="eventual" />
   </span> <span class="img-wrapper"> <span>最終的一貫性</span> </span></p>
<p>しかし、PACELCの定理によれば、一貫性を犠牲にすることで、検索レイテンシを大幅に短縮することができる。従って、偶発的一貫性は、データの一貫性に対する要求は高くないが、高速な検索性能が要求されるシナリオに最適である。例えば、アマゾンの商品のレビューや評価を偶発的一貫性で検索するような場合である。</p>
<h2 id="Endnote" class="common-anchor-header">おわりに<button data-href="#Endnote" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>冒頭の質問に戻りますが、削除されたデータが検索結果として返されるのは、ユーザーが適切な一貫性レベルを選択していないためです。milvusベクトル・データベースでは、一貫性レベルのデフォルト値はbounded staleness (<code translate="no">Bounded</code>)である。そのため、データの読み込みが遅れ、類似検索やクエリー中に削除操作を行う前にMilvusがデータビューを読み込んでしまうことがあります。しかし、この問題は簡単に解決できます。コレクションを作成するとき、またはベクトル類似検索やクエリを実行するときに<a href="https://milvus.io/docs/v2.1.x/tune_consistency.md">一貫性レベルを調整</a>するだけです。簡単です！</p>
<p>次回は、Milvusベクトルデータベースがどのようにして様々な一貫性レベルを実現しているのか、そのメカニズムを明らかにし、解説します。ご期待ください！</p>
<h2 id="Whats-next" class="common-anchor-header">次の記事<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.1の正式リリースに伴い、新機能を紹介する一連のブログを用意しました。このブログシリーズの続きを読む</p>
<ul>
<li><a href="https://milvus.io/blog/2022-08-08-How-to-use-string-data-to-empower-your-similarity-search-applications.md">類似検索アプリケーションを強化する文字列データの使い方</a></li>
<li><a href="https://milvus.io/blog/embedded-milvus.md">組み込みMilvusを使用したPythonによるMilvusのインストールと実行</a></li>
<li><a href="https://milvus.io/blog/in-memory-replicas.md">インメモリレプリカによるベクターデータベースの読み取りスループットの向上</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md">Milvusベクトルデータベースの一貫性レベルを理解する</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database-2.md">Milvusベクタデータベースのコンシステンシーレベルを理解する(後編)</a></li>
<li><a href="https://milvus.io/blog/data-security.md">Milvus Vector Databaseはどのようにデータのセキュリティを確保しているのか？</a></li>
</ul>


Milvusベクターデータベースの一貫性レベルの理解

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/in_memory_replica_af1fa21d61.png" alt="Cover_image" class="doc-image" id="cover_image" />
   </span> <span class="img-wrapper"> <span>表紙画像</span> </span></p>
<blockquote>
<p>この記事は<a href="https://github.com/congqixia">Congqi Xiaと</a> <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Niの</a>共著です。</p>
</blockquote>
<p>Milvus2.1が正式リリースされ、利便性とユーザーエクスペリエンスの向上のために多くの新機能が追加されました。インメモリレプリカという概念は分散データベースの世界では目新しいものではありませんが、システムパフォーマンスを向上させ、システムの可用性を簡単に高めることができる重要な機能です。そこで本記事では、インメモリレプリカとは何か、なぜ重要なのかを説明し、AI向けベクトルデータベースMilvusでこの新機能を有効にする方法を紹介する。</p>
<p><strong>ジャンプ</strong></p>
<ul>
<li><p><a href="#Concepts-related-to-in-memory-replica">インメモリ・レプリカに関連する概念</a></p></li>
<li><p><a href="#What-is-in-memory-replica">インメモリ・レプリカとは？</a></p></li>
<li><p><a href="#Why-are-in-memory-replicas-important">なぜインメモリ・レプリカが重要なのか？</a></p></li>
<li><p><a href="#Enable-in-memory-replicas-in-the-Milvus-vector-database">Milvusベクトル・データベースでインメモリ・レプリカを有効にする</a></p></li>
</ul>
<h2 id="Concepts-related-to-in-memory-replica" class="common-anchor-header">インメモリレプリカの概念<button data-href="#Concepts-related-to-in-memory-replica" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>インメモリ・レプリカとは何か、なぜ重要なのかを知る前に、まずレプリカ・グループ、シャード・レプリカ、ストリーミング・レプリカ、ヒストリカル・レプリカ、シャード・リーダーなど、いくつかの関連する概念を理解する必要があります。以下の画像は、これらの概念の説明図である。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/diagram_1_525afc706a.jpg" alt="Replica_concepts" class="doc-image" id="replica_concepts" />
   </span> <span class="img-wrapper"> <span>レプリカの概念</span> </span></p>
<h3 id="Replica-group" class="common-anchor-header">レプリカグループ</h3><p>レプリカグループは、ヒストリカルデータとレプリカの処理を担当する複数の<a href="https://milvus.io/docs/v2.1.x/four_layers.md#Query-node">クエリノードで</a>構成されます。</p>
<h3 id="Shard-replica" class="common-anchor-header">シャード・レプリカ</h3><p>シャードレプリカはストリーミングレプリカとヒストリカルレプリカで構成され、どちらも同じ<a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md#Shard">シャード</a>（つまりDMLチャネル）に属します。複数のシャードレプリカがレプリカグループを構成します。レプリカグループ内のシャードレプリカの正確な数は、指定されたコレクション内のシャードの数によって決まります。</p>
<h3 id="Streaming-replica" class="common-anchor-header">ストリーミング・レプリカ</h3><p>ストリーミング・レプリカは、同じDMLチャネルからのすべての<a href="https://milvus.io/docs/v2.1.x/glossary.md#Segment">成長セグメントを</a>含みます。技術的に言えば、ストリーミング・レプリカは1つのレプリカに1つのクエリ・ノードだけが対応する必要があります。</p>
<h3 id="Historical-replica" class="common-anchor-header">履歴レプリカ</h3><p>ヒストリカルレプリカは、同じ DML チャンネルに含まれるすべてのセグメントを保持します。1つのヒストリカルレプリカの封印されたセグメントは、同じレプリカグループ内の複数のクエリノードに分散させることができます。</p>
<h3 id="Shard-leader" class="common-anchor-header">シャードリーダー</h3><p>シャードリーダーとは、シャードレプリカ内のストリーミングレプリカを扱うクエリノードのことです。</p>
<h2 id="What-is-in-memory-replica" class="common-anchor-header">インメモリーレプリカとは何ですか？<button data-href="#What-is-in-memory-replica" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>インメモリーレプリカを有効にすると、複数のクエリノードでコレクション内のデータをロードできるため、CPUとメモリーのリソースを余すことなく活用できます。この機能は、データセットが比較的小さいが、読み取りスループットを向上させ、ハードウェアリソースの利用率を高めたい場合に非常に便利です。</p>
<p>Milvusベクトルデータベースは、今のところ各セグメントに対して1つのレプリカをメモリ上に保持している。しかし、インメモリレプリカを使えば、異なるクエリノード上にセグメントの複数のレプリカを持つことができます。つまり、あるクエリノードがあるセグメントを検索しているときに、新しい検索要求が来た場合、このクエリノードはまったく同じセグメントのレプリカを持っているので、別のアイドルクエリノードに割り当てることができる。</p>
<p>さらに、複数のインメモリーレプリカがあれば、クエリーノードがクラッシュした場合にも対応できる。以前は、別のクエリノードで検索を続けるためには、セグメントの再読み込みを待たなければなりませんでした。しかし、インメモリーレプリケーションを使えば、データを再読み込みすることなく、すぐに新しいクエリーノードに検索リクエストを再送信することができる。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/replication_3_1_2c25513cb9.jpg" alt="Replication" class="doc-image" id="replication" />
   </span> <span class="img-wrapper"> <span>レプリケーション</span> </span></p>
<h2 id="Why-are-in-memory-replicas-important" class="common-anchor-header">なぜインメモリーレプリカが重要なのか？<button data-href="#Why-are-in-memory-replicas-important" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>インメモリーレプリカを有効にする最も大きなメリットの一つは、全体のQPS（クエリー/秒）とスループットが向上することです。さらに、複数のセグメント・レプリカを維持することができ、フェイルオーバーに直面した場合のシステムの回復力も高まります。</p>
<h2 id="Enable-in-memory-replicas-in-the-Milvus-vector-database" class="common-anchor-header">Milvusベクトルデータベースのインメモリーレプリカの有効化<button data-href="#Enable-in-memory-replicas-in-the-Milvus-vector-database" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvusベクトルデータベースでは、インメモリレプリカの新機能を有効にするのは簡単です。コレクションをロードする際（つまり、<code translate="no">collection.load()</code> を呼び出す際）に必要なレプリカの数を指定するだけです。</p>
<p>以下のチュートリアルの例では、すでに "book "という名前の<a href="https://milvus.io/docs/v2.1.x/create_collection.md">コレクションを作成</a>し、<a href="https://milvus.io/docs/v2.1.x/insert_data.md">データを挿入</a>したとします。次のコマンドを実行すると、bookコレクションを<a href="https://milvus.io/docs/v2.1.x/load_collection.md">ロードする</a>ときに2つのレプリカを作成できます。</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> Collection
collection = Collection(<span class="hljs-string">&quot;book&quot;</span>)      <span class="hljs-comment"># Get an existing collection.</span>
collection.load(replica_number=<span class="hljs-number">2</span>) <span class="hljs-comment"># load collection as 2 replicas</span>
<button class="copy-code-btn"></button></code></pre>
<p>上のコード例では、アプリケーションのシナリオに合わせて、レプリカの数を柔軟に変更できます。そうすれば、余計なコマンドを実行することなく、複数のレプリカに対して直接ベクトル類似<a href="https://milvus.io/docs/v2.1.x/search.md">検索や</a> <a href="https://milvus.io/docs/v2.1.x/query.md">クエリを</a>実行することができます。ただし、許容されるレプリカの最大数は、クエリ・ノードを実行するために使用可能なメモリの総量によって制限されることに注意する必要があります。指定したレプリカの数が使用可能なメモリの制限を超えると、データのロード中にエラーが返されます。</p>
<p><code translate="no">collection.get_replicas()</code> を実行して、作成したインメモリ・レプリカの情報を確認することもできます。レプリカ・グループと対応するクエリ・ノードとシャードの情報が返されます。以下は出力の例です。</p>
<pre><code translate="no">Replica <span class="hljs-built_in">groups</span>:
- Group: &lt;group_id:435309823872729305&gt;, &lt;group_nodes:(21, 20)&gt;, &lt;shards:[Shard: &lt;channel_name:milvus-zong-rootcoord-dml_27_435367661874184193v0&gt;, &lt;shard_leader:21&gt;, &lt;shard_nodes:[21]&gt;, Shard: &lt;channel_name:milvus-zong-rootcoord-dml_28_435367661874184193v1&gt;, &lt;shard_leader:20&gt;, &lt;shard_nodes:[20, 21]&gt;]&gt;
- Group: &lt;group_id:435309823872729304&gt;, &lt;group_nodes:(25,)&gt;, &lt;shards:[Shard: &lt;channel_name:milvus-zong-rootcoord-dml_28_435367661874184193v1&gt;, &lt;shard_leader:25&gt;, &lt;shard_nodes:[25]&gt;, Shard: &lt;channel_name:milvus-zong-rootcoord-dml_27_435367661874184193v0&gt;, &lt;shard_leader:25&gt;, &lt;shard_nodes:[25]&gt;]&gt;
<button class="copy-code-btn"></button></code></pre>
<h2 id="Whats-next" class="common-anchor-header">今後の予定<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.1の正式リリースに伴い、新機能を紹介する一連のブログを用意しました。このブログシリーズの続きを読む</p>
<ul>
<li><a href="https://milvus.io/blog/2022-08-08-How-to-use-string-data-to-empower-your-similarity-search-applications.md">類似検索アプリケーションを強化する文字列データの使用方法</a></li>
<li><a href="https://milvus.io/blog/embedded-milvus.md">組み込みMilvusを使用したPythonによるMilvusのインストールと実行</a></li>
<li><a href="https://milvus.io/blog/in-memory-replicas.md">インメモリレプリカによるベクターデータベースの読み取りスループットの向上</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md">Milvusベクトルデータベースの一貫性レベルを理解する</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database-2.md">Milvusベクタデータベースのコンシステンシーレベルを理解する(後編)</a></li>
<li><a href="https://milvus.io/blog/data-security.md">Milvus Vector Databaseはどのようにデータのセキュリティを確保しているのか？</a></li>
</ul>


インメモリ・レプリカによるベクター・データベースの読み取りスループットの向上

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Benchmark_Quick_Setup_58cc8eed5b.png" alt="Cover" class="doc-image" id="cover" />
   </span> <span class="img-wrapper"> <span>カバー</span> </span></p>
<p>最近、<a href="https://milvus.io/docs/v2.1.x/benchmark.md">Milvus 2.1のベンチマーク</a>レポートを更新した。100万ベクトルからなるデータセットを用いたテストにより、small-<a href="https://milvus.io/docs/v2.1.x/benchmark.md#Terminology">nq</a>クエリをマージすることでQPSが劇的に向上することが証明されました。</p>
<p>このテストを簡単に再現するための簡単なスクリプトを紹介します。</p>
<h2 id="Procedures" class="common-anchor-header">手順<button data-href="#Procedures" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ol>
<li><p>Milvusスタンドアロンまたはクラスタをデプロイする。この場合、MilvusサーバのIPアドレスは10.100.31.105である。</p></li>
<li><p>クライアントをデプロイする。今回はUbuntu 18.04とPython 3.8.13を使用します。以下のコードを実行して、PyMilvus 2.1.1をインストールします。</p></li>
</ol>
<pre><code translate="no">pip install pymilvus==2.1.1
<button class="copy-code-btn"></button></code></pre>
<ol start="3">
<li><p>以下のファイルをダウンロードして、クライアントと同じ作業ディレクトリにコピーします。この場合、作業ディレクトリは<code translate="no">/go_ben</code>.</p>
<ul>
<li><p><a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/collection_prepare.py"><code translate="no">collection_prepare.py</code></a></p></li>
<li><p><a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/go_benchmark.py"><code translate="no">go_benchmark.py</code></a></p></li>
<li><p><a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/benchmark"><code translate="no">benchmark</code></a>(Ubuntuの場合)または <a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/benchmark-mac"><code translate="no">benchmark-mac</code></a>(macOSの場合)</p></li>
</ul>
<p><strong>です：</strong></p>
<ul>
<li><p><code translate="no">benchmark</code> および は、Go SDK 2.1.1を使用して開発およびコンパイルされた実行可能ファイルです。これらは同時検索を行うためにのみ使用されます。<code translate="no">benchmark-mac</code> </p></li>
<li><p>Ubuntuユーザーの方は、<code translate="no">benchmark</code> をダウンロードしてください。macOSユーザーの方は、<code translate="no">benchmark-mac</code> をダウンロードしてください。</p></li>
<li><p><code translate="no">benchmark</code> または<code translate="no">benchmark-mac</code> にアクセスするには、実行可能パーミッションが必要です。</p></li>
<li><p>Macユーザーは、システム環境設定の「セキュリティとプライバシー」を設定して、<code translate="no">benchmark-mac</code> ファイルを信頼する必要があります。</p></li>
<li><p>同時検索に関する設定は、<code translate="no">go_benchmark.py</code> のソースコードで確認および変更できます。</p></li>
</ul></li>
</ol>
<ol start="4">
<li>コレクションを作成し、ベクトルデータを挿入する。</li>
</ol>
<pre><code translate="no">root@milvus-pytest:/go_ben<span class="hljs-comment"># python collection_prepare.py 10.100.31.105 </span>
<button class="copy-code-btn"></button></code></pre>
<ol start="5">
<li><code translate="no">/tmp/collection_prepare.log</code> を開いて実行結果をチェックする。</li>
</ol>
<pre><code translate="no">...
08/11/2022 17:33:34 PM - INFO - Build index costs 263.626
08/11/2022 17:33:54 PM - INFO - Collection prepared completed
<button class="copy-code-btn"></button></code></pre>
<ol start="6">
<li><code translate="no">benchmark</code> （macOS では<code translate="no">benchmark-mac</code> ） を呼 び 出 して、同時検索を実行する。</li>
</ol>
<pre><code translate="no">root@milvus-pytest:/go_ben<span class="hljs-meta"># python go_benchmark.py 10.100.31.105 ./benchmark</span>
[<span class="hljs-meta">write_json_file</span>] <span class="hljs-function">Remove <span class="hljs-title">file</span>(<span class="hljs-params">search_vector_file.json</span>).
[write_json_file] Write json <span class="hljs-keyword">file</span>:search_vector_file.json done.
Params of go_benchmark: [&#x27;./benchmark&#x27;, &#x27;locust&#x27;, &#x27;-u&#x27;, &#x27;10.100.31.105:19530&#x27;, &#x27;-q&#x27;, &#x27;search_vector_file.json&#x27;, &#x27;-s&#x27;, &#x27;</span>{\n  <span class="hljs-string">&quot;collection_name&quot;</span>: <span class="hljs-string">&quot;random_1m&quot;</span>,\n  <span class="hljs-string">&quot;partition_names&quot;</span>: [],\n  <span class="hljs-string">&quot;fieldName&quot;</span>: <span class="hljs-string">&quot;embedding&quot;</span>,\n  <span class="hljs-string">&quot;index_type&quot;</span>: <span class="hljs-string">&quot;HNSW&quot;</span>,\n  <span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&quot;L2&quot;</span>,\n  <span class="hljs-string">&quot;params&quot;</span>: {\n    <span class="hljs-string">&quot;sp_value&quot;</span>: <span class="hljs-number">64</span>,\n    <span class="hljs-string">&quot;dim&quot;</span>: <span class="hljs-number">128</span>\n  },\n  <span class="hljs-string">&quot;limit&quot;</span>: <span class="hljs-number">1</span>,\n  <span class="hljs-string">&quot;expr&quot;</span>: <span class="hljs-literal">null</span>,\n  <span class="hljs-string">&quot;output_fields&quot;</span>: [],\n  <span class="hljs-string">&quot;timeout&quot;</span>: <span class="hljs-number">600</span>\n}<span class="hljs-string">&#x27;, &#x27;</span>-p<span class="hljs-string">&#x27;, &#x27;</span><span class="hljs-number">10&#x27;</span>, <span class="hljs-string">&#x27;-f&#x27;</span>, <span class="hljs-string">&#x27;json&#x27;</span>, <span class="hljs-string">&#x27;-t&#x27;</span>, <span class="hljs-string">&#x27;60&#x27;</span>, <span class="hljs-string">&#x27;-i&#x27;</span>, <span class="hljs-string">&#x27;20&#x27;</span>, <span class="hljs-string">&#x27;-l&#x27;</span>, <span class="hljs-string">&#x27;go_log_file.log&#x27;</span>]
[<span class="hljs-meta">2022-08-11 11:37:39.811</span>][    INFO] - Name      <span class="hljs-meta">#   reqs      # fails  |       Avg       Min       Max    Median  |     req/s  failures/s (benchmark_run.go:212:sample)</span>
[<span class="hljs-meta">2022-08-11 11:37:39.811</span>][    INFO] - go search     <span class="hljs-number">9665</span>     <span class="hljs-number">0</span>(<span class="hljs-number">0.00</span>%)  |    <span class="hljs-number">20.679</span>     <span class="hljs-number">6.499</span>    <span class="hljs-number">81.761</span>    <span class="hljs-number">12.810</span>  |    <span class="hljs-number">483.25</span>        <span class="hljs-number">0.00</span> (benchmark_run.go:<span class="hljs-number">213</span>:sample)
[<span class="hljs-meta">2022-08-11 11:37:59.811</span>][    INFO] - Name      <span class="hljs-meta">#   reqs      # fails  |       Avg       Min       Max    Median  |     req/s  failures/s (benchmark_run.go:212:sample)</span>
[<span class="hljs-meta">2022-08-11 11:37:59.811</span>][    INFO] - go search    <span class="hljs-number">19448</span>     <span class="hljs-number">0</span>(<span class="hljs-number">0.00</span>%)  |    <span class="hljs-number">20.443</span>     <span class="hljs-number">6.549</span>    <span class="hljs-number">78.121</span>    <span class="hljs-number">13.401</span>  |    <span class="hljs-number">489.22</span>        <span class="hljs-number">0.00</span> (benchmark_run.go:<span class="hljs-number">213</span>:sample)
[<span class="hljs-meta">2022-08-11 11:38:19.811</span>][    INFO] - Name      <span class="hljs-meta">#   reqs      # fails  |       Avg       Min       Max    Median  |     req/s  failures/s (benchmark_run.go:212:sample)</span>
[<span class="hljs-meta">2022-08-11 11:38:19.811</span>][    INFO] - go search    <span class="hljs-number">29170</span>     <span class="hljs-number">0</span>(<span class="hljs-number">0.00</span>%)  |    <span class="hljs-number">20.568</span>     <span class="hljs-number">6.398</span>    <span class="hljs-number">76.887</span>    <span class="hljs-number">12.828</span>  |    <span class="hljs-number">486.15</span>        <span class="hljs-number">0.00</span> (benchmark_run.go:<span class="hljs-number">213</span>:sample)
[<span class="hljs-meta">2022-08-11 11:38:19.811</span>][   DEBUG] - go search run finished, parallel: <span class="hljs-number">10</span>(benchmark_run.go:<span class="hljs-number">95</span>:benchmark)
[<span class="hljs-meta">2022-08-11 11:38:19.811</span>][    INFO] - Name      <span class="hljs-meta">#   reqs      # fails  |       Avg       Min       Max    Median  |     req/s  failures/s (benchmark_run.go:159:samplingLoop)</span>
[<span class="hljs-meta">2022-08-11 11:38:19.811</span>][    INFO] - go search    <span class="hljs-number">29180</span>     <span class="hljs-number">0</span>(<span class="hljs-number">0.00</span>%)  |    <span class="hljs-number">20.560</span>     <span class="hljs-number">6.398</span>    <span class="hljs-number">81.761</span>    <span class="hljs-number">13.014</span>  |    <span class="hljs-number">486.25</span>        <span class="hljs-number">0.00</span> (benchmark_run.go:<span class="hljs-number">160</span>:samplingLoop)
Result of go_benchmark: {<span class="hljs-string">&#x27;response&#x27;</span>: True, <span class="hljs-string">&#x27;err_code&#x27;</span>: <span class="hljs-number">0</span>, <span class="hljs-string">&#x27;err_message&#x27;</span>: <span class="hljs-string">&#x27;&#x27;</span>} 
<button class="copy-code-btn"></button></code></pre>
<ol start="7">
<li>カレントディレクトリの下にある<code translate="no">go_log_file.log</code> ファイルを開いて、詳細な検索ログを確認する。検索ログに記載されている検索情報は以下の通りです。<ul>
<li><p>reqs: 同時検索が発生した時点から現在までの検索リクエスト数（現在のタイムスパン）</p></li>
<li><p>fails: 現在のタイムスパンにおける reqs に占める失敗したリクエストの数</p></li>
<li><p>Avg: 現在のタイムスパンにおける平均リクエスト応答時間（単位：ミリ秒）</p></li>
<li><p>Min: 現在のタイムスパンにおける最小リクエスト・レスポンス・タイム (単位: ミリ秒)</p></li>
<li><p>Max: 現在のタイムスパンにおけるリクエスト・レスポンス・タイムの最大値 (単位: ミリ秒)</p></li>
<li><p>Median: 現在のタイムスパンにおけるリクエスト応答時間の中央値 (単位: ミリ秒)</p></li>
<li><p>req/s：1秒あたりのリクエスト数、つまりQPS</p></li>
<li><p>failures/s: 現在のタイムスパンにおける1秒あたりの平均失敗リクエスト数</p></li>
</ul></li>
</ol>
<h2 id="Downloading-Scripts-and-Executable-Files" class="common-anchor-header">スクリプトと実行ファイルのダウンロード<button data-href="#Downloading-Scripts-and-Executable-Files" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p><a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/collection_prepare.py">collection_prepare.py</a></p></li>
<li><p><a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/go_benchmark.py">go_benchmark.py</a></p></li>
<li><p>Ubuntu 用<a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/benchmark">benchmark</a></p></li>
<li><p>macOS用<a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/benchmark-mac">benchmark-mac</a></p></li>
</ul>
<h2 id="Whats-next" class="common-anchor-header">今後の予定<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.1の正式リリースに伴い、新機能を紹介する一連のブログを用意しました。このブログシリーズの続きを読む</p>
<ul>
<li><a href="https://milvus.io/blog/2022-08-08-How-to-use-string-data-to-empower-your-similarity-search-applications.md">類似検索アプリケーションを強化する文字列データの使い方</a></li>
<li><a href="https://milvus.io/blog/embedded-milvus.md">Embedded Milvusを使用したPythonによるMilvusのインストールと実行</a></li>
<li><a href="https://milvus.io/blog/in-memory-replicas.md">インメモリレプリカによるベクターデータベースの読み取りスループットの向上</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md">Milvus Vectorデータベースの一貫性レベルを理解する</a></li>
<li><a href="https://milvus.io/blog/data-security.md">Milvus Vector Databaseはどのようにデータのセキュリティを確保しているのか？</a></li>
</ul>


milvus2.1ベンチマーククイック・ガイド

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/embeddded_milvus_1_8132468cac.png" alt="Cover" class="doc-image" id="cover" />
   </span> <span class="img-wrapper"> <span>カバー</span> </span></p>
<blockquote>
<p>この記事は<a href="https://github.com/soothing-rain/">アレックス・ガオと</a> <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">アンジェラ・ニーの</a>共著です。</p>
</blockquote>
<p>MilvusはAIアプリケーションのためのオープンソースのベクトル・データベースである。ソースコードからのビルドや、Docker Compose/Helm/APT/YUM/Ansibleを使ったMilvusのインストールなど、様々なインストール方法が提供されている。ユーザーは、オペレーティング・システムや好みに応じて、いずれかのインストール方法を選択することができる。しかし、MilvusコミュニティにはPythonを使用するデータサイエンティストやAIエンジニアが多く、現在利用可能な方法よりもはるかにシンプルなインストール方法を切望しています。</p>
<p>そこで私たちは、Milvus 2.1と共にPythonユーザフレンドリ版であるembedded Milvusをリリースし、より多くのPython開発者を支援することにしました。この記事では、埋め込みMilvusとは何かを紹介し、インストール方法と使用方法を説明します。</p>
<p><strong>ジャンプ</strong></p>
<ul>
<li><a href="#An-overview-of-embedded-Milvus">組み込みMilvusの概要</a><ul>
<li><a href="#When-to-use-embedded-Milvus">組み込みMilvusはいつ使うのか？</a></li>
<li><a href="#A-comparison-of-different-modes-of-Milvus">Milvusの各モードの比較</a></li>
</ul></li>
<li><a href="#How-to-install-embedded-Milvus">組み込みMilvusのインストール方法</a></li>
<li><a href="#Start-and-stop-embedded-Milvus">組み込みMilvusの起動と停止</a></li>
</ul>
<h2 id="An-overview-of-embedded-Milvus" class="common-anchor-header">組み込みMilvusの概要<button data-href="#An-overview-of-embedded-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><a href="https://github.com/milvus-io/embd-milvus">Embedded Milvusを</a>使用すると、PythonでMilvusを素早くインストールして使用することができます。Milvusインスタンスを素早く立ち上げることができ、いつでもMilvusサービスを開始・停止することができます。すべてのデータとログは、組み込みMilvusを停止しても保持されます。</p>
<p>組み込みMilvus自体には内部依存関係はなく、etcd、MinIO、Pulsarなどのサードパーティ依存関係を事前にインストールして実行する必要はありません。</p>
<p>組み込みMilvusで行うこと、そしてそのために書くコードの全ては、スタンドアロン、クラスタ、クラウド版など、他のMilvusモードに安全に移行することができます。これはembedded Milvusの最も特徴的な特徴の一つである<strong>"Write once, run anywhere "</strong>を反映しています<strong>。</strong></p>
<h3 id="When-to-use-embedded-Milvus" class="common-anchor-header">組み込みMilvusはいつ使うのか？</h3><p>組み込みMilvusと<a href="https://milvus.io/docs/v2.1.x/install-pymilvus.md">PyMilvusは</a>異なる目的で構築されています。以下のような場合、組み込みMilvusを選択することを検討してください：</p>
<ul>
<li><p>Milvusをインストールせずに利用したい<a href="https://milvus.io/docs/v2.1.x/install_standalone-docker.md">場合</a>。</p></li>
<li><p>長時間稼働するMilvusプロセスをマシン内に保持せずにMilvusを使用したい場合。</p></li>
<li><p>Milvusプロセスやetcd、MinIO、Pulsarなどの必要なコンポーネントを個別に起動せずにMilvusを使いたい。</p></li>
</ul>
<p>組み込みMilvusは使用<strong>しない</strong>ことを推奨します：</p>
<ul>
<li><p>本番環境での使用。<em>(本番環境でMilvusを使用するには、MilvusクラスタまたはフルマネージドMilvusサービスである<a href="https://zilliz.com/cloud">Zillizクラウドを</a>ご検討ください</em>)。</p></li>
<li><p>パフォーマンスに対する要求が高い場合。<em>(比較的、組み込みMilvusは最高のパフォーマンスを提供しないかもしれません</em>)。</p></li>
</ul>
<h3 id="A-comparison-of-different-modes-of-Milvus" class="common-anchor-header">Milvusの各モードの比較</h3><p>以下の表は、Milvusのいくつかのモードを比較したものです。スタンドアロン、クラスタ、組み込みMilvus、そしてフルマネージドMilvusサービスであるZillizクラウドです。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/comparison_ebcd7c5b07.jpeg" alt="comparison" class="doc-image" id="comparison" />
   </span> <span class="img-wrapper"> <span>比較</span> </span></p>
<h2 id="How-to-install-embedded-Milvus" class="common-anchor-header">組み込みMilvusのインストール方法は？<button data-href="#How-to-install-embedded-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>組み込みMilvusをインストールする前に、まずPython 3.6以降がインストールされていることを確認する必要があります。Embedded Milvusは以下のオペレーティングシステムをサポートしています：</p>
<ul>
<li><p>Ubuntu 18.04</p></li>
<li><p>Mac x86_64 &gt;= 10.4</p></li>
<li><p>Mac M1 &gt;= 11.0</p></li>
</ul>
<p>要件が満たされていれば、<code translate="no">$ python3 -m pip install milvus</code> を実行して組み込みMilvusをインストールすることができます。また、コマンドにバージョンを追加することで、特定のバージョンの組み込みMilvusをインストールすることができます。例えば、2.1.0をインストールしたい場合は、<code translate="no">$ python3 -m pip install milvus==2.1.0</code> を実行します。また、Milvusの新バージョンがリリースされた場合は、<code translate="no">$ python3 -m pip install --upgrade milvus</code> を実行することで、Milvusを最新バージョンにアップグレードすることができます。</p>
<p>Milvusの古いユーザで、既にPyMilvusをインストールしており、組み込みMilvusをインストールしたい場合は、<code translate="no">$ python3 -m pip install --no-deps milvus</code> を実行してください。</p>
<p>インストールコマンドを実行した後、以下のコマンドを実行して<code translate="no">/var/bin/e-milvus</code> の下に埋め込みMilvus用のデータフォルダを作成する必要がある：</p>
<pre><code translate="no"><span class="hljs-built_in">sudo</span> <span class="hljs-built_in">mkdir</span> -p /var/bin/e-milvus
<span class="hljs-built_in">sudo</span> <span class="hljs-built_in">chmod</span> -R 777 /var/bin/e-milvus
<button class="copy-code-btn"></button></code></pre>
<h2 id="Start-and-stop-embedded-Milvus" class="common-anchor-header">組み込みMilvusの起動と停止<button data-href="#Start-and-stop-embedded-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>インストールが成功したら、サービスを開始することができます。</p>
<p>初めてembedded Milvusを実行する場合は、まずMilvusのインポートとembedded Milvusのセットアップを行う必要があります。</p>
<pre><code translate="no">$ python3
Python 3.9.10 (main, Jan 15 2022, 11:40:53)
[Clang 13.0.0 (clang-1300.0.29.3)] on darwin
Type <span class="hljs-string">&quot;help&quot;</span>, <span class="hljs-string">&quot;copyright&quot;</span>, <span class="hljs-string">&quot;credits&quot;</span> or <span class="hljs-string">&quot;license&quot;</span> <span class="hljs-keyword">for</span> more information.
&gt;&gt;&gt; import milvus
&gt;&gt;&gt; milvus.before()
please <span class="hljs-keyword">do</span> the following <span class="hljs-keyword">if</span> you have not already <span class="hljs-keyword">done</span> so:
1. install required dependencies: bash /var/bin/e-milvus/lib/install_deps.sh
2. <span class="hljs-built_in">export</span> LD_PRELOAD=/SOME_PATH/embd-milvus.so
3. <span class="hljs-built_in">export</span> LD_LIBRARY_PATH=<span class="hljs-variable">$LD_LIBRARY_PATH</span>:/usr/lib:/usr/local/lib:/var/bin/e-milvus/lib/
&gt;&gt;&gt;
<button class="copy-code-btn"></button></code></pre>
<p>以前、組み込みMilvusの起動に成功し、再度起動する場合は、Milvusのインポート後、<code translate="no">milvus.start()</code> 。</p>
<pre><code translate="no">$ python3
Python <span class="hljs-number">3.9</span><span class="hljs-number">.10</span> (main, Jan <span class="hljs-number">15</span> <span class="hljs-number">2022</span>, <span class="hljs-number">11</span>:<span class="hljs-number">40</span>:<span class="hljs-number">53</span>)
[Clang <span class="hljs-number">13.0</span><span class="hljs-number">.0</span> (clang-<span class="hljs-number">1300.0</span><span class="hljs-number">.29</span><span class="hljs-number">.3</span>)] on darwinType <span class="hljs-string">&quot;help&quot;</span>, <span class="hljs-string">&quot;copyright&quot;</span>, <span class="hljs-string">&quot;credits&quot;</span> <span class="hljs-keyword">or</span> <span class="hljs-string">&quot;license&quot;</span> <span class="hljs-keyword">for</span> more information.
<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">import</span> milvus
<span class="hljs-meta">&gt;&gt;&gt; </span>milvus.start()
&gt;&gt;&gt;
<button class="copy-code-btn"></button></code></pre>
<p>Milvusのサービスが正常に開始された場合、以下のような出力が表示されます。</p>
<pre><code translate="no">---<span class="hljs-title class_">Milvus</span> <span class="hljs-title class_">Proxy</span> successfully initialized and ready to serve!---
<button class="copy-code-btn"></button></code></pre>
<p>サービス開始後、別のターミナルウィンドウを立ち上げ、<a href="https://github.com/milvus-io/embd-milvus/blob/main/milvus/examples/hello_milvus.py">&quot;Hello Milvus</a>&quot;のサンプルコードを実行することで、組み込みMilvusで遊ぶことができます！</p>
<pre><code translate="no"><span class="hljs-comment"># Download hello_milvus script</span>
$ wget https://raw.githubusercontent.com/milvus-io/pymilvus/v2.1.0/examples/hello_milvus.py
<span class="hljs-comment"># Run Hello Milvus </span>
$ python3 hello_milvus.py
<button class="copy-code-btn"></button></code></pre>
<p>Milvusを使い終わったら、以下のコマンドを実行するか、Ctrl-Dを押して、Milvusを停止し、環境変数をクリーンアップすることをお勧めします。</p>
<pre><code translate="no">&gt;&gt;&gt; milvus.stop()
<span class="hljs-keyword">if</span> you need to clean up the environment variables, run:
<span class="hljs-built_in">export</span> LD_PRELOAD=
<span class="hljs-built_in">export</span> LD_LIBRARY_PATH=
&gt;&gt;&gt;
&gt;&gt;&gt; <span class="hljs-built_in">exit</span>()
<button class="copy-code-btn"></button></code></pre>
<h2 id="Whats-next" class="common-anchor-header">今後の予定<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.1の正式リリースに伴い、新機能を紹介する一連のブログを用意しました。詳しくはこちらのブログシリーズをご覧ください：</p>
<ul>
<li><a href="https://milvus.io/blog/2022-08-08-How-to-use-string-data-to-empower-your-similarity-search-applications.md">類似検索アプリケーションを強化する文字列データの使い方</a></li>
<li><a href="https://milvus.io/blog/embedded-milvus.md">組み込みMilvusを使用したPythonによるMilvusのインストールと実行</a></li>
<li><a href="https://milvus.io/blog/in-memory-replicas.md">インメモリレプリカによるベクターデータベースの読み取りスループットの向上</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md">Milvusベクターデータベースの一貫性レベルを理解する</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database-2.md">Milvusベクタデータベースのコンシステンシーレベルを理解する(後編)</a></li>
<li><a href="https://milvus.io/blog/data-security.md">Milvus Vector Databaseはどのようにデータのセキュリティを確保しているのか？</a></li>
</ul>


Embedded Milvusを使用したPythonによるMilvusのインストールと実行

類似検索アプリケーションを強化する文字列データの使い方

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/What_s_New_in_2_1_2_a0660df2a5.png" alt="What's new in Milvus 2.1 - Towards simplicity and speed" class="doc-image" id="what's-new-in-milvus-2.1---towards-simplicity-and-speed" />
   </span> <span class="img-wrapper"> <span>Milvus 2.1の新機能 - シンプルさとスピードを目指して</span> </span></p>
<p>Milvus 2.1の<a href="https://milvus.io/docs/v2.1.x/release_notes.md">リリースは</a>、Milvusコミュニティの貢献者全員による6ヶ月間の努力の末に実現しました。この人気のあるベクターデータベースのメジャーイテレーションは、<strong>パフォーマンスと</strong> <strong>ユーザビリティという</strong>2つの最も重要なキーワードに重点を置いています。文字列、Kafkaメッセージキュー、組み込みMilvusのサポートに加え、パフォーマンス、スケーラビリティ、セキュリティ、観測可能性において多くの改良を加えました。Milvus 2.1は、アルゴリズムエンジニアのラップトップからプロダクションレベルのベクトル類似検索サービスまでの「ラストワンマイル」の架け橋となるエキサイティングなアップデートです。</p>
<custom-h1>パフォーマンス - 3.2倍以上の向上</custom-h1><h2 id="5ms-level-latency" class="common-anchor-header">5msレベルの待ち時間<button data-href="#5ms-level-latency" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvusはすでに近似最近傍（ANN）検索をサポートしており、従来のKNN手法から大きく飛躍している。しかしながら、スループットと待ち時間の問題は、億単位のベクトルデータ検索シナリオに対処する必要のあるユーザーにとって依然として課題となっています。</p>
<p>Milvus2.1では、検索リンクのメッセージキューに依存しない新しいルーティングプロトコルが追加され、小規模データセットの検索待ち時間が大幅に短縮された。我々のテスト結果によれば、Milvusのレイテンシは5msまで低減され、類似検索や推薦などの重要なオンラインリンクの要件を満たしている。</p>
<h2 id="Concurrency-control" class="common-anchor-header">同時実行制御<button data-href="#Concurrency-control" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.1では、新しいコスト評価モデルと同時実行スケジューラを導入することで、同時実行モデルを微調整している。これにより、CPUやキャッシュのリソースを競合する多数の同時リクエストが発生したり、十分なリクエストがないためにCPUが十分に使用されなかったりすることがなくなります。また、Milvus 2.1の新しいインテリジェントなスケジューラレイヤーは、一貫したリクエストパラメータを持つsmall-nqクエリをマージし、small-nqかつ高いクエリ並行性を持つシナリオにおいて、3.2倍という驚異的なパフォーマンス向上を実現する。</p>
<h2 id="In-memory-replicas" class="common-anchor-header">インメモリーレプリカ<button data-href="#In-memory-replicas" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.1では、小規模データセットのスケーラビリティと可用性を向上させるインメモリレプリカが導入されました。従来のデータベースのリードオンリーレプリカと同様に、インメモリレプリカはリードQPSが高い場合にマシンを追加することで水平方向に拡張することができる。小規模データセットのベクトル検索では、推薦システムはしばしば1台のマシンの性能限界を超えるQPSを提供する必要がある。このようなシナリオでは、複数のレプリカをメモリにロードすることで、システムのスループットを大幅に向上させることができる。将来的には、インメモリ・レプリカに基づくヘッジド・リード・メカニズムも導入する予定です。これは、システムが障害から回復する必要がある場合に備えて、他の機能的なコピーを迅速に要求するもので、メモリの冗長性をフルに活用してシステム全体の可用性を向上させます。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/What_s_New_in_Milvus_2_1_Figure_1_excalidraw_1f7fe3c998.png" alt="In-memory replicas allow query services to be based on separate
copies of the same data." class="doc-image" id="in-memory-replicas-allow-query-services-to-be-based-on-separate-copies-of-the-same-data." />
   </span> <span class="img-wrapper"> <span>インメモリーレプリカは、同じデータの別々のコピーに基づくクエリーサービスを可能にする</span>。 </span></p>
<h2 id="Faster-data-loading" class="common-anchor-header">データロードの高速化<button data-href="#Faster-data-loading" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>最後の性能向上は、データロードからもたらされる。Milvus 2.1では、Zstandard (zstd)を用いて<a href="https://milvus.io/docs/v2.1.x/glossary.md#Log-snapshot">バイナリログを</a>圧縮するようになり、オブジェクトストアとメッセージストアのデータサイズが大幅に削減され、データロード時のネットワークオーバーヘッドも削減されました。さらに、ゴルーチンプールが導入され、Milvusはメモリフットプリントを制御しながらセグメントを同時にロードし、障害からの回復とデータのロードに必要な時間を最小化できるようになりました。</p>
<p>Milvus 2.1の完全なベンチマーク結果は、近日中に弊社ウェブサイトで公開される予定です。ご期待ください。</p>
<h2 id="String-and-scalar-index-support" class="common-anchor-header">文字列およびスカラーインデックスのサポート<button data-href="#String-and-scalar-index-support" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.1では、スカラーデータ型として可変長文字列(VARCHAR)をサポートしました。VARCHARは出力として返される主キーとして使用することができ、属性フィルタとしても機能します。<a href="https://milvus.io/docs/v2.1.x/hybridsearch.md">属性フィルタは</a>Milvusユーザが最も必要とする機能の一つです。<span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mo>200</mo><mn>-200</mn></mrow></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="mord">〜</span><span class="strut" style="height:0.7278em;vertical-align:-0.0833em;"></span><span class="mord"></span><span class="mord">200</span><span class="mord">-300の</span></span></span></span>価格帯で、ユーザーに最も近い商品を見つけたい」、「キーワード &quot;ベクトルデータベース &quot;を持ち、クラウドネイティブのトピックに関連する記事を見つけたい」と思うことが多いのであれば、Milvus 2.1を気に入ることでしょう。</p>
<p>Milvus2.1では、データ構造として<a href="https://www.cs.le.ac.uk/people/ond1/XMLcomp/confersWEA06_LOUDS.pdf">簡潔な</a><a href="https://github.com/s-yata/marisa-trie">MARISA-Triesに</a>基づくフィルタリング速度を向上させるスカラー転置インデックスもサポートしている。全てのデータを非常に少ないフットプリントでメモリにロードできるようになり、文字列の比較、フィルタリング、接頭辞マッチングがより迅速に行えるようになった。我々のテスト結果によれば、MARISA-trieのメモリ要件は、全てのデータをメモリにロードしクエリー機能を提供するPython辞書の10%に過ぎない。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/What_s_new_in_Milvus_Figure_2_excalidraw_a1149aca96.png" alt="Milvus 2.1 combines MARISA-Trie with inverted index to significantly improve filtering speed." class="doc-image" id="milvus-2.1-combines-marisa-trie-with-inverted-index-to-significantly-improve-filtering-speed." />
   </span> <span class="img-wrapper"> <span>Milvus2.1はMARISA-Trieと転置インデックスを組み合わせ、フィルタリング速度を大幅に向上させる。</span> </span></p>
<p>今後、Milvusはスカラークエリ関連の開発に引き続き注力し、より多くのスカラインデックスタイプとクエリ演算子をサポートし、ディスクベースのスカラークエリ機能を提供する予定である。</p>
<custom-h1>ユーザビリティの向上</custom-h1><h2 id="Kafka-support" class="common-anchor-header">Kafka サポート<button data-href="#Kafka-support" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus2.1では、Milvusの抽象化およびカプセル化設計とConfluentが提供するGo Kafka SDKにより、ユーザの設定に応じて<a href="https://pulsar.apache.org">Pulsar</a>または<a href="https://kafka.apache.org">Kafkaを</a> <a href="https://milvus.io/docs/v2.1.x/deploy_pulsar.md">メッセージ</a>・ストレージとして使用するオプションを提供します。</p>
<h2 id="Production-ready-Java-SDK" class="common-anchor-header">プロダクション対応のJava SDK<button data-href="#Production-ready-Java-SDK" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.1では、<a href="https://github.com/milvus-io/milvus-sdk-java">Java SDKが</a>正式にリリースされました。Java SDKはPython SDKと全く同じ機能を持ち、並行処理性能はさらに向上しています。次のステップでは、コミュニティの貢献者がJava SDKのドキュメントとユースケースを徐々に改善し、GoとRESTful SDKもプロダクションレディの段階へと押し上げる手助けをします。</p>
<h2 id="Observability-and-maintainability" class="common-anchor-header">観測可能性と保守性<button data-href="#Observability-and-maintainability" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.1では、ベクトル挿入数、検索レイテンシ/スループット、ノードメモリオーバーヘッド、CPUオーバーヘッドなどの重要な監視<a href="https://milvus.io/docs/v2.1.x/metrics_dashboard.md">メトリクスが</a>追加されました。さらに、新バージョンでは、ログレベルを調整し、無駄なログ出力を削減することで、ログ保持を大幅に最適化しています。</p>
<h2 id="Embedded-Milvus" class="common-anchor-header">組み込みMilvus<button data-href="#Embedded-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvusは大規模な大規模ベクトルデータ検索サービスの展開を大幅に簡素化したが、小規模なアルゴリズムを検証したい科学者にとっては、DockerやK8sはまだ不必要に複雑すぎる。<a href="https://github.com/milvus-io/embd-milvus">組み込みMilvusの</a>導入により、PyrocksbやPysqliteと同様に、pipを使ってMilvusをインストールできるようになった。組み込みMilvusは、クラスタ版とスタンドアロン版のすべての機能をサポートしており、コードを一行も変更することなく、ラップトップから分散本番環境に簡単に切り替えることができる。アルゴリズムエンジニアは、Milvusを使ってプロトタイプを構築する際に、より良い経験をすることができます。</p>
<custom-h1>すぐに使えるベクトル検索を今すぐ試す</custom-h1><p>さらに、Milvus 2.1では、安定性とスケーラビリティが大幅に改善されました。</p>
<h2 id="Whats-next" class="common-anchor-header">今後の予定<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li>Milvus 2.1の変更点については<a href="https://milvus.io/docs/v2.1.x/release_notes.md">リリースノートを</a>ご覧ください。</li>
<li>Milvus 2.1を<a href="https://milvus.io/docs/v2.1.x/install_standalone-docker.md">インストール</a>し、新機能をお試しください。</li>
<li><a href="https://slack.milvus.io/">Slackコミュニティに</a>参加し、世界中のMilvusユーザーと新機能について議論しましょう。</li>
<li><a href="https://twitter.com/milvusio">Twitterや</a><a href="https://www.linkedin.com/company/the-milvus-project">LinkedInで</a>フォローして、特定の新機能に関するブログが公開されたら、最新情報を入手してください。</li>
</ul>
<blockquote>
<p>編集：<a href="https://github.com/songxianj">Songxian Jiang</a></p>
</blockquote>


Milvus 2.1の新機能 - シンプルさとスピードを目指して

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Frame_1282_edc1fb7d99.png" alt="cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>カバー画像</span> </span></p>
<p>寝室やフィッティングルームにぴったり合うワードローブを探しているなら、ほとんどの人がオーダーメイドのものを思い浮かべるに違いない。しかし、誰もがそこまで予算を伸ばせるわけではありません。では、既製品はどうだろう？このタイプのワードローブの問題点は、あなた独自の収納ニーズに応えるだけの柔軟性がないため、あなたの期待を下回る可能性が非常に高いということです。さらに、ネットで検索する場合、キーワードで探しているワードローブのタイプを要約するのはかなり困難です。検索ボックスに入力したキーワード（例：ジュエリートレー付きワードローブ）と、検索エンジンで定義されたキーワード（例：<a href="https://www.ikea.com/us/en/p/komplement-pull-out-tray-with-insert-black-brown-s79249366/">インサート付き引き出し式トレー</a>付きワードローブ）は、まったく異なる可能性が高いのです。</p>
<p>しかし、新たなテクノロジーのおかげで、解決策がある！家具小売コングロマリットであるIKEAは、人気のデザインツール<a href="https://www.ikea.com/us/en/rooms/bedroom/how-to/how-to-design-your-perfect-pax-wardrobe-pub8b76dda0">PAXワードローブを</a>提供しており、ユーザーは既製品のワードローブの中から好きなものを選び、色やサイズ、インテリアデザインをカスタマイズすることができる。吊り下げスペースが必要でも、複数の棚が必要でも、内部の引き出しが必要でも、このインテリジェントなワードローブ・カスタマイズ・システムはいつでもあなたのニーズに応えることができる。</p>
<p>このスマートなワードローブデザインシステムを使って、理想的なワードローブを見つけたり、作ったりするには、以下のことが必要です：</p>
<ol>
<li>ワードローブの形状（ノーマル、L字型、U字型）、長さ、奥行きなどの基本的な条件を指定します。</li>
<li>収納の必要性とワードローブ内部の構成（例：吊り下げスペース、引き出し式パンツラックなどが必要）を指定します。</li>
<li>引き出しや棚など、ワードローブのパーツを追加または削除します。</li>
</ol>
<p>これでデザインは完成です。シンプルで簡単です！</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Pax_system_ff4c3fa182.png" alt="pax system" class="doc-image" id="pax-system" />
   </span> <span class="img-wrapper"> <span>パックス・システム</span> </span></p>
<p>このようなワードローブデザインシステムを可能にする非常に重要なコンポーネントは、<a href="https://zilliz.com/learn/what-is-vector-database">ベクターデータベース</a>です。そこでこの記事では、ベクトル類似検索を利用したインテリジェントなワードローブカスタマイズシステムを構築するために使用されるワークフローと類似検索ソリューションを紹介する。</p>
<p>ジャンプ</p>
<ul>
<li><a href="#System-overview">システム概要</a></li>
<li><a href="#Data-flow">データフロー</a></li>
<li><a href="#System-demo">システムデモ</a></li>
</ul>
<h2 id="System-Overview" class="common-anchor-header">システム概要<button data-href="#System-Overview" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>このようなスマートなワードローブ・カスタマイズ・ツールを提供するためには、まずビジネス・ロジックを定義し、アイテムの属性とユーザー・ジャーニーを理解する必要があります。ワードローブは、引き出し、トレイ、ラックなどのコンポーネントとともに、すべて非構造化データです。そのため、第二段階として、AIアルゴリズムやルール、事前知識、アイテムの説明などを活用し、非構造化データをコンピューターが理解できるデータ、つまりベクトルに変換します！</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Customization_tool_overview_86d62e1730.png" alt="Customization tool overview" class="doc-image" id="customization-tool-overview" />
   </span> <span class="img-wrapper"> <span>カスタマイズツールの概要</span> </span></p>
<p>生成されたベクトルを処理するには、強力なベクトル・データベースと検索エンジンが必要です。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/tool_architecutre_33fb646954.png" alt="tool architecture" class="doc-image" id="tool-architecture" />
   </span> <span class="img-wrapper"> <span>ツール・アーキテクチャ</span> </span></p>
<p>カスタマイズ・ツールは、最も人気のある検索エンジンとデータベースを活用しています：Elasticsearch、<a href="https://milvus.io/">Milvus</a>、PostgreSQLです。</p>
<h3 id="Why-Milvus" class="common-anchor-header">なぜMilvusなのか？</h3><p>ワードローブコンポーネントには、色、形、内部の構成など、非常に複雑な情報が含まれています。しかし、ワードローブデータをリレーショナルデータベースに保存する従来の方法では、十分とは言い難い。一般的な方法は、埋め込み技術を使用してワードローブをベクトルに変換することです。従って、ベクトル保存と類似性検索のために特別に設計された新しいタイプのデータベースを探す必要がある。いくつかの一般的な解決策を探った結果、優れたパフォーマンス、安定性、互換性、使いやすさを持つ<a href="https://github.com/milvus-io/milvus">Milvus</a>ベクトルデータベースが選ばれた。以下のチャートは、いくつかの一般的なベクトル検索ソリューションの比較です。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Solution_comparison_d96b8f1dd5.png" alt="solution comparison" class="doc-image" id="solution-comparison" />
   </span> <span class="img-wrapper"> <span>ソリューション比較</span> </span></p>
<h3 id="System-workflow" class="common-anchor-header">システムワークフロー</h3><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/System_workflow_250c275ec1.png" alt="System workflow" class="doc-image" id="system-workflow" />
   </span> <span class="img-wrapper"> <span>システムワークフロー</span> </span></p>
<p>Elasticsearchはワードローブサイズ、色などによる粗いフィルタリングに使用されます。次に、フィルタリングされた結果は類似性検索のためにベクトルデータベースのMilvusを通過し、クエリベクトルとの距離/類似性に基づいて結果がランク付けされます。最後に、結果は統合され、ビジネスの洞察に基づいてさらに改良される。</p>
<h2 id="Data-flow" class="common-anchor-header">データの流れ<button data-href="#Data-flow" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>ワードローブ・カスタマイゼーション・システムは、従来の検索エンジンやレコメンダー・システムと非常によく似ている。それには3つの部分がある：</p>
<ul>
<li>データの定義と生成を含むオフラインのデータ準備。</li>
<li>リコールとランキングを含むオンライン・サービス</li>
<li>ビジネス・ロジックに基づくデータの後処理。</li>
</ul>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/data_flow_d0d9fa0fca.png" alt="Data flow" class="doc-image" id="data-flow" />
   </span> <span class="img-wrapper"> <span>データの流れ</span> </span></p>
<h3 id="Offline-data-flow" class="common-anchor-header">オフラインデータフロー</h3><ol>
<li>ビジネス・インサイトを使用してデータを定義します。</li>
<li>事前知識を使用して、さまざまなコンポーネントを組み合わせてワードローブにする方法を定義します。</li>
<li>ワードローブの特徴ラベルを認識し、その特徴を Elasticsearch のデータ<code translate="no">.json</code> ファイルにエンコードする。</li>
<li>非構造化データをベクトルにエンコードしてリコールデータを準備する。</li>
<li>Milvusベクトルデータベースを使用して、前のステップで得られたリコール結果をランク付けする。</li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/offline_data_flow_f91ac9cf4c.png" alt="offline data flow" class="doc-image" id="offline-data-flow" />
   </span> <span class="img-wrapper"> <span>オフラインデータフロー</span> </span></p>
<h3 id="Online-data-flow" class="common-anchor-header">オンラインデータフロー</h3><ol>
<li>ユーザーからのクエリーリクエストを受け取り、ユーザープロファイルを収集する。</li>
<li>ワードローブに対する要求を特定することで、ユーザーのクエリを理解する。</li>
<li>Elasticsearch を使って粗い検索を行う。</li>
<li>Milvusのベクトル類似度の計算に基づいて、粗い検索から得られた結果をスコアリングし、ランク付けする。</li>
<li>最終結果を生成するために、バックエンドプラットフォーム上で結果を後処理し、整理する。</li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/online_data_flow_1f2af25cc3.png" alt="online data flow" class="doc-image" id="online-data-flow" />
   </span> <span class="img-wrapper"> <span>オンラインデータフロー</span> </span></p>
<h3 id="Data-post-processing" class="common-anchor-header">データの後処理</h3><p>ビジネスロジックは各社様々です。貴社のビジネスロジックを適用することで、結果に最終的なタッチを加えることができます。</p>
<h2 id="System-demo" class="common-anchor-header">システムデモ<button data-href="#System-demo" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>それでは、構築したシステムが実際にどのように機能するか見てみましょう。</p>
<p>ユーザーインターフェース（UI）は、ワードローブコンポーネントのさまざまな組み合わせの可能性を表示します。</p>
<p>各コンポーネントはその特徴（サイズ、色など）によってラベル付けされ、Elasticsearch（ES）に保存されます。ESにラベルを保存する際、記入すべき主なデータフィールドは4つある：ID、タグ、保存パス、その他のサポート・フィールドです。ESとラベル付けされたデータは、きめ細かい想起と属性フィルタリングに使用される。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/es_d5b0639610.png" alt="es" class="doc-image" id="es" />
   </span> <span class="img-wrapper"> <span>ES</span> </span></p>
<p>次に、ワードローブをベクトル・セットにエンコードするために、さまざまなAIアルゴリズムが使用される。ベクトルセットは類似性検索とランキングのためにmilvusに保存される。このステップにより、より洗練された正確な結果が得られる。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Milvus_38dd93a439.jpeg" alt="Milvus" class="doc-image" id="milvus" />
   </span> <span class="img-wrapper"> <span>Milvus</span> </span></p>
<p>Elasticsearch、Milvus、その他のシステムコンポーネントは全体としてカスタマイズデザインプラットフォームを形成している。思い起こせば、Elasticsearch と Milvus のドメイン固有言語（DSL）は以下の通りである。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/dsl_df60097d23.png" alt="dsl" class="doc-image" id="dsl" />
   </span> <span class="img-wrapper"> <span>DSL</span> </span></p>
<h2 id="Looking-for-more-resources" class="common-anchor-header">より多くのリソースをお探しですか？<button data-href="#Looking-for-more-resources" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvusベクトルデータベースがどのようにしてより多くのAIアプリケーションをパワーアップできるかをご覧ください：</p>
<ul>
<li><a href="https://milvus.io/blog/2022-06-23-How-Short-video-Platform-Likee-Removes-Duplicate-Videos-with-Milvus.md">短編動画プラットフォームLikeeがMilvusを使って重複動画を削除する方法</a></li>
<li><a href="https://milvus.io/blog/2022-06-20-Zhentu-the-Photo-Fraud-Detector-Based-on-Milvus.md">Zhentu - Milvusをベースにした写真詐欺検出ツール</a></li>
</ul>


Milvus Vector Databaseを活用したインテリジェントなワードローブカスタマイズシステムの構築

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/How_Short_video_Platform_Likee_Removes_Duplicate_Videos_with_Milvus_07bd75ec82.png" alt="Cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>カバー画像</span> </span></p>
<blockquote>
<p>この記事はBIGOのエンジニア、Xinyang GuoとBaoyu Hanが執筆し、<a href="https://www.linkedin.cn/incareer/in/rosie-zhang-694528149">Rosie Zhangが</a>翻訳したものです。</p>
</blockquote>
<p><a href="https://www.bigo.sg/">BIGO Technology</a>（BIGO）は、シンガポールで最も急成長しているテクノロジー企業のひとつだ。人工知能技術を搭載したBIGOの動画ベースの製品とサービスは世界中で絶大な人気を得ており、150カ国以上で4億人以上のユーザーがいる。その中には、<a href="https://www.bigo.tv/bigo_intro/en.html?hk=true">Bigo Live</a>（ライブストリーミング）や<a href="https://likee.video/">Likee</a>（短編動画）が含まれる。</p>
<p>Likeeは、ユーザーが自分の瞬間を共有し、自分自身を表現し、世界とつながることができる世界的な短編動画作成プラットフォームです。ユーザーエクスペリエンスを向上させ、より質の高いコンテンツをユーザーに推薦するために、Likeeは毎日ユーザーによって生成される膨大な量の動画から重複する動画を除外する必要があり、これは簡単な作業ではありません。</p>
<p>このブログでは、BIGOがオープンソースのベクターデータベースである<a href="https://milvus.io">Milvusを</a>使用して、重複動画を効果的に除去する方法を紹介します。</p>
<p><strong>ジャンプ</strong></p>
<ul>
<li><a href="#Overview">概要</a></li>
<li><a href="#Video-deduplication-workflow">動画重複排除ワークフロー</a></li>
<li><a href="#System-architecture">システムアーキテクチャ</a></li>
<li><a href="#Using-Milvus-vector-database-to-power-similarity-search">Milvusを使った類似検索</a></li>
</ul>
<custom-h1>概要</custom-h1><p>Milvus は、超高速ベクトル検索を特徴とするオープンソースのベクトルデータベースです。Milvusを利用することで、Likeeは200ms以内に検索を完了し、高い再現率を実現しています。一方、<a href="https://milvus.io/docs/v2.0.x/scaleout.md#Scale-a-Milvus-Cluster">Milvus を水平方向に拡張する</a>ことで、Likee はベクトルクエリのスループットを向上させ、効率をさらに改善することに成功しました。</p>
<custom-h1>重複除外ワークフロー</custom-h1><p>Likeeはどのように重複動画を識別するのか？クエリ動画がLikeeのシステムに入力されるたびに、15～20フレームにカットされ、各フレームが特徴ベクトルに変換される。次に、ライクでは7億のベクトルからなるデータベースを検索し、上位K個の最も類似したベクトルを見つけます。上位K個のベクトルは、それぞれデータベース内の動画に対応する。ライクでは、最終結果を得るためにさらに詳細な検索を行い、削除する動画を決定する。</p>
<custom-h1>システムアーキテクチャ</custom-h1><p>Milvusを使用したライクの重複排除システムの仕組みについて詳しく見ていきましょう。下図に示すように、Likeeにアップロードされた新しい動画は、リアルタイムでデータストレージシステムであるKafkaに書き込まれ、Kafkaコンシューマーによって消費される。これらの動画の特徴ベクトルは、非構造化データ（動画）を特徴ベクトルに変換するディープラーニングモデルによって抽出される。これらの特徴ベクトルはシステムによってパッケージ化され、類似性監査人に送られる。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Likee_1_6f7ebcd8fc.png" alt="Architechure of Likee's video de-duplication system" class="doc-image" id="architechure-of-likee's-video-de-duplication-system" />
   </span> <span class="img-wrapper"> <span>Likeeの動画重複排除システムの概略図</span> </span></p>
<p>抽出された特徴ベクトルは、Milvusによってインデックス化され、Cephに保存された後、<a href="https://milvus.io/blog/deep-dive-5-real-time-query.md">Milvusクエリノードによって読み込まれ</a>、さらに検索される。これらの特徴ベクトルの対応するビデオIDは、実際のニーズに応じてTiDBまたはPikaにも同時に保存される。</p>
<h3 id="Using-Milvus-vector-database-to-power-similarity-search" class="common-anchor-header">Milvusベクトルデータベースを使った類似検索</h3><p>類似ベクトルを検索する場合、何十億もの既存データと、日々生成される大量の新規データが、ベクトル検索エンジンの機能に大きな課題をもたらします。Likeeは徹底的な分析の結果、最終的にベクトル類似検索のために、高い性能と高い再現率を持つ分散型ベクトル検索エンジンMilvusを選択した。</p>
<p>下図に示すように、類似検索の手順は次のようになる：</p>
<ol>
<li><p>まずMilvusは、新しい動画から抽出された複数の特徴ベクトルのそれぞれについて、上位100個の類似ベクトルを呼び出すバッチ検索を行う。各類似ベクトルは対応するビデオIDにバインドされる。</p></li>
<li><p>次に、Milvusは動画IDを比較することで、重複する動画を削除し、残りの動画の特徴ベクトルをTiDBまたはPikaから取得する。</p></li>
<li><p>最後に、Milvusは検索された特徴ベクトルの各セットとクエリ動画の特徴ベクトルとの類似度を計算し、スコア化する。最もスコアの高い動画IDが結果として返される。こうして動画の類似検索が終了する。</p></li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/02_a24d251c8f.png" alt="Procedure of a similarity search" class="doc-image" id="procedure-of-a-similarity-search" />
   </span> <span class="img-wrapper"> <span>類似検索の手順</span> </span></p>
<p>Milvusは、高性能なベクトル検索エンジンとして、ライク社の動画重複排除システムで大きな成果を上げ、BIGOの短編動画ビジネスの成長に大きく貢献した。動画ビジネスにおいて、Milvusが適用できるシナリオは、違法コンテンツのブロックやパーソナライズされた動画推薦など、他にも数多くある。BIGOとMilvusの両社は、今後さらに多くの分野での協力を期待している。</p>


短編動画プラットフォームLikeeがmilvusで重複動画を削除する方法

Milvusベクトルデータベースによるスケーラブルで高速な類似性検索

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/zhentu_0ae11c98ee.png" alt="cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>カバー画像</span> </span></p>
<blockquote>
<p>この記事は、BestPayのシニア・アルゴリズム・エンジニアであるYan ShiとMinwei Tangが執筆し、<a href="https://www.linkedin.cn/incareer/in/rosie-zhang-694528149">Rosie Zhangが</a>翻訳したものです。</p>
</blockquote>
<p>近年、電子商取引やオンライン取引が世界中で一般的になるにつれ、電子商取引詐欺も盛んになった。オンラインビジネスのプラットフォームで本人確認をパスするために、本物の写真ではなくコンピューターで生成した写真を使用することで、詐欺師は大量の偽アカウントを作成し、企業の特別オファー（会員プレゼント、クーポン、トークンなど）を利用して現金化し、消費者と企業の双方に取り返しのつかない損失をもたらしている。</p>
<p>大量のデータを前に、従来のリスク管理手法はもはや有効ではありません。この問題を解決するために、<a href="https://www.bestpay.com.cn">BestPayは</a>ディープラーニング（DL）とデジタル画像処理（DIP）技術に基づいて、写真詐欺検出器、すなわちZhentu（中国語で画像を検出するという意味）を作成した。Zhentuは画像認識を含む様々なシナリオに適用可能で、その重要な分岐点の1つが偽の営業許可証の識別である。ユーザーが提出した営業許可証の写真が、プラットフォームのフォト・ライブラリに既に存在する別の写真と酷似している場合、ユーザーがどこかで写真を盗んだか、不正な目的で免許証を偽造した可能性が高い。</p>
<p><a href="https://en.wikipedia.org/wiki/Peak_signal-to-noise_ratio">PSNRや</a>ORBなど、画像の類似性を測定するための従来のアルゴリズムは、速度が遅く不正確で、オフラインのタスクにしか適用できない。一方、ディープラーニングは、大規模な画像データをリアルタイムで処理することができ、類似画像をマッチングする究極の手法です。BestPayの研究開発チームと<a href="https://milvus.io/">Milvusコミュニティの</a>共同努力により、写真詐欺検出システムがZhentuの一部として開発された。大量の画像データをディープラーニングモデルによって特徴ベクトルに変換し、ベクトル検索エンジンである<a href="https://milvus.io/">Milvusに</a>挿入することで機能する。Milvusを用いることで、検知システムは何兆ものベクトルをインデックス化し、何千万もの画像の中から類似した写真を効率的に検索することができる。</p>
<p><strong>戻る</strong></p>
<ul>
<li><a href="#an-overview-of-zhentu">Zhentuの概要</a></li>
<li><a href="#system-structure">システム構成</a></li>
<li><a href="#deployment"><strong>展開</strong></a></li>
<li><a href="#real-world-performance"><strong>実際のパフォーマンス</strong></a></li>
<li><a href="#reference"><strong>参考資料</strong></a></li>
<li><a href="#about-bestpay"><strong>BestPayについて</strong></a></li>
</ul>
<h2 id="An-overview-of-Zhentu" class="common-anchor-header">Zhentuの概要<button data-href="#An-overview-of-Zhentu" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Zhentuは、機械学習(ML)とニューラルネットワーク画像認識技術を深く統合した、BestPayが独自に設計したマルチメディアビジュアルリスクコントロール製品です。その内蔵アルゴリズムは、ユーザー認証中に詐欺師を正確に識別し、ミリ秒レベルで応答することができます。業界をリードする技術と革新的なソリューションにより、Zhentuは5つの特許と2つのソフトウェア著作権を取得している。現在、多くの銀行や金融機関で使用されており、潜在的なリスクを事前に特定するのに役立っている。</p>
<h2 id="System-structure" class="common-anchor-header">システム構造<button data-href="#System-structure" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>BestPayは現在1,000万枚以上のビジネスライセンス写真を保有しており、ビジネスの成長とともに実際のボリュームは現在も指数関数的に増加している。このような大規模なデータベースから類似写真を迅速に検索するために、BestPayは特徴ベクトルの類似度計算エンジンとしてMilvusを採用しました。写真不正検出システムの一般的な構造を下図に示す。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Structure_of_the_photo_fraud_detection_system_cf5d20d431.png" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<p>手順は4つのステップに分けられる：</p>
<ol>
<li><p>画像の前処理。ノイズ除去、ノイズ除去、コントラスト強調などの前処理により、オリジナル情報の完全性と画像信号からの無駄な情報の除去の両方を保証する。</p></li>
<li><p>特徴ベクトルの抽出。特別に訓練されたディープラーニングモデルを使用して、画像の特徴ベクトルを抽出する。さらなる類似性検索のために画像をベクトルに変換することは、日常的な操作である。</p></li>
<li><p>正規化。抽出された特徴ベクトルを正規化することで、その後の処理効率を向上させることができる。</p></li>
<li><p>milvusによるベクトル検索。正規化された特徴ベクトルをMilvusデータベースに挿入し、ベクトルの類似検索を行います。</p></li>
</ol>
<h2 id="Deployment" class="common-anchor-header"><strong>展開</strong><button data-href="#Deployment" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Zhentuの写真詐欺検出システムの導入方法を簡単に説明します。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/milvus_architecture_ea45a5ab53.png" alt="Milvus system architecture" class="doc-image" id="milvus-system-architecture" />
   </span> <span class="img-wrapper"> <span>Milvusシステムアーキテクチャ</span> </span></p>
<p>クラウドサービスの高可用性とリアルタイム同期を確保するため、<a href="https://milvus.io/docs/v2.0.x/install_cluster-helm.md">Kubernetes上にMilvusクラスタを</a>デプロイした。一般的な手順は以下の通りです：</p>
<ol>
<li><p>利用可能なリソースを表示する。<code translate="no">kubectl describe nodes</code> コマンドを実行し、Kubernetesクラスタが作成したケースに割り当て可能なリソースを確認する。</p></li>
<li><p>リソースを割り当てる。コマンド<code translate="no">kubect`` -- apply xxx.yaml</code> 、Helmを使用してMilvusクラスタコンポーネントにメモリとCPUリソースを割り当てます。</p></li>
<li><p>新しい設定を適用します。コマンド<code translate="no">helm upgrade my-release milvus/milvus --reuse-values -fresources.yaml</code> を実行します。</p></li>
<li><p>新しい設定をMilvusクラスタに適用します。このように配置されたクラスタは、さまざまなビジネスニーズに応じてシステム容量を調整できるだけでなく、大量のベクトルデータ検索に対する高性能要件をよりよく満たすことができます。</p></li>
</ol>
<p>以下の2つの例に示すように、<a href="https://milvus.io/docs/v2.0.x/configure-docker.md">Milvusを設定する</a>ことで、異なるビジネスシナリオの異なるタイプのデータに対して検索パフォーマンスを最適化することができる。</p>
<p><a href="https://milvus.io/docs/v2.0.x/build_index.md">ベクトルインデックスの構築では</a>、システムの実際のシナリオに応じて以下のようにパラメータを設定する：</p>
<pre><code translate="no" class="language-Python">index = {<span class="hljs-string">&quot;index_type&quot;</span>: <span class="hljs-string">&quot;IVF_PQ&quot;</span>, <span class="hljs-string">&quot;params&quot;</span>: {<span class="hljs-string">&quot;nlist&quot;</span>: <span class="hljs-number">2048</span>}, <span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&quot;IP&quot;</span>}
<button class="copy-code-btn"></button></code></pre>
<p><a href="https://milvus.io/docs/v2.0.x/index.md#IVF_PQ">IVF_PQは</a>ベクトルの積を量子化する前にIVFインデックスのクラスタリングを行う。IVF_PQはIVFインデックスのクラスタリングを行ってからベクトルの積を量子化するものであり、高速なディスククエリと非常に少ないメモリ消費量が特徴である。</p>
<p>さらに、最適な探索パラメータを以下のように設定する：</p>
<pre><code translate="no" class="language-Python">search_params = {<span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&quot;IP&quot;</span>, <span class="hljs-string">&quot;params&quot;</span>: {<span class="hljs-string">&quot;nprobe&quot;</span>: <span class="hljs-number">32</span>}}
<button class="copy-code-btn"></button></code></pre>
<p>ベクトルはmilvusに入力される前に既に正規化されているので、2つのベクトル間の距離を計算するために内積（IP）が選択される。実験によると、ユークリッド距離(L2)を使用するよりもIPを使用した方が、想起率が約15%向上することが証明されている。</p>
<p>以上の例から、Milvusのパラメータは様々なビジネスシナリオや性能要件に応じてテスト・設定できることがわかる。</p>
<p>また、Milvusは様々なインデックスライブラリを統合しているだけでなく、様々なインデックスタイプや類似度の計算方法をサポートしています。Milvusはまた、複数の言語による公式SDKと、挿入、クエリなどのための豊富なAPIを提供しており、フロントエンドのビジネスグループはSDKを使用してリスクコントロールセンターを呼び出すことができます。</p>
<h2 id="Real-world-performance" class="common-anchor-header"><strong>実世界でのパフォーマンス</strong><button data-href="#Real-world-performance" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>これまでのところ、写真詐欺検知システムは順調に稼働しており、企業が潜在的な詐欺師を特定するのに役立っている。2021年には、年間を通じて2万件以上の偽造免許証を検出した。クエリ速度に関しては、数千万のベクトルの中から1つのベクトルをクエリするのにかかる時間は1秒未満で、バッチクエリの平均時間は0.08秒未満である。Milvusの高性能検索は、精度と同時実行性の両方に対する企業のニーズを満たしている。</p>
<h2 id="Reference" class="common-anchor-header"><strong>参考文献</strong><button data-href="#Reference" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Aglave P, Kolkure V S. Oriented Fast and Rotated Brief Algorithmを用いた高性能特徴抽出法の実装[J].Int.J. Res. Eng.Technol, 2015, 4: 394-397.</p>
<h2 id="About-BestPay" class="common-anchor-header"><strong>BestPayについて</strong><button data-href="#About-BestPay" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>China Telecom BestPay Co., Ltd.はチャイナテレコムの完全子会社。決済事業と金融事業を展開している。BestPayは、ビッグデータ、人工知能、クラウドコンピューティングなどの最先端技術を活用し、ビジネス革新に力を与え、インテリジェントな製品、リスクコントロールソリューション、その他のサービスを提供することに尽力している。2016年1月までに、BestPayというアプリは2億人以上のユーザーを集め、アリペイ、WeChat Paymentに次ぐ中国第3位の決済プラットフォーム事業者となった。</p>


Zhentu-milvusをベースにした写真詐欺検出器

筏か否か？クラウドネイティブデータベースにおけるデータ一貫性の最適解

Milvusベクターデータベースの類似性検索とは？

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Deep_Dive_7_baae830823.png" alt="Cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>表紙画像</span> </span></p>
<blockquote>
<p>この記事は<a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Niによって</a>書き起こされています。</p>
</blockquote>
<p>Milvusにおける<a href="https://milvus.io/docs/v2.0.x/query.md">ベクトル検索とは</a>、ブーリアン式に基づくスカラーフィルタリングによってベクトルを検索することである。スカラーフィルタリングでは、ユーザーはデータの属性に特定の条件を適用してクエリ結果を制限することができる。例えば、1990年から2010年の間に公開された映画で、8.5以上のスコアを持つ映画を検索する場合、属性（公開年とスコア）が条件を満たす映画のみが検索されます。</p>
<p>この投稿では、Milvusにおいて、クエリ式の入力からクエリプランの生成、クエリの実行まで、クエリがどのように完了するのかを検証することを目的としています。</p>
<p><strong>ジャンプ</strong></p>
<ul>
<li><a href="#Query-expression">クエリ式</a></li>
<li><a href="#Plan-AST-generation">プランAST生成</a></li>
<li><a href="#Query-execution">クエリ実行</a></li>
</ul>
<h2 id="Query-expression" class="common-anchor-header">クエリ式<button data-href="#Query-expression" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvusでは、属性フィルタリングを伴うクエリの表現は、EBNF(Extended Backus-Naur form)構文を採用しています。下の画像はMilvusの表現ルールです。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Expression_Syntax_966493a5be.png" alt="Expression Syntax" class="doc-image" id="expression-syntax" />
   </span> <span class="img-wrapper"> <span>式の構文</span> </span></p>
<p>論理式は、二項論理演算子、単項論理演算子、論理式、単式を組み合わせて作成することができます。EBNF構文自体が再帰的であるため、論理式は組み合わせの結果であったり、より大きな論理式の一部であったりします。論理式は多くの下位論理式を含むことができます。Milvusでも同じルールが適用されます。ユーザが多くの条件で結果の属性をフィルタリングする必要がある場合、ユーザは異なる論理演算子や論理式を組み合わせて、独自のフィルタリング条件セットを作成することができます。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Boolean_expression_1_dce12f8483.png" alt="Boolean expression" class="doc-image" id="boolean-expression" />
   </span> <span class="img-wrapper"> <span>ブール式</span> </span></p>
<p>上の画像はMilvusの<a href="https://milvus.io/docs/v2.0.x/boolean.md">論理式ルールの</a>一部を示しています。式には単項論理演算子を追加することができます。現在、Milvusは単項論理演算子 &quot;not &quot;のみをサポートしており、これはスカラーフィールドの値が計算結果を満たさないベクトルを取る必要があることを示します。二項論理演算子には &quot;and &quot;と &quot;or &quot;がある。単式には項式や比較式がある。</p>
<p>加算、減算、乗算、除算のような基本的な算術計算もMilvusのクエリでサポートされています。以下の図は演算の優先順位を示しています。演算子の優先順位は上から順に表示されています。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Precedence_b8cfbdf17b.png" alt="Precedence" class="doc-image" id="precedence" />
   </span> <span class="img-wrapper"> <span>優先順位</span> </span></p>
<h3 id="How-a-query-expression-on-certain-films-is-processed-in-Milvus" class="common-anchor-header">Milvusでは、あるフィルムに関するクエリー式はどのように処理されるのでしょうか？</h3><p>Milvusに豊富なフィルムデータが保存されており、ユーザが特定のフィルムに対するクエリを実行したいとします。例として、Milvusに保存されている各映画データには、映画ID、公開年、映画タイプ、スコア、ポスターの5つのフィールドがあります。この例では、映画IDと公開年のデータ型はint64であり、映画の点数は浮動小数点データである。また、映画のポスターは浮動小数点ベクトルの形式で、映画のタイプは文字列データの形式で格納されている。文字列データ型のサポートは、Milvus 2.1の新機能である。</p>
<p>例えば、ユーザが8.5点以上の映画を検索したい場合。また、2000年以前の10年間から2000年以降の10年間に公開された映画であること、または、その映画のタイプがコメディ映画かアクション映画であることが必要である場合、ユーザは次の述語式を入力する必要があります：<code translate="no">score &gt; 8.5 &amp;&amp; (2000 - 10 &lt; release_year &lt; 2000 + 10 || type in [comedy,action])</code> 。</p>
<p>クエリ式を受け取ると、システムは以下の優先順位でクエリを実行する：</p>
<ol>
<li>スコアが8.5より高い映画のクエリ。クエリー結果は &quot;result1 &quot;と呼ばれる。</li>
<li>2000-10を計算し、"result2"(1990)を得る。</li>
<li>2000+10を計算し、"result3"（2010）を得る。</li>
<li><code translate="no">release_year</code> &quot;の値が &quot;result2 &quot;より大きく、&quot;result3 &quot;より小さい映画をクエリーする。つまり、システムは1990年から2010年の間に公開された映画をクエリする必要がある。クエリー結果は &quot;result4 &quot;と呼ばれる。</li>
<li>コメディまたはアクション映画のクエリ。クエリー結果は &quot;result5 &quot;と呼ばれる。</li>
<li>result4 "と "result5 "を組み合わせて、1990年から2010年の間に公開された映画か、コメディ映画かアクション映画のカテゴリーに属する映画を取得する。この結果を &quot;result6 &quot;と呼ぶ。</li>
<li>result1 "と "result6 "の共通部分を取り、すべての条件を満たす最終結果を得る。</li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Frame_1_16_00972a6e5d.png" alt="Film example" class="doc-image" id="film-example" />
   </span> <span class="img-wrapper"> <span>映画の例</span> </span></p>
<h2 id="Plan-AST-generation" class="common-anchor-header">プランAST生成<button data-href="#Plan-AST-generation" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>MilvusはプランAST（抽象構文木）生成にオープンソースツール<a href="https://www.antlr.org/">ANTLR</a>（ANother Tool for Language Recognition）を活用しています。ANTLRは、構造体テキストファイルやバイナリファイルの読み取り、処理、実行、翻訳のための強力な構文解析ジェネレータです。より具体的には、ANTLR は事前に定義された構文やルールに基づいて構文木を構築し、歩くためのパーサーを生成することができます。以下の画像は、入力式が「SP=100;」である例です。ANTLR の組み込み言語認識機能である LEXER は、入力式に対して 4 つのトークンを生成します - &quot;SP&quot;、&quot;=&quot;、&quot;100&quot;、および &quot;; &quot;です。そして、このツールはさらに4つのトークンを解析し、対応する解析木を生成します。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/parse_tree_b2c3fb0b36.png" alt="parse tree" class="doc-image" id="parse-tree" />
   </span> <span class="img-wrapper"> <span>解析ツリー</span> </span></p>
<p>ウォーカー機構はANTLRツールの重要な部分である。すべての解析木をウォークして、各ノードが構文規則に従っているかどうかを調べたり、特定のセンシティブな単語を検出したりするように設計されています。関連する API の一部を下の画像に示します。ANTLR はルートノードから開始し、各サブノードを通って一番下まで下っていくので、解析ツリーの歩き方の順序を区別する必要はありません。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/parse_tree_walker_9a27942502.png" alt="parse tree walker" class="doc-image" id="parse-tree-walker" />
   </span> <span class="img-wrapper"> <span>解析ツリーウォーカー</span> </span></p>
<p>MilvusはANTLRと同様の方法でクエリ用のPlanASTを生成します。しかし、ANTLRを使用するには、かなり複雑な構文ルールを再定義する必要があります。そのため、Milvusは最も一般的なルールの1つであるブール式ルールを採用し、GitHubでオープンソース化されている<a href="https://github.com/antonmedv/expr">Expr</a>パッケージに依存して、クエリ式の構文をクエリおよびパースします。</p>
<p>属性フィルタリングを伴う問い合わせの間、Milvusは問い合わせ式を受け取ると、Exprが提供する解析手法であるant-parserを使用して、原始的な未解決計画木を生成します。生成される計画木は単純なバイナリ木です。次に、この計画木はExprとMilvusの組み込みオプティマイザによって微調整されます。Milvusのオプティマイザは前述のウォーカー機構とよく似ています。Exprが提供するプランツリーの最適化機能はかなり洗練されているので、Milvusの組み込みオプティマイザの負担はかなり軽減される。最終的に、アナライザは最適化されたプランツリーを再帰的に解析し、<a href="https://developers.google.com/protocol-buffers">プロトコルバッファ</a>（protobuf）構造のプランASTを生成します。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/plan_AST_workflow_3e50b7a0d4.png" alt="plan AST workflow" class="doc-image" id="plan-ast-workflow" />
   </span> <span class="img-wrapper"> <span>プランASTのワークフロー</span> </span></p>
<h2 id="Query-execution" class="common-anchor-header">クエリの実行<button data-href="#Query-execution" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>クエリの実行は、前のステップで生成されたプランASTの実行を根本とします。</p>
<p>Milvusでは、プランASTはプロト構造で定義されます。下の画像はプロトブフ構造体のメッセージです。式は6種類あり、このうちバイナリ式とユナリ式は、さらにバイナリ論理式とユナリ論理式を持つことができます。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Protobuf1_232132dcf2.png" alt="protobuf1" class="doc-image" id="protobuf1" />
   </span> <span class="img-wrapper"> <span>プロトブーフ1</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/protobuf2_193f92f033.png" alt="protobuf2" class="doc-image" id="protobuf2" />
   </span> <span class="img-wrapper"> <span>プロトブーフ2</span> </span></p>
<p>下の図は、クエリ式のUMLイメージです。各式の基本クラスと派生クラスを示しています。各クラスには、ビジターのパラメータを受け付けるメソッドがあります。これは典型的なビジターの設計パターンです。Milvusはこのパターンを使用してプランASTを実行します。最大の利点は、ユーザがプリミティブ式に何もする必要がなく、パターンのメソッドのいずれかに直接アクセスして、特定のクエリ式クラスと関連する要素を変更できることです。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/UML_1238bc30e1.png" alt="UML" class="doc-image" id="uml" />
   </span> <span class="img-wrapper"> <span>UML</span> </span></p>
<p>計画ASTを実行する際、Milvusはまずプロトタイプの計画ノードを受け取ります。次に、内部C++プロトパーサーを介してセグコア型プランノードが取得されます。この2種類のプランノードを取得すると、Milvusは一連のクラスアクセスを受け付け、プランノードの内部構造を修正して実行します。最後に、Milvusはすべての実行計画ノードを検索し、フィルタリングされた結果を得ます。最終結果はビットマスク形式で出力されます。ビットマスクはビット番号（"0 "と "1"）の配列です。フィルタリング条件を満たすデータはビットマスクに "1 "と表示され、条件を満たさないデータはビットマスクに "0 "と表示される。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/execute_workflow_d89f1ee925.png" alt="execute workflow" class="doc-image" id="execute-workflow" />
   </span> <span class="img-wrapper"> <span>実行ワークフロー</span> </span></p>
<h2 id="About-the-Deep-Dive-Series" class="common-anchor-header">ディープダイブシリーズについて<button data-href="#About-the-Deep-Dive-Series" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.0の<a href="https://milvus.io/blog/2022-1-25-annoucing-general-availability-of-milvus-2-0.md">一般提供の正式発表に</a>伴い、Milvusのアーキテクチャとソースコードの詳細な解釈を提供するために、このMilvus Deep Diveブログシリーズを企画しました。このブログシリーズで扱うトピックは以下の通りです：</p>
<ul>
<li><a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">Milvusアーキテクチャの概要</a></li>
<li><a href="https://milvus.io/blog/deep-dive-2-milvus-sdk-and-api.md">APIとPython SDK</a></li>
<li><a href="https://milvus.io/blog/deep-dive-3-data-processing.md">データ処理</a></li>
<li><a href="https://milvus.io/blog/deep-dive-4-data-insertion-and-data-persistence.md">データ管理</a></li>
<li><a href="https://milvus.io/blog/deep-dive-5-real-time-query.md">リアルタイムクエリ</a></li>
<li><a href="https://milvus.io/blog/deep-dive-7-query-expression.md">スカラー実行エンジン</a></li>
<li><a href="https://milvus.io/blog/deep-dive-6-oss-qa.md">QAシステム</a></li>
<li><a href="https://milvus.io/blog/deep-dive-8-knowhere.md">ベクトル実行エンジン</a></li>
</ul>


データベースはどのようにクエリを理解し、実行するのか？

オープンソースソフトウェア（OSS）の品質保証 - Milvusのケーススタディ

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220516_163732_d40acac221.png" alt="Cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>カバー画像</span> </span></p>
<p><a href="https://github.com/milvus-io/milvus">MilvusのGitHubレポの</a>スターが10Kを超えました。⭐️ にスターを付けて応援してくださった皆さん一人一人に感謝します。</p>
<p>Milvusがオープンソースプロジェクトになってから2年半が経ちました。私たちが始めた当初は、ベクターデータベースがどのようなものかを正確に理解している人はほとんどいませんでしたし、ましてや、それが私たちの日常生活におけるAIの採用をどのように可能にし、加速させるかを話している人はほとんどいませんでした。Milvusベクトル・データベースは、AIのための次世代データベースを定義し、構築するという私たちのビジョンを受け継いでいます。私たちはMilvusプロジェクトでSOTAアルゴリズムとクラウド技術を組み合わせ、開発者がMilvusベクトルデータベースを使って簡単にAIアプリケーションを構築できるようにしました。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Milvus_0_10000_d50a914332.gif" alt="Gif2" class="doc-image" id="gif2" />
   </span> <span class="img-wrapper"> <span>Gif2</span> </span></p>
<div align="center">Milvusリポジトリ開発可視化のフルビデオを見るには<a href="https://www.youtube.com/watch?v=zIAX_oPI2Jk&ab_channel=Milvus-VectorDatabase">ここを</a>クリックしてください。</div>
<p><br/></p>
<p>Milvusの基礎を築いた多くの<a href="https://github.com/milvus-io/milvus">素晴らしいプロジェクトが</a>あり、巨人の肩の上に立てたことに感謝しています。彼らがいなければMilvusは存在しなかったでしょう。</p>
<p>また、この新しいタイプのデータベースのエキサイティングな章を開く手助けをしてくれた素晴らしいコミュニティにも大変感謝しています。前を向く前に、私たちはこの旅を振り返り、マイルストーンを見つめ、開発者たちに謝意を表したいと思います：</p>
<ul>
<li>私たちはLF AI &amp; Data Foundationに<a href="https://lfaidata.foundation/blog/2020/04/02/milvus-joins-lf-ai-as-new-incubation-project/">インキュベーション・レベルで</a>参加し、他の多くの素晴らしいオープンソースのAIとデータ・プロジェクトと共に私たちの家を見つけました。Milvusはすでに<a href="https://lfaidata.foundation/blog/2021/06/23/lf-ai-data-foundation-announces-graduation-of-milvus-project/">卒業プロジェクトと</a>なりました。</li>
<li>私たちは2つのメジャーリリースを提供しました：<a href="https://milvus.io/docs/v1.0.0/announcement.md">Milvus 1.0と</a> <a href="https://milvus.io/docs/v2.0.x/comparison.md">Milvus 2.0</a>である。</li>
<li>SIGMOD論文が発表されました：<a href="https://dl.acm.org/doi/abs/10.1145/3448016.3457550">Milvus: A Purpose-Built Vector Data Management System</a>.</li>
<li>現在、世界中で10,000人以上のコミュニティメンバーと220人以上のコントリビューターがいます。</li>
<li>Milvusを採用した<a href="https://milvus.io/">企業ユーザーは1000社を</a>超えます。その中には多くの業界リーダーも含まれています。</li>
</ul>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Milvus_10000_star_timeline_3sec_de1a7c906a.gif" alt="Timeline gif" class="doc-image" id="timeline-gif" />
   </span> <span class="img-wrapper"> <span>タイムラインgif</span> </span></p>
<p>これらすべては、貢献してくださる皆様一人ひとりのおかげです。プルリクエスト、課題報告、メール、ミーティング、Milvusの知識の共有、ありがとうございます。皆さんはMilvusの進歩に貴重な役割を果たしています。</p>
<h2 id="Special-event" class="common-anchor-header">特別イベント<button data-href="#Special-event" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>この特別な節目に、ささやかな感謝の気持ちを込めて、<a href="https://assets.zilliz.com/10_K_stars_2b2e0e0b36.png">デスクトップの壁紙をダウンロードできるように</a>しました。どうぞお楽しみください！</p>
<p>また、この<a href="https://twitter.com/milvusio">壁紙を拡散して</a>いただけると幸いです！❤️</p>


milvusの小さな一歩 - 10,000 Stars

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/deep_dive_5_5e9175c7f7.png" alt="Cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>表紙画像</span> </span></p>
<blockquote>
<p>この記事は<a href="https://github.com/xige-16">Xi Geによって</a>書かれ、<a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Niによって</a>翻訳されました。</p>
</blockquote>
<p>前回の記事では、Milvusにおける<a href="https://milvus.io/blog/deep-dive-4-data-insertion-and-data-persistence.md">データ挿入とデータ永続化について</a>お話しました。今回は、Milvusの<a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">様々なコンポーネントが</a>どのように相互作用し、リアルタイムのデータクエリを完了するのかについて説明します。</p>
<p><em>始める前に役立つリソースを以下に示します。本記事のトピックをよりよく理解するために、まずこれらを読むことをお勧めします。</em></p>
<ul>
<li><a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">Milvusアーキテクチャのディープダイブ</a></li>
<li><a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md#Data-Model">Milvusデータモデル</a></li>
<li><a href="https://milvus.io/docs/v2.0.x/four_layers.md">Milvusの各コンポーネントの役割と機能</a></li>
<li><a href="https://milvus.io/blog/deep-dive-3-data-processing.md">Milvusにおけるデータ処理</a></li>
<li><a href="https://milvus.io/blog/deep-dive-4-data-insertion-and-data-persistence.md">Milvusにおけるデータ挿入とデータ永続化</a></li>
</ul>
<h2 id="Load-data-to-query-node" class="common-anchor-header">クエリノードへのデータロード<button data-href="#Load-data-to-query-node" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>クエリを実行する前に、まずクエリノードにデータをロードする必要があります。</p>
<p>クエリノードにロードされるデータには、<a href="https://milvus.io/docs/v2.0.x/four_layers.md#Log-broker">ログブローカからの</a>ストリーミングデータと<a href="https://milvus.io/docs/v2.0.x/four_layers.md#Object-storage">オブジェクトストレージ</a>（以下、永続ストレージとも呼ぶ）からの履歴データの2種類があります。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/flowchart_b1c51dfdaa.png" alt="Flowchart" class="doc-image" id="flowchart" />
   </span> <span class="img-wrapper"> <span>フローチャート</span> </span></p>
<p>データコーディネータは、Milvusに継続的に投入されるストリーミングデータの処理を担当します。Milvusユーザがコレクションをロードするために<code translate="no">collection.load()</code> を呼び出すと、query coordはどのセグメントがストレージに永続化されているか、また対応するチェックポイントを知るためにdata coordに問い合わせます。チェックポイントは、チェックポイントの前に永続化されたセグメントは消費され、チェックポイントの後に永続化されたセグメントは消費されないことを示すマークである。</p>
<p>次に、クエリコーデ ィネータは、データコーデネータからの情報に基づいて、セグメントごと、またはチャンネルごと の割り当て戦略を出力する。セグメントアロケータは、永続ストレージ内のセグメント（バッチデータ）を異なるクエリノードに割り当てる役割を担っている。例えば、上の画像では、セグメントアロケータはセグメント 1 と 3 (S1, S3) をクエリノード 1 に、セグメント 2 と 4 (S2, S4) をクエリノード 2 に割り当てている。チャネルアロケータは、ログブローカ内の複数のデータ操作<a href="https://milvus.io/docs/v2.0.x/data_processing.md#Data-insertion">チャネル</a>（DMChannels）を監視するために、異なるクエリノードを割り当てます。例えば上の画像では、チャネルアロケータはクエリノード1をチャネル1（Ch1）の監視に割り当て、クエリノード2をチャネル2（Ch2）の監視に割り当てています。</p>
<p>この割り当て戦略により、各クエリノードはセグメントデータをロードし、それに応じてチャネルを監視する。画像のクエリノード1では、過去のデータ（バッチデータ）が、永続ストレージから割り当てられたS1とS3を介してロードされる。一方、クエリノード1は、ログブローカのチャネル1にサブスクライブすることで、増分データ（ストリーミングデータ）をロードする。</p>
<h2 id="Data-management-in-query-node" class="common-anchor-header">クエリノードにおけるデータ管理<button data-href="#Data-management-in-query-node" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>クエリノードは履歴データと増分データの両方を管理する必要がある。履歴データは<a href="https://milvus.io/blog/deep-dive-4-data-insertion-and-data-persistence.md#Sealed-segment">密封された</a>セグメントに保存され、増分データは<a href="https://milvus.io/blog/deep-dive-4-data-insertion-and-data-persistence.md#Growing-segment">成長する</a>セグメントに保存される。</p>
<h3 id="Historical-data-management" class="common-anchor-header">履歴データの管理</h3><p>履歴データ管理には、主にロードバランスとクエリノードのフェイルオーバーという2つの考慮事項があります。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/load_balance_c77e22bb5c.png" alt="Load balance" class="doc-image" id="load-balance" />
   </span> <span class="img-wrapper"> <span>ロードバランス</span> </span></p>
<p>例えば、図に示すように、クエリーノード4は他のクエリーノードよりも多くの封印セグメントを割り当てられています。このため、クエリ・ノード4がボトルネックとなり、クエリ・プロセス全体が遅くなる可能性が非常に高い。この問題を解決するために、システムはクエリーノード4のいくつかのセグメントを他のクエリーノードに割り当てる必要があります。これをロードバランスと呼ぶ。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Query_node_failover_3278c0e307.png" alt="Query node failover" class="doc-image" id="query-node-failover" />
   </span> <span class="img-wrapper"> <span>クエリーノードのフェイルオーバー</span> </span></p>
<p>もう1つ考えられる状況を上の図に示します。ノードの一つであるクエリーノード4が突然ダウンした。この場合、クエリー結果の正確性を確保するために、負荷（クエリーノード4に割り当てられたセグメント）を他の稼働中のクエリーノードに転送する必要があります。</p>
<h3 id="Incremental-data-management" class="common-anchor-header">インクリメンタルデータ管理</h3><p>クエリーノードはインクリメンタルデータを受信するためにDMChannelsを監視する。このプロセスにフローグラフが導入される。まず、すべてのデータ挿入メッセージをフィルタリングする。これは、指定されたパーティションのデータのみがロードされることを保証するためである。Milvusの各コレクションには対応するチャネルがあり、そのチャネルはコレクション内のすべてのパーティションで共有される。したがって、Milvusユーザーが特定のパーティションのデータのみをロードする必要がある場合、挿入されたデータをフィルタリングするためのフローグラフが必要となる。そうでなければ、コレクション内のすべてのパーティションのデータがクエリノードにロードされる。</p>
<p>フィルタリングされた後、増分データは成長するセグメントに挿入され、さらにサーバタイムノードに渡される。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/flow_graph_dc58651367.png" alt="Flowgraph" class="doc-image" id="flowgraph" />
   </span> <span class="img-wrapper"> <span>フローチャート</span> </span></p>
<p>データ挿入中、各挿入メッセージにはタイムスタンプが割り当てられる。上図のDMChannelでは、データは左から右の順に挿入される。最初の挿入メッセージのタイムスタンプは「1」、2番目は「2」、3番目は「6」です。赤で示された4番目のメッセージは挿入メッセージではなく、タイムティック・メッセージです。これは、挿入されたデータのタイムスタンプがこのタイムティックより小さいものが、すでにログブローカにあることを示すものです。言い換えれば、このタイムティックメッセージの後に挿入されたデータは、すべてこのタイムティックより大きなタイムスタンプを持つはずです。例えば、上の図では、クエリノードが現在のタイムティックが5であると認識すると、タイムスタンプの値が5より小さい挿入メッセージはすべてクエリノードにロードされることを意味します。</p>
<p>サーバー時間ノードは、挿入ノードからタイムティックを受信するたびに、更新された<code translate="no">tsafe</code> 。<code translate="no">tsafe</code> は安全時間を意味し、この時点より前に挿入されたすべてのデータを照会できる。例えば、<code translate="no">tsafe</code> = 9の場合、9より小さいタイムスタンプで挿入されたデータは全てクエリ可能である。</p>
<h2 id="Real-time-query-in-Milvus" class="common-anchor-header">Milvusのリアルタイムクエリー<button data-href="#Real-time-query-in-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvusのリアルタイムクエリはクエリメッセージによって実現されます。クエリメッセージはプロキシによってログブローカに挿入される。クエリノードはログブローカのクエリチャネルを見てクエリメッセージを取得します。</p>
<h3 id="Query-message" class="common-anchor-header">クエリメッセージ</h3><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/query_message_4d57814f47.png" alt="Query message" class="doc-image" id="query-message" />
   </span> <span class="img-wrapper"> <span>クエリメッセージ</span> </span></p>
<p>クエリメッセージには、クエリに関する以下の重要な情報が含まれます：</p>
<ul>
<li><code translate="no">msgID</code>:メッセージID、システムによって割り当てられたクエリーメッセージのID。</li>
<li><code translate="no">collectionID</code>:クエリするコレクションのID（ユーザーによって指定された場合）。</li>
<li><code translate="no">execPlan</code>:実行計画は主にクエリの属性フィルタリングに使用されます。</li>
<li><code translate="no">service_ts</code>:サービス・タイムスタンプは、上記の<code translate="no">tsafe</code> 。サービスタイムスタンプは、どの時点でサービスが開始されたかを示す。<code translate="no">service_ts</code> より前に挿入されたデータはすべてクエリーに利用できる。</li>
<li><code translate="no">travel_ts</code>:トラベルタイムスタンプは過去の時間範囲を指定する。そして、クエリは<code translate="no">travel_ts</code> で指定された期間に存在するデータに対して行われる。</li>
<li><code translate="no">guarantee_ts</code>:保証タイムスタンプは、クエリを実行する必要がある期間を指定します。クエリは<code translate="no">service_ts</code> &gt;<code translate="no">guarantee_ts</code> の時のみ実行されます。</li>
</ul>
<h3 id="Real-time-query" class="common-anchor-header">リアルタイムクエリ</h3><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/query_process_7f676972d8.png" alt="Query process" class="doc-image" id="query-process" />
   </span> <span class="img-wrapper"> <span>問い合わせプロセス</span> </span></p>
<p>Milvusは、クエリメッセージを受信すると、まず、現在のサービス時間（<code translate="no">service_ts</code> ）が、クエリメッセージに含まれるギャランティタイムスタンプ（<code translate="no">guarantee_ts</code> ）よりも大きいかどうかを判定する。Yesの場合、クエリが実行される。クエリは、履歴データと増分データの両方に対して並行して実行される。ストリーミング・データとバッチ・データの間にはデータの重複があり得るため、冗長なクエリ結果をフィルタリングするために「ローカル・リデュース」と呼ばれるアクションが必要である。</p>
<p>しかし、新しく挿入されたクエリーメッセージにおいて、現在のサービス時間が保証タイムスタンプよりも小さい場合、そのクエリーメッセージは未解決メッセージとなり、サービス時間が保証タイムスタンプよりも大きくなるまで処理されるのを待つ。</p>
<p>クエリ結果は最終的に結果チャネルにプッシュされる。プロキシはそのチャネルからクエリ結果を取得する。同様に、プロキシは、複数のクエリノードから結果を受信し、クエリ結果が繰 り返される可能性があるため、「グローバルリダクション」も実行する。</p>
<p>SDKに結果を返す前に、プロキシがすべてのクエリ結果を受け取ったことを確認するために、結果メッセージは、検索されたシールされたセグメント、検索されたDMChannels、およびグローバルシールされたセグメント(すべてのクエリノード上のすべてのセグメント)を含む情報の記録も保持する。システムは、以下の両方の条件が満たされた場合にのみ、プロキシがすべてのクエリ結果を受信したと結論づけることができる：</p>
<ul>
<li>すべての結果メッセージに記録されている、検索されたすべてのシ ールされたセグメントの合計が、グローバルシールされたセグメン トよりも大きい、</li>
<li>コレクション内のすべてのDMChannelsに問い合わせが行われた。</li>
</ul>
<p>最終的に、proxyは「global reduce」後の最終結果をmilvus SDKに返します。</p>
<h2 id="About-the-Deep-Dive-Series" class="common-anchor-header">ディープダイブシリーズについて<button data-href="#About-the-Deep-Dive-Series" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.0の<a href="https://milvus.io/blog/2022-1-25-annoucing-general-availability-of-milvus-2-0.md">一般提供の正式発表に</a>伴い、Milvusのアーキテクチャとソースコードの詳細な解釈を提供するために、このMilvus Deep Diveブログシリーズを企画しました。このブログシリーズで扱うトピックは以下の通りです：</p>
<ul>
<li><a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">Milvusアーキテクチャの概要</a></li>
<li><a href="https://milvus.io/blog/deep-dive-2-milvus-sdk-and-api.md">APIとPython SDK</a></li>
<li><a href="https://milvus.io/blog/deep-dive-3-data-processing.md">データ処理</a></li>
<li><a href="https://milvus.io/blog/deep-dive-4-data-insertion-and-data-persistence.md">データ管理</a></li>
<li><a href="https://milvus.io/blog/deep-dive-5-real-time-query.md">リアルタイムクエリ</a></li>
<li><a href="https://milvus.io/blog/deep-dive-7-query-expression.md">スカラー実行エンジン</a></li>
<li><a href="https://milvus.io/blog/deep-dive-6-oss-qa.md">QAシステム</a></li>
<li><a href="https://milvus.io/blog/deep-dive-8-knowhere.md">ベクトル実行エンジン</a></li>
</ul>


Milvusベクターデータベースのリアルタイムクエリへの利用

ベクターデータベースにおけるデータ挿入とデータ永続化

ベクターデータベースでデータはどのように処理されるのか？

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220322_175856_e8e7bea7dc.png" alt="Cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>カバー画像</span> </span></p>
<p><a href="https://github.com/XuanYang-cn">スアン・ヤン</a></p>
<h2 id="Background" class="common-anchor-header">背景<button data-href="#Background" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>以下の図は、gRPCを介したSDKとMilvusの相互作用を表しています。Milvusはブラックボックスであると想像してください。プロトコル・バッファーは、サーバーのインターフェースと、それらが伝送する情報の構造を定義するために使用されます。従って、ブラックボックスであるMilvusの全ての操作はプロトコルAPIによって定義されます。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/SDK_10c9673111.png" alt="Interaction" class="doc-image" id="interaction" />
   </span> <span class="img-wrapper"> <span>インタラクション</span> </span></p>
<h2 id="Milvus-Protocol-API" class="common-anchor-header">MilvusプロトコルAPI<button data-href="#Milvus-Protocol-API" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>MilvusプロトコルAPIは、<code translate="no">milvus.proto</code> 、<code translate="no">common.proto</code> 、<code translate="no">schema.proto</code> 、<code translate="no">.proto</code> で終わるプロトコルバッファファイルで構成されています。適切な動作を保証するために、SDKはこれらのProtocol Buffersファイルを用いてMilvusと対話する必要があります。</p>
<h3 id="milvusproto" class="common-anchor-header">milvus.proto</h3><p><code translate="no">milvus.proto</code> <code translate="no">MilvusService</code>を定義しているため、Milvus プロトコル API の重要なコンポーネントです。</p>
<p>以下のコードサンプルはインターフェース<code translate="no">CreatePartitionRequest</code> を示しています。これには2つの主要な文字列型パラメータ<code translate="no">collection_name</code> と<code translate="no">partition_name</code> があり、これに基づいてパーティション作成リクエストを開始することができます。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/code_d5f034d58d.png" alt="CreatePartitionRequest" class="doc-image" id="createpartitionrequest" />
   </span> <span class="img-wrapper"> <span>CreatePartitionRequest</span> </span></p>
<p>19行目の<a href="https://github.com/milvus-io/milvus-proto/blob/44f59db22b27cc55e4168c8e53b6e781c010a713/proto/milvus.proto">PyMilvus GitHub Repositoryの</a>Protocolの例を確認してください。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/create_partition_938691f07f.png" alt="Example" class="doc-image" id="example" />
   </span> <span class="img-wrapper"> <span>例</span> </span></p>
<p><code translate="no">CreatePartitionRequest</code> の定義はここにあります。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220321_112254_4ec4f35bd3.png" alt="Definition" class="doc-image" id="definition" />
   </span> <span class="img-wrapper"> <span>定義</span> </span></p>
<p>Milvusの機能またはSDKを異なるプログラミング言語で開発したいコントリビューターは、MilvusがRPC経由で提供する全てのインターフェースを見つけることができます。</p>
<h3 id="commonproto" class="common-anchor-header">common.proto</h3><p><code translate="no">common.proto</code> は、 や を含む、共通の情報タイプを定義します。<code translate="no">ErrorCode</code> <code translate="no">Status</code></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220321_112303_eaafc432a8.png" alt="common.proto" class="doc-image" id="common.proto" />
   </span> <span class="img-wrapper"> <span>common.proto</span> </span></p>
<h3 id="schemaproto" class="common-anchor-header">スキーマ.プロト</h3><p><code translate="no">schema.proto</code> はパラメータにスキーマを定義します。以下のコード・サンプルは の例である。<code translate="no">CollectionSchema</code></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220321_112313_df4ebe36e7.png" alt="schema.proto" class="doc-image" id="schema.proto" />
   </span> <span class="img-wrapper"> <span>schema.proto</span> </span></p>
<p><code translate="no">milvus.proto</code>、<code translate="no">common.proto</code> 、<code translate="no">schema.proto</code> を合わせてmilvusのAPIを構成し、RPCで呼び出せる全ての操作を表しています。</p>
<p>ソース・コードを掘り下げて注意深く観察すると、<code translate="no">create_index</code> のようなインタフェースが呼び出されるとき、実際には<code translate="no">describe_collection</code> や<code translate="no">describe_index</code> のような複数の RPC インタフェースを呼び出していることがわかります。Milvusの外側のインターフェースの多くは、複数のRPCインターフェースの組み合わせです。</p>
<p>RPCの動作を理解した上で、Milvusの新機能を組み合わせて開発することができます。あなたの想像力と創造力でMilvusコミュニティに貢献してください。</p>
<h2 id="PyMilvus-20" class="common-anchor-header">PyMilvus 2.0<button data-href="#PyMilvus-20" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="Object-relational-mapping-ORM" class="common-anchor-header">オブジェクトリレーショナルマッピング (ORM)</h3><p>一言で言うと、オブジェクトリレーショナルマッピング(ORM)とは、ローカルのオブジェクトを操作したときに、その操作がサーバ上の対応するオブジェクトに影響を与えることを指します。PyMilvus の ORM スタイルの API には次のような特徴があります：</p>
<ol>
<li>オブジェクトを直接操作する。</li>
<li>サービスロジックとデータアクセスの詳細を分離します。</li>
<li>実装の複雑さを隠すことができ、異なるMilvusインスタンス間で、配置のアプローチや実装に関係なく同じスクリプトを実行することができます。</li>
</ol>
<h3 id="ORM-style-API" class="common-anchor-header">ORMスタイルのAPI</h3><p>ORMスタイルAPIの本質の一つは、Milvus接続の制御にあります。例えば、複数のMilvusサーバにエイリアスを指定し、そのエイリアスだけで接続したり切断したりすることができます。また、ローカルサーバのアドレスを削除することもでき、特定の接続を介して特定のオブジェクトを正確に制御することができます。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220321_112320_d5ff08a582.png" alt="Control Connection" class="doc-image" id="control-connection" />
   </span> <span class="img-wrapper"> <span>接続の制御</span> </span></p>
<p>ORM型APIのもう一つの特徴は、抽象化した後、コレクション、パーティション、インデックスを含むすべての操作をオブジェクトに対して直接実行できることです。</p>
<p>コレクションオブジェクトを抽象化するには、既存のオブジェクトを取得するか、新しいオブジェクトを作成します。また、Milvusのコネクションをコネクションエイリアスを用いて特定のオブジェクトに割り当てることで、これらのオブジェクトをローカルに操作することができます。</p>
<p>パーティションオブジェクトを作成するには、親コレクションオブジェクトと一緒に作成するか、コレクションオブジェクトを作成するときと同じように作成します。これらの方法は、インデックス・オブジェクトにも適用できます。</p>
<p>これらのパーティション・オブジェクトやインデックス・オブジェクトが存在する場合、親コレクション・オブジェクトを通して取得することができます。</p>
<h2 id="About-the-Deep-Dive-Series" class="common-anchor-header">ディープ・ダイブ・シリーズについて<button data-href="#About-the-Deep-Dive-Series" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.0の<a href="https://milvus.io/blog/2022-1-25-annoucing-general-availability-of-milvus-2-0.md">一般提供の正式発表に</a>伴い、Milvusのアーキテクチャとソースコードの詳細な解釈を提供するために、このMilvus Deep Diveブログシリーズを企画しました。このブログシリーズで扱うトピックは以下の通りです：</p>
<ul>
<li><a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">Milvusアーキテクチャの概要</a></li>
<li><a href="https://milvus.io/blog/deep-dive-2-milvus-sdk-and-api.md">APIとPython SDK</a></li>
<li><a href="https://milvus.io/blog/deep-dive-3-data-processing.md">データ処理</a></li>
<li><a href="https://milvus.io/blog/deep-dive-4-data-insertion-and-data-persistence.md">データ管理</a></li>
<li><a href="https://milvus.io/blog/deep-dive-5-real-time-query.md">リアルタイムクエリ</a></li>
<li><a href="https://milvus.io/blog/deep-dive-7-query-expression.md">スカラー実行エンジン</a></li>
<li><a href="https://milvus.io/blog/deep-dive-6-oss-qa.md">QAシステム</a></li>
<li><a href="https://milvus.io/blog/deep-dive-8-knowhere.md">ベクトル実行エンジン</a></li>
</ul>


Milvus Python SDKとAPIの紹介

スケーラブルな類似検索のためのベクターデータベースの構築

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Attu_3ff9a76156.png" alt="Binlog Cover Image" class="doc-image" id="binlog-cover-image" />
   </span> <span class="img-wrapper"> <span>表紙画像</span> </span></p>
<p>原案：<a href="https://github.com/czhen-zilliz">Zhen Chen</a>、トランスクリエーション：<a href="https://github.com/LocoRichard">Lichen Wang</a>。</p>
<p style="font-size: 12px;color: #4c5a67">元の記事を確認するには<a href="https://zilliz.com/blog/manage-your-milvus-vector-database-with-one-click-simplicity">ここを</a>クリックしてください。</p> 
<p>非構造化データ処理の需要が急速に高まる中、Milvus 2.0は際立っている。これはAI指向のベクトルデータベースシステムで、大量生産シナリオ向けに設計されている。これらのMilvus SDKやMilvusのコマンドラインインターフェイスであるMilvus CLIとは別に、Milvusをより直感的に操作できるツールはあるのだろうか？答えはYESである。Zilliz社はMilvus専用のグラフィカルユーザインタフェースAttuを発表しました。今回は、Attuを使ったベクトル類似検索の方法を順を追ってご紹介したいと思います。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/map_aa1cda30d4.png" alt="Attu island" class="doc-image" id="attu-island" />
   </span> <span class="img-wrapper"> <span>Attu島</span> </span></p>
<p>MilvusのCLIが非常にシンプルな操作性であるのに対して、Attuはそれ以上の特徴があります：</p>
<ul>
<li>Windows OS、macOS、Linux OS用のインストーラ；</li>
<li>Milvusをより使いやすくするための直感的なGUI；</li>
<li>Milvusの主要機能をカバー；</li>
<li>カスタマイズされた機能を拡張するプラグイン</li>
<li>Milvusインスタンスの理解と管理を容易にする完全なシステムトポロジー情報。</li>
</ul>
<h2 id="Installation" class="common-anchor-header">インストール<button data-href="#Installation" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Attuの最新リリースは<a href="https://github.com/zilliztech/attu/releases">GitHubに</a>あります。Attuは様々なオペレーティングシステム用の実行可能なインストーラを提供しています。Attuはオープンソースプロジェクトであり、皆様からの貢献を歓迎します。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/installation_bbe62873af.png" alt="Installation" class="doc-image" id="installation" />
   </span> <span class="img-wrapper"> <span>インストール</span> </span></p>
<p>Docker経由でAttuをインストールすることもできます。</p>
<pre><code translate="no" class="language-shell">docker run -p <span class="hljs-number">8000</span>:<span class="hljs-number">3000</span> -e <span class="hljs-variable constant_">HOST_URL</span>=<span class="hljs-attr">http</span>:<span class="hljs-comment">//{ attu IP }:8000 -e MILVUS_URL={milvus server IP}:19530 zilliz/attu:latest</span>
<button class="copy-code-btn"></button></code></pre>
<p><code translate="no">attu IP</code> はAttuが動作する環境のIPアドレス、 はmilvusが動作する環境のIPアドレスです。<code translate="no">milvus server IP</code> </p>
<p>Attuのインストールが完了したら、MilvusのIPとPortを入力してAttuを起動します。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/connect_1fde46d9d5.png" alt="Connect Milvus with Attu" class="doc-image" id="connect-milvus-with-attu" />
   </span> <span class="img-wrapper"> <span>AttuでMilvusを接続する</span> </span></p>
<h2 id="Feature-overview" class="common-anchor-header">機能概要<button data-href="#Feature-overview" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/overview_591e230514.png" alt="Overview page" class="doc-image" id="overview-page" />
   </span> <span class="img-wrapper"> <span>概要ページ</span> </span></p>
<p>Attuのインターフェースは、<strong>Overview</strong>ページ、<strong>Collection</strong>ページ、<strong>Vector Search</strong>ページ、<strong>System View</strong>ページから構成され、それぞれ左側のナビゲーションペインの4つのアイコンに対応しています。</p>
<p><strong>概要</strong>ページはロードされたコレクションを表示します。一方、<strong>Collection</strong>ページはすべてのコレクションをリストし、それらがロードされているかリリースされているかを示します。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/collection_42656fe308.png" alt="Collection page" class="doc-image" id="collection-page" />
   </span> <span class="img-wrapper"> <span>コレクションページ</span> </span></p>
<p><strong>Vector Searchと</strong> <strong>System View</strong>ページはAttuのプラグインです。プラグインのコンセプトと使い方はブログの最終回で紹介します。</p>
<p>Vector<strong>Search</strong>ページでは、ベクトルの類似度検索を行うことができます。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/vector_search_be7365687c.png" alt="Vector Search page" class="doc-image" id="vector-search-page" />
   </span> <span class="img-wrapper"> <span>ベクトル検索ページ</span> </span></p>
<p><strong>System View</strong>ページでは、Milvusのトポロジー構造を確認することができます。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/system_view_e1df15023d.png" alt="System View page" class="doc-image" id="system-view-page" />
   </span> <span class="img-wrapper"> <span>システムビューページ</span> </span></p>
<p>また、ノードをクリックすることで、各ノードの詳細情報を確認することができます。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/node_view_5bbc25f9b2.png" alt="Node view" class="doc-image" id="node-view" />
   </span> <span class="img-wrapper"> <span>ノードビュー</span> </span></p>
<h2 id="Demonstration" class="common-anchor-header">デモンストレーション<button data-href="#Demonstration" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>テストデータセットを使ってAttuを試してみましょう。</p>
<p>以下のテストで使用するデータセットは<a href="https://github.com/zilliztech/attu/tree/main/examples">GitHubのリポジトリを</a>確認してください。</p>
<p>まず、以下の4つのフィールドを持つ test という名前のコレクションを作成する：</p>
<ul>
<li>フィールド名: id, 主キーフィールド</li>
<li>フィールド名：vector、vectorフィールド、float vector、次元：128</li>
<li>フィールド名：brand、スカラーフィールド、Int64</li>
<li>フィールド名：color、スカラーフィールド、Int64</li>
</ul>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/create_collection_95dfa15354.png" alt="Create a collection" class="doc-image" id="create-a-collection" />
   </span> <span class="img-wrapper"> <span>コレクションの作成</span> </span></p>
<p>コレクションが正常に作成された後、検索のためにコレクションをロードする。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/load_collection_fec39171df.png" alt="Load the collection" class="doc-image" id="load-the-collection" />
   </span> <span class="img-wrapper"> <span>コレクションのロード</span> </span></p>
<p><strong>概要</strong>ページで新しく作成されたコレクションをチェックできます。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/check_collection_163b05477e.png" alt="Check the collection" class="doc-image" id="check-the-collection" />
   </span> <span class="img-wrapper"> <span>コレクションの確認</span> </span></p>
<p>テストデータセットをMilvusにインポートします。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/import_data_1_f73d71be85.png" alt="Import data" class="doc-image" id="import-data" />
   </span> <span class="img-wrapper"> <span>データのインポート</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/import_data_2_4b3c3c3c25.png" alt="Import data" class="doc-image" id="import-data" />
   </span> <span class="img-wrapper"> <span>データのインポート</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/import_data_3_0def4e8550.png" alt="Import data" class="doc-image" id="import-data" />
   </span> <span class="img-wrapper"> <span>データのインポート</span> </span></p>
<p>Overview（概要）またはCollection（コレクション）ページでコレクション名をクリックし て、インポートされたデータをチェックするクエリインターフェイスに入る。</p>
<p>フィルタを追加し、式<code translate="no">id != 0</code> を指定し、<strong>Apply Filter を</strong>クリックし、<strong>Query</strong> をクリックします。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/query_data_24d9f71ccc.png" alt="Query data" class="doc-image" id="query-data" />
   </span> <span class="img-wrapper"> <span>クエリデータ</span> </span></p>
<p>エンティティの全 50 エントリが正常にインポートされていることがわかります。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/query_result_bcbbd17084.png" alt="Query result" class="doc-image" id="query-result" />
   </span> <span class="img-wrapper"> <span>クエリ結果</span> </span></p>
<p>ベクトルの類似性検索を試してみましょう。</p>
<p><code translate="no">search_vectors.csv</code> からベクトルを 1 つコピーし、<strong>Vector Value</strong>フィールドに貼り付けます。コレクションとフィールドを選択します。<strong>Search を</strong>クリックします。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/search_data_5af3a1db53.png" alt="Search data" class="doc-image" id="search-data" />
   </span> <span class="img-wrapper"> <span>検索データ</span> </span></p>
<p>検索結果が表示されます。スクリプトをコンパイルすることなく、Milvusで簡単に検索することができます。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/search_result_961886efab.png" alt="Search result" class="doc-image" id="search-result" />
   </span> <span class="img-wrapper"> <span>検索結果</span> </span></p>
<p>最後に<strong>システムビューの</strong>ページを確認してみましょう。</p>
<p>Milvus Node.js SDKに内包されているMetrics APIを利用することで、システムの状態、ノードの関係、ノードの状態を確認することができます。</p>
<p>Attu独自の機能として、システム概要ページには完全なシステムトポロジカルグラフが含まれています。各ノードをクリックすることで、そのステータスを確認することができます(10秒ごとに更新)。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/topological_graph_d0c5c17586.png" alt="Milvus node topological graph" class="doc-image" id="milvus-node-topological-graph" />
   </span> <span class="img-wrapper"> <span>Milvusノードトポロジカルグラフ</span> </span></p>
<p>各ノードをクリックすると、<strong>ノードリストビューが</strong>表示されます。コーディネートノードのすべての子ノードを確認できます。ソートすることで、CPUやメモリの使用率が高いノードを素早く特定し、システムの問題点を突き止めることができます。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/node_list_64fc610a8d.png" alt="Milvus node list" class="doc-image" id="milvus-node-list" />
   </span> <span class="img-wrapper"> <span>Milvusノードリスト</span> </span></p>
<h2 id="Whats-more" class="common-anchor-header">その他<button data-href="#Whats-more" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>前述の通り、<strong>Vector Searchと</strong> <strong>System View</strong>ページはAttuのプラグインです。Attuでは、ユーザがアプリケーションのシナリオに合わせて独自のプラグインを開発することを推奨しています。ソースコードの中に、プラグインコード専用のフォルダがあります。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/plugins_a2d98e4e5b.png" alt="Plugins" class="doc-image" id="plugins" />
   </span> <span class="img-wrapper"> <span>プラグイン</span> </span></p>
<p>プラグインの作り方は、どのプラグインを参照しても構いません。以下の設定ファイルを設定することで、Attuにプラグインを追加することができます。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/add_plugins_e3ef53cc0d.png" alt="Add plugins to Attu" class="doc-image" id="add-plugins-to-attu" />
   </span> <span class="img-wrapper"> <span>プラグインをAttuに追加する</span> </span></p>
<p>詳しい手順は<a href="https://github.com/zilliztech/attu/tree/main/doc">Attu GitHub Repoや</a> <a href="https://milvus.io/docs/v2.0.x/attu.md">Milvus Technical Documentを</a>参照してください。</p>
<p>Attuはオープンソースプロジェクトです。すべての貢献を歓迎します。また、Attuに問題がある場合は、<a href="https://github.com/zilliztech/attu/issues">issueを提出して</a>ください。</p>
<p>AttuによってMilvusをより快適にお使いいただけることを心より願っております。また、Attuを気に入っていただけた場合、または使用方法についてご意見がある場合は、<a href="https://wenjuan.feishu.cn/m/cfm?t=suw4QnODU1ui-ok7r">Attuユーザーアンケートに</a>ご回答いただき、Attuをより良いユーザーエクスペリエンスに最適化するためにお役立てください。</p>


Milvusベクターデータベースをワンクリックで簡単に管理できます。

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Load_balance_b2f35a5577.png" alt="Binlog Cover Image" class="doc-image" id="binlog-cover-image" />
   </span> <span class="img-wrapper"> <span>Binlog カバー画像</span> </span></p>
<p><a href="https://github.com/xige-16">西葛</a> 記</p>
<p>これまでのブログ記事で、Milvus 2.0のDeletion、Bitset、Compaction機能を順次紹介してきた。今回はその締めくくりとして、Milvusの分散クラスタにおける重要な機能であるロードバランスの設計についてご紹介したいと思います。</p>
<h2 id="Implementation" class="common-anchor-header">実装<button data-href="#Implementation" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>クエリノードでバッファリングされるセグメントの数やサイズが異なると、クエリノード間の検索パフォーマンスも異なります。最悪のケースは、数台のクエリノードが大量のデータを検索し尽くしているにもかかわらず、新たに作成されたクエリノードにはセグメントが配布されないためアイドル状態のままとなり、CPUリソースが大量に浪費され、検索性能が大幅に低下してしまうことである。</p>
<p>このような状況を避けるために、クエリコーディネータ（query coordinator）は、各クエリノードのRAM使用量に応じて、各クエリノードに均等にセグメントを分配するようにプログラムされている。そのため、CPUリソースはノード間で均等に消費され、検索性能が大幅に向上します。</p>
<h3 id="Trigger-automatic-load-balance" class="common-anchor-header">自動ロードバランスのトリガー</h3><p>コンフィギュレーション<code translate="no">queryCoord.balanceIntervalSeconds</code> のデフォルト値に従って、クエリ・コーデックは 60 秒ごとにすべてのクエリ・ノードの RAM 使用率（パーセンテージ）をチェックします。以下の条件のいずれかが満たされると、クエリコーデックはクエリノード全体のクエリ負荷のバランスを取り始めます：</p>
<ol>
<li>クラスタ内のいずれかのクエリ・ノードのRAM使用率が<code translate="no">queryCoord.overloadedMemoryThresholdPercentage</code> （デフォルト：90）より大きい；</li>
<li>または、2 つのクエリ・ノードの RAM 使用量の差の絶対値が<code translate="no">queryCoord.memoryUsageMaxDifferencePercentage</code> (デフォルト: 30) より大きい。</li>
</ol>
<p>ソースクエリノードからデスティネーションクエリノードへセグメントが転送された後、以下の両方の条件を満たす必要があります：</p>
<ol>
<li>転送先クエリ・ノードのRAM使用率が<code translate="no">queryCoord.overloadedMemoryThresholdPercentage</code> （デフォルト：90）以下；</li>
<li>負荷分散後のソース・クエリ・ノードと宛先クエリ・ノードのRAM使用量の差の絶対値が、負荷分散前のそれよりも小さい。</li>
</ol>
<p>上記の条件が満たされると、クエリコーデックはノード間のクエリ負荷のバランスをとるために処理を進めます。</p>
<h2 id="Load-balance" class="common-anchor-header">ロードバランス<button data-href="#Load-balance" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>ロードバランスがトリガーされると、クエリコーデックは最初にターゲットセグメントをデスティネーションクエリノードにロードします。両方のクエリノードは、検索結果の完全性を保証するために、この時点でどの検索リクエストでもターゲットセグメントからの検索結果を返します。</p>
<p>宛先クエリノードがターゲットセグメントのロードに成功すると、クエリコーデ ィネートは<code translate="no">sealedSegmentChangeInfo</code> をクエリチャネルにパブリッシュする。以下に示すように、<code translate="no">onlineNodeID</code> と<code translate="no">onlineSegmentIDs</code> は、それぞれセグメントをロードしたクエリノードとロードしたセグメントを示し、<code translate="no">offlineNodeID</code> と<code translate="no">offlineSegmentIDs</code> は、それぞれセグメントを解放する必要があるクエリノードと解放するセグメントを示す。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220228_145413_f253cec15b.png" alt="sealedSegmentChangeInfo" class="doc-image" id="sealedsegmentchangeinfo" />
   </span> <span class="img-wrapper"> <span>sealedSegmentChangeInfo</span> </span></p>
<p><code translate="no">sealedSegmentChangeInfo</code> を受け取ったソースクエリノードは、次にターゲットセグメントを解放する。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220228_145436_2604bc57a5.png" alt="Load Balance Workflow" class="doc-image" id="load-balance-workflow" />
   </span> <span class="img-wrapper"> <span>ロードバランスワークフロー</span> </span></p>
<p>すべてのプロセスは、ソースクエリノードがターゲットセグメントを解放するときに成功する。つまり、すべてのクエリノードのRAM使用量が<code translate="no">queryCoord.overloadedMemoryThresholdPercentage</code> よりも大きくなく、負荷分散後のソースクエリノードとデスティネーションクエリノードのRAM使用量の差の絶対値が負荷分散前よりも小さくなります。</p>
<h2 id="Whats-next" class="common-anchor-header">次は何ですか？<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>2.0新機能シリーズのブログでは、新機能の設計を説明することを目的としています。このブログシリーズの続きを読む</p>
<ul>
<li><a href="https://milvus.io/blog/2022-02-07-how-milvus-deletes-streaming-data-in-distributed-cluster.md">Milvusが分散クラスタ内のストリーミングデータを削除する方法</a></li>
<li><a href="https://milvus.io/blog/2022-2-21-compact.md">Milvusでデータをコンパクトにするには？</a></li>
<li><a href="https://milvus.io/blog/2022-02-28-how-milvus-balances-query-load-across-nodes.md">Milvusはどのようにノード間のクエリ負荷をバランスするのか？</a></li>
<li><a href="https://milvus.io/blog/2022-2-14-bitset.md">Bitsetがベクトル類似検索の多様性を可能にする方法</a></li>
</ul>
<p>Milvus 2.0新機能ブログシリーズは今回で最終回となります。本シリーズに続き、Milvus 2.0の基本アーキテクチャを紹介する新シリーズ「Milvus<a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">Deep Dive</a>」を企画中です。どうぞご期待ください。</p>


Milvusはどのようにノード間のクエリ負荷を分散しているのか？

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Compact_173a08ec1c.png" alt="Binlog Cover Image" class="doc-image" id="binlog-cover-image" />
   </span> <span class="img-wrapper"> <span>Binlog カバー画像</span> </span></p>
<p><a href="https://github.com/sunby">Bingyi Sunと</a> <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Niに</a>よる。</p>
<p>Milvus 2.0 GAが<a href="https://milvus.io/blog/2022-1-25-annoucing-general-availability-of-milvus-2-0.md">正式にリリースさ</a>れ、多くの新機能がサポートされた。その中でもコンパクションは、ストレージスペースの節約に役立つ新機能の一つだ。</p>
<p>コンパクションとは、小さなセグメントを大きなセグメントにマージし、論理的に削除されたデータをクリーンにするプロセスを指す。言い換えれば、コンパクションは、削除された、または期限切れのエンティティをビンログから削除することにより、ディスクスペースの使用量を削減します。<a href="https://milvus.io/docs/v2.0.x/four_layers.md#Data-coordinator-data-coord">コンパクションは</a>Milvusの<a href="https://milvus.io/docs/v2.0.x/four_layers.md#Data-node">データノードによって</a>実行されるバックグラウンドタスクであり、<a href="https://milvus.io/docs/v2.0.x/four_layers.md#Data-coordinator-data-coord">データコーディネータによって</a>トリガされる。</p>
<p>本記事では、Milvusにおけるコンパクションの概念と実装について解説します。</p>
<h2 id="What-is-compaction" class="common-anchor-header">コンパクションとは？<button data-href="#What-is-compaction" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus2.0におけるコンパクションの実装方法の詳細に入る前に、Milvusにおけるコンパクションとは何かを理解することが重要です。</p>
<p>Milvusのユーザーであれば、ハードディスクの使用量の増加に悩まされたことがあるかもしれません。もう一つの問題は、1,024行未満のセグメントにはインデックスが作成されず、クエリを処理するための総当たり検索しかサポートされないことである。自動フラッシュやユーザーによるフラッシュによって引き起こされる小さなセグメントは、クエリの効率を低下させる可能性があります。</p>
<p>そこで、上記の2つの問題を解決し、ディスク使用量の削減とクエリ効率の向上を支援するために、Milvusはコンパクションをサポートしています。</p>
<p><a href="https://github.com/google/leveldb">LevelDBや</a> <a href="http://rocksdb.org/">RocksDBの</a>ようなデータベースはソートされた文字列テーブル（SSTables）にデータを追加します。クエリあたりの平均ディスクリードはSSTableの数とともに増加し、非効率なクエリにつながります。読み込みの増幅を減らし、ハードディスク・ドライブのスペースを解放するために、これらのデータベースはSSTableを1つに圧縮します。コンパクション処理はバックグラウンドで自動的に実行される。</p>
<p>同様に、Milvusは挿入および削除されたデータを<a href="https://github.com/milvus-io/milvus/blob/master/docs/developer_guides/chap08_binlog.md">binlogに</a>追加します。ビンログの数が増えると、より多くのハードディスク領域が使用されます。ハードディスク領域を解放するために、Milvusは削除および挿入されたデータのbinlogを圧縮します。あるエンティティが挿入され、後に削除された場合、一度コンパクト化されると、データの挿入や削除を記録したビンログにはそのエンティティは存在しなくなる。さらに、Milvusは<a href="https://milvus.io/docs/v2.0.x/glossary.md#Segment">セグメント</a>（挿入されたデータを保持するためにMilvusが自動的に作成するデータファイル）もコンパクト化します。</p>
<h2 id="How-to-configure-compaction" class="common-anchor-header">コンパクションの設定方法<button data-href="#How-to-configure-compaction" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvusのコンパクションの設定には主に2つのパラメータがあります:<code translate="no">dataCoord.enableCompaction</code> と<code translate="no">common.retentionDuration</code>.</p>
<p><code translate="no">dataCoord.enableCompaction</code> はコンパクションを有効にするかどうかを指定します。デフォルト値は です。<code translate="no">true</code></p>
<p><code translate="no">common.retentionDuration</code> はコンパクションを実行しない期間を指定します。単位は秒です。データをコンパクト化すると、削除されたエンティティはすべてタイムトラベルで検索できなくなる。したがって、Time Travel での検索を計画している場合は、コンパクショ ンが実行されず、削除されたデータに影響しない期間を指定する必要があります。タイムトラベルによる検索結果を正確にするため、Milvusは で指定された期間に操作されたデータを保持します。つまり、この期間に操作されたデータはコンパクションされません。詳細は<code translate="no">common.retentionDuration</code><a href="https://milvus.io/docs/v2.0.x/timetravel.md">タイムトラベル検索を</a>参照してください。</p>
<p>Milvusではデフォルトでコンパクションが有効になっています。コンパクションを無効にしたが、後で手動で有効にしたい場合は、以下の手順に従ってください：</p>
<ol>
<li><code translate="no">collection.compact()</code> メソッドを呼び出し、手動でグローバルコンパクションプロセスをトリガーします。ただし、この操作には時間がかかる可能性があることに注意してください。</li>
<li>メソッドを呼び出すと、コンパクションIDが返されます。<code translate="no">collection.get_compaction_state()</code> メソッドを呼び出して、コンパクション・ステータスを表示します。</li>
</ol>
<p>コンパクションが有効になると、バックグラウンドで自動的に実行されます。コンパクション処理には長い時間がかかる可能性があるため、コンパクション要求は時間を節約するために非同期に処理されます。</p>
<h2 id="How-to-implement-compaction" class="common-anchor-header">コンパクションの実装方法<button data-href="#How-to-implement-compaction" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvusでは、コンパクションを手動または自動で実装することができます。</p>
<p>binlogやセグメントの手動コンパクションでは、トリガー条件を満たす必要はありません。そのため、手動でコンパクションを実行した場合は、何があってもビンログやセグメントはコンパクションされます。</p>
<p>しかし、自動コンパクションを有効にしたい場合は、特定のコンパクショントリガー条件を満たす必要があります。</p>
<p>一般的に、Milvusでコンパクションできるオブジェクトには、ビンログとセグメントの2種類があります。</p>
<h2 id="Binlog-compaction" class="common-anchor-header">ビンログコンパクション<button data-href="#Binlog-compaction" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>ビンログとは、Milvusベクターデータベース内のデータの更新や変更を記録し、処理するバイナリログ、またはセグメント内の小さな単位です。セグメントのデータは複数のビンログに保存されます。Milvusのビンログコンパクションには、インサートビンログとデルタビンログの2種類があります。</p>
<p>デルタビンログはデータが削除されたときに生成され、インサートビンログは以下の3つの状況で生成される。</p>
<ul>
<li>挿入されたデータが追加される際、セグメントがサイズの上限に達し、自動的にディスクにフラッシュされる。</li>
<li>DataCoordは、長時間未シール状態のセグメントを自動的にフラッシュする。</li>
<li><code translate="no">collection.num_entities</code> や<code translate="no">collection.load()</code> などのいくつかのAPIは、セグメントをディスクに書き込むために自動的にフラッシュを呼び出す。</li>
</ul>
<p>したがって、ビンログコンパクションとは、その名前が示すように、セグメント内のビンログをコンパクトにすることである。より具体的には、ビンログコンパクションの間、保持されていないすべてのデルタビンログとインサートビンログがコンパクト化される。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/binlog_compaction_d7f8f910c8.png" alt="Binlog compaction" class="doc-image" id="binlog-compaction" />
   </span> <span class="img-wrapper"> <span>ビンログの圧縮</span> </span></p>
<p>セグメントがディスクにフラッシュされたとき、またはコンパクションが長い間実行されていないため、Milvusがグローバルコンパクションを要求したとき、自動コンパクションをトリガするには、以下の2つの条件のうち少なくとも1つを満たす必要があります：</p>
<ol>
<li>デルタビンログの行数が全行数の20%以上である。</li>
<li>デルタ・ビンログのサイズが10MBを超える。</li>
</ol>
<h2 id="Segment-compaction" class="common-anchor-header">セグメントコンパクション<button data-href="#Segment-compaction" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><a href="https://milvus.io/docs/v2.0.x/glossary.md#Segment">セグメントとは</a>、挿入されたデータを保持するためにMilvusが自動的に作成するデータファイルである。Milvusのセグメントには、成長セグメントと密封セグメントの2種類があります。</p>
<p>成長中のセグメントは、封印されるまで新しく挿入されたデータを受け取り続けます。封印されたセグメントは新しいデータを受け取らなくなり、オブジェクトストレージにフラッシュされます。</p>
<p>したがって、セグメントコンパクションとは、密封された複数のセグメントを圧縮することである。より具体的には、セグメントコンパクションでは、小さなセグメントを大きなセグメントに圧縮します。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/segment_compaction_92eecc0e55.jpeg" alt="Segment compaction" class="doc-image" id="segment-compaction" />
   </span> <span class="img-wrapper"> <span>セグメントコンパクション</span> </span></p>
<p>コンパクション後に生成される各セグメントは、セグメントサイズの上限（デフォルトでは 512 MB）を超えることはできません。セグメントサイズの上限を変更する方法については、<a href="https://milvus.io/docs/v2.0.x/system_configuration.md">システム設定を</a>お読みください。</p>
<p>セグメントをディスクにフラッシュする場合、またはコンパクションが長時間実行されていないためMilvusがグローバルコンパクションを要求する場合、自動コンパクションをトリガするには以下の条件を満たす必要があります：</p>
<ul>
<li>0.5より小さいセグメント *<code translate="no">MaxSegmentSize</code> が10以上。</li>
</ul>
<h2 id="Whats-next" class="common-anchor-header">次は？<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvusでコンパクションの基本を学んだら、次は何をすればいいのでしょうか？現在のところ、コンパクションを設定するためのすべてのパラメータが<code translate="no">milvus.yaml</code> ファイルにあるわけではありませんし、プラン生成戦略も比較的基本的なものです。興味のある方は<a href="https://github.com/milvus-io">オープンソースプロジェクトである</a>Milvusに貢献しましょう！</p>
<p>また、2.0新機能シリーズのブログでは、新機能の設計を説明することを目指しています。このブログシリーズの続きを読む</p>
<ul>
<li><a href="https://milvus.io/blog/2022-02-07-how-milvus-deletes-streaming-data-in-distributed-cluster.md">Milvusが分散クラスタのストリーミングデータを削除する方法</a></li>
<li><a href="https://milvus.io/blog/2022-2-21-compact.md">Milvusでデータをコンパクトにするには？</a></li>
<li><a href="https://milvus.io/blog/2022-02-28-how-milvus-balances-query-load-across-nodes.md">Milvusはどのようにノード間のクエリ負荷をバランスするのか？</a></li>
<li><a href="https://milvus.io/blog/2022-2-14-bitset.md">Bitsetがベクトル類似検索の多様性を可能にする方法</a></li>
</ul>
<h2 id="About-the-author" class="common-anchor-header">著者について<button data-href="#About-the-author" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>MilvusプロジェクトのシニアソフトウェアエンジニアであるBingyi Sunは、上海交通大学でソフトウェア工学の修士号を取得した。主にMilvus 2.0のストレージ関連コンポーネントの開発を担当。専門はデータベースと分散システム。オープンソースプロジェクトの大ファンであり、余暇にはビデオゲームや読書を楽しむグルメでもある。</p>


Milvusでデータをコンパクトにするには？

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Bitset_cd54487e7b.png" alt="Bitset Cover Image" class="doc-image" id="bitset-cover-image" />
   </span> <span class="img-wrapper"> <span>ビットセット表紙画像</span> </span></p>
<p><a href="https://github.com/cydrain">Yudong Caiと</a> <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Niに</a>よる。</p>
<p>Milvus2.0の<a href="https://milvus.io/blog/2022-1-25-annoucing-general-availability-of-milvus-2-0.md">リリースに</a>伴い、ベクトルデータベースに<a href="https://milvus.io/blog/2022-1-27-milvus-2-0-a-glimpse-at-new-features.md">不可欠な</a>様々な<a href="https://milvus.io/blog/2022-1-27-milvus-2-0-a-glimpse-at-new-features.md">新機能が</a>提供される。新機能のうち、<a href="https://milvus.io/docs/v2.0.x/timetravel_ref.md">タイムトラベル</a>、属性フィルタリング、<a href="https://milvus.io/blog/2022-02-07-how-milvus-deletes-streaming-data-in-distributed-cluster.md">削除操作は</a>、ビットセットという共通のメカニズムによって実現されるため、相関関係がある。</p>
<p>そこで本稿では、Milvusにおけるビットセットの概念を明らかにし、削除操作、タイムトラベル、属性フィルタリングをサポートするビットセットの仕組みを3つの例を用いて説明する。</p>
<h2 id="What-is-bitset" class="common-anchor-header">ビットセットとは？<button data-href="#What-is-bitset" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>ビットセットとは、ビット番号（"0 "と "1"）の配列のことで、特定のデータ情報を表現するために使用することができます。ビットセットを使用すると、Intsやfloat、charsで保存するのとは対照的に、特定のタイプのデータをコンパクトかつ効率的に保存することができます。ビットセットは<a href="https://milvus.io/docs/v2.0.x/boolean.md">ブーリアンロジックで</a>動作し、出力の値は有効か無効かのどちらかで、通常はそれぞれ "1 "と "0 "で表されます。「1」は有効を表し、「0」は無効を表す。ビットセットは非常に効率的でストレージを節約できるため、属性フィルタリング、削除操作、タイムトラベルなど、多くの機能を実現するためにも使用できる。</p>
<p>バージョン0.7.0から、Milvusでは<a href="https://milvus.io/blog/deleting-data-in-milvus.md">削除機能を</a>実現するためにビットセットという概念が導入されました。具体的には、セグメント内の各行が削除されたかどうかをマークするためにビットセットが使用されます。削除されたエンティティは対応するビットセットで "1 "とマークされ、その結果、削除されたエンティティは検索やクエリの際に計算されない。</p>
<p>Milvus 2.0バージョンでは、属性フィルタリングやタイムトラベルなど、より多くの機能を実現するためにビットセットの適用が拡張された。ビットセットにおける一般的な原則は変わらない。つまり、あるエンティティが対応するビットセットで "1 "とマークされている場合、検索やクエリの際にそのエンティティは無視される。ビットセットはmilvusの3つの機能を有効にするために使用されます：</p>
<ul>
<li>属性フィルタリング</li>
<li>データ削除</li>
<li>タイムトラベル</li>
</ul>
<h2 id="How-does-bitset-work-in-Milvus" class="common-anchor-header">Milvusでビットセットはどのように機能するのか？<button data-href="#How-does-bitset-work-in-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>以下はMilvusにおけるビットセットの動作を説明するための例です。</p>
<h3 id="Prerequisites" class="common-anchor-header">前提条件</h3><p>8つのエンティティを持つセグメントがあり、一連のデータ操作言語(DML)イベントが下図の順序で発生したとする。</p>
<ul>
<li><code translate="no">primary_keys</code> がそれぞれ[1, 2, 3, 4]であるエンティティのうち4つは、タイムスタンプ<code translate="no">ts</code> が100に等しいときに挿入される。</li>
<li>残りの4つのエンティティは、<code translate="no">primary_keys</code> が[5, 6, 7, 8]であり、タイムスタンプ<code translate="no">ts</code> が200になったときに挿入される。</li>
<li><code translate="no">primary_keys</code> が[7, 8]であるエンティティは、タイムスタンプ<code translate="no">ts</code> が300になったときに削除される。</li>
<li><code translate="no">primary_keys</code> が [1, 3, 5, 7] であるエンティティだけが、属性フィルタリングの条件を満たす。</li>
</ul>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/UML_1_0a3605808c.jpg" alt="DML events" class="doc-image" id="dml-events" />
   </span> <span class="img-wrapper"> <span>DMLイベント</span> </span></p>
<h3 id="Case-one" class="common-anchor-header">ケース1</h3><p>ユーザが<code translate="no">time_travel</code> に設定した値が 150 であったとする。つまり、<code translate="no">ts</code> = 150のとき、ユーザはMilvusに格納されているデータに対して問い合わせを行う。ビットセット生成プロセスを図1に示す。</p>
<p>最初のフィルタリング段階では、エンティティ[1, 3, 5, 7]は有効なフィルタリング結果であり、ビットセット内で "1 "とマークされているため、<code translate="no">filter_bitset</code> の結果は[1, 0, 1, 0, 1, 0, 1, 0]となるはずである。しかし、エンティティ[4,5,6,7]は、<code translate="no">ts</code> が150に等しいとき、 ベクトルデータベースに挿入さえされていない。したがって、これら4つのエンティ ティは、フィルタリング条件に関係なく「0」とマークされるべきである。これで、ビットセットの結果は[1, 0, 1, 0, 0, 0, 0]となるはずである。Milvusでは、ビットセットで "1 "とマークされたエンティティは検索中やクエリ中に無視されるというのがビットセット計算の一般原則であるため、削除ビットマップと組み合わせるためには、タイムトラベルと属性フィルタリング後のビットセット結果を反転させる必要がある。<code translate="no">filter_bitset</code> の反転結果は、[0, 1, 0, 1, 1, 1, 1]でなければならない。</p>
<p>削除ビットセット<code translate="no">del_bitset</code> の初期値は [0, 0, 0, 0, 0, 1, 1] である。しかし、エンティティ7と8は<code translate="no">ts</code> が300になるまで削除されない。したがって、<code translate="no">ts</code> が150 のとき、エンティティ7と8はまだ有効である。その結果、タイムトラベル後の<code translate="no">del_bitset</code> の値は[0, 0, 0, 0, 0, 0, 0]となる。</p>
<p>タイムトラベルと属性フィルタリングの結果、2つのビットセットができた： <code translate="no">filter_bitset</code> [0, 1, 0, 1, 1, 1, 1, 1]と<code translate="no">del_bitset</code> [0, 0, 0, 0, 0, 0, 0, 0]である。  この2つのビットセットを "OR "二進論理演算子で結合する。最終的な<code translate="no">result_bitset</code> の値は[0, 1, 0, 1, 1, 1, 1]となる。つまり、次の検索またはクエリーの段階では、エンティティ1と3のみが計算される。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/bitset_figure1_1b5852f7a7.jpeg" alt="Figure 1" class="doc-image" id="figure-1" />
   </span> <span class="img-wrapper"> <span>図1</span> </span></p>
<h3 id="Case-two" class="common-anchor-header">ケース2</h3><p>ユーザが<code translate="no">time_travel</code> に設定した値が 250 であるとする。つまり、<code translate="no">ts</code> = 250のとき、ユーザはMilvusに格納されているデータに対してクエリを実行する。ビットセット生成プロセスを図2に示す。</p>
<p>ケース1と同様に、最初の属性フィルタリング段階の結果<code translate="no">filter_bitset</code> は[1, 0, 1, 0, 1, 0, 1, 0]となる。</p>
<p><code translate="no">ts</code>= 250のとき、すべてのエンティティ[1, 2, 3, 4, 5, 6, 7, 8]がベクトルデータベースに挿入される。したがって、<code translate="no">filter_bitset</code> の前の結果は変わりません。再度、<code translate="no">filter_bitset</code> の結果を反転する必要があり、[0, 1, 0, 1, 0, 1, 0, 1]が得られる。</p>
<p>削除ビットセット<code translate="no">del_bitset</code> については、初期値は[0, 0, 0, 0, 0, 1, 1]となるはずである。しかし、エンティティ7と8は<code translate="no">ts</code> が300になるまで削除されなかった。したがって、<code translate="no">ts</code> が250 のとき、エンティティ7と8はまだ有効である。その結果、タイムトラベル後の<code translate="no">del_bitset</code> の値は[0, 0, 0, 0, 0, 0, 0]となる。</p>
<p>タイムトラベルと属性フィルタリングの結果、2つのビットセットができた： <code translate="no">filter_bitset</code> [0, 1, 0, 1, 0, 1, 0, 1] と<code translate="no">del_bitset</code> [0, 0, 0, 0, 0, 0, 0] である。  この2つのビットセットを "OR "二進論理演算子で結合する。<code translate="no">result_bitset</code> の最終的な値は [0, 1, 0, 1, 0, 1, 0, 1] である。つまり、[1, 3, 5, 7]のエンティティのみが、次の検索またはクエリーの段階で計算される。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/bitset_figure2_7cbaa7c719.jpeg" alt="Figure 2" class="doc-image" id="figure-2" />
   </span> <span class="img-wrapper"> <span>図2</span> </span></p>
<h3 id="Case-three" class="common-anchor-header">ケース3</h3><p>ユーザが<code translate="no">time_travel</code> に設定した値が350であるとする。つまり、<code translate="no">ts</code> = 350のとき、ユーザはMilvusに格納されているデータに対してクエリを実行する。ビットセット生成プロセスは図3のようになる。</p>
<p>ケース1および2と同様に、最初の属性フィルタリング段階の結果<code translate="no">filter_bitset</code> は[0, 1, 0, 1, 0, 1, 0, 1]である。</p>
<p><code translate="no">ts</code>= 350のとき、すべてのエンティティ[1, 2, 3, 4, 5, 6, 7, 8]がベクトル・データベースに挿入される。したがって、<code translate="no">filter_bitset</code> の最終的な反転結果は[0, 1, 0, 1, 0, 1, 0, 1]となり、ケース2と同じである。</p>
<p>削除ビットセット<code translate="no">del_bitset</code> については、<code translate="no">ts</code>=350の時点ですでにエンティティ7と8が削除されているため、<code translate="no">del_bitset</code> の結果は[0, 0, 0, 0, 0, 1, 1]となるはずである。</p>
<p>タイムトラベルと属性フィルタリングの結果、2つのビットセットができた： <code translate="no">filter_bitset</code> [0, 1, 0, 1, 0, 1, 0, 1, 1]と<code translate="no">del_bitset</code> [0, 0, 0, 0, 0, 1, 1]である。  この2つのビットセットを "OR "二進論理演算子で結合する。<code translate="no">result_bitset</code> の最終的な値は [0, 1, 0, 1, 0, 1, 1, 1] である。つまり、次の検索またはクエリーの段階では、エンティティ[1, 3, 5]だけが計算される。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/bitset_figure3_dd46a6aecf.jpeg" alt="Figure 3" class="doc-image" id="figure-3" />
   </span> <span class="img-wrapper"> <span>図3</span> </span></p>
<h2 id="Whats-next" class="common-anchor-header">次の機能は？<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>2.0新機能シリーズのブログでは、新機能の設計を説明することを目的としています。このブログシリーズの続きを読む</p>
<ul>
<li><a href="https://milvus.io/blog/2022-02-07-how-milvus-deletes-streaming-data-in-distributed-cluster.md">Milvusが分散クラスタのストリーミングデータを削除する方法</a></li>
<li><a href="https://milvus.io/blog/2022-2-21-compact.md">Milvusでデータをコンパクトにするには？</a></li>
<li><a href="https://milvus.io/blog/2022-02-28-how-milvus-balances-query-load-across-nodes.md">Milvusはどのようにノード間のクエリ負荷をバランスするのか？</a></li>
<li><a href="https://milvus.io/blog/2022-2-14-bitset.md">Bitsetがベクトル類似検索の多様性を可能にする方法</a></li>
</ul>


ビットセットがベクトル類似検索の多用途性を可能にする理由

<custom-h1>Milvusが分散クラスタでストリーミングデータを削除する方法</custom-h1><p>Milvus2.0は、バッチとストリームの統合処理とクラウドネイティブアーキテクチャを特徴としており、DELETE機能の開発において、前作よりも大きな挑戦となりました。その先進的なストレージと計算の分離設計と柔軟な公開/サブスクリプションメカニズムのおかげで、我々はそれを実現できたことを誇りに思います。Milvus2.0では、指定されたコレクション内のエンティティを主キーで削除することで、削除されたエンティティが検索やクエリの結果に表示されなくなります。</p>
<p>MilvusのDELETE操作は論理的な削除であり、物理的なデータのクリーンアップはData Compactionで行われることに注意してください。論理削除はI/O速度に制約される検索性能を大幅に向上させるだけでなく、データ復元を容易にします。論理削除されたデータも、タイムトラベル機能を利用することで復元することができます。</p>
<h2 id="Usage" class="common-anchor-header">使い方<button data-href="#Usage" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>まず、Milvus 2.0のDELETE関数を試してみましょう。(以下の例ではMilvus 2.0.0上のPyMilvus 2.0.0を使用しています）。</p>
<pre><code translate="no" class="language-python"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> connections, utility, Collection, DataType, FieldSchema, CollectionSchema
<span class="hljs-comment"># Connect to Milvus</span>
connections.connect(
    alias=<span class="hljs-string">&quot;default&quot;</span>, 
    host=<span class="hljs-string">&#x27;x.x.x.x&#x27;</span>, 
    port=<span class="hljs-string">&#x27;19530&#x27;</span>
)
<span class="hljs-comment"># Create a collection with Strong Consistency level</span>
pk_field = FieldSchema(
    name=<span class="hljs-string">&quot;id&quot;</span>, 
    dtype=DataType.INT64, 
    is_primary=<span class="hljs-literal">True</span>, 
)
vector_field = FieldSchema(
    name=<span class="hljs-string">&quot;vector&quot;</span>, 
    dtype=DataType.FLOAT_VECTOR, 
    dim=<span class="hljs-number">2</span>
)
schema = CollectionSchema(
    fields=[pk_field, vector_field], 
    description=<span class="hljs-string">&quot;Test delete&quot;</span>
)
collection_name = <span class="hljs-string">&quot;test_delete&quot;</span>
collection = Collection(
    name=collection_name, 
    schema=schema, 
    using=<span class="hljs-string">&#x27;default&#x27;</span>, 
    shards_num=<span class="hljs-number">2</span>,
    consistency_level=<span class="hljs-string">&quot;Strong&quot;</span>
)
<span class="hljs-comment"># Insert randomly generated vectors</span>
<span class="hljs-keyword">import</span> random
data = [
    [i <span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-number">100</span>)],
    [[random.random() <span class="hljs-keyword">for</span> _ <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-number">2</span>)] <span class="hljs-keyword">for</span> _ <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-number">100</span>)],
]
collection.insert(data)
<span class="hljs-comment"># Query to make sure the entities to delete exist</span>
collection.load()
expr = <span class="hljs-string">&quot;id in [2,4,6,8,10]&quot;</span>
pre_del_res = collection.query(
    expr,
    output_fields = [<span class="hljs-string">&quot;id&quot;</span>, <span class="hljs-string">&quot;vector&quot;</span>]
)
<span class="hljs-built_in">print</span>(pre_del_res)
<span class="hljs-comment"># Delete the entities with the previous expression</span>
collection.delete(expr)
<span class="hljs-comment"># Query again to check if the deleted entities exist</span>
post_del_res = collection.query(
    expr,
    output_fields = [<span class="hljs-string">&quot;id&quot;</span>, <span class="hljs-string">&quot;vector&quot;</span>]
)
<span class="hljs-built_in">print</span>(post_del_res)
<button class="copy-code-btn"></button></code></pre>
<h2 id="Implementation" class="common-anchor-header">実装<button data-href="#Implementation" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvusインスタンスにおいて、データノードは主にストリーミングデータ（ログブローカ内のログ）を履歴データ（ログスナップショット）としてパッキングし、オブジェクトストレージに自動的にフラッシュする役割を担っています。クエリノードは完全なデータ、すなわちストリーミングデータと履歴データの両方に対して検索要求を実行する。</p>
<p>クラスタ内の並列ノードのデータ書き込み能力を最大限に活用するため、Milvusはプライマリキーハッシングに基づくシャーディング戦略を採用し、書き込み処理を異なるワーカーノードに均等に分散する。つまり、プロキシはエンティティのデータ操作言語（DML）メッセージ（すなわちリクエスト）を同じデータノードとクエリノードにルーティングします。これらのメッセージはDML-Channelを通して公開され、データノードとクエリノードによって別々に消費され、検索とクエリのサービスを一緒に提供します。</p>
<h3 id="Data-node" class="common-anchor-header">データノード</h3><p>データINSERTメッセージを受信したデータノードは、メモリ内のストリーミングデータを受信するために作成された新しいセグメントである成長セグメントにデータを挿入します。データ行数か成長セグメントの持続時間のいずれかが閾値に達すると、データノードはそれを封印して、データの受信を防ぐ。その後、データノードは、履歴データを含む封印されたセグメントをオブジェクトストレージにフラッシュする。一方、データノードは新しいデータの主キーに基づいてブルームフィルタを生成し、封印されたセグメントと一緒にオブジェクトストレージに流し、セグメントの統計情報を含む統計バイナリログ（binlog）の一部としてブルームフィルタを保存する。</p>
<blockquote>
<p>ブルームフィルタは、長いバイナリベクトルと一連のランダムマッピング関数からなる確率的データ構造である。ある要素が集合のメンバーであるかどうかをテストするために使用できるが、偽の正一致を返す可能性がある。           -- ウィキペディア</p>
</blockquote>
<p>データ DELETE メッセージが来ると、データノードは対応するシャード内のすべてのブルームフィルタをバッファリングし、メッセージで指定されたプライマリキーと照合して、削除するエンティティを含む可能性のあるすべてのセグメント（成長しているものと封印されたものの両方から）を検索する。対応するセグメントを特定すると、data node はそれらをメモリにバッファリングして、削除操作を記録する Delta binlog を生成し、それらの binlog をセグメントと一緒にオブジェクトストレージにフラッシュします。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/data_node_2397ad70c3.png" alt="Data Node" class="doc-image" id="data-node" />
   </span> <span class="img-wrapper"> <span>データノード</span> </span></p>
<p>1つのシャードには1つのDML-Channelしか割り当てられないため、クラスタに追加されたクエリノードはDML-Channelにサブスクライブできません。すべてのクエリノードが DELETE メッセージを受信できるように、データノードは DML-Channel からの DELETE メッセージをフィルタリングし、すべてのクエリノードに削除操作を通知するために Delta-Channel に転送します。</p>
<h3 id="Query-node" class="common-anchor-header">クエリノード</h3><p>オブジェクトストレージからコレクションをロードする場合、クエリノードはまず各シャードのチェックポイントを取得します。チェックポイントに基づき、クエリノードはすべてのシールされたセグメントをデルタビンログとブルームフィルタとともにロードします。すべてのデータがロードされると、クエリノードはDML-Channel、Delta-Channel、およびQuery-Channelをサブスクライブします。</p>
<p>コレクションがメモリにロードされた後、さらにデータINSERTメッセージが来た場合、クエリノードはまず、メッセージに従って成長しているセグメントをピンポイントで特定し、クエリのみを目的として、メモリ内の対応するブルームフィルタを更新する。これらのクエリ専用のブルームフィルタは、クエリ終了後にオブジェクトストレージにフラッシュされることはありません。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/query_node_a78b1d664f.png" alt="Query Node" class="doc-image" id="query-node" />
   </span> <span class="img-wrapper"> <span>クエリ・ノード</span> </span></p>
<p>上述したように、DML-Channel から DELETE メッセージを受信できるのは一定数のクエリ・ノードのみであり、そのクエリ・ノードのみが DELETE リクエストを成長するセグメントで実行できることを意味します。DML-Channel を購読しているクエリノードは、まず成長セグメントの DELETE メッセージをフィルタリングし、提供された主キーと成長セグメントのクエリ専用のブルームフィルタをマッチングさせてエンティティを特定し、対応するセグメントに削除操作を記録する。</p>
<p>DML-Channel をサブスクライブできないクエリノードは、Delta-Channel をサブスクライブし、データノードから転送された DELETE メッセージを受信することしかできないため、密封されたセグメントに対する検索リクエストやクエリリクエストを処理することしかできない。Delta-Channel から密閉されたセグメント内のすべての DELETE メッセージを収集した後、クエリノードは提供された主キーを密閉されたセグメントのブルームフィルターとマッチさせることでエンティティの位置を特定し、対応するセグメントに削除操作を記録する。</p>
<p>最終的に、検索またはクエリにおいて、クエリノードは削除レコードに基づいてビットセットを生成し、削除されたエンティティを省略し、セグメントのステータスに関係なく、すべてのセグメントから残りのエンティティを検索する。最後に、一貫性レベルは削除されたデータの可視性に影響します。強い一貫性レベル (前のコードサンプルで示したとおり) では、削除されたエンティティは削除後すぐに見えなくなります。Bounded Consistency Levelが採用されている場合、削除されたエンティティが見えなくなるまで数秒の待ち時間が発生します。</p>
<h2 id="Whats-next" class="common-anchor-header">次は何でしょうか？<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>2.0新機能シリーズのブログでは、新機能の設計を説明することを目的としています。このブログシリーズの続きを読む</p>
<ul>
<li><a href="https://milvus.io/blog/2022-02-07-how-milvus-deletes-streaming-data-in-distributed-cluster.md">Milvusが分散クラスタでストリーミングデータを削除する方法</a></li>
<li><a href="https://milvus.io/blog/2022-2-21-compact.md">Milvusでデータをコンパクトにするには？</a></li>
<li><a href="https://milvus.io/blog/2022-02-28-how-milvus-balances-query-load-across-nodes.md">Milvusはどのようにノード間のクエリ負荷をバランスさせるのか？</a></li>
<li><a href="https://milvus.io/blog/2022-2-14-bitset.md">Bitsetがベクトル類似検索の多様性を可能にする方法</a></li>
</ul>


使い方

Milvus 2.0 - 新機能の紹介

<p>Milvusコミュニティのメンバーおよび友人の皆様：</p>
<p>最初のリリース候補(RC)が公開されてから6ヶ月が経過した本日、Milvus 2.0が<a href="https://milvus.io/docs/v2.0.x/release_notes.md#v200">一般公開(GA)さ</a>れ、本番稼動が可能となったことを発表できることを嬉しく思います！コミュニティへの貢献者、ユーザー、そしてLF AI &amp; Data Foundationの皆様をはじめ、多くの方々のご協力に感謝いたします。</p>
<p>何十億もの高次元データを処理する能力は、最近のAIシステムにとって大きな課題であり、それには十分な理由がある：</p>
<ol>
<li>非構造化データは、従来の構造化データと比較して圧倒的なボリュームを占めている。</li>
<li>データの鮮度がかつてないほど重要になっているのだ。データ・サイエンティストは、従来のT+1の妥協ではなく、タイムリーなデータ・ソリューションを切望している。</li>
<li>Cost and performance have become even more critical, and yet there still exists a big gap between current solutions and real world use cases.
Hence, Milvus 2.0.Milvusは、高次元データを大規模に扱うためのデータベースである。クラウド用に設計されており、あらゆる場所で実行できる。MilvusのRCリリースをご覧になっている方は、Milvusをより安定させ、デプロイと保守を容易にするために多大な労力を費やしてきたことをご存知でしょう。</li>
</ol>
<h2 id="Milvus-20-GA-now-offers" class="common-anchor-header">Milvus 2.0 GAでは以下の機能が追加されました。<button data-href="#Milvus-20-GA-now-offers" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><strong>エンティティ削除</strong></p>
<p>データベースとして、Milvusは<a href="https://milvus.io/docs/v2.0.x/delete_data.md">プライマリキーによるエンティティの削除を</a>サポートするようになりました。</p>
<p><strong>自動ロードバランス</strong></p>
<p>Milvusは、各クエリノードとデータノードの負荷をバランスさせるプラグインロードバランスポリシーをサポートするようになりました。計算とストレージの分離により、バランスは数分で完了します。</p>
<p><strong>ハンドオフ</strong></p>
<p>成長中のセグメントがフラッシュによって封印されると、ハンドオフタスクは成長中のセグメントをインデックス化された過去のセグメントと置き換え、検索パフォーマンスを向上させます。</p>
<p><strong>データコンパクション</strong></p>
<p>データコンパクションは、小さなセグメントを大きなセグメントにマージし、論理的に削除されたデータをクリーンアップするバックグラウンドタスクである。</p>
<p><strong>組み込みetcdとローカルデータストレージのサポート</strong></p>
<p>Milvusのスタンドアロンモードでは、わずかな設定でetcd/MinIOの依存性を取り除くことができる。ローカルデータストレージは、メインメモリへの全データのロードを回避するローカルキャッシュとしても使用できます。</p>
<p><strong>多言語SDK</strong></p>
<p><a href="https://github.com/milvus-io/pymilvus">PyMilvusに加えて</a>、<a href="https://github.com/milvus-io/milvus-sdk-node">Node.js</a>、<a href="https://github.com/milvus-io/milvus-sdk-java">Java</a>、<a href="https://github.com/milvus-io/milvus-sdk-go">Goの</a>SDKがすぐに使えるようになりました。</p>
<p><strong>Milvus K8s Operator</strong></p>
<p><a href="https://milvus.io/docs/v2.0.x/install_cluster-milvusoperator.md">Milvus Operatorは</a>、Milvusコンポーネントと関連する依存関係（etcd、Pulsar、MinIOなど）の両方を含む完全なMilvusサービススタックを、スケーラブルで可用性の高い方法でターゲットの<a href="https://kubernetes.io/">Kubernetes</a>クラスタにデプロイして管理するための簡単なソリューションを提供します。</p>
<p><strong>Milvusの管理に役立つツール</strong></p>
<p>管理ツールの素晴らしい貢献には<a href="https://zilliz.com/">Zilliz氏に</a>感謝している。直感的なGUIでMilvusを操作できる<a href="https://milvus.io/docs/v2.0.x/attu.md">Attuと</a>、Milvusを管理するためのコマンドラインツール<a href="https://milvus.io/docs/v2.0.x/cli_overview.md">Milvus_CLI</a>です。</p>
<p>212人の貢献者のおかげで、コミュニティは過去6ヶ月間に6718のコミットを完了し、大量の安定性とパフォーマンスに関する問題が解決されました。2.0のGAリリース後、すぐに安定性とパフォーマンスのベンチマークレポートを公開する予定です。</p>
<h2 id="Whats-next" class="common-anchor-header">次は何ですか？<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><strong>機能性</strong></p>
<p>文字列型のサポートはmilvus 2.1の次のキラー機能です。また、TTL(time to live)メカニズムや基本的なACL管理も導入し、ユーザーのニーズをより満足させる予定です。</p>
<p><strong>可用性</strong></p>
<p>各セグメントでマルチメモリレプリカをサポートするため、クエリコーデックスケジューリングメカニズムのリファクタリングに取り組んでいます。複数のアクティブレプリカにより、Milvusはより高速なフェイルオーバーと投機的実行をサポートし、ダウンタイムを数秒以内に短縮することができます。</p>
<p><strong>パフォーマンス</strong></p>
<p>パフォーマンスベンチマークの結果は、近日中に弊社ウェブサイトで公開される予定です。次のリリースでは、目覚ましいパフォーマンスの向上が期待されます。私たちの目標は、より小さなデータセットでの検索レイテンシーを半減し、システム・スループットを2倍にすることです。</p>
<p><strong>使いやすさ</strong></p>
<p>Milvusはどこでも動作するように設計されています。MilvusはMacOS(M1とX86の両方)とARMサーバー上で動作し、今後数回のリリースでサポートされる予定です。また、組み込みPyMilvusも提供する予定です。これにより、複雑な環境設定をすることなく、<code translate="no">pip install</code> 。</p>
<p><strong>コミュニティガバナンス</strong></p>
<p>メンバールールを洗練し、貢献者の役割の要件と責任を明確にします。クラウドネイティブなデータベース、ベクトル検索、コミュニティガバナンスに興味のある方は、お気軽にご連絡ください。</p>
<p>Milvus GAの最新リリースにとても興奮しています！いつも通り、皆様からのフィードバックをお待ちしております。何か問題がありましたら、遠慮なく<a href="https://github.com/milvus-io/milvus">GitHub</a>または<a href="http://milvusio.slack.com/">Slackで</a>ご連絡ください。</p>
<p><br/></p>
<p>よろしくお願いします、</p>
<p>シャオファン・ルアン</p>
<p>Milvusプロジェクト・メインテナー</p>
<p><br/></p>
<blockquote>
<p><em>編集者：<a href="https://github.com/claireyuw">Claire Yu</a>.</em></p>
</blockquote>


Milvus 2.0一般提供開始のお知らせ

<p>この記事の翻訳：<a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">アンジェラ・ニー</a></p>
<p>情報は私たちの生活のいたるところにある。メタ（旧名フェイスブック）、インスタグラム、ツイッター、その他のソーシャルメディア・プラットフォームは、情報ストリームをよりユビキタスなものにしている。そのため、このような情報ストリームを扱うエンジンは、ほとんどのシステム・アーキテクチャにおいて必須となっている。しかし、ソーシャルメディア・プラットフォームや関連アプリのユーザーであれば、記事やニュース、ミームなどの重複に悩まされたことがあるに違いない。重複コンテンツに触れることは、情報検索のプロセスを妨げ、悪いユーザーエクスペリエンスにつながる。</p>
<p>情報ストリームを扱う製品にとって、同一のニュースや広告を重複排除するために、システムアーキテクチャにシームレスに統合できる柔軟なデータプロセッサを見つけることは、開発者にとって最優先事項である。</p>
<p>評価額<a href="https://techcrunch.com/2021/09/15/news-aggregator-smartnews-raises-230-million-valuing-its-business-at-2-billion/">20億</a>ドルの<a href="https://www.smartnews.com/en/">SmartNewsは</a>、米国で最も評価の高いニュースアプリ企業である。同社は、オープンソースのベクトル・データベースであるMilvusのユーザーであったが、その後Milvusプロジェクトに積極的に貢献するようになった。</p>
<p>この記事では、SmartNewsのストーリーを紹介し、同社がなぜMilvusプロジェクトに貢献することにしたのかについて述べる。</p>
<h2 id="An-overview-of-SmartNews" class="common-anchor-header">SmartNewsの概要<button data-href="#An-overview-of-SmartNews" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>SmartNewsは2012年に設立され、東京に本社を置いている。SmartNewsが開発するニュースアプリは、日本市場で常に<a href="https://www.businessinsider.com/guides/smartnews-free-news-app-2018-9">トップクラスの評価を得て</a>いる。SmartNewsは<a href="https://about.smartnews.com/en/2019/06/12/smartnews-builds-global-momentum-with-over-500-us-growth-new-executives-and-three-new-offices/">最も急成長している</a>ニュースアプリであり、米国市場でも<a href="https://about.smartnews.com/en/2018/07/21/smartnews-reaches-more-than-10-million-monthly-active-users-in-the-united-states-and-japan/">高いユーザー粘度を誇って</a>いる。<a href="https://www.appannie.com/en/">APP Annieの</a>統計によると、SmartNewsの月間平均セッション時間は、2021年7月末までにすべてのニュースアプリの中で1位となり、AppleNewsやGoogle Newsの累積セッション時間を上回りました。</p>
<p>SmartNewsは、ユーザーベースと粘度の急速な増加に伴い、レコメンデーションメカニズムとAIアルゴリズムの面でより多くの課題に直面しなければならない。そのような課題には、大規模な機械学習（ML）における膨大な離散的特徴の活用、ベクトル類似性検索による非構造化データクエリの高速化などが含まれます。</p>
<p>2021年の初め、SmartNewsのダイナミック広告アルゴリズムチームは、AIインフラチームに、広告のリコールとクエリの機能を最適化する必要があるとのリクエストを送った。AIインフラエンジニアのシュウは、2カ月にわたる調査の結果、複数のインデックスと類似性メトリクス、オンラインデータ更新をサポートするオープンソースのベクトルデータベース、Milvusの使用を決定した。Milvusは世界中の1000以上の組織から信頼されている。</p>
<h2 id="Advertisement-recommendation-powered-by-vector-similarity-search" class="common-anchor-header">ベクトル類似検索による広告推薦<button data-href="#Advertisement-recommendation-powered-by-vector-similarity-search" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>オープンソースのベクトルデータベースMilvusは、SmartNewsの広告システムに採用され、10ミリオンスケールのデータセットからダイナミックな広告をマッチングし、ユーザーに推薦します。そうすることで、SmartNewsは、ユーザーデータと広告データという、これまでマッチングできなかった2つのデータセットの間にマッピング関係を作り出すことができる。2021年第2四半期、シュウはKubernetes上にMilvus 1.0をデプロイすることに成功した。<a href="https://milvus.io/docs">Milvusのデプロイ</a>方法についてはこちらをご覧ください。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/image1_2a88ed162f.png" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<p>Milvus 1.0のデプロイが成功した後、Milvusを使用する最初のプロジェクトは、SmartNewsの広告チームが開始した広告リコールプロジェクトだった。初期段階では、広告データセットは100万規模であった。一方、P99のレイテンシーは10ミリ秒未満に厳密に制御されていた。</p>
<p>2021年6月、シュウとアルゴリズムチームの同僚たちは、Milvusをより多くのビジネスシナリオに適用し、リアルタイムでのデータ集約とオンラインデータ/インデックス更新を試みた。</p>
<p>現在までに、オープンソースのベクトルデータベースであるMilvusは、広告推薦を含むSmartNewsの様々なビジネスシナリオで使用されている。</p>
<h2 id="From-a-user-to-an-active-contributor" class="common-anchor-header"><strong>ユーザーから積極的な貢献者へ</strong><button data-href="#From-a-user-to-an-active-contributor" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>MilvusをSmartnewsの製品アーキテクチャに統合していく中で、シュウをはじめとする開発者から、ホットリロード、アイテムのTTL（time-to-live）、アイテムの更新／置換などの機能の要望が出てきました。これらは、milvusコミュニティの多くのユーザーが望んでいた機能でもある。そこで、SmartNewsのAIインフラストラクチャチームの責任者であるデニス・ザオは、ホットリロード機能を開発し、コミュニティに貢献することを決めた。デニスは、"SmartNewsチームはMilvusコミュニティから恩恵を受けており、コミュニティと共有できるものがあれば喜んで貢献したい "と考えていた。</p>
<p>データリロードは、コード実行中のコード編集をサポートします。データリロードの助けを借りて、開発者はブレークポイントで停止したり、アプリケーションを再起動したりする必要がなくなりました。代わりに、コードを直接編集し、その結果をリアルタイムで見ることができる。</p>
<p>7月下旬、SmartNewsのエンジニアであるYusup氏は、ホット・リロードを実現するために<a href="https://milvus.io/docs/v2.0.x/collection_alias.md#Collection-Alias">コレクション・エイリアスを</a>使用するアイデアを提案した。</p>
<p>コレクションエイリアスの作成とは、コレクションにエイリアス名を指定することである。コレクションは複数のエイリアスを持つことができる。しかし、エイリアスは最大1つのコレクションに対応する。コレクションとロッカーを比較してみましょう。ロッカーは、コレクションのように、それ自身の番号と位置を持ち、それは常に変更されません。しかし、ロッカーから常に異なるものを入れたり引き出したりすることができる。同様に、コレクションの名前は固定ですが、コレクション内のデータは動的です。Milvusの<a href="https://milvus.io/docs/v2.0.x/release_notes.md#v200-PreGA">GA以前のバージョンでは</a>、データ削除がサポートされているため、コレクション内のベクターの挿入や削除はいつでも可能です。</p>
<p>SmartNews広告ビジネスの場合、新しいダイナミック広告ベクターが生成されると、1億近いベクターが挿入または更新されます。これにはいくつかの解決策がある：</p>
<ul>
<li>解決策1：まず古いデータを削除し、新しいデータを挿入する。</li>
<li>解決策2：新しいデータ用に新しいコレクションを作成する。</li>
<li>解決策3：コレクションエイリアスを使用する。</li>
</ul>
<p>解決策1について、最も端的な欠点は、特に更新するデータセットが膨大な場合、非常に時間がかかることである。億単位のデータセットを更新するには、一般的に数時間かかる。</p>
<p>解決策2に関しては、新しいコレクションがすぐに検索できないことが問題である。つまり、ロード中はコレクションを検索できない。さらに、Milvusは2つのコレクションが同じコレクション名を使うことを許さない。新しいコレクションに切り替えるには、常にユーザーがクライアント側のコードを手動で修正する必要があります。つまり、コレクションを切り替える必要があるたびに、<code translate="no">collection_name</code> パラメータの値を修正しなければなりません。</p>
<p>解決策3は特効薬です。新しいコレクションに新しいデータを挿入し、コレクションエイリアスを使用するだけです。そうすることで、検索を行うためにコレクションを切り替える必要があるたびに、コレクションエイリアスを入れ替えるだけでよい。コードを修正するための余分な労力は必要ありません。この解決策を使えば、前の2つの解決策で述べたような手間が省けます。</p>
<p>Yusupは、この要望からスタートし、SmartNewsチーム全体がMilvusのアーキテクチャを理解する手助けをした。1ヶ月半後、MilvusプロジェクトはYusupからホットリロードに関するPRを受け取った。そしてその後、この機能はMilvus 2.0.0-RC7のリリースとともに正式に利用できるようになった。</p>
<p>現在、AIインフラチームが中心となり、Milvus 2.0の導入と、Milvus 1.0から2.0への全データの移行を順次進めている。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/image2_96c064a627.png" alt="img_collection alias" class="doc-image" id="img_collection-alias" />
   </span> <span class="img-wrapper"> <span>img_collection エイリアス</span> </span></p>
<p>コレクションエイリアスのサポートは、特に大量のユーザーリクエストを抱える大規模なインターネット企業にとって、ユーザーエクスペリエンスを大幅に向上させることができる。MilvusとSmartnewsの架け橋となったMilvusコミュニティのデータエンジニアであるChenglong Liは、「コレクションエイリアス機能は、MilvusユーザーであるSmartNewsの実際のビジネスリクエストから生まれました。そしてSmartNewsは、Milvusコミュニティにコードを提供してくれました。この互恵的な行為は、コミュニティからコミュニティのためにというオープンソース精神の素晴らしい例です。我々は、SmartNewsのような貢献者が増え、共同でより繁栄したMilvusコミュニティを構築することを望んでいる。"</p>
<p>"現在、広告ビジネスの一部がオフラインベクターデータベースとしてMilvusを採用している。Milvus 2.0の正式リリースが近づいており、Milvusを使ってより信頼性の高いシステムを構築し、より多くのビジネスシーンにリアルタイムサービスを提供できることを期待しています」とデニスは語った。</p>
<blockquote>
<p>更新: Milvus 2.0は現在一般公開されています！<a href="/blog/ja/2022-1-25-annoucing-general-availability-of-milvus-2-0.md">詳細はこちら</a></p>
</blockquote>


SmartNewsの物語 - Milvusユーザーから積極的な貢献者へ

<p>2021年は、オープンソースプロジェクトとしてのMilvusにとって素晴らしい年となりました。このような素晴らしい年に貢献してくれたMilvusのすべての貢献者、ユーザー、そしてパートナーにこの場を借りてお礼を申し上げたい。</p>
<p><strong>私にとって今年最も印象的な出来事のひとつは、Milvus 2.0のリリースです。このプロジェクトを開始する前、私たちが世界で最も先進的なベクターデータベースを提供できると信じていたコミュニティメンバーはごく少数でしたが、今、Milvus 2.0 GAがプロダクションレディになったことを誇りに思います。</strong></p>
<p>私たちはすでに2022年に向けて新たなエキサイティングな課題に取り組んでいますが、昨年私たちが踏み出した大きなステップのいくつかを祝うのは楽しいことだと思いました。いくつか紹介しよう：</p>
<h2 id="Community-Growth" class="common-anchor-header">コミュニティの成長<button data-href="#Community-Growth" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>まず、GitHubとSlackのコミュニティ統計のまとめです。2021年12月末までに</p>
<ul>
<li><p><strong>貢献者は</strong>2020年12月の121人から2021年12月には209人に増加（172％増）</p></li>
<li><p><strong>スターは</strong>2020年12月の4828から2021年12月には9090に増加（188％増）</p></li>
<li><p><strong>フォークは</strong>2020年12月の756人から2021年12月には1383人に増加（182％増）</p></li>
<li><p><strong>Slackメンバーは</strong>2020年12月の541人から2021年12月の1233人に増加（227％増）</p></li>
</ul>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_1_e94deb087f.png" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>イメージ</span> </span></p>
<h2 id="Community-Governance-and-Advocacy" class="common-anchor-header">コミュニティ・ガバナンスとアドボカシー<button data-href="#Community-Governance-and-Advocacy" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvusが2019年10月に初めてオープンソースになったとき、私たちは比較的小さなチームと小さなコミュニティを持っていたので、当然、プロジェクトは主に数人のコアチームメンバーによって統治されていました。しかし、その後コミュニティが大きく成長したため、新しい貢献者をより効率的に迎えることができるよう、プロジェクトを運営するためのより良いシステムが必要であることに気づきました。</p>
<p>その結果、私たちは2021年に5人の新しいメンテナを任命し、進行中の作業と報告された問題を追跡して、タイムリーにレビューとマージが行われるようにしました。5人のメンテナーのGitHub IDは、@xiaofan-luan; @congqixia; @scsven; @czs007; @yanliang567です。PRで助けが必要な場合は、遠慮なくこれらのメンテナに連絡してください。</p>
<p>また、<a href="https://milvus.io/community/milvus_advocate.md">Milvus Advocate Programを</a>立ち上げました。あなたの経験を共有し、コミュニティメンバーに援助を提供し、見返りに評価を得るために、より多くの方の参加をお待ちしています。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_2_835f379fb0.png" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>イメージ</span> </span></p>
<p>(Image: Milvus GitHub contributors, dynamicwebpaigeの<a href="https://github.com/dynamicwebpaige/nanowrimo-2021/blob/main/15_VS_Code_contributors.ipynb">プロジェクトで</a>作成 )</p>
<h2 id="Milvus-Project-Announcements-and-Milestones" class="common-anchor-header">Milvusプロジェクトからのお知らせとマイルストーン<button data-href="#Milvus-Project-Announcements-and-Milestones" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ol>
<li><strong>バージョンリリース数：14</strong></li>
</ol>
<ul>
<li><a href="https://milvus.io/blog/Whats-Inside-Milvus-1.0.md">Milvus 1.0 リリース</a></li>
<li><a href="https://milvus.io/blog/milvus2.0-redefining-vector-database.md">Milvus 2.0 RCリリース</a></li>
<li><a href="https://milvus.io/docs/v2.0.x/release_notes.md#v200-PreGA">Milvus2.0リリースPreGA</a></li>
</ul>
<ol>
<li><strong>Milvus v2.0.0 GA対応SDK</strong></li>
</ol>
<ul>
<li><p>PyMilvus (利用可能)</p></li>
<li><p>Go SDK (利用可能)</p></li>
<li><p>Java SDK (利用可能)</p></li>
<li><p>Node.js SDK（利用可能）</p></li>
<li><p>C++ SDK (開発中)</p></li>
</ul>
<ol start="3">
<li><strong>Milvus新ツール提供開始</strong></li>
</ol>
<ul>
<li><a href="https://github.com/zilliztech/milvus_cli#community">Milvus_CLI</a>(Milvus コマンドライン)</li>
<li><a href="https://github.com/zilliztech/attu">Attu</a>(Milvus管理GUI)</li>
<li><a href="https://github.com/milvus-io/milvus-operator">Milvus K8s オペレータ</a></li>
</ul>
<ol start="4">
<li><p><strong><a href="https://lfaidata.foundation/blog/2021/06/23/lf-ai-data-foundation-announces-graduation-of-milvus-project/">MilvusはLF AI &amp; Data Foundationの卒業プロジェクトとなりました。</a></strong></p></li>
<li><p><strong><a href="https://www.cs.purdue.edu/homes/csjgwang/pubs/SIGMOD21_Milvus.pdf">Milvus: A Purpose-Built Vector Data Management SystemがSIGMOD'2021に掲載されました。）</a></strong></p></li>
<li><p><strong><a href="https://discuss.milvus.io/">Milvusコミュニティフォーラムを立ち上げました。</a></strong></p></li>
</ol>
<h2 id="Community-Events" class="common-anchor-header">コミュニティイベント<button data-href="#Community-Events" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>現在のCovid-19の状況にもかかわらず、私たちのグローバルなコミュニティメンバーが（主にバーチャルで）会うことができるように、今年も多くのイベントを主催し、参加しました。合計で21のカンファレンスに参加し、ホストを務めました：</p>
<ul>
<li>6 技術ミーティング</li>
<li>7 Milvusオフィスアワー</li>
<li>34 ウェビナー</li>
<li>3 オフラインミートアップ</li>
</ul>
<p>2022年にはさらに多くのイベントを計画しています。お近くで開催されるイベントに参加されたい方は、コミュニティフォーラムの「<a href="https://discuss.milvus.io/c/events-and-meetups/13">イベントとミートアップ</a>」カテゴリーで、今後のイベントと開催場所をご確認ください。今後のイベントのスピーカーやホストをご希望の方は、<a href="mailto:community@milvus.io">community@milvus.io</a> までご連絡ください。</p>
<h2 id="Looking-Ahead-to-2022--Roadmap--Announcement" class="common-anchor-header">2022年に向けて-ロードマップとお知らせ<button data-href="#Looking-Ahead-to-2022--Roadmap--Announcement" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><strong>コミュニティ</strong></p>
<ol>
<li>Milvusプロジェクトメンバーシップを向上させ、より多くのメンテナやコミッタを集め、選出し、一緒にコミュニティを作り上げていく。</li>
<li>メンターシッププログラムを立ち上げ、コミュニティに参加し貢献したいと考える新参者をより多く支援する。</li>
<li><strong>技術文書、ユーザーガイド、コミュニティ文書を</strong>含む、コミュニティ文書のガバナンスを改善する。2022年には、コミュニティメンバーが一緒にMilvusハンドブックを完成させ、人々がMilvusのより良い使い方を学ぶことができるようになることを願っています。</li>
<li>上流のAIコミュニティや、Milvusが依存しているKubernetes、MinIO、etcd、Pulsarなどのコミュニティを含む、他のオープンソースコミュニティとの協力と交流を強化する。</li>
<li>SIGミーティングをより定期的に開催することで、よりコミュニティ主導型になる。現在運営されているsig-pymilvusの他に、2022年にはもっと多くのSIGを持つ予定です。</li>
</ol>
<p><strong>Milvusプロジェクト：</strong></p>
<ol>
<li>パフォーマンス・チューニング</li>
</ol>
<p>Milvusが選ばれる理由として、優れたパフォーマンスは常に重要な要素です。2022年にはパフォーマンス最適化プロジェクトを開始し、スループットと遅延を2倍以上向上させる予定です。また、メモリレプリカを導入し、スループットと小規模データセットでのシステムの安定性を向上させ、GPUをサポートし、インデックス構築とオンラインサービスを高速化する予定です。</p>
<ol start="2">
<li>機能性</li>
</ol>
<p>Milvus2.0では、既にベクトル/スカラーハイブリッド検索、エンティティ削除、タイムトラベルなどの機能をサポートしている。次の2つのメジャーリリースでは以下の機能をサポートする予定です：</p>
<ul>
<li>より豊富なデータ型のサポート：文字列、ブロブ、地理空間など。</li>
<li>ロールベースのアクセス制御</li>
<li>主キーの重複排除</li>
<li>ベクトルでの範囲検索のサポート（距離&lt;0.8の検索）</li>
<li>レストフルAPIのサポート、およびその他の言語SDK</li>
</ul>
<ol start="3">
<li>使いやすさ</li>
</ol>
<p>来年には、Milvusの導入と管理を支援するツールを開発する予定です。</p>
<ul>
<li><p>Milvus up：  K8sクラスタのないオフライン環境でMilvusを立ち上げるためのデプロイコンポーネント。また、モニタリング、トレース、その他Milvusの開発にも役立ちます。</p></li>
<li><p>Attu - クラスタ管理システムAttuの改良を続けます。健康診断やインデックスの最適化などの機能を追加する予定です。</p></li>
<li><p>Milvus DM: 他のデータベースやファイルからMilvusへベクターを移行するためのデータ移行ツールです。まずはFAISS、HNSW、Milvus 1.0/2.0をサポートし、その後MySQLやElasticsearchなど他のデータベースもサポートする予定です。</p></li>
</ul>
<h2 id="About-the-author" class="common-anchor-header">作者について<button data-href="#About-the-author" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Xiaofan Luan、Zillizのパートナー兼エンジニアリング・ディレクター、LF AI &amp; Data Foundationの技術諮問委員会メンバー。オラクル米国本社、Software Defined Storageの新興企業Hedvigを歴任。Alibaba Cloud Databaseチームに参加し、NoSQLデータベースHBaseとLindormの開発を担当。コーネル大学で電子コンピューター工学の修士号を取得。</p>


2021年のmilvus - 振り返りの年

<p>情報爆発の時代、私たちは音声、画像、動画、その他の非構造化データを常に生み出している。この膨大なデータをいかに効率的に分析するか。ニューラルネットワークの登場により、非構造化データをベクトルとして埋め込むことが可能になり、Milvusデータベースは、ベクトルデータの保存、検索、分析を完結させる基本的なデータサービスソフトウェアである。</p>
<p>しかし、Milvusのベクトル・データベースを素早く使うにはどうすればよいのだろうか。</p>
<p>APIは覚えるのが大変で、Milvusデータベースを操作する簡単なコマンドラインがあればいいのにと不満を持つユーザーもいます。</p>
<p>Milvus_CLIはMilvusベクトルデータベース専用のコマンドラインツールです。</p>
<p>Milvus_CLIはMilvusの便利なデータベースCLIであり、シェルの対話型コマンドを使用してデータベース接続、データインポート、データエクスポート、ベクトル計算を行うことができます。最新版のMilvus_CLIには以下の特徴があります。</p>
<ul>
<li><p>Windows、Mac、Linuxを含む全てのプラットフォームに対応</p></li>
<li><p>pipによるオンライン・オフラインインストールに対応</p></li>
<li><p>ポータブルでどこでも使用可能</p></li>
<li><p>Python用Milvus SDKをベースに開発されています。</p></li>
<li><p>ヘルプドキュメント付き</p></li>
<li><p>オートコンプリート対応</p></li>
</ul>
<h2 id="Installation" class="common-anchor-header">インストール方法<button data-href="#Installation" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus_CLIはオンラインでもオフラインでもインストールできます。</p>
<h3 id="Install-MilvusCLI-online" class="common-anchor-header">Milvus_CLIのオンラインインストール</h3><p>以下のコマンドを実行し、pipでMilvus_CLIをオンラインインストールします。Python 3.8以降が必要です。</p>
<pre><code translate="no">pip install milvus-cli
<button class="copy-code-btn"></button></code></pre>
<h3 id="Install-MilvusCLI-offline" class="common-anchor-header">Milvus_CLIのオフラインインストール</h3><p>Milvus_CLIをオフラインでインストールするには、まずリリースページから最新のtarballを<a href="https://github.com/milvus-io/milvus_cli/releases">ダウンロードして</a>ください。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_af0e832119.png" alt="1.png" class="doc-image" id="1.png" />
   </span> <span class="img-wrapper"> <span>1.png</span> </span></p>
<p>tarballのダウンロードが完了したら、以下のコマンドを実行してMilvus_CLIをインストールします。</p>
<pre><code translate="no">pip install milvus_cli-&lt;version&gt;.tar.gz
<button class="copy-code-btn"></button></code></pre>
<p>Milvus_CLIがインストールされたら、<code translate="no">milvus_cli</code> を実行してください。表示される<code translate="no">milvus_cli &gt;</code> プロンプトはコマンドラインの準備ができたことを示しています。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/2_b50f5d2a5a.png" alt="2.png" class="doc-image" id="2.png" />
   </span> <span class="img-wrapper"> <span>2.png</span> </span></p>
<p>M1チップを搭載したMacやPython環境のないPCを使用している場合は、ポータブルアプリケーションを使用することができます。そのためには、お使いのOSに対応するリリースページにあるファイルを<a href="https://github.com/milvus-io/milvus_cli/releases">ダウンロード</a>し、そのファイル上で<code translate="no">chmod +x</code> を実行して実行可能な状態にし、そのファイル上で<code translate="no">./</code> を実行して実行します。</p>
<h4 id="Example" class="common-anchor-header"><strong>実行例</strong></h4><p>次の例では、<code translate="no">milvus_cli-v0.1.8-fix2-macOS</code> を実行可能にして実行します。</p>
<pre><code translate="no"><span class="hljs-built_in">sudo</span> <span class="hljs-built_in">chmod</span> +x milvus_cli-v0.1.8-fix2-macOS
./milvus_cli-v0.1.8-fix2-macOS
<button class="copy-code-btn"></button></code></pre>
<h2 id="Usage" class="common-anchor-header">使用方法<button data-href="#Usage" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="Connect-to-Milvus" class="common-anchor-header">Milvusへの接続</h3><p>Milvusに接続する前に、Milvusがサーバにインストールされていることを確認してください。詳細は<a href="https://milvus.io/docs/v2.0.x/install_standalone-docker.md">Milvus Standaloneのインストール</a>または<a href="https://milvus.io/docs/v2.0.x/install_cluster-docker.md">Milvus Clusterのインストールを</a>参照してください。</p>
<p>Milvusがlocalhostにデフォルトポートでインストールされている場合、<code translate="no">connect</code> を実行してください。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/3_f950d3739a.png" alt="3.png" class="doc-image" id="3.png" />
   </span> <span class="img-wrapper"> <span>3.png</span> </span></p>
<p>そうでない場合は、MilvusサーバのIPアドレスを指定して以下のコマンドを実行してください。以下の例では、IPアドレスに<code translate="no">172.16.20.3</code> 、ポート番号に<code translate="no">19530</code> を使用しています。</p>
<pre><code translate="no">connect -h 172.16.20.3
<button class="copy-code-btn"></button></code></pre>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/4_9ff2db9855.png" alt="4.png" class="doc-image" id="4.png" />
   </span> <span class="img-wrapper"> <span>4.png</span> </span></p>
<h3 id="Create-a-collection" class="common-anchor-header">コレクションの作成</h3><p>このセクションでは、コレクションの作成方法を紹介します。</p>
<p>コレクションはエンティティで構成され、RDBMS のテーブルに似ています。詳細は<a href="https://milvus.io/docs/v2.0.x/glossary.md">用語集を</a>参照。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/5_95a88c1cbf.png" alt="5.png" class="doc-image" id="5.png" />
   </span> <span class="img-wrapper"> <span>5.png</span> </span></p>
<h4 id="Example" class="common-anchor-header">例</h4><p>以下の例では、<code translate="no">car</code> という名前のコレクションを作成します。<code translate="no">car</code> コレクションには、<code translate="no">id</code> 、<code translate="no">vector</code> 、<code translate="no">color</code> 、<code translate="no">brand</code> の4つのフィールドがあります。主キーフィールドは<code translate="no">id</code> である。詳細は<a href="https://milvus.io/docs/v2.0.x/cli_commands.md#create-collection">create collection</a>を参照。</p>
<pre><code translate="no">create collection -c car -f <span class="hljs-built_in">id</span>:INT64:primary_field -f vector:FLOAT_VECTOR:<span class="hljs-number">128</span> -f color:INT64:color -f brand:INT64:brand -p <span class="hljs-built_in">id</span> -a -d <span class="hljs-string">&#x27;car_collection&#x27;</span>
<button class="copy-code-btn"></button></code></pre>
<h3 id="List-collections" class="common-anchor-header">コレクションのリスト</h3><p>以下のコマンドを実行し、Milvusインスタンスのすべてのコレクションをリストアップします。</p>
<pre><code translate="no">list collections
<button class="copy-code-btn"></button></code></pre>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/6_1331f4c8bc.png" alt="6.png" class="doc-image" id="6.png" />
   </span> <span class="img-wrapper"> <span>6.png</span> </span></p>
<p>次のコマンドを実行して、<code translate="no">car</code> コレクションの詳細を確認します。</p>
<pre><code translate="no">describe collection -c car 
<button class="copy-code-btn"></button></code></pre>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/7_1d70beee54.png" alt="7.png" class="doc-image" id="7.png" />
   </span> <span class="img-wrapper"> <span>7.png</span> </span></p>
<h3 id="Calculate-the-distance-between-two-vectors" class="common-anchor-header">2つのベクトル間の距離を計算する</h3><p>以下のコマンドを実行して、<code translate="no">car</code> コレクションにデータをインポートします。</p>
<pre><code translate="no"><span class="hljs-keyword">import</span> -c car <span class="hljs-string">&#x27;https://raw.githubusercontent.com/zilliztech/milvus_cli/main/examples/import_csv/vectors.csv&#x27;</span>
<button class="copy-code-btn"></button></code></pre>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/8_7609a4359a.png" alt="8.png" class="doc-image" id="8.png" />
   </span> <span class="img-wrapper"> <span>8.png</span> </span></p>
<p><code translate="no">query</code> を実行し、プロンプトが表示されたら、<code translate="no">car</code> をコレクション名として、<code translate="no">id&gt;0</code> をクエリ式として入力する。以下の図に示すように、条件を満たすエンティティの ID が返される。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/9_f0755589f6.png" alt="9.png" class="doc-image" id="9.png" />
   </span> <span class="img-wrapper"> <span>9.png</span> </span></p>
<p><code translate="no">calc</code> を実行し、プロンプトが表示されたら適切な値を入力して、ベクトル配列間の距離を計算する。</p>
<h3 id="Delete-a-collection" class="common-anchor-header">コレクションの削除</h3><p>以下のコマンドを実行して、<code translate="no">car</code> コレクションを削除する。</p>
<pre><code translate="no"><span class="hljs-keyword">delete</span> collection -c car
<button class="copy-code-btn"></button></code></pre>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/10_16b2b01935.png" alt="10.png" class="doc-image" id="10.png" />
   </span> <span class="img-wrapper"> <span>10.png</span> </span></p>
<h2 id="More" class="common-anchor-header">その他<button data-href="#More" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus_CLIは上記の機能に限定されません。Milvus_CLIに含まれる全てのコマンドとそれぞれの説明を表示するには、<code translate="no">help</code> 。指定したコマンドの詳細を表示するには<code translate="no">&lt;command&gt; --help</code> を実行してください。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/11_5f31ccb1e8.png" alt="11.png" class="doc-image" id="11.png" />
   </span> <span class="img-wrapper"> <span>11.png</span> </span></p>
<p><strong>こちらも参照してください：</strong></p>
<p><a href="https://milvus.io/docs/v2.0.x/cli_commands.md">Milvus</a>Docsの<a href="https://milvus.io/docs/v2.0.x/cli_commands.md">Milvus_CLIコマンドリファレンスも</a>ご参照ください。</p>
<p>Milvus_CLIがMilvusベクターデータベースを簡単に利用するための一助となれば幸いです。私たちはMilvus_CLIを最適化し続けます。</p>
<p>ご質問がございましたら、GitHubに<a href="https://github.com/zilliztech/milvus_cli/issues">issueをご投稿</a>ください。</p>


Milvus_CLIを使い始める

Milvusクラウド・スケーラブル・ベクター・データベースの進化

<p>近年、知的財産権侵害に対する人々の意識がますます高まり、知的財産権保護の問題が脚光を浴びている。特に、多国籍テクノロジー大手のアップル社は、商標権、特許権、意匠権などの<a href="https://en.wikipedia.org/wiki/Apple_Inc._litigation">知的財産権侵害を理由に、様々な企業に対して</a>積極的に訴訟を起こしている。これらの最も悪名高い事例とは別に、アップル社は2009年にも、オーストラリアのスーパーマーケットチェーン、<a href="https://www.smh.com.au/business/apple-bites-over-woolworths-logo-20091005-ghzr.html">ウールワース・リミテッドによる商標権</a>侵害を理由とする<a href="https://www.smh.com.au/business/apple-bites-over-woolworths-logo-20091005-ghzr.html">商標出願を争って</a>いる。  アップル社はは、オーストラリアのブランドのロゴである様式化された「w」が、自社のロゴであるリンゴに似ていると主張した。そのため、アップル社は、ウールワースがこのロゴを使用して販売することを申請した電子機器などの製品群に異議を申し立てた。物語は、ウールワースがロゴを修正し、アップル社が反対を取り下げることで幕を閉じる。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Logo_of_Woolworths_b04ece5b20.png" alt="Logo of Woolworths.png" class="doc-image" id="logo-of-woolworths.png" />
   </span> <span class="img-wrapper"> <span>ウールワースのロゴ.png</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Logo_of_Apple_Inc_181e5bd5f8.png" alt="Logo of Apple Inc.png" class="doc-image" id="logo-of-apple-inc.png" />
   </span> <span class="img-wrapper"> <span>アップル社のロゴ.png</span> </span></p>
<p>ブランド文化に対する意識がますます高まる中、企業は自社の知的財産（IP）権を害するような脅威には目を光らせている。知的財産権の侵害には以下が含まれる：</p>
<ul>
<li>著作権侵害</li>
<li>特許侵害</li>
<li>商標権侵害</li>
<li>デザイン侵害</li>
<li>サイバースクワッティング</li>
</ul>
<p>前述のアップルとウールワースの紛争は、主に商標権侵害をめぐるものであり、正確には両者の商標イメージの類似をめぐるものである。Woolworthsの二の舞にならないためには、商標出願前および商標出願審査中の両方において、商標の徹底的な類似性調査が重要なステップとなる。最も一般的な方法は、<a href="https://tmsearch.uspto.gov/search/search-information">米国特許商標庁（USPTO）のデータベースで</a>検索することである。あまり魅力的なUIではないにもかかわらず、この検索プロセスは、画像を検索するために単語と商標意匠コード（デザインの特徴を手作業で注釈したラベル）に依存しているため、そのテキストベースの性質によって深い欠陥もある。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/image_8_b2fff6ca11.png" alt="8.png" class="doc-image" id="8.png" />
   </span> <span class="img-wrapper"> <span>8.png</span> </span></p>
<p>そこで本稿では、オープンソースのベクターデータベースである<a href="https://milvus.io">Milvusを用いて</a>、画像ベースの効率的な商標類似検索システムを構築する方法を紹介する。</p>
<h2 id="A-vector-similarity-search-system-for-trademarks" class="common-anchor-header">商標のベクトル類似検索システム<button data-href="#A-vector-similarity-search-system-for-trademarks" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>商標のベクトル類似検索システムを構築するには、以下のステップを踏む必要がある：</p>
<ol>
<li>膨大なロゴのデータセットを用意する。このよう<a href="https://developer.uspto.gov/product/trademark-24-hour-box-and-supplemental">な</a>データセットを使うことができる。）</li>
<li>データセットとデータ駆動型モデルまたはAIアルゴリズムを使って画像特徴抽出モデルをトレーニングする。</li>
<li>ステップ2で学習したモデルやアルゴリズムを使って、ロゴをベクトルに変換する。</li>
<li>ベクトルを保存し、オープンソースのベクトルデータベースMilvusでベクトルの類似性検索を行う。</li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/trademark_system_e9700df555.png" alt="Nike.png" class="doc-image" id="nike.png" />
   </span> <span class="img-wrapper"> <span>Nike.png</span> </span></p>
<p>以下では、商標のベクトル類似検索システムを構築するための2つの主要ステップ、すなわち画像特徴抽出にAIモデルを使用するステップと、ベクトル類似検索にMilvusを使用するステップについて詳しく見ていきましょう。我々の場合、CNN（畳み込みニューラルネットワーク）であるVGG16を用いて画像特徴を抽出し、埋め込みベクトルに変換している。</p>
<h3 id="Using-VGG16-for-image-feature-extraction" class="common-anchor-header">画像特徴抽出にVGG16を使用</h3><p><a href="https://medium.com/@mygreatlearning/what-is-vgg16-introduction-to-vgg16-f2d63849f615">VGG16は</a>大規模な画像認識のために設計されたCNNである。このモデルは画像認識において迅速かつ正確で、あらゆるサイズの画像に適用できます。以下はVGG16アーキテクチャの2つの図である。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/vgg16_layers_9e621f62cc.png" alt="9.png" class="doc-image" id="9.png" />
   </span> <span class="img-wrapper"> <span>9.png</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/vgg16_architecture_992614e882.png" alt="10.png" class="doc-image" id="10.png" />
   </span> <span class="img-wrapper"> <span>10.png</span> </span></p>
<p>VGG16モデルはその名の通り、16層のCNNである。VGG16とVGG19を含むすべてのVGGモデルは5つのVGGブロックを含み、各VGGブロックには1つ以上の畳み込み層がある。そして各ブロックの最後には、入力画像のサイズを小さくするための最大プーリング層が接続されている。カーネルの数は各畳み込み層内では等しいが、各VGGブロック内では2倍になる。したがって、モデルのカーネル数は最初のブロックの64から、4番目と5番目のブロックの512まで増加する。すべての畳み込みカーネルは<em>33サイズだが、プーリングカーネルはすべて22サイズである</em>。これは入力画像に関するより多くの情報を保存するのに適している。</p>
<p>したがって、VGG16はこの場合、膨大なデータセットの画像認識に適したモデルである。Python、Tensorflow、Kerasを使って、VGG16をベースに画像特徴抽出モデルを学習することができる。</p>
<h3 id="Using-Milvus-for-vector-similarity-search" class="common-anchor-header">Milvusをベクトル類似度検索に使う</h3><p>VGG16モデルを使って画像特徴を抽出し、ロゴ画像を埋め込みベクトルに変換したら、膨大なデータセットから類似ベクトルを検索する必要がある。</p>
<p>Milvusは、高いスケーラビリティと弾力性を特徴とするクラウドネイティブなデータベースです。また、データベースとしてデータの一貫性を保つことができます。このような商標の類似検索システムでは、最新の商標登録のような新しいデータがリアルタイムでシステムにアップロードされます。そして、これらの新しくアップロードされたデータは、即座に検索可能である必要がある。そこで本稿では、オープンソースのベクターデータベースであるMilvusを採用し、ベクター類似検索を行う。</p>
<p>ロゴベクターを挿入する際、商標登録のための商品・サービスの分類システムである<a href="https://en.wikipedia.org/wiki/International_(Nice)_Classification_of_Goods_and_Services">国際（ニース）商品・サービス分類に従って</a>、Milvusにロゴベクターの種類別のコレクションを作成することができます。例えば、洋服ブランドのロゴベクター群をMilvusの「洋服」という名前のコレクションに挿入し、技術ブランドのロゴベクター群を「技術」という名前の別のコレクションに挿入することができます。そうすることで、ベクトル類似検索の効率と速度を大幅に向上させることができます。</p>
<p>Milvusはベクトル類似検索のための複数のインデックスをサポートしているだけでなく、豊富なAPIとDevOpsを促進するためのツールも提供しています。以下の図は、<a href="https://milvus.io/docs/v2.0.x/architecture_overview.md">Milvusのアーキテクチャの</a>説明図です。Milvusの詳細については、Milvusの<a href="https://milvus.io/docs/v2.0.x/overview.md">紹介を</a>ご覧ください。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/milvus_architecture_ea45a5ab53.png" alt="11.png" class="doc-image" id="11.png" />
   </span> <span class="img-wrapper"> <span>11.png</span> </span></p>
<h2 id="Looking-for-more-resources" class="common-anchor-header">より多くのリソースをお探しですか？<button data-href="#Looking-for-more-resources" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p>Milvusを使用して、他のアプリケーションシナリオ用のベクトル類似性検索システムを構築してください：</p>
<ul>
<li><a href="https://milvus.io/blog/dna-sequence-classification-based-on-milvus.md">Milvusに基づくDNA配列分類</a></li>
<li><a href="https://milvus.io/blog/audio-retrieval-based-on-milvus.md">Milvusに基づく音声検索</a></li>
<li><a href="https://milvus.io/blog/building-video-search-system-with-milvus.md">ビデオ検索システム構築の4ステップ</a></li>
<li><a href="https://milvus.io/blog/building-intelligent-chatbot-with-nlp-and-milvus.md">NLPとMilvusによるインテリジェントQAシステムの構築</a></li>
<li><a href="https://milvus.io/blog/molecular-structure-similarity-with-milvus.md">新薬の発見を加速する</a></li>
</ul></li>
<li><p>オープンソースコミュニティ</p>
<ul>
<li><a href="https://bit.ly/307b7jC">GitHubで</a>Milvusを見つけ、貢献する。</li>
<li><a href="https://bit.ly/3qiyTEk">フォーラムで</a>コミュニティと交流する。</li>
<li><a href="https://bit.ly/3ob7kd8">Twitterで</a>つながる。</li>
</ul></li>
</ul>


知的財産保護におけるMilvus：Milvusによる商標類似検索システムの構築

なぜFlaskではなくFastAPIを選ぶのか？

MilvusとPaddlePaddleの組み合わせによる推薦システムの候補生成の高速化

<p>このチュートリアルでは、Milvus 2.0をWindows上で動作させる方法を紹介します。WindowsでMilvus 2.0を使い始めたい方、環境の都合でWindowsでMilvusを動かす必要がある方は、このチュートリアルを参考にしてください。この記事は<a href="https://github.com/matrixji">@matrixji</a> によって書かれました。</p>
<p>WindowsでMilvus 2.0を動かすには2つの方法があります：</p>
<ul>
<li><a href="#Compile-from-source-code">ソースコードからコンパイルする</a></li>
<li><a href="#Install-from-the-binary-package">バイナリパッケージからインストールする</a></li>
</ul>
<h2 id="Compile-from-source-code" class="common-anchor-header">ソースコードからコンパイルする<button data-href="#Compile-from-source-code" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="Prerequisites" class="common-anchor-header">前提条件</h3><p>Windows上でMilvus 2.0をコンパイルする前に、MinGW64/MSYSツールチェインをインストールする必要があります。インストール方法は<a href="https://www.msys2.org/">MSYS2を</a>参照してください。このチュートリアルのコンパイルはMSYS2 MinGW 64-bitのシェル内で行います。<code translate="no">$ pacman -Su</code> 、ツールチェインを更新することができます。</p>
<p>また、<code translate="no">$ pacman -S git</code> を実行して git をインストールすることをお勧めします。</p>
<h3 id="Step-1-Clone-code" class="common-anchor-header">ステップ1.コードのクローン</h3><p>以下のコマンドを実行して、<strong>matrixji/milvus</strong>リポジトリの<strong>windows-dev</strong>ブランチからコードをクローンします。現在、すべてのコミットは<strong>windows-dev</strong>ブランチでトレースできます。windows-devブランチは、アップストリームのメインブランチ<a href="https://github.com/milvus-io/milvus"><strong>milvus-io/milvusからの</strong></a>コミットを週単位でリベースしています。</p>
<pre><code translate="no" class="language-python">$ git <span class="hljs-built_in">clone</span> git@github.com:matrixji/milvus.git -b windows-dev
<button class="copy-code-btn"></button></code></pre>
<h3 id="Step-2-Compile-Milvus" class="common-anchor-header">ステップ2.milvusのコンパイル</h3><h4 id="1-Install-dependencies-and-toolchain" class="common-anchor-header">1.依存関係とツールチェーンのインストール</h4><p>以下のコマンドを実行して、必要な依存関係とツールチェーンをインストールする。インストール後、MinGW/MYSYシェルを再起動し、いくつかのツールの設定が正しく適用されていることを確認する必要があります。</p>
<pre><code translate="no" class="language-python">$ <span class="hljs-built_in">cd</span> milvus
$ scripts/install_deps_msys.sh
<button class="copy-code-btn"></button></code></pre>
<h4 id="2-Compile-Milvus" class="common-anchor-header">2.Milvusのコンパイル</h4><p>以下のコマンドを実行してMilvusをコンパイルし、パッケージ化する。</p>
<pre><code translate="no" class="language-python">$ make
$ sh scripts/package_windows.sh
<button class="copy-code-btn"></button></code></pre>
<p>成功すると、<code translate="no">windows_package</code> のサブディレクトリに zip ファイルが作成されます。この zip ファイルには、<code translate="no">minio.exe</code> および<code translate="no">etcd.exe</code> を含む、<code translate="no">milvus.exe</code> を実行するためのすべてのファイルが含まれています。</p>
<div class="alert note">
Milvus 2.0はGoで開発されています。サードパーティモジュールをインストールするために<a href='https://goproxy.cn/'>Goproxyを</a>設定する必要があるかもしれません。</div>
<h2 id="Install-from-the-binary-package" class="common-anchor-header">バイナリパッケージからのインストール<button data-href="#Install-from-the-binary-package" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><a href="https://github.com/matrixji/milvus/releases">Releases - matrixji/milvus</a> からコンパイル済みのバイナリパッケージをダウンロードすることもできます。各リリースのプレフィックスは<strong>windows-test-</strong>で、例えば<strong>windows-test-v8 の</strong>ようになります。ご希望のリリースを探し、対応するzipパッケージをダウンロードしてください。</p>
<h3 id="Step-1-Start-Milvus" class="common-anchor-header">ステップ1.Milvusの起動</h3><h4 id="1-Unzip-the-package" class="common-anchor-header">1.パッケージの解凍</h4><p>パッケージを解凍すると、<code translate="no">milvus</code> ディレクトリができ、必要なファイルがすべて含まれています。</p>
<h4 id="2-Start-a-MinIO-service" class="common-anchor-header">2.MinIOサービスの起動</h4><p><code translate="no">run_minio.bat</code> ファイルをダブルクリックして、デフォルト設定でMinIOサービスを開始する。データは、サブディレクトリ<code translate="no">s3data</code> に保存されます。</p>
<h4 id="3-Start-an-etcd-service" class="common-anchor-header">3.etcdサービスの開始</h4><p><code translate="no">run_etcd.bat</code> ファイルをダブルクリックして、etcd サービスをデフォルト構成で起動します。</p>
<h4 id="4-Start-Milvus-service" class="common-anchor-header">4.Milvusサービスの開始</h4><p>Milvusサービスを開始するには、<code translate="no">run_milvus.bat</code> ファイルをダブルクリックします。</p>
<h3 id="Step-2-Run-hellomilvuspy" class="common-anchor-header">ステップ 2.実行<code translate="no">hello_milvus.py</code></h3><p>Milvusサービスを開始した後、<code translate="no">hello_milvus.py</code> を実行してテストすることができます。詳しくは<a href="https://milvus.io/docs/v2.0.x/example_code.md">Hello Milvusを</a>ご覧ください。</p>
<h2 id="Engage-with-our-open-source-community" class="common-anchor-header">オープンソースコミュニティに参加する<button data-href="#Engage-with-our-open-source-community" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><a href="https://bit.ly/3khejQB">GitHubで</a>Milvusを検索したり、Milvusに貢献することができます。</li>
<li><a href="https://bit.ly/307HVsY">フォーラムで</a>コミュニティと交流する。</li>
<li><a href="https://bit.ly/3wn5aek">Twitterで</a>つながる。</li>
</ul>


Windows上でMilvus 2.0を実行する

<custom-h1>終了 - Milvusハクトーバーフェスト2021</custom-h1><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Blog_cover_a6ce8748d7.jpeg" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<p>Hacktoberfestは終了しましたが、オープンソースプロジェクトへの貢献に終わりはありません！</p>
<p>10月を通して、<strong>36人のコントリビューター</strong>（コアチームを除く）から合計<strong>44のプルリクエスト</strong>（PR）が私たちのリポジトリに寄せられました。MilvusコミュニティがHacktoberfestに参加したのは今年が初めてでしたが、予想を上回る参加者数で、オープンソースへの意識が高まっていることを実感しました。</p>
<p>このイベントに参加された皆さんが、その過程でオープンソースやコミュニティ、役立つ技術スキルについて、何らかの実体験や知識を得ることができたことを願っています‼️‼️。</p>
<p>この投稿では、私たちの成果を一緒に祝い、ハクトーバーフェスト後もmilvusに貢献し続ける方法についてご案内したいと思います。</p>
<h2 id="📣-Shout-out-to-our-contributors" class="common-anchor-header"><strong>📣 貢献者にエールを送ります：</strong><button data-href="#📣-Shout-out-to-our-contributors" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>今年のHacktoberfest期間中、Milvusプロジェクトのリポジトリでは<strong>44のプルリクエストがマージさ</strong>れました！これは全ての面で大きな成果です。皆さん、お疲れ様でした！🎉</p>
<p><a href="https://github.com/parthiv11">parthiv11</a>、<a href="https://github.com/joremysh">joremysh</a>、<a href="https://github.com/noviicee">noviicee</a>、<a href="https://github.com/Biki-das">Biki-das</a>、<a href="https://github.com/Nadyamilona">Nadyamilona</a>、<a href="https://github.com/ashish4arora">ashish4arora</a>、<a href="https://github.com/Dhruvacube">Dhruvacube</a>、<a href="https://github.com/iamartyaa">iamartyaa</a>、<a href="https://github.com/RafaelDSS">RafaelDSS</a>、<a href="https://github.com/kartikcho">kartikcho</a>、<a href="https://github.com/GuyKh">GuyKh</a>、<a href="https://github.com/Deep1Shikha">Deep1Shikha</a>、<a href="https://github.com/shreemaan-abhishek">shreemaan-abhishek</a>、<a href="https://github.com/daniel-shuy">daniel-shuy</a>、<a href="https://github.com/Hard-Coder05">Hard-Coder05</a>、<a href="https://github.com/sapora1">sapora1</a>、<a href="https://github.com/Rutam21">Rutam21</a>、<a href="https://github.com/idivyanshbansal">idivyanshbansal</a>、<a href="https://github.com/Mihir501">Mihir501</a>、<a href="https://github.com/Ayushchaudhary-Github">YushChaudhary</a>、<a href="https://github.com/sreyan-ghosh">sreyan-ghosh</a>、<a href="https://github.com/chiaramistro">chiaramistro</a>、<a href="https://github.com/appledora">appledora</a>、<a href="https://github.com/luisAzcuaga">luisAzcuaga</a>、<a href="https://github.com/matteomessmer">matteomessmer</a>、<a href="https://github.com/Nadyamilona">Nadyamilona</a>、<a href="https://github.com/Tititesouris">Tititesouris</a>、<a href="https://github.com/amusfq">amusfq</a>、<a href="https://github.com/matrixji">matrixji</a>&amp;<a href="https://github.com/zamanmub">ジェネラルズマン</a></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/_80b0d87746.png" alt="image-20211110180357460" class="doc-image" id="image-20211110180357460" />
   </span> <span class="img-wrapper"> <span>image-20211110180357460</span> </span></p>
<h3 id="Here-are-some-extraordinary-Milvus-Hacktoberfest-2021-contributions" class="common-anchor-header">Milvus Hacktoberfest 2021の特別な貢献です：</h3><p><strong>⚙️ 新機能</strong></p>
<p><a href="https://github.com/milvus-io/milvus/issues/7706">Milvusのコンパイルと実行</a>by<a href="https://github.com/matrixji">matrixji</a></p>
<p><strong>(🏆トップコントリビューター 🏆)</strong></p>
<p><strong>ドキュメンテーション</strong></p>
<ul>
<li><a href="https://github.com/milvus-io/bootcamp/issues/720">Hello Milvus (example_code.md) を任意の言語に翻訳</a>by<a href="https://github.com/chiaramistro">chiaramistro</a>,<a href="https://github.com/appledora">appledora</a>,<a href="https://github.com/luisAzcuaga">luisAzcuaga</a>,<a href="https://github.com/matteomessmer">matteomessmer</a>,<a href="https://github.com/Nadyamilona">Nadyamilona</a>,<a href="https://github.com/Tititesouris">Tititesouris</a>&amp;<a href="https://github.com/amusfq">amusfq</a></li>
<li><a href="https://github.com/milvus-io/bootcamp/issues/720">example_code.md に NodeJS のサンプルを追加</a>by<a href="https://github.com/GuyKh">GuyKh</a></li>
<li><a href="https://github.com/milvus-io/milvus-docs/pull/921/files">upgrade.mdを翻訳</a>し、<a href="https://github.com/milvus-io/milvus-docs/pull/892">ユーザーガイドのパラメータをCNに追加・翻訳</a>した。</li>
<li><a href="https://github.com/milvus-io/milvus-docs/pull/753">tutorials/dna_sequence_classification.mdをCNに翻訳</a>&amp;<a href="https://github.com/milvus-io/milvus-docs/pull/752">reference/schema/collection_schema.mdをCNに翻訳</a>by<a href="https://github.com/daniel-shuy">daniel-shuy</a></li>
</ul>
<p><strong>🚀 ブートキャンプ</strong></p>
<ul>
<li><a href="https://github.com/milvus-io/bootcamp/pull/858">画像ハッシュ検索のためのJupyter Notebookチュートリアルの強化 </a>by<a href="https://github.com/zamanmub">generalZman</a></li>
<li><a href="https://github.com/milvus-io/bootcamp/pull/792">reverse_image_search の TOPK バグを修正</a>by<a href="https://github.com/RafaelDSS">RafaelDSS</a></li>
</ul>
<p><strong>🐍 PyMilvus</strong></p>
<ul>
<li><a href="https://github.com/milvus-io/pymilvus/issues/741">GitHub issue forms </a>(multiple repos)<a href="https://github.com/milvus-io/pymilvus/issues/741">を更新 </a>しました by<a href="https://github.com/Hard-Coder05">Hard-Coder05</a></li>
</ul>
<h3 id="Share-your-feedback-with-us" class="common-anchor-header">フィードバックを共有する</h3><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/h3_412b0f649b.png" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<p>Milvus Hacktoberfest 2021 の経験を私たちと共有することは大歓迎です！ブログ記事でも、ツイート（@milvusio）でも、<a href="https://discuss.milvus.io/c/hacktoberfest/9">フォーラムへの</a>投稿でも、何でも大歓迎です！</p>
<h2 id="Whats-Next" class="common-anchor-header">What's Next?<button data-href="#Whats-Next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="👩‍💻-Code--Documentation" class="common-anchor-header"><strong>👩‍💻</strong> <strong>コードとドキュメント</strong></h3><p>Milvusの知識が乏しい場合は、<a href="https://github.com/milvus-io/pymilvus">pymilvusや</a> <a href="https://github.com/milvus-io/milvus-docs">docs</a>reposに貢献することで、まずコミュニティの仕組みに慣れることができます。また、<strong>#goodfirstissueや</strong> <strong>#helpwantedなどの</strong>タグを探すこともできます。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/h4_f18c9b6c2c.png" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/h5_a4f90c24a8.png" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<p>貢献について質問がある場合は、フォーラムの<strong>貢献者</strong>カテゴリhttps://discuss.milvus.io/t/things-you-need-to-know-before-you-get-started/64、いつでもコミュニティに質問することができます。</p>
<h3 id="🏆-Be-a-Milvus-Advocate" class="common-anchor-header">🏆 Milvusの支持者になる</h3><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/advocate_1052d8249a.jpg" alt="image-20211110180730866" class="doc-image" id="image-20211110180730866" />
   </span> <span class="img-wrapper"> <span>image-20211110180730866</span> </span></p>
<p>あなたの経験や学んだことをコミュニティで共有しましょう。どのように改善できるかアイデアを提案したり、Milvusフォーラムで質問に答えたり、他の人を助けたりしてください。以下にいくつかの例を挙げますが、どのような形での貢献も歓迎します：</p>
<ul>
<li><p><strong>デモとソリューション：</strong>Milvusユーザーに対して、特定のシナリオ（例：音楽推薦システム）におけるMilvusプラットフォームの活用方法を紹介する。<a href="https://github.com/milvus-io/bootcamp">Milvus Bootcampに</a>例があります。</p></li>
<li><p><strong>ブログ記事、ユーザーストーリー、またはホワイトペーパー：</strong>Milvusの技術的な詳細を明確かつ正確に説明する高品質なコンテンツを書く。</p></li>
<li><p><strong>技術講演/生放送</strong>Milvusの認知度を高めるための講演やライブ放送を行う。</p></li>
<li><p><strong>その他</strong>Milvusとそのオープンソースコミュニティの発展に積極的な役割を果たすコンテンツであれば、どのようなものでも対象となります。</p></li>
</ul>
<p>詳細は、https://milvus.io/community/milvus_advocate.md をご覧ください。</p>
<p>最後になりましたが、今年のハクトーバーフェストにご参加いただき、私たちをメンターとして、また生徒として迎えてくださったことに改めて感謝いたします。この素晴らしいイベントを今年も主催してくださった<a href="https://hacktoberfest.digitalocean.com/">デジタルオーシャンに</a>感謝します。それではまた次回！</p>
<p>ハッピーコーディング</p>
<p>Milvusコミュニティチーム</p>


終了しました！Milvus ハクトーバーフェスト 2021

<p><em>Zillizテスト開発エンジニアのYufen Zongは、華中科技大学のコンピュータ技術修士号を取得。現在、Milvusベクトルデータベースの品質保証に従事しており、インターフェース統合テスト、SDKテスト、ベンチマークテストなどを含むが、これらに限定されない。Milvusのテストと開発における熱心な問題解決者であり、カオス工学の理論とフォールトドリルの実践の大ファンである。</em></p>
<h2 id="Background" class="common-anchor-header">経歴<button data-href="#Background" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvusベクトルデータベースを使用する際、様々なシナリオの要件を満たすためにデフォルトの設定を変更する必要があります。以前、あるMilvusユーザが、<a href="/blog/ja/2021-10-22-apply-configuration-changes-on-milvus-2.md">Docker Composeを使ってデプロイされたMilvusの設定を変更する</a>方法を紹介しました。今回は、Kubernetes上にデプロイされたMilvusの設定を変更する方法についてご紹介します。</p>
<h2 id="Modify-configuration-of-Milvus-on-Kubernetes" class="common-anchor-header">Kubernetes上のMilvusの設定を変更する<button data-href="#Modify-configuration-of-Milvus-on-Kubernetes" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>変更したい設定パラメータに応じて、様々な変更プランを選択することができます。Milvusの設定ファイルはすべて<strong>milvus/configs</strong>配下に格納されています。KubernetesにMilvusをインストールすると、ローカルにMilvus Helm Chartリポジトリが追加されます。<code translate="no">helm show values milvus/milvus</code> を実行することで、Chartで直接変更可能なパラメータを確認することができます。Chartで変更可能なパラメータについては、<code translate="no">--values</code> または<code translate="no">--set</code> を使用してパラメータを渡すことができます。詳しくは、<a href="https://artifacthub.io/packages/helm/milvus/milvus">Milvus Helm Chartと</a> <a href="https://helm.sh/docs/">Helmを</a>参照してください。</p>
<p>変更したいパラメータがリストにない場合は、以下の手順に従ってください。</p>
<p>以下の手順では、<strong>/milvus/configs/advanced/root_coord.yaml</strong>のパラメータ<code translate="no">rootcoord.dmlChannelNum</code> をデモ用に変更します。Kubernetes上でのMilvusの設定ファイル管理は、ConfigMapリソースオブジェクトを通して実装されている。パラメータを変更するには、まず対応するChartリリースのConfigMapオブジェクトを更新し、次に対応するPodのデプロイリソースファイルを修正する必要があります。</p>
<p>この方法は、デプロイされたmilvusアプリケーションのパラメータ変更にのみ適用されますのでご注意ください。デプロイ前に<strong>/milvus/configs/advanced/*.yaml</strong>のパラメータを変更するには、Milvus Helm Chart を再度開発する必要があります。</p>
<h3 id="Modify-ConfigMap-YAML" class="common-anchor-header">ConfigMap YAMLの変更</h3><p>以下のように、Kubernetes上で動作するMilvusリリースは、リリースと同じ名前のConfigMapオブジェクトに対応しています。ConfigMapオブジェクトの<code translate="no">data</code> セクションには、<strong>milvus.yamlの</strong>設定のみが含まれます。<strong>root_coord.yamlの</strong> <code translate="no">rootcoord.dmlChannelNum</code> を変更するには、<strong>root_coord.yamlの</strong>パラメータをConfigMap YAMLの<code translate="no">data</code> セクションに追加し、特定のパラメータを変更する必要があります。</p>
<pre><code translate="no">kind: ConfigMap
apiVersion: v1
metadata:
  name: milvus-chaos
  ...
data:
  milvus.yaml: &gt;
    ......
  root_coord.yaml: |
    rootcoord:
      dmlChannelNum: 128
      maxPartitionNum: 4096
      minSegmentSizeToEnableIndex: 1024
      <span class="hljs-built_in">timeout</span>: 3600 <span class="hljs-comment"># time out, 5 seconds</span>
      timeTickInterval: 200 <span class="hljs-comment"># ms</span>
<button class="copy-code-btn"></button></code></pre>
<h3 id="Modify-Deployment-YAML" class="common-anchor-header">デプロイメント YAML の変更</h3><p>ConfigMap に格納されたデータは、configMap タイプのボリュームで参照することができ、その後、ポッドで実行されているコンテナ化されたアプリケーションによって消費されます。新しい設定ファイルにポッドを誘導するには、<strong>root_coord.yaml</strong> 内の設定をロードする必要があるポッド・テンプレートを修正する必要があります。具体的には、デプロイメント YAML の<code translate="no">spec.template.spec.containers.volumeMounts</code> セクションの下にマウント宣言を追加する必要があります。</p>
<p>rootcoord podのデプロイメントYAMLを例にとると、<code translate="no">.spec.volumes</code> セクションに<strong>milvus-configという</strong> <code translate="no">configMap</code> タイプのボリュームが指定されています。また、<code translate="no">spec.template.spec.containers.volumeMounts</code> セクションでは、milvusリリースの<strong>milvus.yamlを</strong> <strong>/milvus/configigs/milvus.yamlに</strong>マウントすることが宣言されています。同様に、rootcoordコンテナ専用のマウント宣言を追加して、<strong>/milvus/configigs/advanced/root_coord.yamlに</strong> <strong>root_coord.yamlを</strong>マウントするだけで、コンテナは新しい設定ファイルにアクセスできるようになる。</p>
<pre><code translate="no" class="language-yaml">spec:
  replicas: 1
  selector:
    ......
  template:
    metadata:
      ...
    spec:
      volumes:
        - name: milvus-config
          configMap:
            name: milvus-chaos
            defaultMode: 420
      containers:
        - name: rootcoord
          image: <span class="hljs-string">&#x27;milvusdb/milvus-dev:master-20210906-86afde4&#x27;</span>
          args:
            ...
          ports:
            ...
          resources: {}
          volumeMounts:
            - name: milvus-config
              readOnly: <span class="hljs-literal">true</span>
              mountPath: /milvus/configs/milvus.yaml
              subPath: milvus.yaml
            - name: milvus-config
              readOnly: <span class="hljs-literal">true</span>
              mountPath: /milvus/configs/advanced/`root_coord.yaml
              subPath: root_coord.yaml
          terminationMessagePath: /dev/termination-log
          terminationMessagePolicy: File
          imagePullPolicy: IfNotPresent
      restartPolicy: Always
      terminationGracePeriodSeconds: 30
      dnsPolicy: ClusterFirst
      securityContext: {}
      schedulerName: default-scheduler
<button class="copy-code-btn"></button></code></pre>
<h3 id="Verify-the-result" class="common-anchor-header">結果の確認</h3><p>kubeletは、定期的な同期ごとに、マウントされたConfigMapが新しいかどうかをチェックします。ボリュームで消費される ConfigMap が更新されると、投影されたキーも自動的に更新されます。新しいポッドが再び実行されると、ポッドで修正が成功したかどうかを確認できます。パラメータ<code translate="no">rootcoord.dmlChannelNum</code> を確認するためのコマンドを以下に示します。</p>
<pre><code translate="no" class="language-bash">$ kctl <span class="hljs-built_in">exec</span> -ti milvus-chaos-rootcoord-6f56794f5b-xp2zs -- sh
<span class="hljs-comment"># cd configs/advanced</span>
<span class="hljs-comment"># pwd</span>
/milvus/configs/advanced
<span class="hljs-comment"># ls</span>
channel.yaml  common.yaml  data_coord.yaml  data_node.yaml  etcd.yaml  proxy.yaml  query_node.yaml  root_coord.yaml
<span class="hljs-comment"># cat root_coord.yaml</span>
rootcoord:
  dmlChannelNum: 128
  maxPartitionNum: 4096
  minSegmentSizeToEnableIndex: 1024
  <span class="hljs-built_in">timeout</span>: 3600 <span class="hljs-comment"># time out, 5 seconds</span>
  timeTickInterval: 200 <span class="hljs-comment"># ms</span>
<span class="hljs-comment"># exit</span>
<button class="copy-code-btn"></button></code></pre>
<p>以上がKubernetes上にデプロイされたMilvusの高度な設定を変更する方法である。Milvusの将来のリリースでは、すべての設定が1つのファイルに統合され、helm chartによる設定の更新がサポートされる予定だ。しかしその前に、この記事が一時的な解決策としてお役に立てれば幸いです。</p>
<h2 id="Engage-with-our-open-source-community" class="common-anchor-header">私たちのオープンソースコミュニティに参加してください：<button data-href="#Engage-with-our-open-source-community" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p><a href="https://bit.ly/307b7jC">GitHubで</a>Milvusを見つけたり、Milvusに貢献する。</p></li>
<li><p><a href="https://bit.ly/3qiyTEk">フォーラムで</a>コミュニティと交流する。</p></li>
<li><p><a href="https://bit.ly/3ob7kd8">Twitterで</a>つながる。</p></li>
</ul>


Milvus詳細設定の変更方法

はじめに

<custom-h1>技術共有：Docker Composeを使ったMilvus 2.0の設定変更の適用</custom-h1><p><em>ZillizデータエンジニアのJingjing Jiaは、西安交通大学でコンピュータサイエンスの学位を取得。Zilliz入社後は、主にデータの前処理、AIモデルのデプロイ、Milvus関連技術の研究、コミュニティユーザーのアプリケーションシナリオの実装支援に従事。忍耐強く、コミュニティパートナーとのコミュニケーションを好み、趣味は音楽鑑賞とアニメ鑑賞。</em></p>
<p>Milvusを頻繁に利用している私は、新しくリリースされたMilvus 2.0 RCにとても興奮した。公式サイトの紹介によると、Milvus 2.0は前作を大きく上回っているようだ。自分で試してみたくなった。</p>
<p>そして試した。  しかし、いざMilvus 2.0を手にしてみると、Milvus 2.0ではMilvus 1.1.1の時のように簡単に設定ファイルを変更することができないことに気がついた。Docker Composeで起動したMilvus 2.0のDockerコンテナ内で設定ファイルを変更することができず、強制的に変更しても反映されませんでした。その後、Milvus 2.0 RCはインストール後の設定ファイルの変更を検出できないことがわかりました。今後の安定版リリースでは、この問題が修正される予定だ。</p>
<p>様々なアプローチを試した結果、Milvus 2.0のスタンドアロンとクラスタに設定ファイルの変更を適用する確実な方法を見つけました。</p>
<p>Docker Composeを使用してMilvusを再起動する前に、すべての設定変更を行う必要があることに注意してください。</p>
<h2 id="Modify-configuration-file-in-Milvus-standalone" class="common-anchor-header">Milvusスタンドアロンの設定ファイルの変更<button data-href="#Modify-configuration-file-in-Milvus-standalone" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>まず、<strong>milvus.yaml</strong>ファイルのコピーをローカルデバイスに<a href="https://github.com/milvus-io/milvus/blob/master/configs/milvus.yaml">ダウンロード</a>する必要があります。</p>
<p>その後、ファイル内の設定を変更します。例えば、ログのフォーマットを<code translate="no">.json</code>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_1_ee4a16a3ee.png" alt="1.1.png" class="doc-image" id="1.1.png" />
   </span> <span class="img-wrapper"> <span>1.1.png</span> </span></p>
<p><strong>milvus.yaml</strong>ファイルを変更したら、スタンドアロン用の<strong>docker-compose.yaml</strong>ファイルも<a href="https://github.com/milvus-io/milvus/blob/master/deployments/docker/standalone/docker-compose.yml">ダウンロードして</a>変更する必要があります。milvus.yamlへのローカルパスを、対応するdockerコンテナのパスと設定ファイル<code translate="no">volumes</code> セクションの下にある<code translate="no">/milvus/configs/milvus.yaml</code> にマッピングします。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_2_5e7c73708c.png" alt="1.2.png" class="doc-image" id="1.2.png" />
   </span> <span class="img-wrapper"> <span>1.2.png</span> </span></p>
<p>最後に、<code translate="no">docker-compose up -d</code> を使って Milvus standalone を起動し、変更が成功したかどうかを確認します。例えば、<code translate="no">docker logs</code> を実行してログのフォーマットを確認してください。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_3_a0406df3ab.png" alt="1.3.png" class="doc-image" id="1.3.png" />
   </span> <span class="img-wrapper"> <span>1.3.png</span> </span></p>
<h2 id="Modify-configuration-file-in-Milvus-cluster" class="common-anchor-header">Milvusクラスタの設定ファイルの修正<button data-href="#Modify-configuration-file-in-Milvus-cluster" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>まず、<strong>milvus.yaml</strong>ファイルを<a href="https://github.com/milvus-io/milvus/blob/master/configs/milvus.yaml">ダウンロード</a>し、必要に応じて変更します。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_4_758b182846.png" alt="1.4.png" class="doc-image" id="1.4.png" />
   </span> <span class="img-wrapper"> <span>1.4.png</span> </span></p>
<p>次に、クラスタの<strong>docker-compose.yml</strong>ファイルを<a href="https://github.com/milvus-io/milvus/blob/master/deployments/docker/cluster/docker-compose.yml">ダウンロードして</a>修正します。<strong>milvus.yamlの</strong>ローカルパスを、すべてのコンポーネント（ルートコーデック、データコーデック、データノード、クエリコーデック、クエリノード、インデックスコーデック、インデックスノード、プロキシ）の設定ファイルの対応するパスにマッピングします。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_5_80e15811b8.png" alt="1.5.png" class="doc-image" id="1.5.png" />
   </span> <span class="img-wrapper"> <span>1.5.png</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_6_b2f3e4e47f.png" alt="1.6.png" class="doc-image" id="1.6.png" />
   </span> <span class="img-wrapper"> <span>1.6.png</span> </span> <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_7_4d1eb5e1e5.png" alt="1.7.png" class="doc-image" id="1.7.png" /></span> <span class="img-wrapper">1 </span>.<span class="img-wrapper">7<span>.png</span> </span></p>
<p>最後に、Milvusクラスタを<code translate="no">docker-compose up -d</code> 。</p>
<h2 id="Change-log-file-path-in-configuration-file" class="common-anchor-header">設定ファイルのログファイルパスの変更<button data-href="#Change-log-file-path-in-configuration-file" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>まず、<strong>milvus.yaml</strong>ファイルを<a href="https://github.com/milvus-io/milvus/blob/master/configs/milvus.yaml">ダウンロード</a>し、<code translate="no">rootPath</code> セクションをDockerコンテナ内のログファイルを保存するディレクトリに変更します。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_8_e3bdc4843f.png" alt="1.8.png" class="doc-image" id="1.8.png" />
   </span> <span class="img-wrapper"> <span>1.8.png</span> </span></p>
<p>その後、Milvus<a href="https://github.com/milvus-io/milvus/blob/master/deployments/docker/standalone/docker-compose.yml">スタンドアロン</a>または<a href="https://github.com/milvus-io/milvus/blob/master/deployments/docker/cluster/docker-compose.yml">クラスタに</a>対応する<strong>docker-compose.yml</strong>ファイルをダウンロードする。</p>
<p>スタンドアロンの場合は、ローカルの<strong>milvus.yamlへの</strong>パスを対応するDockerコンテナの設定ファイルへのパス<code translate="no">/milvus/configs/milvus.yaml</code> にマッピングし、ローカルのログファイルディレクトリを先に作成したDockerコンテナのディレクトリにマッピングする必要があります。</p>
<p>クラスタの場合は、すべてのコンポーネントで両方のパスをマップする必要があります。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_9_22d8929d92.png" alt="1.9.png" class="doc-image" id="1.9.png" />
   </span> <span class="img-wrapper"> <span>1.9.png</span> </span></p>
<p>最後に、Milvusスタンドアロンまたはクラスタを<code translate="no">docker-compose up -d</code> 。</p>


技術共有:Docker Composeを使ってMilvus 2.0の設定変更を適用する

<custom-h1>Milvusベクトルデータベースによるビデオ分析システムの構築</custom-h1><p><em>ZillizのデータエンジニアであるShiyu Chenは、西安大学でコンピュータサイエンスの学位を取得した。Zillizに入社して以来、音声・動画解析、分子式検索など様々な分野でMilvusのソリューションを探求し、コミュニティの応用シナリオを大いに豊かにしてきた。現在、さらに興味深いソリューションを探求中。余暇はスポーツと読書。</em></p>
<p>先週末<em>『フリーガイ』を見て</em>いたとき、警備員のバディ役の俳優をどこかで見たことがあるような気がしたが、彼の出演作を思い出すことができなかった。頭の中は "この人誰？"でいっぱいだった。確かに見たことのある顔なのに、必死に名前を思い出そうとしていた。似たようなケースに、昔よく飲んでいたお酒をビデオで主役が飲んでいるのを見たことがあるが、結局銘柄を思い出せなかったことがある。</p>
<p>答えは舌先にあったのだが、脳が完全に引っかかった感じだった。</p>
<p>映画を見ていると、舌先三寸（TOT）現象にイライラさせられる。動画を検索し、動画の内容を分析できる動画の逆画像検索エンジンがあればいいのだが。以前、<a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/reverse_image_search/quick_deploy">Milvusを使って逆画像検索エンジンを</a>作ったことがある。動画コンテンツ解析が画像解析に似ていることから、Milvusをベースに動画コンテンツ解析エンジンを構築することにした。</p>
<h2 id="Object-detection" class="common-anchor-header">オブジェクト検出<button data-href="#Object-detection" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="Overview" class="common-anchor-header">概要</h3><p>映像解析の前に、まず映像中の物体を検出する必要がある。ビデオ内のオブジェクトを効果的かつ正確に検出することは、このタスクの主な課題である。また、自動操縦、ウェアラブルデバイス、IoTなどのアプリケーションにとっても重要なタスクである。</p>
<p>伝統的な画像処理アルゴリズムからディープニューラルネットワーク（DNN）へと発展し、現在の物体検出の主流モデルには、R-CNN、FRCNN、SSD、YOLOなどがある。本トピックで紹介するmilvusベースのディープラーニング映像解析システムは、インテリジェントかつ迅速に物体を検出することができる。</p>
<h3 id="Implementation" class="common-anchor-header">実装</h3><p>映像中の物体を検出・認識するためには、まず映像からフレームを抽出し、そのフレーム画像から物体検出を用いて物体を検出し、次に検出した物体から特徴ベクトルを抽出し、最後に特徴ベクトルに基づいて物体を解析する。</p>
<ul>
<li>フレーム抽出</li>
</ul>
<p>映像解析はフレーム抽出により画像解析に変換される。現在、フレーム抽出技術は非常に成熟している。FFmpegやOpenCVのようなプログラムは、指定した間隔でフレームを抽出することをサポートしています。この記事では、OpenCVを使用して1秒ごとに動画からフレームを抽出する方法を紹介します。</p>
<ul>
<li>オブジェクト検出</li>
</ul>
<p>オブジェクト検出とは、抽出されたフレームからオブジェクトを見つけ、そのオブジェクトの位置に応じてスクリーンショットを抽出することです。以下の図のように、自転車、犬、車が検出されています。このトピックでは、物体検出によく使われるYOLOv3を使った検出方法を紹介します。</p>
<ul>
<li>特徴抽出</li>
</ul>
<p>特徴抽出とは、機械が認識しにくい非構造化データを特徴ベクトルに変換することです。例えば、画像はディープラーニングモデルを用いて多次元の特徴ベクトルに変換することができる。現在、画像認識のAIモデルとしては、VGG、GNN、ResNetなどが有名です。本トピックでは、ResNet-50を用いて、検出された物体から特徴量を抽出する方法を紹介します。</p>
<ul>
<li>ベクトル解析</li>
</ul>
<p>抽出した特徴ベクトルをライブラリベクトルと比較し、最も類似したベクトルに対応する情報を返します。大規模な特徴ベクトルデータセットでは、その計算が大きな課題となります。ここではmilvusを用いた特徴ベクトルの解析方法を紹介します。</p>
<h2 id="Key-technologies" class="common-anchor-header">主な技術<button data-href="#Key-technologies" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="OpenCV" class="common-anchor-header">OpenCV</h3><p>Open Source Computer Vision Library (OpenCV)は、クロスプラットフォームのコンピュータビジョンライブラリであり、画像処理とコンピュータビジョンのための普遍的なアルゴリズムを数多く提供しています。OpenCVはコンピュータビジョン分野で一般的に使用されています。</p>
<p>以下の例では、PythonでOpenCVを使用して、指定した間隔でビデオフレームをキャプチャし、画像として保存する方法を示します。</p>
<pre><code translate="no" class="language-python"><span class="hljs-keyword">import</span> cv2 
<span class="hljs-built_in">cap</span> = cv2.VideoCapture(file_path)   
framerate = <span class="hljs-built_in">cap</span>.get(cv2.CAP_PROP_FPS)   
allframes = <span class="hljs-type">int</span>(cv2.VideoCapture.get(<span class="hljs-built_in">cap</span>, <span class="hljs-type">int</span>(cv2.CAP_PROP_FRAME_COUNT)))  
success, image = <span class="hljs-built_in">cap</span>.read() 
cv2.imwrite(file_name, image)
<button class="copy-code-btn"></button></code></pre>
<h3 id="YOLOv3" class="common-anchor-header">YOLOv3</h3><p>You Only Look Once, Version 3（YOLOv3[5]）は、近年提案された1段階の物体検出アルゴリズムである。従来の同じ精度の物体検出アルゴリズムと比較して、YOLOv3は2倍高速である。本トピックで紹介するYOLOv3は、PaddlePaddle[6]の改良版である。複数の最適化手法を用いており、推論速度が向上している。</p>
<h3 id="ResNet-50" class="common-anchor-header">ResNet-50</h3><p>ResNet[7]は、そのシンプルさと実用性から、ILSVRC 2015の画像分類部門で優勝した。多くの画像解析手法の基礎として、ResNetは画像検出、セグメンテーション、認識に特化した人気のあるモデルであることが証明されている。</p>
<h3 id="Milvus" class="common-anchor-header">Milvus</h3><p><a href="https://milvus.io/">Milvusは</a>、機械学習モデルやニューラルネットワークによって生成された埋め込みベクトルを管理するために構築された、クラウドネイティブでオープンソースのベクトルデータベースです。コンピュータビジョン、自然言語処理、計算化学、パーソナライズされたレコメンダーシステムなどのシナリオで広く使用されています。</p>
<p>Milvusがどのように機能するかを以下の手順で説明する。</p>
<ol>
<li>非構造化データはディープラーニングモデルによって特徴ベクトルに変換され、Milvusにインポートされる。</li>
<li>Milvusは特徴ベクトルを保存し、インデックスを作成する。</li>
<li>Milvusは、ユーザーが問い合わせたベクトルと最も類似したベクトルを返す。</li>
</ol>
<h2 id="Deployment" class="common-anchor-header">デプロイメント<button data-href="#Deployment" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>これでMilvusベースのビデオ解析システムについてある程度ご理解いただけたと思います。システムは主に以下の図のように2つの部分から構成されています。</p>
<ul>
<li><p>赤い矢印はデータのインポート処理を示す。ResNet-50を用いて画像データセットから特徴ベクトルを抽出し、Milvusにインポートする。</p></li>
<li><p>黒い矢印は動画解析のプロセスを示す。まず、動画からフレームを抽出し、画像として保存する。次に、YOLOv3を用いて画像中の物体を検出・抽出する。次に、ResNet-50を使って画像から特徴ベクトルを抽出する。最後に、Milvusがオブジェクトの情報を検索し、対応する特徴ベクトルとともに返す。</p></li>
</ul>
<p>詳細は<a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/video_similarity_search/object_detection">Milvus Bootcampを</a>参照：<a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/video_similarity_search/object_detection">ビデオオブジェクト検出システム</a></p>
<p><strong>データのインポート</strong></p>
<p>データのインポート手順は簡単です。データを2,048次元ベクトルに変換し、Milvusにインポートします。</p>
<pre><code translate="no" class="language-python">vector = image_encoder.execute(filename)
entities = [vector]
collection.insert(data=entities)
<button class="copy-code-btn"></button></code></pre>
<p><strong>映像解析</strong></p>
<p>上記で紹介したように、ビデオ解析プロセスは、ビデオフレームのキャプチャ、各フレーム内のオブジェクトの検出、オブジェクトからのベクトルの抽出、ユークリッド距離（L2）メトリクスによるベクトルの類似度の計算、Milvusを使用した結果の検索が含まれます。</p>
<pre><code translate="no" class="language-python">images = extract_frame(filename, 1, prefix)   
detector = Detector()   
run(detector, DATA_PATH)       
vectors = get_object_vector(image_encoder, DATA_PATH)
search_params = {<span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&quot;L2&quot;</span>, <span class="hljs-string">&quot;params&quot;</span>: {<span class="hljs-string">&quot;nprobe&quot;</span>: 10}}
results = collection.search(vectors, param=search_params, <span class="hljs-built_in">limit</span>=10)
<button class="copy-code-btn"></button></code></pre>
<h2 id="Conclusion" class="common-anchor-header">結論<button data-href="#Conclusion" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>現在、データの80％以上は非構造化データである。AIの急速な発展に伴い、非構造化データを分析するためのディープラーニングモデルの開発が進んでいる。物体検出や画像処理などの技術は、学術界と産業界の両方で大きなブレークスルーを達成している。これらの技術により、より多くのAIプラットフォームが実用的な要件を満たすようになった。</p>
<p>本トピックで取り上げる動画解析システムは、動画コンテンツを迅速に解析できるMilvusで構築されている。</p>
<p>Milvusはオープンソースのベクトルデータベースとして、様々なディープラーニングモデルを用いて抽出された特徴ベクトルをサポートしている。Milvusは、Faiss、NMSLIB、Annoyなどのライブラリと統合され、直感的なAPIセットを提供し、シナリオに応じてインデックスタイプを切り替えることができる。さらに、Milvusはスカラーフィルタリングをサポートし、想起率と検索の柔軟性を高めている。Milvusは、画像処理、コンピュータビジョン、自然言語処理、音声認識、レコメンダーシステム、新薬発見など多くの分野に応用されている。</p>
<h2 id="References" class="common-anchor-header">参考文献<button data-href="#References" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>[1] A. D. Bagdanov, L. Ballan, M. Bertini, A. Del Bimbo."Trademark matching and retrieval in sports video databases.".Proceedings of the international workshop on Workshop on multimedia information retrieval, ACM, 2007. https://www.researchgate.net/publication/210113141_Trademark_matching_and_retrieval_in_sports_video_databases</p>
<p>[2] J. Kleban, X. Xie, W.-Y.Ma."Spatial pyramid mining for logo detection in natural scenes.".IEEE International Conference, 2008. https://ieeexplore.ieee.org/document/4607625</p>
<p>[3] R. Boia, C. Florea, L. Florea, R. Dogaru."ホモグラフィッククラスグラフを用いた自然画像におけるロゴの位置特定と認識".Machine Vision and Applications 27 (2), 2016. https://link.springer.com/article/10.1007/s00138-015-0741-7.</p>
<p>[4] R. Boia, C. Florea, L. Florea."Elliptical asift agglomeration in class prototype for logo detection.".BMVC, 2015. http://citeseerx.ist.psu.edu/viewdoc/download;jsessionid=5C87F52DE38AB0C90F8340DFEBB841F7?doi=10.1.1.707.9371&amp;rep=rep1&amp;type=pdf</p>
<p>[5] https://arxiv.org/abs/1804.02767</p>
<p>[6] https://paddlepaddle.org.cn/modelbasedetail/yolov3</p>
<p>[7] https://arxiv.org/abs/1512.03385</p>


オブジェクト検出

<custom-h1>Milvus、ハクトーバーフェスト2021に参加へ</custom-h1><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Hacktoberfest_89c929cace.png" alt="hacktoberfestCover" class="doc-image" id="hacktoberfestcover" />
   </span> <span class="img-wrapper"> <span>ハックトーバーフェスト表紙</span> </span></p>
<p><strong>AIアプリケーションを強化するベクターデータベースのMilvusは、本日、DigitalOceanが主催する第8回Hacktoberfestイベントへの参加を発表した！</strong></p>
<p>2014年、DigitalOceanはオープンソースソフトウェアプロジェクトを祝うというアイデアで<a href="https://hacktoberfest.digitalocean.com/">ハックトーバーフェストを</a>開始しました。長年にわたり、このイベントは着実に数万人から数千人の参加者に成長してきました。  今年、この1ヶ月間のイベントは、20万人以上のアクティブな参加者に成長しようとしています！</p>
<p>10月1日からは、ベテラン開発者から学生、コード初心者、テックライターからUXデザイナーまで、誰もがオープンソースコミュニティに貢献し、自分のスキルを向上させることができ、限定版スワッグなどが当たる特典もあります。</p>
<h2 id="Everyone-is-welcome" class="common-anchor-header">誰でも歓迎<button data-href="#Everyone-is-welcome" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvusプロジェクトに貢献する方法はたくさんあり、貢献するためにコードのスーパースターである必要はありません！コードのスーパースターでなくても、貢献することができるのです！実際、貢献するために幅広い経歴や長いスキルリストは必要ありません。あなたは優れたライターやエディターですか？  グラフィックやイラストを描くのが好きなら、完璧です！  GitHubの "issue "のリストもあります！</p>
<p>詳細は<a href="https://discuss.milvus.io/t/join-hacktoberfest-2021-with-us/72#how-to-participate-1">こちらを</a>ご覧ください。</p>
<h2 id="Contribute-get-noticed--earn-swag" class="common-anchor-header">貢献し、注目され、スワッグをもらおう<button data-href="#Contribute-get-noticed--earn-swag" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/swag_cae44023e8.png" alt="swag" class="doc-image" id="swag" />
   </span> <span class="img-wrapper"> <span>スワッグ</span> </span></p>
<p>オープンソースに貢献すること、あるいはオープンソースのコンセプトは、利他主義を体現するものです。限定ステッカー、Tシャツ、キーボード、そしてドローンもご用意しています！詳細は<a href="https://discuss.milvus.io/t/join-hacktoberfest-2021-with-us/72#prizes-8">フォーラムページを</a>ご覧ください。</p>
<p>DigitalOceanはまた、参加者にスワッグを提供し、ハクトーバーフェストの公式ウェブサイトからルールをチェックしてください。</p>
<h2 id="Whats-next" class="common-anchor-header">今後の予定<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p>先日、Hacktoberfestに関するバーチャルQ&amp;Aコールを開催しました。  録画は<a href="https://www.youtube.com/watch?v=cHjSTEHoiF8">こちらから</a>ご覧いただけます。</p></li>
<li><p>イベントに参加するには、milvus.ioのHacktoberfestページから<a href="https://hacktoberfest.com/">「クイックスタート」ガイドを</a>チェックすることをお勧めします。</p></li>
<li><p>私たちの<a href="https://github.com/milvus-io">GitHubレポを</a>チェックする（そして私たちに星をつけてください）！</p></li>
<li><p>ロックスターになるための参加者向け<a href="https://github.com/milvus-io/milvus/issues?q=is%3Aopen+is%3Aissue+label%3AHacktoberfest">「課題」</a>リストをご覧ください！</p></li>
</ul>
<h2 id="Helpful-links" class="common-anchor-header">役立つリンク<button data-href="#Helpful-links" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p><a href="https://hacktoberfest.com/"><strong>Milvus x Hactoberfestイベントページ</strong></a></p></li>
<li><p><a href="https://discuss.milvus.io/c/hacktoberfest/9"><strong>Milvusディスカッションフォーラム</strong></a>- Milvusフォーラムに参加することで、Milvusリリースの最新情報を得たり、他のユーザーと交流したり、イベント中に質問したりすることができます。</p></li>
<li><p><strong> <a href="https://twitter.com/milvusio">Twitterを</a>フォロー</strong>し、イベント期間中にあなたの貢献がハイライトされれば、特別なスワッグを獲得できるかもしれません！</p></li>
</ul>


誰でも歓迎

<custom-h1>ONNXとmilvusを使って画像検索のためのAIモデルを組み合わせる</custom-h1><p>Open Neural Network Exchange（ONNX）は、機械学習モデルを表現するために構築されたオープンフォーマットである。2017年にオープンソース化されて以来、ONNXはAIの標準として発展し、機械学習とディープラーニングモデルのビルディングブロックを提供している。ONNXは、AI開発者がさまざまなフレームワーク、ツール、ランタイム、コンパイラでモデルを使用できるようにするための共通のファイルフォーマットを定義しており、人工知能コミュニティにおけるイノベーションのスピードアップに貢献している。</p>
<p>Milvusはオープンソースのベクトルデータベースで、柔軟性、信頼性、高速性に優れています。ベクターの追加、削除、更新、ほぼリアルタイムの検索をサポートしています。Milvusは、直感的なAPIの包括的なセットを持ち、広く採用されている複数のインデックスライブラリ（Faiss、NMSLIB、Annoyなど）をサポートしているため、与えられたシナリオに対するインデックスの選択を簡素化することができます。Milvusの使い方はシンプルで、画像、音声、動画検索、レコメンデーション、チャットボット、新薬検索など、世界中の何百もの組織や機関で利用されている。</p>
<p>この記事では、ONNXとMilvusをベースに、画像検索に複数のモデルを使う方法を紹介する。VGG16モデルとResNet50モデルを例にとり、ONNXを使って異なるAIモデルを実行し、特徴ベクトルを生成し、最後にMilvusで特徴ベクトル検索を実行し、類似画像を返します。</p>
<h2 id="Process-Models-with-ONNX" class="common-anchor-header">ONNXでモデルを処理する<button data-href="#Process-Models-with-ONNX" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>ONNXフォーマットはAIモデル間で簡単に交換できる。例えば、TensorFlowモデルをONNX形式に変換し、Caffe環境で実行することができる。この例では、Kerasフレームワークの下で事前に訓練されたResNet50モデルをONNX形式に変換し、異なるモデルを分析するためにONNX形式でVGG16モデルを呼び出します。</p>
<pre><code translate="no" class="language-python"><span class="hljs-keyword">from</span> keras.applications.resnet50 <span class="hljs-keyword">import</span> ResNet50
<span class="hljs-keyword">import</span> tensorflow <span class="hljs-keyword">as</span> tf

<span class="hljs-comment"># load keras-resnet50 model and save as a floder</span>
model_resnet50 = ResNet50(include_top=<span class="hljs-literal">False</span>, pooling=<span class="hljs-string">&#x27;max&#x27;</span>, weights=<span class="hljs-string">&#x27;imagenet&#x27;</span>)
tf.saved_model.save(model_resnet50, <span class="hljs-string">&quot;keras_resnet50_model&quot;</span>)

<span class="hljs-comment"># convert resnet50 model to onnx</span>
! python -m tf2onnx.convert --saved-model <span class="hljs-string">&quot;keras_resnet50_model&quot;</span> --output <span class="hljs-string">&quot;onnx_resnet50.onnx&quot;</span>
<button class="copy-code-btn"></button></code></pre>
<p>注：<code translate="no">keras2onnx.convert_keras(model, model.name)</code> インタフェースを使ってモデルを変換すると、エラー<code translate="no">AttributeError:'KerasTensor' object has no attribute'graph'</code> が返される。そこで、PythonのBashコマンドを使って、Stack Overflowの解答に従って変換することができる。</p>
<h2 id="Extract-Feature-Vectors-using-Models" class="common-anchor-header">モデルを使った特徴ベクトルの抽出<button data-href="#Extract-Feature-Vectors-using-Models" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>ResNet50 モデルを ONNX フォーマットに変換した後、推論により画像の特徴ベクトルを直接抽出することができます。注意：特徴ベクトルは抽出後に正規化する必要があります。</p>
<pre><code translate="no" class="language-python"><span class="hljs-comment"># get the image vectors with onnx model</span>
<span class="hljs-keyword">def</span> <span class="hljs-title function_">get_onnx_vectors</span>(<span class="hljs-params">onnx_model, img_path</span>):
    img = image.load_img(img_path, target_size=(<span class="hljs-number">224</span>, <span class="hljs-number">224</span>))
    x = image.img_to_array(img)
    x = np.expand_dims(x, axis=<span class="hljs-number">0</span>)
    x = preprocess_input(x)
    
    sess = onnxruntime.InferenceSession(onnx_model)
    x = x <span class="hljs-keyword">if</span> <span class="hljs-built_in">isinstance</span>(x, <span class="hljs-built_in">list</span>) <span class="hljs-keyword">else</span> [x]
    feed = <span class="hljs-built_in">dict</span>([(<span class="hljs-built_in">input</span>.name, x[n]) <span class="hljs-keyword">for</span> n, <span class="hljs-built_in">input</span> <span class="hljs-keyword">in</span> <span class="hljs-built_in">enumerate</span>(sess.get_inputs())])
    feat = sess.run(<span class="hljs-literal">None</span>, feed)[<span class="hljs-number">0</span>]
    
    norm_feat = feat[<span class="hljs-number">0</span>] / LA.norm(feat[<span class="hljs-number">0</span>])
    norm_feat = [i.item() <span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> norm_feat]
    <span class="hljs-keyword">return</span> norm_feat
<button class="copy-code-btn"></button></code></pre>
<p>画像データの処理にはONNX形式のVGG16モデルを使用します：</p>
<pre><code translate="no" class="language-python"><span class="hljs-comment"># generate vectors with ResNet50 and VGG16 ONNX model</span>
2vec_resnet = get_onnx_vectors(<span class="hljs-string">&quot;onnx_resnet50.onnx&quot;</span>, <span class="hljs-string">&quot;./pic/example.jpg&quot;</span>)
3vec_vgg = get_onnx_vectors(<span class="hljs-string">&quot;onnx_vgg16.onnx&quot;</span>, <span class="hljs-string">&quot;./pic/example.jpg&quot;</span>)
<button class="copy-code-btn"></button></code></pre>
<h2 id="Store-Vector-Data" class="common-anchor-header">ベクトルデータの保存<button data-href="#Store-Vector-Data" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>写真のような非構造化データはコンピュータで直接処理することはできませんが、AIモデルを通してベクトルに変換し、コンピュータで分析することができます。Milvusのベクトルデータベースは、大規模な非構造化データの分析に威力を発揮するように設計されています。ベクトルデータを保存し、ほぼリアルタイムで分析を行うことができる。まず、Milvusに対応するモデルのコレクションを作成し、画像ベクトルを挿入する。</p>
<pre><code translate="no" class="language-python"><span class="hljs-keyword">from</span> milvus <span class="hljs-keyword">import</span> *

<span class="hljs-comment"># create collections in Milvus</span>
milvus.create_collection(resnet_collection_param)
milvus.create_collection(vgg_collection_param)

<span class="hljs-comment"># insert data to Milvus and return ids</span>
status, resnet_ids = milvus.insert(resnet_collection_name, resnet_vectors)
status, vgg_ids = milvus.insert(vgg_collection_name, vgg_vectors)
<button class="copy-code-btn"></button></code></pre>
<p>データが正常に挿入されると、Milvusはベクトルに対応するIDを返すので、IDから画像を探すことができる。今回使用したMilvus 1.1はスカラーフィルタリングに対応していないため（Milvus 2.0では対応している）、ベクターIDと画像パスのkey-valueの保存にはRedisを使用している。</p>
<pre><code translate="no" class="language-python"><span class="hljs-keyword">import</span> redis
<span class="hljs-keyword">def</span> <span class="hljs-title function_">img_ids_to_redis</span>(<span class="hljs-params">img_directory, res_ids</span>):
  <span class="hljs-keyword">for</span> img, ids <span class="hljs-keyword">in</span> <span class="hljs-built_in">zip</span>(images, res_ids):
    redis.<span class="hljs-built_in">set</span>(ids, img)
<button class="copy-code-btn"></button></code></pre>
<h2 id="Search-for-Similar-Images" class="common-anchor-header">類似画像の検索<button data-href="#Search-for-Similar-Images" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>データを保存した後、ベクトルを検索します。milvusはユークリッド距離、内積距離、ハミング距離など複数の距離計算方法をサポートしている。本稿の類似画像検索では、Milvusのベクトル間のユークリッド距離計算を採用し、類似ベクトルIDを返し、そのIDに対応する画像をRedisから検索する。</p>
<pre><code translate="no" class="language-python"><span class="hljs-comment"># search in Milvus and return the similarly results with ids</span>
<span class="hljs-keyword">def</span> <span class="hljs-title function_">search_in_milvus</span>(<span class="hljs-params">collection_name, search_vector</span>):
    status, results = milvus.search(collection_name, TOP_K, [search_vector])
    <span class="hljs-built_in">print</span>(status)
    re_ids = [x.<span class="hljs-built_in">id</span> <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> results[<span class="hljs-number">0</span>]]
    re_distance = [x.distance <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> results[<span class="hljs-number">0</span>]]
    <span class="hljs-keyword">return</span> re_ids, re_distance
    
<span class="hljs-comment"># get the images according the result ids</span>
<span class="hljs-keyword">def</span> <span class="hljs-title function_">get_sim_imgs</span>(<span class="hljs-params">collection_name, search_vector</span>):
    ids, distance = search_in_milvus(collection_name, search_vector)
    img = [red.get(i).decode(<span class="hljs-string">&quot;utf-8&quot;</span>) <span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> ids]
    <span class="hljs-keyword">return</span> ids, distance, img
<button class="copy-code-btn"></button></code></pre>
<p>VGG16とResNet50を例にとり、ONNXで複数のモデルを処理し、Milvusで複数のモデルを組み合わせて類似ベクトル検索を行い、類似画像を取得する。上記2つのモデルは、特徴ベクトルを高速に抽出できるKerasフレームワークをベースにしている。Milvusがこの2つのモデルに基づいてCOCOデータセットの画像を検索した結果は似ているが、ユークリッド距離は同じではないことがNotebookからわかる。また、他のデータセットを使って2つのモデルの検索結果を比較してみることもできる。</p>
<p>Milvusは、大量の非構造化データから生成された特徴ベクトルを処理するために使用できる、高性能で可用性の高いベクトルデータベースである。より詳細なソリューションについては、<a href="https://github.com/milvus-io/bootcamp">Milvus bootcampを</a>参照してください。</p>
<h2 id="References" class="common-anchor-header">参考文献<button data-href="#References" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ol>
<li>https://github.com/onnx/onnx</li>
<li>https://onnx.ai/</li>
<li>https://milvus.io/cn/</li>
<li>https://github.com/milvus-io/bootcamp</li>
</ol>
<h3 id="About-author" class="common-anchor-header">著者について</h3><p>西安大学コンピューターサイエンス学部卒業。Zillizに入社以来、音声・動画解析、分子式検索など、様々な分野でMilvusのソリューションを探求し、コミュニティのアプリケーションシナリオを大いに豊かにしてきた。現在、さらに興味深いソリューションを探求中。趣味はスポーツと読書。</p>


ONNXでモデルを処理する

DiskANN、10億スケールのデータセットで高回収率と高QPSを達成したディスクベースのANNSソリューション

プロジェクト概要

<custom-h1>Milvusに基づくDNA配列分類</custom-h1><blockquote>
<p>McGill大学情報学修士課程卒業。AIアプリケーションとベクトルデータベースによる類似性検索に関心を持つ。オープンソースプロジェクトMilvusのコミュニティメンバーとして、推薦システムやDNA配列分類モデルのような様々なソリューションを提供し、改良してきた。挑戦を楽しみ、決してあきらめない！</p>
</blockquote>
<custom-h1>はじめに</custom-h1><p>DNA配列は、遺伝子のトレーサビリティ、種の同定、病気の診断など、学術研究と実用的なアプリケーションの両方で人気のある概念である。あらゆる産業がより知的で効率的な研究手法に飢えている中、人工知能は特に生物学と医学の領域から大きな注目を集めている。ますます多くの科学者や研究者が、バイオインフォマティクスにおける機械学習や深層学習に貢献している。実験結果をより説得力のあるものにするために、一般的な選択肢の一つはサンプルサイズを増やすことである。ゲノミクスにおけるビッグデータとの連携は、現実のユースケースにさらなる可能性をもたらしている。しかし、従来の配列アライメントには限界があり、<a href="https://www.frontiersin.org/articles/10.3389/fbioe.2020.01032/full#h5">大規模データには適さない</a>。現実的にトレードオフを少なくするために、ベクター化はDNA配列の大規模データセットに適した選択である。</p>
<p>オープンソースのベクターデータベース<a href="https://milvus.io/docs/v2.0.x/overview.md">Milvusは</a>大規模データに適している。核酸配列のベクターを保存し、高効率の検索を行うことができる。また、生産や研究のコスト削減にも役立つ。Milvusに基づくDNA配列分類システムは、遺伝子分類にわずか数ミリ秒しかかからない。さらに、機械学習における他の一般的な分類器よりも高い精度を示している。</p>
<custom-h1>データ処理</custom-h1><p>遺伝情報をコードする遺伝子は、4塩基[A, C, G, T]からなるDNA配列の小さな部分からできている。ヒトゲノムには約30,000の遺伝子、約30億のDNA塩基対が存在し、各塩基対には2つの対応する塩基が存在する。多様な用途をサポートするために、DNA配列は様々なカテゴリーに分類することができる。長いDNA塩基配列のデータを利用しやすくするために、データの前処理に<a href="https://en.wikipedia.org/wiki/K-mer#:~:text=Usually%2C%20the%20term%20k%2Dmer,total%20possible%20k%2Dmers%2C%20where">k-merが </a>導入されている。これにより、DNA塩基配列データをプレーンテキストに近づけることができる。また、ベクトル化されたデータは、データ解析や機械学習における計算を高速化することができる。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_a7469e9eac.png" alt="1.png" class="doc-image" id="1.png" />
   </span> <span class="img-wrapper"> <span>1.png</span> </span></p>
<p><strong>k-mer</strong></p>
<p>k-mer法はDNA配列の前処理によく用いられる。元の塩基配列の各塩基から長さkの小さな部分を抽出し、長さsの長い塩基配列を長さkの(s-k+1)短い塩基配列に変換する。kの値を調整することで、モデルの性能が向上する。短い配列のリストは、データの読み取り、特徴抽出、ベクトル化が容易である。</p>
<p><strong>ベクトル化</strong></p>
<p>DNA配列はテキストの形でベクトル化される。k-merによって変換された配列は、短い配列のリストとなり、文章中の個々の単語のリストのように見える。したがって、ほとんどの自然言語処理モデルは、DNA配列データに対しても同様に機能するはずである。モデルのトレーニング、特徴抽出、符号化にも同様の方法論が適用できる。各モデルにはそれぞれ利点と欠点があるため、モデルの選択はデータの特徴や研究目的によって異なる。例えば、CountVectorizerはBag-of-Wordsモデルであり、単純なトークン化によって特徴抽出を行う。これはデータの長さに制限を設けませんが、返される結果は類似性の比較という点ではあまり明白ではありません。</p>
<custom-h1>Milvusデモ</custom-h1><p>Milvusは非構造化データを容易に管理し、数兆のベクトルの中から最も類似した結果を平均数ミリ秒の遅延で呼び出すことができる。その類似検索は近似最近傍（ANN）検索アルゴリズムに基づいています。MilvusはDNA配列のベクトルを管理するための優れた選択肢であり、バイオインフォマティクスの発展と応用を促進する。</p>
<p>以下はMilvusを用いたDNA配列分類システムの構築方法を示すデモである。<a href="https://www.kaggle.com/nageshsingh/dna-sequence-dataset">実験データセットには </a>3つの生物と7つの遺伝子ファミリーが含まれています。全てのデータはk-mersによって短い配列のリストに変換されている。事前にトレーニングされたCountVectorizerモデルにより、システムは配列データをベクトルにエンコードする。以下のフローチャートは、システムの構造と、挿入と検索のプロセスを示している。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_ebd89660f6.png" alt="1.png" class="doc-image" id="1.png" />
   </span> <span class="img-wrapper"> <span>1.png</span> </span></p>
<p><a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/dna_sequence_classification">Milvusブートキャンプで</a>このデモをお試しください。</p>
<p>Milvusでは、システムがコレクションを作成し、対応するDNA配列のベクターをコレクション（有効な場合はパーティション）に挿入する。Milvusはクエリーリクエストを受信すると、入力DNA配列のベクトルとデータベース内の最も類似した結果との間の距離を返す。入力配列のクラスと DNA 配列間の類似性は、結果のベクトル距離から判断することができる。</p>
<pre><code translate="no"><span class="hljs-comment"># Insert vectors to Milvus collection (partition &quot;human&quot;)</span>
DNA_human = collection.insert([human_ids, human_vectors], partition_name=<span class="hljs-string">&#x27;human&#x27;</span>)
<span class="hljs-comment"># Search topK results (in partition &quot;human&quot;) for test vectors</span>
res = collection.search(test_vectors, <span class="hljs-string">&quot;vector_field&quot;</span>, search_params, limit=topK, partition_names=[<span class="hljs-string">&#x27;human&#x27;</span>])
<span class="hljs-keyword">for</span> results <span class="hljs-keyword">in</span> res:
    res_ids = results.ids <span class="hljs-comment"># primary keys of topK results</span>
    res_distances = results.distances <span class="hljs-comment"># distances between topK results &amp; search input</span>
<button class="copy-code-btn"></button></code></pre>
<p><strong>DNA 配列の分類</strong>Milvus で最も類似した DNA 配列を検索することで、未知のサンプルの遺伝子ファミリーを示唆し、その可能 性ある機能を知ることができる。<a href="https://www.nature.com/scitable/topicpage/gpcr-14047471/"> ある配列がGPCRに分類された場合、その配列はおそらく身体機能に影響を与えていると考えられる。 </a>このデモでは、Milvusは検索されたヒトDNA配列の遺伝子ファミリーを同定することに成功している。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/3_1616da5bb0.png" alt="3.png" class="doc-image" id="3.png" />
   </span> <span class="img-wrapper"> <span>3.png</span> </span> <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/4_d719b22fc7.png" alt="4.png" class="doc-image" id="4.png" /><span>4.png</span> </span></p>
<p><strong>遺伝子の類似性</strong></p>
<p>生物間の平均DNA配列類似度は、そのゲノムがいかに近いかを示している。このデモでは、ヒトのデータから、チンパンジーとイヌそれぞれのDNA配列と最も類似したDNA配列を検索する。そして、平均内積距離（チンパンジーは0.97、イヌは0.70）を計算し、比較することで、チンパンジーはイヌよりもヒトと類似した遺伝子を共有していることを証明している。Milvusは、より複雑なデータとシステム設計により、より高いレベルでの遺伝子研究をサポートすることができる。</p>
<pre><code translate="no">search_params = {<span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&quot;IP&quot;</span>, <span class="hljs-string">&quot;params&quot;</span>: {<span class="hljs-string">&quot;nprobe&quot;</span>: <span class="hljs-number">20</span>}}
<button class="copy-code-btn"></button></code></pre>
<p><strong>パフォーマンス</strong></p>
<p>このデモでは、80％のヒトサンプルデータ（合計3629件）で分類モデルを学習し、残りをテストデータとして使用している。Milvusを使用したDNA配列分類モデルと、Mysqlを使用した分類モデルおよび5つの一般的な機械学習分類器の性能を比較している。Milvusを使ったモデルは、精度で他のモデルを上回っている。</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> sklearn.<span class="hljs-property">model_selection</span> <span class="hljs-keyword">import</span> train_test_split
X, y = human_sequence_kmers, human_labels
X_train, X_test, y_train, y_test = <span class="hljs-title function_">train_test_split</span>(X, y, test_size=<span class="hljs-number">0.2</span>, random_state=<span class="hljs-number">42</span>)
<button class="copy-code-btn"></button></code></pre>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_6541a7dec6.png" alt="1.png" class="doc-image" id="1.png" />
   </span> <span class="img-wrapper"> <span>1.png</span> </span></p>
<custom-h1>さらなる探求</custom-h1><p>ビッグデータ技術の発展に伴い、DNA配列のベクトル化は遺伝学的研究と実践においてより重要な役割を果たすだろう。バイオインフォマティクスの専門的知識と組み合わせることで、DNA配列のベクトル化の関与から関連研究がさらに恩恵を受けることができる。従って、Milvusはより良い結果を実践の場で示すことができる。Milvusを利用した類似性検索と距離計算は、様々なシナリオやユーザーのニーズに応じ、大きな可能性と多くの可能性を示します。</p>
<ul>
<li><strong>未知の配列の研究</strong> <a href="https://iopscience.iop.org/article/10.1088/1742-6596/1453/1/012071/pdf">一部の研究者によれば、ベクトル化はDNA配列データを圧縮することができる。</a>同時に、未知のDNA配列の構造、機能、進化を研究するための労力も少なくて済む。milvusは、精度を落とすことなく、膨大な数のDNA配列ベクターを保存し、取り出すことができる。</li>
<li><strong>デバイスを適応させる</strong>：従来の配列アライメントのアルゴリズムに制限され、類似性検索はデバイス<a href="https://www.ncbi.nlm.nih.gov/pmc/articles/PMC7884812/">（CPU</a><a href="https://mjeer.journals.ekb.eg/article_146090.html">/</a><a href="https://www.ncbi.nlm.nih.gov/pmc/articles/PMC7884812/">GPU</a>）の改良の恩恵をほとんど受けることができない。通常のCPU計算とGPUアクセラレーションの両方をサポートするMilvusは、近似最近傍アルゴリズムによりこの問題を解決する。</li>
<li><strong>ウイルスを検出し、起源を追跡する</strong>：<a href="https://www.nature.com/articles/s41586-020-2012-7?fbclid=IwAR2hxnXb9nLWgA8xexEoNrCNH8WHqvHhhbN38aSm48AaH6fTzGMB1BLljf4">科学者たちはゲノム配列を比較し、コウモリ由来の可能性が高いCOVID19ウイルスがSARS-COVに属することを報告</a>した。この結論に基づき、研究者はより多くの証拠とパターンを得るためにサンプルサイズを拡大することができる。</li>
<li><strong>病気の診断</strong>臨床的には、医師は病気の原因となる変異遺伝子を特定するために、患者と健康なグループのDNA配列を比較することができる。適切なアルゴリズムを用いて特徴を抽出し、これらのデータを符号化することが可能である。Milvusはベクトル間の距離を返すことができ、それは病気のデータと関連づけることができる。このアプリケーションは、病気の診断に役立つだけでなく、<a href="https://www.frontiersin.org/articles/10.3389/fgene.2021.680117/full">標的</a>治療の研究にも役立つ。</li>
</ul>
<custom-h1>Milvusについてもっと知る</custom-h1><p>Milvusは、膨大な数の人工知能およびベクトル類似性検索アプリケーションを強化できる強力なツールです。プロジェクトの詳細については、以下のリソースをご覧ください：</p>
<ul>
<li><a href="https://milvus.io/blog">ブログを</a>読む</li>
<li><a href="https://milvusio.slack.com/join/shared_invite/zt-e0u4qu3k-bI2GDNys3ZqX1YCJ9OM~GQ#/shared-invite/email">Slackで</a>オープンソースコミュニティと交流する。</li>
<li><a href="https://github.com/milvus-io/milvus/">GitHubで</a>世界で最も人気のあるベクトル・データベースを利用したり、貢献する。</li>
<li>新しい<a href="https://github.com/milvus-io/bootcamp">ブートキャンプで</a>AIアプリケーションを素早くテストし、デプロイする。</li>
</ul>


Milvusに基づくDNA配列の分類

論文リーディング｜HM-ANN ANNSとヘテロジニアスメモリの出会い

Milvus 2.0 ベクターデータベースの再定義

<custom-h1>Vipshopとmilvusによるパーソナライズされた商品推薦システムの構築</custom-h1><p>インターネットのデータ規模が爆発的に成長するにつれ、現在主流のEコマースプラットフォームでは、商品量やカテゴリーが増加する一方で、ユーザーが必要な商品を見つけるのが難しくなっています。</p>
<p><a href="https://www.vip.com/">Vipshopは</a>、中国の大手ブランドオンラインディスカウント小売業者である。Vipshopは、中国全土の消費者に、高品質で人気のあるブランド商品を小売価格より大幅にディスカウントして提供している。顧客のショッピング体験を最適化するために、同社はユーザーのクエリーキーワードとユーザーのポートレートに基づいてパーソナライズされた検索レコメンデーションシステムを構築することを決定した。</p>
<p>電子商取引検索推薦システムの中核機能は、多数の商品から適切な商品を検索し、ユーザーの検索意図と好みに応じて表示することである。その際、商品とユーザーの検索意図・嗜好の類似度を計算し、類似度の高いTopK商品をユーザーに推薦する必要がある。</p>
<p>商品情報、ユーザーの検索意図、ユーザーの嗜好などのデータはすべて非構造化データである。このようなデータの類似度を検索エンジンElasticsearch(ES)のCosineSimilarity(7.x)を用いて計算しようとしたが、この方法には以下の欠点がある。</p>
<ul>
<li><p>計算応答時間が長い - 数百万のアイテムからTopKの結果を取得する平均待ち時間は約300ミリ秒である。</p></li>
<li><p>ESインデックスのメンテナンスコストが高い - 商品特徴ベクトルとその他の関連データの両方に同じインデックスセットが使用されるため、インデックス構築がほとんど容易にならないが、大量のデータが生成される。</p></li>
</ul>
<p>我々は、ESのCosineSimilarity計算を高速化するために、独自のローカルセンシティブハッシュプラグインの開発を試みた。その結果、性能とスループットは大幅に改善されましたが、100ミリ秒以上の待ち時間が発生し、実際のオンライン商品検索の要件を満たすことは困難でした。</p>
<p>徹底的な調査の結果、一般的に使用されているスタンドアロンのFaissと比較して、分散デプロイのサポート、多言語SDK、読み取り/書き込み分離などの利点があるオープンソースのベクトルデータベースであるMilvusを使用することにしました。</p>
<p>様々なディープラーニングモデルを用いて、膨大な非構造化データを特徴ベクトルに変換し、Milvusにインポートします。Milvusの優れた性能により、我々の電子商取引検索推薦システムは、ターゲットベクトルに類似するTopKベクトルを効率的に照会することができる。</p>
<h2 id="Overall-Architecture" class="common-anchor-header">全体アーキテクチャ<button data-href="#Overall-Architecture" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>![アーキテクチャ](https://assets.zilliz.com/1_01551e7b2b.jpg &quot;Architecture.&quot;) 図に示すように、システム全体のアーキテクチャは主に2つの部分から構成されている。</p>
<ul>
<li><p>書き込み処理：ディープラーニングモデルが生成した項目特徴ベクトル（以下、項目ベクトル）を正規化し、MySQLに書き込む。その後、MySQLはデータ同期ツール（ETL）を用いて処理された項目特徴ベクトルを読み込み、ベクトルデータベースmilvusにインポートする。</p></li>
<li><p>読み込み処理：検索サービスは、ユーザークエリキーワードとユーザポートレイトに基づいて、ユーザ嗜好特徴ベクトル（以下、ユーザベクトル）を取得し、Milvusの類似ベクトルを照会し、TopKアイテムベクトルを呼び出す。</p></li>
</ul>
<p>Milvusはデータの増分更新と全体更新の両方に対応している。各インクリメンタルアップデートは既存のアイテムベクトルを削除し、新しいアイテムベクトルを挿入する必要がある。この方が、読み込みが多く書き込みが少ないシナリオに適している。したがって、データ全体の更新方法を選択する。さらに、複数のパーティションのバッチでデータ全体を書き込むのにかかる時間はわずか数分であり、これはほぼリアルタイムの更新に相当する。</p>
<p>Milvusの書き込みノードは、データコレクションの作成、インデックスの構築、ベクターの挿入など、すべての書き込み操作を実行し、書き込みドメイン名でサービスを提供する。Milvusの読み込みノードは、すべての読み込み操作を実行し、読み込み専用のドメイン名で一般にサービスを提供する。</p>
<p>Milvusの現在のバージョンはコレクションのエイリアスの切り替えをサポートしていませんが、Redisを導入することで、複数のデータコレクション全体のエイリアスをシームレスに切り替えることができます。</p>
<p>読み取りノードは、MySQL、Milvus、GlusterFS分散ファイルシステムから既存のメタデータ情報とベクトルデータまたはインデックスを読み取るだけでよいため、複数のインスタンスを配置することで読み取り機能を水平方向に拡張することができる。</p>
<h2 id="Implementation-Details" class="common-anchor-header">実装の詳細<button data-href="#Implementation-Details" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="Data-Update" class="common-anchor-header">データ更新</h3><p>データ更新サービスでは、ベクタデータの書き込みだけでなく、ベクタのデータ量検出、インデックス構築、インデックスプリロード、エイリアス制御などを行う。全体の流れは以下の通り。<span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/2_6052b01334.jpg" alt="Process" class="doc-image" id="process" /><span>プロセス</span> </span></p>
<ol>
<li><p>データ全体を構築する前に、CollectionA がデータサービスを公開し、利用中のデータ全体が CollectionA(<code translate="no">redis key1 = CollectionA</code>)に向けられているとする。データ全体を構築する目的は、新しいコレクション CollectionB を作成することである。</p></li>
<li><p>商品データチェック - MySQLテーブルの商品データの品目番号をチェックし、CollectionAの既存データと比較する。アラートは数量またはパーセンテージで設定できます。設定数量(パーセント)に達しない場合、データ全体が構築されず、構築失敗とみなされアラートが発生します。設定数量(パーセント)に達すると、データ全体の構築が開始されます。</p></li>
<li><p>データ全体の構築を開始 - 構築中のデータ全体のエイリアスを初期化し、Redisを更新する。更新後、構築中のデータ全体のエイリアスをCollectionB (<code translate="no">redis key2 = CollectionB</code>) に向ける。</p></li>
<li><p>新しいコレクション全体を作成します。存在する場合は、新しいものを作成する前に削除する。</p></li>
<li><p>データ一括書き込み - modulo演算を使用して、各商品データのパーティションIDを独自のIDで計算し、複数のパーティションにデータを新規作成コレクションに一括で書き込みます。</p></li>
<li><p>インデックスの構築とプリロード - 新しいコレクションのインデックス（<code translate="no">createIndex()</code> ）を作成します。インデックスファイルは分散ストレージサーバGlusterFSに格納される。システムは自動的に新しいコレクションに対するクエリをシミュレートし、クエリのウォームアップのためにインデックスをプリロードします。</p></li>
<li><p>コレクション・データ・チェック - 新しいコレクションのデータのアイテム数をチェックし、既存のコレクションとデータを比較し、数量とパーセンテージに基づいてアラームを設定します。設定された数（パーセンテージ）に達していない場合、コレクションは切り替わらず、構築プロセスは失敗とみなされ、アラートがトリガされます。</p></li>
<li><p>コレクションの切り替え - エイリアス制御。Redisの更新後、使用中のデータエイリアス全体がCollectionB (<code translate="no">redis key1 = CollectionB</code>)に向けられ、元のRedisキー2が削除され、構築プロセスが完了します。</p></li>
</ol>
<h3 id="Data-Recall" class="common-anchor-header">データの呼び出し</h3><p>Milvusのパーティションデータを数回呼び出し、ユーザークエリキーワードとユーザポートレイトから得られるユーザベクトルとアイテムベクトルの類似度を計算し、マージ後のTopKアイテムベクトルを返す。全体的なワークフローの概略は以下の通りである。<span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/3_93518602b1.jpg" alt="workflow" class="doc-image" id="workflow" /><span>ワークフロー</span> </span>以下の表は、このプロセスに関わる主なサービスの一覧である。TopKベクトルを呼び出す平均待ち時間は約30ミリ秒であることがわかる。</p>
<table>
<thead>
<tr><th><strong>サービス</strong></th><th><strong>役割</strong></th><th><strong>入力パラメータ</strong></th><th><strong>出力パラメータ</strong></th><th><strong>応答待ち時間</strong></th></tr>
</thead>
<tbody>
<tr><td>ユーザー・ベクトル取得</td><td>ユーザーベクトル取得</td><td>ユーザー情報＋クエリー</td><td>ユーザーベクトル</td><td>10ミリ秒</td></tr>
<tr><td>Milvus検索</td><td>ベクトルの類似度を計算し、TopKの結果を返す</td><td>ユーザベクトル</td><td>アイテムベクトル</td><td>10ミリ秒</td></tr>
<tr><td>スケジューリングロジック</td><td>結果の同時呼び出しとマージ</td><td>多チャンネルで呼び出されたアイテムベクトルと類似度スコア</td><td>TopKアイテム</td><td>10ミリ秒</td></tr>
</tbody>
</table>
<p><strong>実装プロセス</strong></p>
<ol>
<li>ユーザークエリキーワードとユーザポートレイトに基づき、ディープラーニングモデルによってユーザベクトルが計算される。</li>
<li>RedisのcurrentInUseKeyRefから利用中のデータ全体のコレクションエイリアスを取得し、Milvus CollectionNameを取得する。この処理はデータ同期サービスであり、データ全体の更新後にエイリアスをRedisに切り替える。</li>
<li>Milvusは同じコレクション内の異なるパーティションからデータを取得するために、ユーザベクトルと同時・非同期に呼び出され、Milvusはユーザベクトルとアイテムベクトルの類似度を計算し、各パーティションのTopK個の類似アイテムベクトルを返す。</li>
<li>各パーティションから返されたTopKアイテムベクトルをマージし、IP内積（ベクトル間の距離が大きいほど、より類似している）を使用して計算される類似性の距離の逆順に結果をランク付けします。最終的なTopKアイテム・ベクトルが返されます。</li>
</ol>
<h2 id="Looking-Ahead" class="common-anchor-header">今後の展望<button data-href="#Looking-Ahead" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>現時点では、Milvusベースのベクトル探索は、推薦シナリオの探索に安定して利用でき、その高い性能から、モデルの次元数やアルゴリズムの選択に遊びの余地がある。</p>
<p>Milvusは、メインサイト検索の想起やオールシナリオ推薦など、より多くのシナリオのミドルウェアとして重要な役割を果たすだろう。</p>
<p>今後Milvusに期待される機能は以下の3つである。</p>
<ul>
<li>コレクションエイリアス切り替えロジック - 外部コンポーネントなしでコレクション間の切り替えを調整する。</li>
<li>フィルタリングメカニズム - Milvus v0.11.0はスタンドアロンバージョンでES DSLフィルタリングメカニズムのみをサポートしています。新しくリリースされたMilvus 2.0はスカラーフィルタリングと読み書き分離をサポートしています。</li>
<li>Hadoop Distributed File System (HDFS)のストレージサポート - Milvus v0.10.6ではPOSIXファイルインターフェースしかサポートしておらず、ストレージバックエンドとしてFUSEをサポートしたGlusterFSを導入しています。しかし、パフォーマンスとスケーリングのしやすさという点ではHDFSの方が優れています。</li>
</ul>
<h2 id="Lessons-Learned-and-Best-Practices" class="common-anchor-header">教訓とベストプラクティス<button data-href="#Lessons-Learned-and-Best-Practices" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ol>
<li>読み取り操作が主な焦点であるアプリケーションの場合、読み取りと書き込みを分離するデプロイメントにより、処理能力を大幅に向上させ、パフォーマンスを改善することができる。</li>
<li>Recallサービスで使用されるMilvusクライアントはメモリ上に常駐しているため、Milvus Javaクライアントには再接続メカニズムがありません。ハートビート・テストによりJavaクライアントとサーバー間の接続の可用性を確保するため、独自の接続プールを構築しなければならない。</li>
<li>Milvusでは遅いクエリが時々発生する。これは新しいコレクションのウォームアップが不十分なためです。新しいコレクションに対するクエリをシミュレートすることにより、インデックスファイルがメモリにロードされ、インデックスのウォームアップが達成されます。</li>
<li>nlistはインデックス構築パラメータで、nprobeはクエリパラメータです。検索性能と精度のバランスをとるために、圧力テスト実験を通してビジネスシナリオに応じた妥当な閾値を得る必要があります。</li>
<li>静的データシナリオの場合、最初にすべてのデータをコレクションにインポートし、後でインデックスを構築する方が効率的です。</li>
</ol>


全体アーキテクチャ

<custom-h1>milvusに基づく音声検索</custom-h1><p>音声は情報密度の高いデータタイプである。動画コンテンツの時代には時代遅れに感じるかもしれないが、音声は多くの人にとって主要な情報源であり続けている。リスナーが長期的に減少しているにもかかわらず、2020年には12歳以上のアメリカ人の83%がある週に地上波（AM/FM）ラジオを聴いている（2019年の89%から減少）。逆に、オンライン・オーディオのリスナーは過去20年間で着実に増加しており、同じ<a href="https://www.journalism.org/fact-sheet/audio-and-podcasting/">ピュー・リサーチ・センターの調査に</a>よると、アメリカ人の62％が何らかの形で毎週聴いていると報告されている。</p>
<p>波としての音には、周波数、振幅、波形、持続時間の4つの性質がある。音楽用語では、これらをピッチ、ダイナミック、トーン、デュレーションと呼ぶ。また、音は人間や他の動物が環境を認識・理解するのに役立ち、周囲の物体の位置や動きを知る手がかりとなる。</p>
<p>情報を伝えるものとして、音声は3つのカテゴリーに分類することができます：</p>
<ol>
<li><strong>音声：</strong>音声：単語と文法で構成されるコミュニケーション媒体。音声認識アルゴリズムにより、音声をテキストに変換することができる。</li>
<li><strong>音楽：</strong>メロディ、ハーモニー、リズム、音色で構成される楽曲を生み出すために、ボーカルや楽器の音が組み合わされたもの。音楽は楽譜で表すことができる。</li>
<li><strong>波形：</strong>アナログ音をデジタル化して得られるデジタル音声信号。波形は音声、音楽、自然音または合成音を表すことができる。</li>
</ol>
<p>音声検索は、オンライン・メディアをリアルタイムで検索・監視し、知的財産権の侵害を取り締まるために利用できる。また、音声データの分類や統計分析においても重要な役割を担っています。</p>
<h2 id="Processing-Technologies" class="common-anchor-header">処理技術<button data-href="#Processing-Technologies" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>音声、音楽、その他の一般的な音には、それぞれ固有の特性があり、異なる処理方法が要求されます。通常、音声は音声を含むグループと含まないグループに分けられます：</p>
<ul>
<li>音声は自動音声認識によって処理されます。</li>
<li>音楽音声、効果音、デジタル化された音声信号を含む非音声音声は、音声検索システムを使って処理されます。</li>
</ul>
<p>この記事では、音声検索システムを使って、音声以外のオーディオデータを処理する方法を取り上げます。音声認識は、この記事では扱いません。</p>
<h3 id="Audio-feature-extraction" class="common-anchor-header">音声特徴抽出</h3><p>音声の特徴抽出は、音声の類似検索を可能にするため、音声検索システムにおいて最も重要な技術である。音声の特徴量を抽出する方法は2つに分類される：</p>
<ul>
<li>ガウス混合モデル（GMM）や隠れマルコフモデル（HMM）などの伝統的な音声特徴抽出モデル；</li>
<li>リカレントニューラルネットワーク（RNN）、長期短期記憶（LSTM）ネットワーク、符号化・復号化フレームワーク、注意メカニズムなどのディープラーニングベースの音声特徴抽出モデル。</li>
</ul>
<p>ディープラーニングに基づくモデルは、従来のモデルよりもエラー率が桁違いに低いため、オーディオ信号処理分野の中核技術として勢いを増している。</p>
<p>音声データは通常、抽出された音声特徴によって表現される。検索プロセスでは、オーディオデータそのものではなく、これらの特徴や属性を検索・比較する。そのため、音声類似検索の有効性は特徴抽出の品質に大きく依存する。</p>
<p>この記事では、<a href="https://github.com/qiuqiangkong/audioset_tagging_cnn">大規模な事前訓練されたオーディオパターン認識のためのオーディオニューラルネットワーク（PANN）は</a>、その平均平均精度（mAP）0.439（Hersheyら、2017）の特徴ベクトルを抽出するために使用されます。</p>
<p>オーディオデータの特徴ベクトルを抽出した後、milvusを用いて高性能な特徴ベクトル解析を実装することができる。</p>
<h3 id="Vector-similarity-search" class="common-anchor-header">ベクトル類似度検索</h3><p><a href="https://milvus.io/">Milvusは</a>、機械学習モデルやニューラルネットワークによって生成された埋め込みベクトルを管理するために構築された、クラウドネイティブのオープンソースベクトルデータベースである。コンピュータビジョン、自然言語処理、計算化学、パーソナライズされたレコメンダーシステムなどのシナリオで広く使用されています。</p>
<p>以下の図は、Milvusを使った一般的な類似検索プロセスを表しています。<span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/how_does_milvus_work_6926180543.png" alt="how-does-milvus-work.png" class="doc-image" id="how-does-milvus-work.png" /><span>how-does-milvus-work.png</span> </span></p>
<ol>
<li>非構造化データはディープラーニングモデルによって特徴ベクトルに変換され、Milvusに挿入される。</li>
<li>Milvusはこれらの特徴ベクトルを保存し、インデックスを作成する。</li>
<li>Milvusはリクエストに応じて、クエリベクトルに最も近いベクトルを検索して返す。</li>
</ol>
<h2 id="System-overview" class="common-anchor-header">システムの概要<button data-href="#System-overview" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>音声検索システムは、主に挿入（黒線）と検索（赤線）の2つの部分から構成されている。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/audio_retrieval_system_663a911c95.png" alt="audio-retrieval-system.png" class="doc-image" id="audio-retrieval-system.png" />
   </span> <span class="img-wrapper"> <span>音声検索システム.png</span> </span></p>
<p>サンプルデータセットにはオープンソースのゲームサウンドを使用しており、コードの詳細は<a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/audio_similarity_search">Milvus bootcampに</a>記載されています。</p>
<h3 id="Step-1-Insert-data" class="common-anchor-header">ステップ1: データの挿入</h3><p>以下は、事前に学習したPANNs推論モデルを用いて音声埋め込みデータを生成し、Milvusに挿入するサンプルコードです。Milvusは各ベクトル埋め込みデータに一意のIDを割り当てます。</p>
<pre><code translate="no"><span class="hljs-number">1</span> wav_name, vectors_audio = get_audio_embedding(audio_path)  
<span class="hljs-number">2</span> <span class="hljs-keyword">if</span> vectors_audio:    
<span class="hljs-number">3</span>     embeddings.<span class="hljs-built_in">append</span>(vectors_audio)  
<span class="hljs-number">4</span>     wav_names.<span class="hljs-built_in">append</span>(wav_name)  
<span class="hljs-number">5</span> ids_milvus = insert_vectors(milvus_client, table_name, embeddings)  
<span class="hljs-number">6</span> 
<button class="copy-code-btn"></button></code></pre>
<p>そして、返されたids<strong>_</strong>milvusは、他の関連情報（例えば<strong>wav_name</strong>）と共にMySQLデータベースに格納されます。</p>
<pre><code translate="no">1 get_ids_correlation(ids_milvus, wav_name)  
2 load_data_to_mysql(conn, cursor, table_name)    
3  
<button class="copy-code-btn"></button></code></pre>
<h3 id="Step-2-Audio-search" class="common-anchor-header">ステップ2：オーディオ検索</h3><p>Milvusは、あらかじめ格納された特徴ベクトルと、PANNs推論モデルを用いてクエリオーディオデータから抽出された入力特徴ベクトルとの内積距離を計算し、検索されたオーディオデータに対応する類似特徴ベクトルのids<strong>_</strong>milvusを返します。</p>
<pre><code translate="no"><span class="hljs-number">1</span> _, vectors_audio = get_audio_embedding(audio_filename)    
<span class="hljs-number">2</span> results = search_vectors(milvus_client, table_name, [vectors_audio], METRIC_TYPE, TOP_K)  
<span class="hljs-number">3</span> ids_milvus = [x.<span class="hljs-built_in">id</span> <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> results[<span class="hljs-number">0</span>]]  
<span class="hljs-number">4</span> audio_name = search_by_milvus_ids(conn, cursor, ids_milvus, table_name)    
<span class="hljs-number">5</span>
<button class="copy-code-btn"></button></code></pre>
<h2 id="API-reference-and-demo" class="common-anchor-header">APIリファレンスとデモ<button data-href="#API-reference-and-demo" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="API" class="common-anchor-header">API</h3><p>この音声検索システムはオープンソースのコードで構築されている。主な機能は音声データの挿入と削除です。すべてのAPIはブラウザで<strong>127.0.0.1:<port></strong>/docsと入力することで閲覧できます。</p>
<h3 id="Demo" class="common-anchor-header">デモ</h3><p>Milvusを使った音声検索システムの<a href="https://zilliz.com/solutions">ライブデモを</a>オンラインで公開しています。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/audio_search_demo_cae60625db.png" alt="audio-search-demo.png" class="doc-image" id="audio-search-demo.png" />
   </span> <span class="img-wrapper"> <span>オーディオ検索デモ.png</span> </span></p>
<h2 id="Conclusion" class="common-anchor-header">結論<button data-href="#Conclusion" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>ビッグデータの時代に生きる人々は、自分たちの生活があらゆる種類の情報で溢れていることに気づく。それをよりよく理解するためには、従来のテキスト検索ではもはや対応できない。今日の情報検索技術では、動画、画像、音声など様々な非構造化データの検索が急務となっている。</p>
<p>コンピュータが処理しにくい非構造化データは、ディープラーニング・モデルを使って特徴ベクトルに変換することができる。この変換されたデータは、機械によって簡単に処理することができ、私たちは、先人たちができなかった方法で非構造化データを分析することができます。オープンソースのベクトルデータベースであるMilvusは、AIモデルによって抽出された特徴ベクトルを効率的に処理することができ、一般的な様々なベクトルの類似度計算を提供する。</p>
<h2 id="References" class="common-anchor-header">参考文献<button data-href="#References" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Hershey, S., Chaudhuri, S., Ellis, D.P., Gemmeke, J.F., Jansen, A., Moore, R.C., Plakal, M., Platt, D., Saurous, R.A., Seybold, B. and Slaney, M., 2017, March.大規模音声分類のためのCNNアーキテクチャ。In 2017 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp.131-135, 2017</p>
<h2 id="Dont-be-a-stranger" class="common-anchor-header">見知らぬ人にならない<button data-href="#Dont-be-a-stranger" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p><a href="https://github.com/milvus-io/milvus/">GitHubで</a>Milvusを見つける、または貢献する。</p></li>
<li><p><a href="https://join.slack.com/t/milvusio/shared_invite/zt-e0u4qu3k-bI2GDNys3ZqX1YCJ9OM~GQ">Slackで</a>コミュニティと交流する。</p></li>
<li><p><a href="https://twitter.com/milvusio">Twitterで</a>つながりましょう。</p></li>
</ul>


処理技術

<custom-h1>MilMil：Milvusに関する質問に答えるMilvus搭載FAQチャットボット</custom-h1><p>オープンソースコミュニティはこのほど、MilvusユーザーによるMilvusユーザーのためのMilvus FAQチャットボット「MilMil」を開発した。MilMilは<a href="https://milvus.io/">Milvus.ioで</a>24時間365日利用可能で、世界で最も先進的なオープンソースのベクターデータベースであるMilvusに関する一般的な質問に答えてくれる。</p>
<p>この質問回答システムは、Milvusユーザーが遭遇する一般的な問題をより迅速に解決するだけでなく、ユーザーからの投稿に基づいて新たな問題を特定するのに役立ちます。MilMilのデータベースには、このプロジェクトが2019年にオープンソースライセンスで初めてリリースされて以来、ユーザーから寄せられた質問が含まれている。質問は、Milvus 1.x以前とMilvus 2.0用の2つのコレクションに保存されている。</p>
<p>MilMilは現在英語のみで利用可能です。</p>
<h2 id="How-does-MilMil-work" class="common-anchor-header">MilMilはどのように動作しますか？<button data-href="#How-does-MilMil-work" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>MilMilはFAQデータベースのベクトル表現を得るために<em>センテントランスフォーマー/パラフレーズ-mpnet-base-v2</em>モデルに依存し、その後Milvusは意味的に類似した質問を返すベクトル類似検索に使用されます。</p>
<p>まず、自然言語処理（NLP）モデルであるBERTを用いて、FAQデータを意味ベクトルに変換する。次に、埋め込みはMilvusに挿入され、それぞれにユニークなIDが割り当てられる。最後に、質問と回答は、ベクトルIDとともにリレーショナルデータベースであるPostgreSQLに挿入される。</p>
<p>ユーザが質問を投稿すると、システムはそれをBERTを使用して特徴ベクトルに変換する。次に、Milvusを検索して、質問ベクトルと最も類似している5つのベクトルを検索し、それらのIDを取得する。最後に、検索されたベクトルIDに対応する質問と回答がユーザに返される。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/system_process_dca67a80a6.png" alt="system-process.png" class="doc-image" id="system-process.png" />
   </span> <span class="img-wrapper"> <span>システムプロセス.png</span> </span></p>
<p>Milvusブートキャンプの<a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/question_answering_system">質問応答システム</a>プロジェクトを参照して、AIチャットボットを構築するために使用されるコードを調べてください。</p>
<h2 id="Ask-MilMil-about-Milvus" class="common-anchor-header">MilvusについてMilMilに聞く<button data-href="#Ask-MilMil-about-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>MilMilとチャットするには、<a href="https://milvus.io/">Milvus.ioの</a>任意のページに移動し、右下隅にある鳥のアイコンをクリックします。テキスト入力ボックスに質問を入力し、送信ボタンを押してください。MilMilは数ミリ秒であなたに返信します！また、左上のドロップダウンリストを使用すると、milvusの異なるバージョンの技術文書を切り替えることができます。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/milvus_chatbot_icon_f3c25708ca.png" alt="milvus-chatbot-icon.png" class="doc-image" id="milvus-chatbot-icon.png" />
   </span> <span class="img-wrapper"> <span>milvus-chatbot-icon.png</span> </span></p>
<p>質問を送信すると、ボットはすぐにクエリの質問と意味的に類似した3つの質問を返します。回答を見る "をクリックすると、質問に対する回答の候補を閲覧することができます。"もっと見る "をクリックすると、検索に関連する他の質問を閲覧することができます。適切な回答が見つからない場合は、「ご意見・ご感想はこちら」をクリックして、メールアドレスとともにご質問ください。Milvusコミュニティからのヘルプがすぐに届きます！</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/chatbot_UI_0f4a7655d4.png" alt="chatbot_UI.png" class="doc-image" id="chatbot_ui.png" />
   </span> <span class="img-wrapper"> <span>チャットボット_UI.png</span> </span></p>
<p>MilMilをお試しいただき、ご意見をお聞かせください。質問、コメント、どんな形のフィードバックでも大歓迎です。</p>
<h2 id="Dont-be-a-stranger" class="common-anchor-header">知らない人にならないために<button data-href="#Dont-be-a-stranger" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><a href="https://github.com/milvus-io/milvus/">GitHubで</a>Milvusを見つける、またはMilvusに貢献する。</li>
<li><a href="https://join.slack.com/t/milvusio/shared_invite/zt-e0u4qu3k-bI2GDNys3ZqX1YCJ9OM~GQ">Slackで</a>コミュニティと交流する。</li>
<li><a href="https://twitter.com/milvusio">Twitterで</a>つながる。</li>
</ul>


Milvus Milvusに関する質問に答えるMilvus搭載FAQチャットボット

<custom-h1>Milvus 2.0ブートキャンプでベクトル検索ソリューションを素早くテスト・展開</custom-h1><p>Milvus 2.0のリリースに伴い、チームはMilvus<a href="https://github.com/milvus-io/bootcamp">ブートキャンプを</a>刷新しました。新しく改良されたブートキャンプでは、様々なユースケースやデプロイメントに対応した最新のガイドと、より分かりやすいコード例を提供しています。さらに、この新しいバージョンは、世界で最も先進的なベクターデータベースの新バージョンである<a href="https://milvus.io/blog/milvus2.0-redefining-vector-database.md">Milvus 2.0</a>用にアップデートされています。</p>
<h3 id="Stress-test-your-system-against-1M-and-100M-dataset-benchmarks" class="common-anchor-header">1Mおよび100Mデータセットベンチマークに対するシステムのストレステスト</h3><p><a href="https://github.com/milvus-io/bootcamp/tree/master/benchmark_test">ベンチマークディレクトリには</a>100万と1億のベクトルベンチマークテストが含まれており、異なるサイズのデータセットに対してシステムがどのように反応するかを示します。</p>
<p><br/></p>
<h3 id="Explore-and-build-popular-vector-similarity-search-solutions" class="common-anchor-header">一般的なベクトル類似検索ソリューションの検索と構築</h3><p><a href="https://github.com/milvus-io/bootcamp/tree/master/solutions">ソリューションディレクトリには</a>、最も一般的なベクトル類似検索のユースケースが含まれています。各ユースケースにはノートブックソリューションとDockerデプロイ可能なソリューションが含まれています。ユースケースには以下が含まれます：</p>
<ul>
<li><a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/reverse_image_search">画像類似検索</a></li>
<li><a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/video_similarity_search">動画類似検索</a></li>
<li><a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/audio_similarity_search">音声類似検索</a></li>
<li><a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/recommendation_system">推薦システム</a></li>
<li><a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/molecular_similarity_search">分子検索</a></li>
<li><a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/question_answering_system">質問応答システム</a></li>
</ul>
<p><br/></p>
<h3 id="Quickly-deploy-a-fully-built-application-on-any-system" class="common-anchor-header">完全に構築されたアプリケーションをあらゆるシステムに素早くデプロイ</h3><p>クイックデプロイ・ソリューションはドッカー化されたソリューションで、ユーザーはあらゆるシステム上に完全にビルドされたアプリケーションをデプロイすることができます。これらのソリューションは簡単なデモには理想的ですが、ノートブックと比較するとカスタマイズや理解するための作業が増えます。</p>
<p><br/></p>
<h3 id="Use-scenario-specific-notebooks-to-easily-deploy-pre-configured-applications" class="common-anchor-header">シナリオ固有のノートブックを使用して、設定済みのアプリケーションを簡単にデプロイできます。</h3><p>ノートブックには、与えられたユースケースにおける問題を解決するためにMilvusをデプロイする簡単な例が含まれています。それぞれの例は、ファイルや設定を管理することなく、最初から最後まで実行することができます。また、各ノートブックは簡単に従うことができ、変更可能であるため、他のプロジェクトのための理想的なベースファイルとなります。</p>
<p><br/></p>
<h3 id="Image-similarity-search-notebook-example" class="common-anchor-header">画像類似検索ノートブックの例</h3><p>画像の類似性検索は、物体を認識する自律走行車など、さまざまな技術の中核となるアイデアの1つです。この例では、Milvusを使ってコンピュータビジョンプログラムを簡単に構築する方法を説明します。</p>
<p>このノートブックは以下の3つを中心に構成されています：</p>
<ul>
<li>Milvusサーバー</li>
<li>Redisサーバー（メタデータ保存用）</li>
<li>事前訓練されたResnet-18モデル</li>
</ul>
<h4 id="Step-1-Download-required-packages" class="common-anchor-header">ステップ1: 必要なパッケージのダウンロード</h4><p>このプロジェクトに必要なパッケージをすべてダウンロードすることから始めます。このノートブックには、使用するパッケージの一覧表が含まれています。</p>
<pre><code translate="no">pip install -r requirements.txt
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-2-Server-startup" class="common-anchor-header">ステップ2：サーバーの起動</h4><p>パッケージがインストールされたら、サーバーを起動し、両方が正しく動作していることを確認します。<a href="https://milvus.io/docs/v2.0.x/install_standalone-docker.md">Milvus</a>サーバと<a href="https://hub.docker.com/_/redis">Redis</a>サーバを起動するための正しい手順に従ってください。</p>
<h4 id="Step-3-Download-project-data" class="common-anchor-header">ステップ 3: プロジェクトデータのダウンロード</h4><p>デフォルトでは、このノートブックは例として使用するためにVOCImageデータのスニペットを取り出しますが、ノートブックの上部に表示されているファイル構造に従っていれば、画像のあるディレクトリであればどのディレクトリでも動作するはずです。</p>
<pre><code translate="no">! gdown <span class="hljs-string">&quot;https://drive.google.com/u/1/uc?id=1jdudBiUu41kL-U5lhH3ari_WBRXyedWo&amp;export=download&quot;</span>
! tar -xf <span class="hljs-string">&#x27;VOCdevkit.zip&#x27;</span>
! <span class="hljs-built_in">rm</span> <span class="hljs-string">&#x27;VOCdevkit.zip&#x27;</span>
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-4-Connect-to-the-servers" class="common-anchor-header">ステップ4：サーバーへの接続</h4><p>この例では、サーバーはlocalhost上のデフォルトポートで動作しています。</p>
<pre><code translate="no">connections.<span class="hljs-title function_">connect</span>(host=<span class="hljs-string">&quot;127.0.0.1&quot;</span>, port=<span class="hljs-number">19537</span>)
red = redis.<span class="hljs-title class_">Redis</span>(host = <span class="hljs-string">&#x27;127.0.0.1&#x27;</span>, port=<span class="hljs-number">6379</span>, db=<span class="hljs-number">0</span>)
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-5-Create-a-collection" class="common-anchor-header">ステップ 5: コレクションの作成</h4><p>サーバを起動したら、Milvusにすべてのベクトルを格納するコレクションを作成します。この例では、次元サイズをresnet-18の出力サイズである512に設定し、類似度メトリックをユークリッド距離（L2）に設定します。Milvusは様々な<a href="https://milvus.io/docs/v2.0.x/metric.md">類似度メトリックを</a>サポートしています。</p>
<pre><code translate="no">collection_name = <span class="hljs-string">&quot;image_similarity_search&quot;</span>
dim = <span class="hljs-number">512</span>
default_fields = [
    schema.FieldSchema(name=<span class="hljs-string">&quot;id&quot;</span>, dtype=DataType.INT64, is_primary=<span class="hljs-literal">True</span>, auto_id=<span class="hljs-literal">True</span>),
    schema.FieldSchema(name=<span class="hljs-string">&quot;vector&quot;</span>, dtype=DataType.FLOAT_VECTOR, dim=dim)
]
default_schema = schema.CollectionSchema(fields=default_fields, description=<span class="hljs-string">&quot;Image test collection&quot;</span>)
collection = Collection(name=collection_name, schema=default_schema)
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-6-Build-an-index-for-the-collection" class="common-anchor-header">ステップ6：コレクションのインデックスを構築する</h4><p>コレクションが作成されたら、そのインデックスを作成する。この場合、IVF_SQ8インデックスを使用する。このインデックスには'nlist'パラメータが必要で、これはmilvusに各データファイル（セグメント）内にいくつのクラスタを作るかを指示する。<a href="https://milvus.io/docs/v2.0.x/index.md">インデックスによって</a>必要なパラメータは異なります。</p>
<pre><code translate="no">default_index = {<span class="hljs-string">&quot;index_type&quot;</span>: <span class="hljs-string">&quot;IVF_SQ8&quot;</span>, <span class="hljs-string">&quot;params&quot;</span>: {<span class="hljs-string">&quot;nlist&quot;</span>: <span class="hljs-number">2048</span>}, <span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&quot;L2&quot;</span>}
collection.<span class="hljs-title function_">create_index</span>(field_name=<span class="hljs-string">&quot;vector&quot;</span>, index_params=default_index)
collection.<span class="hljs-title function_">load</span>()
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-7-Set-up-model-and-data-loader" class="common-anchor-header">ステップ7：モデルとデータローダーのセットアップ</h4><p>IVF_SQ8 インデックスが構築されたら、ニューラルネットワークとデータローダーをセットアップする。この例で使用する事前学習済みの pytorch resnet-18 は、分類のためにベクトルを圧縮し、貴重な情報を失う可能性のある最後のレイヤーがない。</p>
<pre><code translate="no">model = torch.hub.load(<span class="hljs-string">&#x27;pytorch/vision:v0.9.0&#x27;</span>, <span class="hljs-string">&#x27;resnet18&#x27;</span>, pretrained=<span class="hljs-literal">True</span>)
encoder = torch.nn.Sequential(*(<span class="hljs-built_in">list</span>(model.children())[:-<span class="hljs-number">1</span>]))
<button class="copy-code-btn"></button></code></pre>
<p>データセットとデータローダーは、画像のファイルパスを提供しながら、画像の前処理とバッチ処理ができるように修正する必要があります。これは、torchvision dataloaderを少し修正することで可能です。前処理では、resnet-18モデルが特定のサイズと値の範囲でトレーニングされているため、画像をトリミングして正規化する必要があります。</p>
<pre><code translate="no">dataset = ImageFolderWithPaths(data_dir, transform=transforms.Compose([
                                                transforms.Resize(256),
                                                transforms.CenterCrop(224),
                                                transforms.ToTensor(),
                                                transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])]))

dataloader = torch.utils.data.DataLoader(dataset, num_workers=0, batch_si
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-8-Insert-vectors-into-the-collection" class="common-anchor-header">ステップ8：コレクションへのベクトルの挿入</h4><p>コレクションがセットアップされると、画像を処理し、作成されたコレクションにロードできます。まず、画像がdataloaderによって取り込まれ、resnet-18モデルにかけられます。その結果、ベクトル埋め込みがMilvusに挿入され、Milvusは各ベクトルに一意のIDを返す。ベクトルIDと画像ファイルのパスは、キーと値のペアとしてRedisサーバーに挿入されます。</p>
<pre><code translate="no">steps = <span class="hljs-built_in">len</span>(dataloader)
step = <span class="hljs-number">0</span>
<span class="hljs-keyword">for</span> inputs, labels, paths <span class="hljs-keyword">in</span> dataloader:
    <span class="hljs-keyword">with</span> torch.no_grad():
        output = encoder(inputs).squeeze()
        output = output.numpy()

    mr = collection.insert([output.tolist()])
    ids = mr.primary_keys
    <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-built_in">len</span>(ids)):
        red.<span class="hljs-built_in">set</span>(<span class="hljs-built_in">str</span>(ids[x]), paths[x])
    <span class="hljs-keyword">if</span> step%<span class="hljs-number">5</span> == <span class="hljs-number">0</span>:
        <span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Insert Step: &quot;</span> + <span class="hljs-built_in">str</span>(step) + <span class="hljs-string">&quot;/&quot;</span> + <span class="hljs-built_in">str</span>(steps))
    step += <span class="hljs-number">1</span>
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-9-Conduct-a-vector-similarity-search" class="common-anchor-header">ステップ9：ベクトル類似度検索の実行</h4><p>すべてのデータがMilvusとRedisに挿入されると、実際のベクトル類似性検索を実行することができます。この例では、ランダムに選んだ3つの画像をRedisサーバーから取り出し、ベクトル類似性検索を行います。</p>
<pre><code translate="no">random_ids = [<span class="hljs-built_in">int</span>(red.randomkey()) <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-number">3</span>)]
search_images = [x.decode(<span class="hljs-string">&quot;utf-8&quot;</span>) <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> red.mget(random_ids)]
<button class="copy-code-btn"></button></code></pre>
<p>これらの画像はまずステップ7で見つかったのと同じ前処理を経て、resnet-18モデルを通してプッシュされます。</p>
<pre><code translate="no">transform_ops = transforms.Compose([
                transforms.Resize(<span class="hljs-number">256</span>),
                transforms.CenterCrop(<span class="hljs-number">224</span>),
                transforms.ToTensor(),
                transforms.Normalize(mean=[<span class="hljs-number">0.485</span>, <span class="hljs-number">0.456</span>, <span class="hljs-number">0.406</span>], std=[<span class="hljs-number">0.229</span>, <span class="hljs-number">0.224</span>, <span class="hljs-number">0.225</span>])])

embeddings = [transform_ops(Image.<span class="hljs-built_in">open</span>(x)) <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> search_images]
embeddings = torch.stack(embeddings, dim=<span class="hljs-number">0</span>)

<span class="hljs-keyword">with</span> torch.no_grad():
    embeddings = encoder(embeddings).squeeze().numpy()
<button class="copy-code-btn"></button></code></pre>
<p>次に、結果として得られたベクトル埋め込みを使用して検索を実行する。最初に、検索するコレクションの名前、nprobe（検索するクラスタの数）、top_k（返されるベクトルの数）を含む検索パラメータを設定する。この例では、検索はとても速いはずです。</p>
<pre><code translate="no">search_params = {<span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&quot;L2&quot;</span>, <span class="hljs-string">&quot;params&quot;</span>: {<span class="hljs-string">&quot;nprobe&quot;</span>: 32}}
start = time.time()
results = collection.search(embeddings, <span class="hljs-string">&quot;vector&quot;</span>, param=search_params, <span class="hljs-built_in">limit</span>=3, <span class="hljs-built_in">expr</span>=None)
end = time.time() - start
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-10-Image-search-results" class="common-anchor-header">ステップ 10：画像検索結果</h4><p>クエリから返されたベクトルIDは、対応する画像を見つけるために使用されます。そして、Matplotlibが画像検索結果の表示に使われます。<br/></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/pic1_c8652c7fae.png" alt="pic1.png" class="doc-image" id="pic1.png" />
   </span> <span class="img-wrapper"> <span>pic1.png</span> </span> <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/pic2_355b054161.png" alt="pic2.png" class="doc-image" id="pic2.png" /><span>pic2.png</span> </span> <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/pic3_01780c6aac.png" alt="pic3.png" class="doc-image" id="pic3.png" /><span>pic3.png</span> </span></p>
<p><br/></p>
<h3 id="Learn-how-to-deploy-Milvus-in-different-enviroments" class="common-anchor-header">Milvusを様々な環境にデプロイする方法を学びます。</h3><p>新しいブートキャンプの<a href="https://github.com/milvus-io/bootcamp/tree/master/deployments">デプロイメントセクションには</a>、様々な環境やセットアップでMilvusを使用するためのすべての情報が含まれています。Mishardsのデプロイ、KubernetesとMilvusの併用、ロードバランシングなどが含まれます。各環境には、Milvusをその環境で動作させる方法を説明する詳細なステップバイステップのガイドがあります。</p>
<p><br/></p>
<h3 id="Dont-be-a-stranger" class="common-anchor-header">知らない人にならないために</h3><ul>
<li><a href="https://zilliz.com/blog">ブログを</a>お読みください。</li>
<li><a href="https://join.slack.com/t/milvusio/shared_invite/zt-e0u4qu3k-bI2GDNys3ZqX1YCJ9OM~GQ">Slackで</a>オープンソースコミュニティと交流する。</li>
<li><a href="https://github.com/milvus-io/milvus">Githubで</a>、世界で最も人気のあるベクトルデータベースMilvusを使用したり、貢献する。</li>
</ul>


milvus2.0ブートキャンプでベクトル検索ソリューションを素早くテスト・展開

<custom-h1>Milvusでワードローブと衣装計画アプリを作る</custom-h1><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/stylepedia_1_5f239a8d48.png" alt="stylepedia-1.png" class="doc-image" id="stylepedia-1.png" />
   </span> <span class="img-wrapper"> <span>スタイルペディア-1.png</span> </span></p>
<p>2003年に設立された<a href="http://www.mozat.com/home">Mozatは</a>、シンガポールに本社を置き、中国とサウジアラビアにオフィスを構える新興企業だ。同社はソーシャルメディア、コミュニケーション、ライフスタイル・アプリケーションの構築を専門としている。<a href="https://stylepedia.com/">Stylepediaは</a>Mozatによって作られたワードローブアプリで、ユーザーが新しいスタイルを発見し、ファッションに情熱を注ぐ他の人々とつながるのを助ける。主な機能には、デジタルクローゼットをキュレーションする機能、パーソナライズされたおすすめスタイル、ソーシャルメディア機能、オンラインや実生活で見たものと似たアイテムを見つけるための画像検索ツールなどがある。</p>
<p><a href="https://milvus.io">Milvusは</a>、Stylepediaの画像検索システムに使用されている。このアプリは、ユーザー画像、商品画像、ファッション写真の3種類の画像を扱います。各画像には1つ以上のアイテムが含まれるため、各クエリがさらに複雑になります。画像検索システムを有用なものにするためには、正確で、高速で、安定したものでなければなりません。</p>
<h2 id="System-overview" class="common-anchor-header">システム概要<button data-href="#System-overview" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/stylepedia_system_process_8e7e2ab3e4.png" alt="stylepedia-system-process.png" class="doc-image" id="stylepedia-system-process.png" />
   </span> <span class="img-wrapper"> <span>スタイルペディアシステムプロセス.png</span> </span></p>
<p>画像検索システムは、オフラインとオンラインのコンポーネントに分かれています。</p>
<p>オフラインでは、画像はベクトル化され、ベクトルデータベース（Milvus）に挿入されます。データワークフローでは、関連する商品画像やファッション写真が、オブジェクト検出と特徴抽出モデルを使用して512次元の特徴ベクトルに変換されます。その後、ベクトルデータはインデックス化され、ベクトルデータベースに追加される。</p>
<p>オンラインでは、画像データベースが照会され、類似画像がユーザーに返される。オフラインの場合と同様に、クエリ画像はオブジェクト検出と特徴抽出モデルによって処理され、特徴ベクトルが得られる。特徴ベクトルを使って、MilvusはTopK類似ベクトルを検索し、対応する画像IDを取得する。最後に、後処理（フィルタリング、ソートなど）の後、クエリ画像に類似した画像のコレクションが返される。</p>
<h2 id="Implementation" class="common-anchor-header">実装<button data-href="#Implementation" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>実装は4つのモジュールに分かれている：</p>
<ol>
<li>衣服の検出</li>
<li>特徴抽出</li>
<li>ベクトル類似度検索</li>
<li>後処理</li>
</ol>
<h3 id="Garment-detection" class="common-anchor-header">衣服検出</h3><p>衣服検出モジュールでは、1段階のアンカーベースのターゲット検出フレームワークである<a href="https://pytorch.org/hub/ultralytics_yolov5/">YOLOv5が</a>、小型でリアルタイム推論が可能なオブジェクト検出モデルとして使用されている。YOLOv5には4つのモデルサイズ（YOLOv5s/m/l/x）があり、それぞれのサイズには長所と短所がある。大きいモデルは性能が良い（精度が高い）が、より多くの計算能力を必要とし、動作が遅くなる。今回の対象物は比較的大きなもので、検出が容易なため、最小モデルのYOLOv5sで十分です。</p>
<p>各画像内の衣服アイテムは認識され、切り出され、その後の処理で使用される特徴抽出モデル入力となる。同時に、物体検出モデルは、事前に定義されたクラス（トップス、アウターウェア、ズボン、スカート、ドレス、ロンパース）に従って衣服の分類も予測する。</p>
<h3 id="Feature-extraction" class="common-anchor-header">特徴抽出</h3><p>類似検索の鍵は特徴抽出モデルである。切り取られた衣服画像は、機械可読な数値データ形式で属性を表す512次元浮動小数点ベクトルに埋め込まれる。<a href="https://arxiv.org/abs/1905.11946">EfficientNetを</a>基幹モデルとして、<a href="https://github.com/Joon-Park92/Survey_of_Deep_Metric_Learning">ディープメトリック学習（DML）</a>手法を採用する。</p>
<p>メトリック学習は、CNNベースの非線形特徴抽出モジュール（またはエンコーダ）を訓練して、同じクラスのサンプルに対応する特徴ベクトル間の距離を短くし、異なるクラスのサンプルに対応する特徴ベクトル間の距離を長くすることを目的とする。このシナリオでは、同じクラスのサンプルは同じ服を指します。</p>
<p>EfficientNetは、ネットワークの幅、深さ、解像度を均一にスケーリングする際に、速度と精度の両方を考慮します。EfficientNet-B4は特徴抽出ネットワークとして使用され、究極の完全接続層の出力はベクトル類似性検索を行うために必要な画像特徴である。</p>
<h3 id="Vector-similarity-search" class="common-anchor-header">ベクトル類似検索</h3><p>Milvusはオープンソースのベクトルデータベースで、作成、読み込み、更新、削除（CRUD）操作と、1兆バイトのデータセットに対するほぼリアルタイムの検索をサポートしています。Stylepedia では、高い伸縮性、安定性、信頼性、そして高速性を持つ Milvus を大規模なベクトル類似性検索に使用しています。Milvusは、広く使用されているベクトルインデックスライブラリ（Faiss、NMSLIB、Annoyなど）の機能を拡張し、シンプルで直感的なAPIセットを提供することで、ユーザーは与えられたシナリオに理想的なインデックスタイプを選択することができます。</p>
<p>シナリオの要件とデータ規模を考慮し、Stylepediaの開発者はMilvusのCPUのみのディストリビューションとHNSWインデックスを組み合わせました。インデックス化された2つのコレクションは、1つは商品、もう1つはファッション写真で、異なるアプリケーション機能を提供するために構築されています。各コレクションはさらに、検索範囲を狭めるために、検出と分類の結果に基づいて6つのパーティションに分割される。Milvusは数千万のベクトルに対して数ミリ秒で検索を実行し、開発コストを抑えながら最適なパフォーマンスを提供し、リソースの消費を最小限に抑えます。</p>
<h3 id="Post-processing" class="common-anchor-header">後処理</h3><p>画像検索結果とクエリ画像の類似性を向上させるために、カラーフィルタリングとキーラベル（袖丈、着丈、襟型など）フィルタリングを使用して、不適格な画像をフィルタリングします。さらに、画質評価アルゴリズムを使用して、より高品質な画像がユーザーに最初に提示されるようにします。</p>
<h2 id="Application" class="common-anchor-header">アプリケーション<button data-href="#Application" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="User-uploads-and-image-search" class="common-anchor-header">ユーザーのアップロードと画像検索</h3><p>ユーザーは自分の洋服を撮影し、Stylepedia デジタルクローゼットにアップロードすることで、アップロードした画像に最も近い商品画像を検索することができます。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/stylepedia_search_results_0568e20dc0.png" alt="stylepedia-search-results.png" class="doc-image" id="stylepedia-search-results.png" />
   </span> <span class="img-wrapper"> <span>スタイルペディア検索結果.png</span> </span></p>
<h3 id="Outfit-suggestions" class="common-anchor-header">着こなし提案</h3><p>Stylepedia データベース上で類似検索を行うことで、特定のファッションアイテムを含むファッション写真を見つけることができます。これらは、誰かが購入を考えている新しい洋服であったり、自分のコレクションにあるものであったりします。そして、そのアイテムがよく組み合わされるアイテムのクラスタリングを通して、着こなしの提案が生成される。例えば、黒のバイカージャケットは、黒のスキニージーンズなど、様々なアイテムと合わせることができる。ユーザーは、選択された公式の中で、このマッチングが起こる関連するファッション写真を閲覧することができます。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/stylepedia_jacket_outfit_e84914da9e.png" alt="stylepedia-jacket-outfit.png" class="doc-image" id="stylepedia-jacket-outfit.png" />
   </span> <span class="img-wrapper"> <span>スタイルペディア-ジャケット-アウトフィット.png</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/stylepedia_jacket_snapshot_25f53cc09b.png" alt="stylepedia-jacket-snapshot.png" class="doc-image" id="stylepedia-jacket-snapshot.png" />
   </span> <span class="img-wrapper"> <span>スタイルペディア・ジャケット・スナップショット.png</span> </span></p>
<h3 id="Fashion-photograph-recommendations" class="common-anchor-header">ファッション写真のレコメンデーション</h3><p>ユーザーの閲覧履歴、「好きなもの」、デジタル・クローゼットの内容に基づいて、類似度を計算し、興味のありそうなファッション写真をカスタマイズしてレコメンドします。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/stylepedia_user_wardrobe_6770c856b9.png" alt="stylepedia-user-wardrobe.png" class="doc-image" id="stylepedia-user-wardrobe.png" />
   </span> <span class="img-wrapper"> <span>スタイルペディア-ユーザー-ワードローブ.png</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/stylepedia_streetsnap_rec_901601a34d.png" alt="stylepedia-streetsnap-rec.png" class="doc-image" id="stylepedia-streetsnap-rec.png" />
   </span> <span class="img-wrapper"> <span>stylepedia-streetsnap-rec.png</span> </span></p>
<p>ディープラーニングとコンピュータービジョンの手法を組み合わせることで、Mozatは、Stylepediaアプリの様々な機能をパワーアップさせるためにMilvusを使用して、高速で安定した正確な画像類似検索システムを構築することができました。</p>
<h2 id="Dont-be-a-stranger" class="common-anchor-header">見知らぬ人にならない<button data-href="#Dont-be-a-stranger" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><a href="https://github.com/milvus-io/milvus/">GitHubで</a>Milvusを見つける、またはMilvusに貢献する。</li>
<li><a href="https://join.slack.com/t/milvusio/shared_invite/zt-e0u4qu3k-bI2GDNys3ZqX1YCJ9OM~GQ">Slackで</a>コミュニティと交流する。</li>
<li><a href="https://twitter.com/milvusio">Twitterで</a>私たちとつながりましょう。</li>
</ul>


システム概要

<custom-h1>JuiceFSをベースとしたMilvusクラスタの構築</custom-h1><p>オープンソースコミュニティ間のコラボレーションは魔法のようなものだ。情熱的で、知的で、創造的なボランティアは、オープンソースのソリューションを革新的なものに保つだけでなく、さまざまなツールを興味深く有用な方法で一つにまとめる作業も行っています。世界で最も人気のあるベクターデータベースである<a href="https://milvus.io/">Milvusと</a>、クラウドネイティブ環境向けに設計された共有ファイルシステムである<a href="https://github.com/juicedata/juicefs">JuiceFSは</a>、それぞれのオープンソースコミュニティによってこの精神で結ばれた。この記事では、JuiceFSとは何か、JuiceFS共有ファイルストレージをベースにMilvusクラスタを構築する方法、そしてこのソリューションを使用してユーザーが期待できるパフォーマンスについて説明します。</p>
<h2 id="What-is-JuiceFS" class="common-anchor-header"><strong>JuiceFSとは？</strong><button data-href="#What-is-JuiceFS" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>JuiceFSは高性能なオープンソースの分散POSIXファイルシステムで、RedisとS3の上に構築することができます。クラウドネイティブ環境向けに設計されており、あらゆる種類のデータの管理、分析、アーカイブ、バックアップをサポートします。JuiceFSは、ビッグデータの課題解決、人工知能（AI）アプリケーションの構築、ログ収集などによく使われている。また、複数のクライアント間でのデータ共有にも対応しており、milvusの共有ストレージとして直接使用することもできる。</p>
<p>データとそれに対応するメタデータがそれぞれオブジェクトストレージと<a href="https://redis.io/">Redisに</a>永続化された後、JuiceFSはステートレスミドルウェアとして機能する。データ共有は、標準的なファイルシステムインタフェースを通じて、異なるアプリケーション同士がシームレスにドッキングできるようにすることで実現される。JuiceFSは、メタデータの保存にオープンソースのインメモリデータストアであるRedisを利用している。Redisが使用される理由は、アトミティシティが保証され、高性能なメタデータ操作が提供されるからです。すべてのデータは、JuiceFSクライアントを通じてオブジェクトストレージに格納されます。アーキテクチャ図は以下の通りです：</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/juicefs_architecture_2023b37a4e.png" alt="juicefs-architecture.png" class="doc-image" id="juicefs-architecture.png" />
   </span> <span class="img-wrapper"> <span>juicefs-architecture.png</span> </span></p>
<h2 id="Build-a-Milvus-cluster-based-on-JuiceFS" class="common-anchor-header"><strong>JuiceFSをベースにしたMilvusクラスタの構築</strong><button data-href="#Build-a-Milvus-cluster-based-on-JuiceFS" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>JuiceFSを使用して構築されたMilvusクラスタ（以下のアーキテクチャ図を参照）は、クラスタシャーディングミドルウェアであるMishardsを使用してアップストリームリクエストを分割し、リクエストをサブモジュールにカスケードダウンすることで動作します。データを挿入するとき、MishardsはMilvusの書き込みノードに上流のリクエストを割り当て、書き込みノードは新しく挿入されたデータをJuiceFSに格納する。データを読み込む場合、MishardsはJuiceFSからMilvus readノードを通じてデータをメモリにロードして処理し、上流のサブサービスから結果を収集して返します。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/milvus_cluster_built_with_juicefs_3a43cd262c.png" alt="milvus-cluster-built-with-juicefs.png" class="doc-image" id="milvus-cluster-built-with-juicefs.png" />
   </span> <span class="img-wrapper"> <span>milvus-cluster-built-with-juicefs.png</span> </span></p>
<h3 id="Step-1-Launch-MySQL-service" class="common-anchor-header"><strong>ステップ1: MySQLサービスの起動</strong></h3><p>クラスタ内の<strong>任意の</strong>ノードでMySQLサービスを起動します。詳細については、<a href="https://milvus.io/docs/v1.1.0/data_manage.md">MySQLでメタデータを管理するを</a>参照してください。</p>
<h3 id="Step-2-Create-a-JuiceFS-file-system" class="common-anchor-header"><strong>ステップ2: JuiceFSファイルシステムの作成</strong></h3><p>デモンストレーションのため、コンパイル済みのバイナリJuiceFSプログラムを使用します。お使いのシステムに適した<a href="https://github.com/juicedata/juicefs/releases">インストールパッケージを</a>ダウンロードし、JuiceFS<a href="https://github.com/juicedata/juicefs-quickstart">クイックスタートガイドに従って</a>詳しいインストール手順を確認してください。JuiceFSファイルシステムを作成するには、まずメタデータストレージ用にRedisデータベースをセットアップします。パブリッククラウドの展開では、アプリケーションと同じクラウド上でRedisサービスをホストすることをお勧めします。さらに、JuiceFS用のオブジェクトストレージをセットアップします。この例ではAzure Blob Storageを使用していますが、JuiceFSはほぼすべてのオブジェクトサービスをサポートしています。シナリオの要求に最も適したオブジェクト・ストレージ・サービスを選択してください。</p>
<p>Redisサービスとオブジェクトストレージを設定したら、新しいファイルシステムをフォーマットし、JuiceFSをローカルディレクトリにマウントします：</p>
<pre><code translate="no">1 $  <span class="hljs-built_in">export</span> AZURE_STORAGE_CONNECTION_STRING=<span class="hljs-string">&quot;DefaultEndpointsProtocol=https;AccountName=XXX;AccountKey=XXX;EndpointSuffix=core.windows.net&quot;</span>
2 $ ./juicefs format \
3     --storage wasb \
4     --bucket https://&lt;container&gt; \
5     ... \
6     localhost <span class="hljs-built_in">test</span> <span class="hljs-comment">#format</span>
7 $ ./juicefs mount -d localhost ~/jfs  <span class="hljs-comment">#mount</span>
8
<button class="copy-code-btn"></button></code></pre>
<blockquote>
<p>Redisサーバーがローカルで実行されていない場合は、localhostを次のアドレスに置き換えてください：<code translate="no">redis://&lt;user:password&gt;@host:6379/1</code> 。</p>
</blockquote>
<p>インストールに成功すると、JuiceFSは共有ストレージページ<strong>/root/jfsを</strong>返します。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/installation_success_9d05279ecd.png" alt="installation-success.png" class="doc-image" id="installation-success.png" />
   </span> <span class="img-wrapper"> <span>インストール成功.png</span> </span></p>
<h3 id="Step-3-Start-Milvus" class="common-anchor-header"><strong>ステップ3: Milvusの起動</strong></h3><p>クラスタ内のすべてのノードにMilvusをインストールし、各Milvusノードに読み取り権限または書き込み権限を設定する必要があります。Milvusノードは1台のみ書き込みノードに設定でき、残りは読み込みノードに設定する必要があります。まず、Milvusシステム設定ファイル<strong>server_config.yaml</strong> のセクション<code translate="no">cluster</code> と<code translate="no">general</code> のパラメータを設定します：</p>
<p><strong>セクション</strong> <code translate="no">cluster</code></p>
<table>
<thead>
<tr><th style="text-align:left"><strong>パラメータ</strong></th><th style="text-align:left"><strong>説明</strong></th><th style="text-align:left"><strong>設定</strong></th></tr>
</thead>
<tbody>
<tr><td style="text-align:left"><code translate="no">enable</code></td><td style="text-align:left">クラスタモードを有効にするかどうか</td><td style="text-align:left"><code translate="no">true</code></td></tr>
<tr><td style="text-align:left"><code translate="no">role</code></td><td style="text-align:left">Milvusデプロイメントロール</td><td style="text-align:left"><code translate="no">rw</code>/<code translate="no">ro</code></td></tr>
</tbody>
</table>
<p><strong>セクション</strong> <code translate="no">general</code></p>
<pre><code translate="no"><span class="hljs-comment"># meta_uri is the URI for metadata storage, using MySQL (for Milvus Cluster). Format: mysql://&lt;username:password&gt;@host:port/database</span>
general:
  timezone: UTC+8
  meta_uri: mysql://root:milvusroot@host:3306/milvus
<button class="copy-code-btn"></button></code></pre>
<p>インストール中、設定されたJuiceFS共有ストレージ・パスは<strong>/root/jfs/milvus/dbに</strong>設定されます。</p>
<pre><code translate="no">1 <span class="hljs-built_in">sudo</span> docker run -d --name milvus_gpu_1.0.0 --gpus all \
2 -p 19530:19530 \
3 -p 19121:19121 \
4 -v /root/jfs/milvus/db:/var/lib/milvus/db \  <span class="hljs-comment">#/root/jfs/milvus/db is the shared storage path</span>
5 -v /home/<span class="hljs-variable">$USER</span>/milvus/conf:/var/lib/milvus/conf \
6 -v /home/<span class="hljs-variable">$USER</span>/milvus/logs:/var/lib/milvus/logs \
7 -v /home/<span class="hljs-variable">$USER</span>/milvus/wal:/var/lib/milvus/wal \
8 milvusdb/milvus:1.0.0-gpu-d030521-1ea92e
9
<button class="copy-code-btn"></button></code></pre>
<p>インストールが完了したら、Milvusを起動し、正しく起動されていることを確認します。 最後に、クラスタ内の<strong>いずれかの</strong>ノードでMishardsサービスを起動します。以下の画像はMishardsが正常に起動したことを示しています。詳細については、GitHub<a href="https://github.com/milvus-io/bootcamp/tree/new-bootcamp/deployments/juicefs">チュートリアルを</a>参照してください。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/mishards_launch_success_921695d3a8.png" alt="mishards-launch-success.png" class="doc-image" id="mishards-launch-success.png" />
   </span> <span class="img-wrapper"> <span>mishards-launch-success.png</span> </span></p>
<h2 id="Performance-benchmarks" class="common-anchor-header"><strong>パフォーマンス・ベンチマーク</strong><button data-href="#Performance-benchmarks" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>共有ストレージ・ソリューションは通常、ネットワーク・アタッチド・ストレージ（NAS）システムによって実装されます。一般的に使用されるNASシステムのタイプには、ネットワーク・ファイル・システム（NFS）やサーバー・メッセージ・ブロック（SMB）などがある。パブリッククラウドプラットフォームは通常、Amazon Elastic File System（EFS）など、これらのプロトコルと互換性のあるマネージドストレージサービスを提供しています。</p>
<p>従来のNASシステムとは異なり、JuiceFSはFUSE（Filesystem in Userspace）に基づいて実装されており、すべてのデータの読み書きがアプリケーション側で直接行われるため、アクセスの待ち時間がさらに短縮されます。また、データ圧縮やキャッシングなど、他のNASシステムにはないJuiceFS独自の機能もあります。</p>
<p>ベンチマークテストにより、JuiceFSがEFSよりも大きな利点を提供していることが明らかになりました。メタデータベンチマーク（図1）では、JuiceFSの1秒あたりのI/Oオペレーション（IOPS）はEFSの最大10倍です。さらに、I/Oスループットベンチマーク（図2）では、シングルジョブとマルチジョブの両方のシナリオで、JuiceFSがEFSを上回っています。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/performance_benchmark_1_b7fcbb4439.png" alt="performance-benchmark-1.png" class="doc-image" id="performance-benchmark-1.png" />
   </span> <span class="img-wrapper"> <span>パフォーマンスベンチマーク-1.png</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/performance_benchmark_2_e311098123.png" alt="performance-benchmark-2.png" class="doc-image" id="performance-benchmark-2.png" />
   </span> <span class="img-wrapper"> <span>パフォーマンスベンチマーク-2.png</span> </span></p>
<p>さらに、ベンチマークテストでは、JuiceFSベースのMilvusクラスタにおける最初のクエリ検索時間（新しく挿入されたデータをディスクからメモリにロードする時間）は平均でわずか0.032秒であり、データがディスクからメモリにほぼ瞬時にロードされることを示しています。このテストでは、100万行の128次元ベクトルデータを100kバッチで1～8秒間隔で挿入し、最初のクエリ検索時間を測定しています。</p>
<p>JuiceFSは安定した信頼性の高い共有ファイルストレージシステムであり、JuiceFS上に構築されたMilvusクラスタは、高いパフォーマンスと柔軟なストレージ容量の両方を提供します。</p>
<h2 id="Learn-more-about-Milvus" class="common-anchor-header"><strong>Milvusの詳細はこちら</strong><button data-href="#Learn-more-about-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvusは、膨大な数の人工知能やベクトル類似性検索アプリケーションを強化できる強力なツールです。プロジェクトの詳細については、以下のリソースをご覧ください：</p>
<ul>
<li><a href="https://zilliz.com/blog">ブログを</a>読む</li>
<li><a href="https://join.slack.com/t/milvusio/shared_invite/zt-e0u4qu3k-bI2GDNys3ZqX1YCJ9OM~GQ">Slackで</a>オープンソースコミュニティと交流する。</li>
<li><a href="https://github.com/milvus-io/milvus/">GitHubで</a>世界で最も人気のあるベクトル・データベースを利用したり、貢献する。</li>
<li>新しい<a href="https://github.com/milvus-io/bootcamp">ブートキャンプで</a>AIアプリケーションを素早くテストし、デプロイする。</li>
</ul>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/writer_bio_changjian_gao_68018f7716.png" alt="writer bio-changjian gao.png" class="doc-image" id="writer-bio-changjian-gao.png" />
   </span> <span class="img-wrapper"> <span>writer bio-changjian gao.png</span> </span> <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/writer_bio_jingjing_jia_a85d1c2e3b.png" alt="writer bio-jingjing jia.png" class="doc-image" id="writer-bio-jingjing-jia.png" /><span>writer bio-jingjing jia.png</span> </span></p>


JuiceFSとは？

<custom-h1>捜狐ニュースアプリ内にインテリジェントなニュース推薦システムを構築する</custom-h1><p><a href="https://www.socialmediatoday.com/news/new-research-shows-that-71-of-americans-now-get-news-content-via-social-pl/593255/">アメリカ人の71％が</a>ソーシャル・プラットフォームからニュースを推薦されるようになり、パーソナライズされたコンテンツは急速に新しいメディアを発見する方法となった。人々が特定のトピックを検索するにしても、おすすめコンテンツと交流するにしても、ユーザーが目にするものはすべて、クリックスルー率（CTR）、エンゲージメント、関連性を向上させるアルゴリズムによって最適化されている。捜狐はNASDAQに上場している中国のオンラインメディア、ビデオ、検索、ゲームグループである。同社は、<a href="https://zilliz.com/">Zillizが</a>構築したオープンソースのベクトルデータベース<a href="https://milvus.io/">Milvusを</a>活用し、ニュースアプリ内にセマンティックベクトル検索エンジンを構築した。この記事では、同社がユーザープロファイルを利用して、パーソナライズされたコンテンツ推薦を長期にわたって微調整し、ユーザーエクスペリエンスとエンゲージメントを向上させた方法について説明する。</p>
<h2 id="Recommending-content-using-semantic-vector-search" class="common-anchor-header">セマンティック・ベクトル検索を使ったコンテンツ推薦<button data-href="#Recommending-content-using-semantic-vector-search" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>捜狐ニュースのユーザープロファイルは、閲覧履歴から作成され、ユーザーがニュースコンテンツを検索し、インタラクションするたびに調整される。捜狐のレコメンダー・システムは、セマンティック・ベクトル検索を使って関連するニュース記事を見つける。このシステムは、閲覧履歴に基づいて各ユーザーの関心が高いと予想されるタグのセットを特定することで機能する。そして、関連記事を素早く検索し、その結果を人気度（平均CTRで測定）でソートしてからユーザーに提供する。</p>
<p>ニューヨーク・タイムズだけでも1日に<a href="https://www.theatlantic.com/technology/archive/2016/05/how-many-stories-do-newspapers-publish-per-day/483845/">230ものコンテンツが</a>発行されており、効果的なレコメンデーション・システムが処理できなければならない新しいコンテンツの大きさを垣間見ることができる。大量のニュースを取り込むには、ミリ秒単位の類似検索と、新しいコンテンツへのタグのマッチングが毎時必要となる。SohuがMilvusを選択した理由は、膨大なデータセットを効率的かつ正確に処理し、検索時のメモリ使用量を削減し、ハイパフォーマンスな導入をサポートするからである。</p>
<h2 id="Understanding-a-news-recommendation-system-workflow" class="common-anchor-header">ニュース推薦システムのワークフローを理解する<button data-href="#Understanding-a-news-recommendation-system-workflow" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Sohuのセマンティックベクトル検索ベースのコンテンツ推薦では、2つのニューラルネットワークを使用してユーザーのクエリとニュース記事をベクトルとして表現するDSSM（Deep Structured Semantic Model）に依存している。このモデルは、2つの意味ベクトルの余弦類似度を計算し、最も類似したニュースのバッチが推薦候補プールに送られる。次に、推定CTRに基づいてニュース記事がランク付けされ、予測クリックスルー率が最も高いものがユーザーに表示される。</p>
<h3 id="Encoding-news-articles-into-semantic-vectors-with-BERT-as-service" class="common-anchor-header">BERT-as-serviceによるニュース記事の意味ベクトルへの符号化</h3><p>ニュース記事を意味ベクトルにエンコードするために、システムは<a href="https://github.com/hanxiao/bert-as-service.git">BERT-as-service</a>ツールを使用する。このモデルを使用している間にコンテンツの単語数が512を超えると、埋め込み処理中に情報損失が発生する。これを克服するために、システムはまず要約を抽出し、それを768次元の意味ベクトルに符号化する。次に、各ニュース記事から最も関連性の高い2つのトピックを抽出し、トピックIDに基づいて対応する事前学習済みのトピックベクトル（200次元）を特定する。次に、トピックベクトルは記事の要約から抽出された768次元の意味ベクトルにスプライスされ、968次元の意味ベクトルが形成される。</p>
<p>Kaftaを通じて新しいコンテンツが継続的に入力され、Milvusデータベースに挿入される前に意味ベクトルに変換される。</p>
<h3 id="Extracting-semantically-similar-tags-from-user-profiles-with-BERT-as-service" class="common-anchor-header">BERT-as-serviceによるユーザープロファイルからの意味的に類似したタグの抽出</h3><p>モデルのもう1つのニューラルネットワークは、ユーザー意味ベクトルである。興味、検索クエリ、および閲覧履歴に基づいて、意味的に類似したタグ（例えば、コロナウイルス、covid、COVID-19、パンデミック、新型株、肺炎）がユーザープロファイルから抽出される。取得されたタグのリストは重みでソートされ、上位200個が異なるセマンティックグループに分けられる。各意味グループ内のタグの順列は、新しいタグフレーズを生成するために使用され、BERT-as-service によって意味ベクトルにエンコードされる。</p>
<p>各ユーザプロファイルについて、タグフレーズのセットは、ユーザの関心レベルを示す重みでマークさ れた<a href="https://github.com/baidu/Familia">トピックのセットに対応している</a>。すべての関連トピックの中から上位 2 つのトピックが選択され、機械学習（ML）モデルによって符号化されて、対応するタグ意味ベクトルにスプライスされ、968 次元のユーザー意味ベクトルが形成される。システムが異なるユーザーに対して同じタグを生成しても、タグとそれに対応するトピックに対する重みが異なるだけでなく、各ユーザーのトピックベクトル間の分散が明示されているため、レコメンデーションは一意であることが保証される。</p>
<p>このシステムは、ユーザープロフィールとニュース記事の両方から抽出された意味ベクトルの余弦類似度を計算することで、パーソナライズされたニュース推薦を行うことができる。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Sohu01_1e466fe0c3.jpg" alt="Sohu01.jpg" class="doc-image" id="sohu01.jpg" />
   </span> <span class="img-wrapper"> <span>捜狐01.jpg</span> </span></p>
<h3 id="Computing-new-semantic-user-profile-vectors-and-inserting-them-to-Milvus" class="common-anchor-header">新しいセマンティックユーザープロファイルベクトルの計算とmilvusへの挿入</h3><p>意味的ユーザープロファイルベクトルは毎日計算され、前24時間のデータは翌日の夕方に処理される。ベクトルは個別にMilvusに挿入され、関連するニュースの結果をユーザーに提供するためのクエリープロセスを実行する。ニュースコンテンツは本質的に時事的であるため、予測クリックスルー率が高く、ユーザーに関連するコンテンツを含む現在のニュースフィードを生成するために、毎時計算を実行する必要がある。ニュースコンテンツはまた、日付ごとにパーティションにソートされ、古いニュースは毎日パージされる。</p>
<h3 id="Decreasing-semantic-vector-extraction-time-from-days-to-hours" class="common-anchor-header">意味ベクトルの抽出時間を数日から数時間に短縮</h3><p>意味ベクトルを使ってコンテンツを検索するには、毎日何千万ものタグフレーズを意味ベクトルに変換する必要があります。これは時間のかかるプロセスで、この種の計算を高速化するグラフィック・プロセッシング・ユニット（GPU）で実行しても、完了までに数日を要する。この技術的な問題を克服するためには、類似のタグフレーズが出現したときに、対応する意味ベクトルを直接検索できるように、以前の埋め込みからの意味ベクトルを最適化しなければならない。</p>
<p>既存のタグフレーズ集合の意味ベクトルは保存され、毎日生成される新しいタグフレーズ集合はMinHashベクトルにエンコードされる。新しいタグフレーズのMinHashベクトルと保存されたタグフ レーズベクトル間の類似度を計算するために、<a href="https://milvus.io/docs/v1.1.1/metric.md">Jaccard距離が</a>使用されます。ジャッ カード距離が事前に定義されたしきい値を超えた場合、2つのセットは類似していると見なされます。類似度の閾値が満たされた場合、新しいフレーズは以前の埋め込みからの意味情報を活用することができます。テストによると、0.8以上の距離であれば、ほとんどの状況で十分な精度が保証される。</p>
<p>このプロセスにより、上記の何千万ものベクトルの毎日の変換は、数日から2時間程度に短縮される。特定のプロジェクトの要件によっては、意味ベクトルを保存する他の方法がより適切かもしれないが、milvusデータベースでJaccard距離を使用して2つのタグフレーズ間の類似性を計算することは、様々なシナリオにおいて効率的で正確な方法であることに変わりはない。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Sohu02_d50fccc538.jpg" alt="Sohu02.jpg" class="doc-image" id="sohu02.jpg" />
   </span> <span class="img-wrapper"> <span>Sohu02.jpg</span> </span></p>
<h2 id="Overcoming-bad-cases-of-short-text-classification" class="common-anchor-header">短いテキスト分類の「悪いケース」の克服<button data-href="#Overcoming-bad-cases-of-short-text-classification" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>ニューステキストを分類する場合、短いニュース記事は長いニュース記事よりも抽出できる特徴が少ない。このため、様々な長さのコンテンツを同じ分類器にかけると、分類アルゴリズムは失敗します。Milvusは、類似したセマンティクスと信頼できるスコアを持つ複数の長いテキストの分類情報を検索し、投票メカニズムを使って短いテキストの分類を修正することで、この問題の解決を支援します。</p>
<h3 id="Identifying-and-resolving-misclassified-short-text" class="common-anchor-header">誤分類された短文の特定と解決</h3><p>各ニュース記事を正確に分類することは、有益なコンテンツ推薦を提供する上で極めて重要である。短いニュース記事は特徴量が少ないため、異なる長さのニュースに対して同じ分類器を適用すると、短いテキスト分類のエラー率が高くなる。このタスクに対して人間のラベリングは時間がかかりすぎ、不正確であるため、BERT-as-serviceとMilvusを使用して、誤分類された短いテキストをバッチで迅速に識別し、正しく再分類し、その後、この問題に対する訓練のためのコーパスとしてデータのバッチを使用する。</p>
<p>BERT-as-service は、分類器のスコアが 0.9 より大きい合計 500 万の長文ニュース記事を意味ベクトルに符号化するために使用される。長文記事を Milvus に挿入した後、短文ニュースを意味ベクトルに符号化する。各短文ニュースの意味ベクトルはMilvusデータベースへの問い合わせに使われ、対象の短文ニュースとのコサイン類似度が最も高い上位20の長文ニュース記事を得る。上位20の意味的に類似したロングニュースのうち18が同じ分類に見え、それがクエリのショートニュースの分類と異なる場合、ショートニュースの分類は不正確とみなされ、18のロングニュース記事と整合するように調整されなければならない。</p>
<p>このプロセスは、不正確な短いテキストの分類を素早く識別し、修正する。ランダムサンプリングの統計によると、短いテキストの分類が修正された後、テキスト分類の全体的な精度は95%を超える。信頼度の高い長文の分類を利用して短文の分類を修正することで、悪い分類ケースの大部分は短時間で修正される。これはまた、短いテキスト分類器を訓練するための良いコーパスを提供します。</p>
<p>![Sohu03.jpg](https://assets.zilliz.com/Sohu03_a43074cf5f.jpg「短文分類の "悪いケース "発見のフローチャート」)</p>
<h2 id="Milvus-can-power-real-time-news-content-recommendation-and-more" class="common-anchor-header">Milvusはリアルタイムのニュースコンテンツレコメンデーションなどを可能にする<button data-href="#Milvus-can-power-real-time-news-content-recommendation-and-more" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvusは、捜狐のニュース推薦システムのリアルタイム性能を大幅に改善し、誤分類された短文の識別効率も強化しました。Milvusとその様々なアプリケーションについてもっと知りたい方は：</p>
<ul>
<li><a href="https://zilliz.com/blog">ブログを</a>読む。</li>
<li><a href="https://join.slack.com/t/milvusio/shared_invite/zt-e0u4qu3k-bI2GDNys3ZqX1YCJ9OM~GQ">Slackで</a>オープンソースコミュニティと交流する。</li>
<li><a href="https://github.com/milvus-io/milvus/">GitHubで</a>世界で最も人気のあるベクトルデータベースを使用したり、貢献する。</li>
<li>新しい<a href="https://github.com/milvus-io/bootcamp">ブートキャンプで</a>AIアプリケーションを素早くテストし、デプロイする。</li>
</ul>


セマンティック・ベクトル検索を使ったコンテンツ推薦

<custom-h1>依存性のデカップリングとテストのコンテナ化でコンパイルを2.5倍高速化</custom-h1><p>コンパイル時間は、開発プロセスを通じて変化する複雑な内部依存関係や外部依存関係、オペレーティング・システムやハードウェア・アーキテクチャなどのコンパイル環境の変化によって複雑になる可能性があります。以下は、大規模なAIプロジェクトやMLOpsプロジェクトで遭遇する可能性のある一般的な問題です：</p>
<p><strong>極端に長いコンパイル</strong>- コード統合は毎日何百回も行われる。何十万行ものコードが存在するため、わずかな変更であっても、フル・コンパイルに通常1時間以上かかる可能性がある。</p>
<p><strong>複雑なコンパイル環境</strong>- プロジェクトのコードは、CentOSやUbuntuなどのオペレーティング・システム、GCC、LLVM、CUDAなどの依存関係、ハードウェア・アーキテクチャなどが異なる環境下でコンパイルする必要があります。また、特定の環境下でのコンパイルは通常、異なる環境下では動作しないかもしれない。</p>
<p><strong>複雑な依存関係</strong>- プロジェクトのコンパイルには、30以上のコンポーネント間依存関係やサードパーティ依存関係が含まれます。プロジェクトの開発によって依存関係が変更されることはよくあり、必然的に依存関係のコンフリクトが発生します。依存関係間のバージョン管理は非常に複雑であるため、依存関係のバージョンを更新すると、他のコンポーネントに影響を与えやすくなります。</p>
<p><strong>サードパーティ依存ライブラリのダウンロードが遅い、または失敗する</strong>- ネットワークの遅延や不安定なサードパーティ依存ライブラリは、リソースのダウンロードに時間がかかったり、アクセスに失敗したりして、コードの統合に深刻な影響を与えます。</p>
<p>依存関係を切り離し、テストのコンテナ化を実装することで、オープンソースの埋め込み類似検索プロジェクト<a href="https://milvus.io/">Milvusの</a>作業中に、平均コンパイル時間を60%短縮することに成功しました。</p>
<p><br/></p>
<h3 id="Decouple-the-dependencies-of-the-project" class="common-anchor-header">プロジェクトの依存関係を切り離す</h3><p>プロジェクトのコンパイルには、通常、多数の内部および外部コンポーネントの依存関係が伴います。プロジェクトの依存関係が多ければ多いほど、その管理は複雑になる。ソフトウェアが大きくなるにつれて、依存関係を変更したり削除したりするのは難しくなり、コストもかかるようになる。依存関係が適切に機能するように、開発プロセス全体を通じて定期的なメンテナンスが必要である。 メンテナンスが不十分であったり、依存関係が複雑であったり、依存関係に欠陥があったりすると、コンフリクトが発生し、開発が遅れたり停滞したりする可能性がある。実際には、リソースのダウンロードの遅れや、コード統合に悪影響を与えるアクセス障害などを意味する。プロジェクトの依存関係をデカップリングすることで、不具合を軽減し、コンパイル時間を短縮することができます。</p>
<p>したがって、プロジェクトの依存関係を切り離すことをお勧めします：</p>
<ul>
<li>複雑な依存関係を持つコンポーネントを分割する</li>
<li>バージョン管理には異なるリポジトリを使用する。</li>
<li>設定ファイルを使用して、バージョン情報、コンパイル・オプション、依存関係などを管理する。</li>
<li>設定ファイルをコンポーネント・ライブラリに追加し、プロジェクトが反復するときに更新されるようにする。</li>
</ul>
<p><strong>コンポーネント間のコンパイル最適化</strong>- 設定ファイルに記録された依存関係やコンパイルオプションに従って、関連するコンポーネントをプルしてコンパイルします。バイナリのコンパイル結果と対応するマニフェストファイルにタグ付けして梱包し、プライベートリポジトリにアップロードします。コンポーネントまたはコンポーネントが依存するコンポーネントに変更がない場合は、マニフェスト ファイルに従ってコンパイル結果を再生します。ネットワークの遅延や不安定なサードパーティ依存ライブラリなどの問題については、内部リポジトリをセットアップするか、ミラーされたリポジトリを使用してみてください。</p>
<p>コンポーネント間のコンパイルを最適化するには</p>
<p>1.依存関係グラフの作成 - コンポーネント・ライブラリの構成ファイルを使用して、依存関係グラフを作成します。依存関係を使用して、上流と下流の依存コンポーネントのバージョン情報（Gitブランチ、タグ、GitコミットID）やコンパイルオプションなどを取得します。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_949dffec32.png" alt="1.png" class="doc-image" id="1.png" />
   </span> <span class="img-wrapper"> <span>1.png</span> </span></p>
<p>2.<strong>依存関係のチェック</strong>- 循環依存関係、バージョンの競合、コンポーネント間で発生するその他の問題に対するアラートを生成します。</p>
<p>3.<strong>依存関係の平坦化</strong>- Depth First Search (DFS)によって依存関係をソートし、重複する依存関係を持つコンポーネントをフロントマージして依存関係グラフを形成します。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/2_45130c55e4.png" alt="2.png" class="doc-image" id="2.png" />
   </span> <span class="img-wrapper"> <span>2.png</span> </span></p>
<p>4.MerkleTreeアルゴリズムを使用して、バージョン情報、コンパイルオプションなどに基づいて、各コンポーネントの依存関係を含むハッシュ（ルートハッシュ）を生成します。コンポーネント名などの情報と組み合わせることで、このアルゴリズムは各コンポーネントに固有のタグを形成する。</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/3_6a4fcdf4e3.png" alt="3.png" class="doc-image" id="3.png" />
   </span> <span class="img-wrapper"> <span>3.png</span> </span></p>
<p>5.コンポーネントの一意なタグ情報に基づいて、対応するコンパイルアーカイブがプライベートリポジトリに存在するかどうかをチェックする。コンパイルアーカイブが検索された場合は、それを解凍して再生用のマニフェストファイルを取得します。そうでない場合は、コンポーネントをコンパイルし、生成されたコンパイルオブジェクトファイルとマニフェストファイルをマークアップして、プライベートリポジトリにアップロードします。</p>
<p><br/></p>
<p><strong>コンポーネント内でコンパイル最適化を実装する</strong>- 言語固有のコンパイルキャッシュツールを選択してコンパイル済みオブジェクトファイルをキャッシュし、プライベートリポジトリにアップロードして保存します。C/C++ コンパイルでは、CCache のようなコンパイル・キャッシュ・ツールを選択して C/C++ コンパイルの中間ファイルをキャッシュし、コンパイル後にローカルの CCache キャッシュをアーカイブします。このようなコンパイル・キャッシュ・ツールは、コンパイル後に変更されたコード・ファイルを1つずつキャッシュし、変更されていないコード・ファイルのコンパイル済みコンポーネントをコピーして、最終的なコンパイルに直接関与できるようにするだけである。 コンポーネント内のコンパイルの最適化には、次のステップが含まれる：</p>
<ol>
<li>必要なコンパイル依存関係をDockerfileに追加する。Hadolintを使ってDockerfileのコンプライアンスチェックを行い、イメージがDockerのベストプラクティスに準拠していることを確認する。</li>
<li>プロジェクトのスプリントバージョン（バージョン＋ビルド）、オペレーティングシステム、その他の情報に従って、コンパイル環境をミラーリングする。</li>
<li>ミラーリングしたコンパイル環境コンテナを実行し、イメージIDを環境変数としてコンテナに転送する。以下はイメージIDを取得するコマンドの例です： "docker inspect ' - type=image' - format '{{.ID}}' repository/build-env:v0.1-centos7".</li>
<li>適切なコンパイルキャッシュツールを選択します：コードを統合してコンパイルするコンテナを入力し、適切なコンパイルキャッシュが存在するかどうかをプライベートリポジトリで確認します。存在する場合は、ダウンロードして指定したディレクトリに解凍します。すべてのコンポーネントがコンパイルされた後、コンパイルキャッシュツールによって生成されたキャッシュがパッケージ化され、プロジェクトのバージョンとイメージIDに基づいてプライベートリポジトリにアップロードされます。</li>
</ol>
<p><br/></p>
<h3 id="Further-compilation-optimization" class="common-anchor-header">さらなるコンパイルの最適化</h3><p>私たちの初期ビルドでは、ディスク容量とネットワーク帯域幅を占有しすぎ、デプロイに時間がかかるため、以下の対策を講じました：</p>
<ol>
<li>アルパイン、ビジーボックスなど、画像サイズを縮小するために最も無駄のないベース画像を選択する。</li>
<li>イメージレイヤーの数を減らす。依存関係をできるだけ再利用する。複数のコマンドを"&amp;&amp;"でマージする。</li>
<li>画像構築中の中間生成物をクリーンアップする。</li>
<li>可能な限りイメージキャッシュを使用してイメージを構築する。</li>
</ol>
<p>プロジェクトが進むにつれて、コンパイル・キャッシュが増加する一方で、一部のコンパイル・キャッシュが十分に利用されていないため、ディスク使用量とネットワーク・リソースが急増し始めました。そこで次のような調整を行った：</p>
<p><strong>キャッシュ・ファイルの定期的なクリーンアップ</strong>- プライベート・リポジトリを定期的にチェックし（たとえばスクリプトを使用）、しばらく変更がなかったり、あまりダウンロードされていないキャッシュ・ファイルをクリーンアップする。</p>
<p><strong>選択的なコンパイル・キャッシュ</strong>- リソースを必要とするコンパイルのみをキャッシュし、リソースをあまり必要としないコンパイルのキャッシュはスキップする。</p>
<p><br/></p>
<h3 id="Leveraging-containerized-testing-to-reduce-errors-improve-stability-and-reliability" class="common-anchor-header">コンテナ化テストの活用によるエラーの削減、安定性と信頼性の向上</h3><p>コードは、さまざまなオペレーティング・システム（CentOSやUbuntuなど）、基本的な依存関係（GCC、LLVM、CUDAなど）、特定のハードウェア・アーキテクチャを含む、さまざまな環境でコンパイルする必要があります。特定の環境で正常にコンパイルされたコードは、異なる環境では失敗する。コンテナ内でテストを実行することで、テストプロセスはより高速かつ正確になります。</p>
<p>コンテナ化によって、テスト環境の一貫性が確保され、アプリケーションが期待通りに動作することが保証される。コンテナ化されたテスト・アプローチは、テストをイメージ・コンテナとしてパッケージ化し、真に分離されたテスト環境を構築する。私たちのテスト担当者は、このアプローチがかなり有用であることに気づき、最終的にコンパイル時間を60%も短縮することができました。</p>
<p><strong>一貫したコンパイル環境の確保</strong>- コンパイルされた製品はシステム環境の変化に敏感であるため、異なるオペレーティング・システムでは未知のエラーが発生する可能性があります。コンパイル環境の変化に応じて、コンパイル済み製品のキャッシュにタグを付けてアーカイブする必要がありますが、分類が困難です。そこで、このような問題を解決するために、コンパイル環境を統一するコンテナ化技術を導入した。</p>
<p><br/></p>
<h3 id="Conclusion" class="common-anchor-header">まとめ</h3><p>この記事では、プロジェクトの依存関係を分析することで、コンポーネント間およびコンポーネント内でのコンパイル最適化のためのさまざまな手法を紹介し、安定的かつ効率的な継続的コード統合を構築するためのアイデアとベストプラクティスを提供した。これらの手法は、複雑な依存関係に起因するコード統合の遅延を解決し、コンテナ内の操作を統一して環境の一貫性を確保し、コンパイル結果の再生やコンパイルキャッシュツールを使用して中間コンパイル結果をキャッシュすることでコンパイル効率を向上させるのに役立った。</p>
<p>以上の実践により、プロジェクトのコンパイル時間は平均60%短縮され、コード統合の全体的な効率が大幅に改善された。今後は、コンポーネント間およびコンポーネント内でのコンパイルの並列化を継続し、コンパイル時間をさらに短縮していく。</p>
<p><br/></p>
<p><em>本記事では、以下のソースを使用した：</em></p>
<ul>
<li>"ソースツリーをビルドレベル・コンポーネントにデカップリングする"</li>
<li><a href="https://dev.to/brpaz/factors-to-consider-when-adding-third-party-dependencies-to-a-project-46hf">「プロジェクトにサードパーティの依存関係を追加する際に考慮すべき要因</a>"</li>
<li>"<a href="https://queue.acm.org/detail.cfm?id=3344149">ソフトウェア依存関係を乗り切る</a>"</li>
<li>"<a href="https://www.cc.gatech.edu/~beki/t1.pdf">依存関係を理解する：ソフトウェア開発における協調の課題の研究</a>"</li>
</ul>
<p><br/></p>
<h3 id="About-the-author" class="common-anchor-header">著者について</h3><p>Zhifeng ZhangはZilliz.comのシニアDevOpsエンジニアで、オープンソースのベクターデータベースであるMilvusに携わっている。広州ソフトウェア工学研究所でモノのインターネット（IoT）の学士号を取得。CI/CD、DevOps、ITインフラ管理、Cloud-Nativeツールキット、コンテナ化、コンパイルプロセスの最適化などの分野のプロジェクトに参加し、リーダーとしてキャリアを積んでいる。</p>


画像とテキストによるマルチモーダル意味検索