<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Multimodal_Semantic_Search_with_Images_and_Text_180d89d5aa.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>인간은 감각을 통해 세상을 해석합니다. 우리는 소리를 듣고, 이미지, 비디오, 텍스트를 보고, 종종 서로 겹쳐서 봅니다. 우리는 이러한 다양한 양식과 이들 간의 관계를 통해 세상을 이해합니다. 인공지능이 인간의 능력에 진정으로 부합하거나 이를 뛰어넘으려면 여러 렌즈를 통해 동시에 세상을 이해하는 능력을 개발해야 합니다.</p>
<p>이 게시물과 함께 제공되는 동영상(곧 제공 예정) 및 노트북에서는 텍스트와 이미지를 함께 처리할 수 있는 최근의 획기적인 모델에 대해 소개합니다. 단순한 키워드 매칭을 넘어 사용자가 요구하는 내용과 검색하는 시각적 콘텐츠 사이의 관계를 이해하는 시맨틱 검색 애플리케이션을 구축하여 이를 시연해 보겠습니다.</p>
<p>이 프로젝트가 특히 흥미로운 이유는 Milvus 벡터 데이터베이스, HuggingFace의 머신 러닝 라이브러리, Amazon 고객 리뷰 데이터 세트와 같은 오픈 소스 도구로만 구축되었다는 점입니다. 불과 10년 전만 해도 이와 같은 기능을 구축하려면 상당한 독점 리소스가 필요했을 것이라고 생각하면 놀랍습니다. 오늘날에는 이러한 강력한 구성 요소를 무료로 사용할 수 있으며 실험에 대한 호기심이 있는 사람이라면 누구나 혁신적인 방식으로 결합할 수 있습니다.</p>
<custom-h1>개요</custom-h1><p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/overview_97a124bc9a.jpg" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>멀티모달 검색 애플리케이션은 <em>검색 및 재랭크</em> 유형입니다. <em>검색 증강 생성</em> (RAG)에 익숙하다면 매우 유사하지만 최종 출력은 대규모 언어 시각 모델(LLVM)에 의해 순위가 재조정된 이미지 목록이라는 점만 다릅니다. 사용자의 검색 쿼리에는 텍스트와 이미지가 모두 포함되며, 대상은 벡터 데이터베이스에 색인된 이미지 집합입니다. 이 아키텍처는 <em>인덱싱</em>, <em>검색</em>, <em>재랭크</em> ('생성'과 유사)의 세 단계로 구성되며, 이를 차례로 요약해 보겠습니다.</p>
<h2 id="Indexing" class="common-anchor-header">인덱싱<button data-href="#Indexing" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>검색 애플리케이션에는 검색할 대상이 있어야 합니다. 저희의 경우, 모든 유형의 상품에 대한 Amazon 고객 리뷰의 텍스트와 이미지가 모두 포함된 "Amazon Reviews 2023" 데이터 세트의 작은 하위 집합을 사용합니다. 우리가 구축 중인 이와 같은 시맨틱 검색은 이커머스 웹사이트에 유용한 추가 기능이라고 상상할 수 있습니다. 저희는 900개의 이미지를 사용하고 텍스트는 버렸지만, 적절한 데이터베이스와 추론 배포를 통해 이 노트북을 프로덕션 크기로 확장할 수 있다는 것을 관찰했습니다.</p>
<p>저희 파이프라인의 첫 번째 '마법'은 임베딩 모델의 선택입니다. 저희는 최근에 개발된 <a href="https://huggingface.co/BAAI/bge-visualized">시각화된 BGE라는</a> 멀티모달 모델을 사용하는데, 이 모델은 텍스트와 이미지를 같은 공간에 공동으로 또는 개별적으로 임베드할 수 있으며, 가까운 지점이 의미적으로 유사한 단일 모델로 임베드할 수 있습니다. <a href="https://github.com/google-deepmind/magiclens">MagicLens와</a> 같은 다른 모델도 최근에 개발되었습니다.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/indexing_1937241be5.jpg" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>위의 그림은 [사자 옆모습 이미지]와 "이것의 정면 모습"이라는 텍스트가 포함된 임베딩이 텍스트 없이 [사자 정면 이미지]만 포함된 임베딩과 비슷하다는 것을 보여줍니다. 텍스트와 이미지가 포함된 입력과 이미지만 포함된 입력(텍스트만 포함된 입력)에 모두 동일한 모델이 사용됩니다. <em>이러한 방식으로 모델은 쿼리 텍스트와 쿼리 이미지의 관계에 대한 사용자의 의도를 파악할 수 있습니다.</em></p>
<p>900개의 제품 이미지를 해당 텍스트 없이 임베딩하고, 임베딩된 이미지를 <a href="https://milvus.io/docs">Milvus를</a> 사용하여 벡터 데이터베이스에 저장합니다.</p>
<h2 id="Retrieval" class="common-anchor-header">검색<button data-href="#Retrieval" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>이제 데이터베이스가 구축되었으므로 사용자 쿼리를 제공할 수 있습니다. 사용자가 다음과 같은 쿼리를 입력한다고 가정해 보겠습니다: "이것으로 된 휴대폰 케이스"와 [레오파드 이미지]를 더한 쿼리입니다. 즉, 레오파드 가죽 프린트가 있는 휴대폰 케이스를 검색하고 있는 것입니다.</p>
<p>사용자의 쿼리 텍스트에 "표범 가죽"이 아닌 "이것"이라고 되어 있다는 점에 유의하세요. 임베딩 모델은 '이것'이 무엇을 가리키는지 연결할 수 있어야 하는데, 이전 모델에서는 이러한 개방형 명령을 처리할 수 없었다는 점을 고려할 때 이는 매우 인상적인 성과입니다. <a href="https://arxiv.org/abs/2403.19651">MagicLens 백</a> 서에서 더 많은 예시를 확인할 수 있습니다.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Retrieval_ad64f48e49.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>쿼리 텍스트와 이미지를 함께 임베드하고 벡터 데이터베이스의 유사도 검색을 수행하여 상위 9개의 히트를 반환합니다. 결과는 표범의 쿼리 이미지와 함께 위 그림에 표시되어 있습니다. 최상위 히트가 쿼리와 가장 관련성이 높은 것은 아닌 것으로 보입니다. 가장 관련성이 높은 것으로 보이는 일곱 번째 결과는 표범 가죽 무늬가 있는 휴대폰 커버입니다.</p>
<h2 id="Generation" class="common-anchor-header">세대<button data-href="#Generation" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>최상위 결과가 가장 관련성이 높지 않다는 점에서 검색에 실패한 것으로 보입니다. 하지만 순위 재지정 단계를 통해 이 문제를 해결할 수 있습니다. 검색된 항목의 순위를 다시 매기는 것은 많은 RAG 파이프라인에서 중요한 단계로 익숙하실 것입니다. 저희는 <a href="https://huggingface.co/microsoft/Phi-3-vision-128k-instruct">Phi-3 Vision을</a> 리랭크 모델로 사용합니다.</p>
<p>먼저 LLVM에 쿼리 이미지의 캡션을 생성하도록 요청합니다. LLVM이 출력합니다:</p>
<p><em>"이 이미지는 표범의 얼굴을 클로즈업하여 얼룩무늬 털과 녹색 눈에 초점을 맞춘 것입니다."</em></p>
<p>그런 다음 이 캡션과 9개의 결과 및 쿼리 이미지가 포함된 단일 이미지를 입력하고 모델에 결과의 순위를 다시 매기도록 요청하는 텍스트 프롬프트를 구성하여 답변을 목록으로 제공하고 가장 일치하는 이미지를 선택한 이유를 제공합니다.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Generation_b016a6c26a.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>결과는 위 그림과 같이 시각화되어 있으며, 가장 관련성이 높은 항목이 최상위 일치 항목으로 표시되고 그 이유는 다음과 같습니다:</p>
<p><em>"가장 적합한 항목은 레오파드 테마의 항목으로, 비슷한 테마의 휴대폰 케이스에 대한 사용자의 쿼리 명령과 일치합니다."</em></p>
<p>LLVM 리랭커는 이미지와 텍스트 전반에 걸쳐 이해를 수행하여 검색 결과의 관련성을 개선할 수 있었습니다. <em>한 가지 흥미로운 점은 리랭커가 8개의 결과만 제공하고 1개의 결과를 삭제했다는 점인데, 이는 가드레일과 구조화된 출력의 필요성을 강조합니다.</em></p>
<h2 id="Summary" class="common-anchor-header">요약<button data-href="#Summary" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>이 게시물과 함께 제공되는 동영상(곧 제공 예정)과 <a href="https://github.com/milvus-io/bootcamp/blob/master/bootcamp/tutorials/quickstart/multimodal_retrieval_amazon_reviews.ipynb">노트북에서는</a> 텍스트와 이미지를 아우르는 멀티모달 시맨틱 검색을 위한 애플리케이션을 구축했습니다. 임베딩 모델은 텍스트와 이미지를 같은 공간에 공동으로 또는 개별적으로 임베드할 수 있었고, 기반 모델은 텍스트와 이미지를 입력하면서 그에 대한 응답으로 텍스트를 생성할 수 있었습니다. <em>중요한 점은 임베딩 모델이 사용자의 개방형 명령어 의도를 쿼리 이미지와 연관시켜 사용자가 원하는 결과를 입력 이미지와 어떻게 연관시킬지 지정할 수 있었다는 점입니다.</em></p>
<p>이것은 앞으로 다가올 미래의 모습 중 일부에 불과합니다. 이미지, 비디오, 오디오, 분자, 소셜 네트워크, 표 형식의 데이터, 시계열 등 다양한 양식에 걸쳐 멀티모달 검색, 멀티모달 이해 및 추론 등의 많은 애플리케이션을 보게 될 것이며 그 잠재력은 무궁무진합니다.</p>
<p>그리고 이러한 시스템의 핵심에는 시스템의 외부 '메모리'를 보관하는 벡터 데이터베이스가 있습니다. Milvus는 이러한 목적을 위한 탁월한 선택입니다. 오픈 소스이며 모든 기능을 갖추고 있고( <a href="https://milvus.io/blog/get-started-with-hybrid-semantic-full-text-search-with-milvus-2-5.md">Milvus 2.5의 전체 텍스트 검색에 대한 이 문서</a> 참조) 웹 규모의 트래픽과 100ms 미만의 지연 시간으로 수십억 개의 벡터로 효율적으로 확장할 수 있습니다. <a href="https://milvus.io/docs">Milvus 문서에서</a> 자세히 알아보고, <a href="https://milvus.io/discord">Discord</a> 커뮤니티에 가입하고, 다음 <a href="https://lu.ma/unstructured-data-meetup">비정형 데이터 밋업에서</a> 만나 뵙기를 기대합니다. 그때까지!</p>
<h2 id="Resources" class="common-anchor-header">리소스<button data-href="#Resources" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p>노트북: <a href="https://github.com/milvus-io/bootcamp/blob/master/bootcamp/tutorials/quickstart/multimodal_retrieval_amazon_reviews.ipynb">"Amazon 리뷰와 LLVM 리랭킹을 이용한 멀티모달 검색</a>"</p></li>
<li><p>유튜브 AWS 개발자 동영상(곧 제공 예정)</p></li>
<li><p><a href="https://milvus.io/docs">Milvus 문서</a></p></li>
<li><p><a href="https://lu.ma/unstructured-data-meetup">비정형 데이터 밋업</a></p></li>
<li><p>모델 임베딩: <a href="https://huggingface.co/BAAI/bge-visualized">시각화된 BGE 모델 카드</a></p></li>
<li><p>대체 임베딩 모델: <a href="https://github.com/google-deepmind/magiclens">MagicLens 모델 저장소</a></p></li>
<li><p>LLVM: <a href="https://huggingface.co/microsoft/Phi-3-vision-128k-instruct">Phi-3 Vision 모델 카드</a></p></li>
<li><p>Paper: "<a href="https://arxiv.org/abs/2403.19651">MagicLens: 개방형 지침을 사용한 자체 감독 이미지 검색</a>"</p></li>
<li><p>데이터 세트: <a href="https://amazon-reviews-2023.github.io/">아마존 리뷰 2023</a></p></li>
</ul>


이미지와 텍스트를 사용한 멀티모달 시맨틱 검색

Milvus를 시작하는 방법

<p>이제 하이브리드 검색이 <a href="https://zilliz.com/learn/Retrieval-Augmented-Generation">RAG</a> (검색 증강 세대) 검색 품질을 향상시켰다는 사실은 누구나 알고 계실 것입니다. <a href="https://zilliz.com/learn/sparse-and-dense-embeddings">고밀도 임베딩</a> 검색은 쿼리와 문서 간의 깊은 의미론적 관계를 포착하는 데 있어 인상적인 기능을 보여주었지만, 여전히 주목할 만한 한계가 있습니다. 여기에는 설명 가능성 부족과 롱테일 쿼리 및 희귀 용어에 대한 최적화되지 않은 성능이 포함됩니다.</p>
<p>사전 학습된 모델에는 도메인 관련 지식이 부족한 경우가 많기 때문에 많은 RAG 애플리케이션이 어려움을 겪고 있습니다. 일부 시나리오에서는 단순한 BM25 키워드 매칭이 이러한 정교한 모델보다 성능이 더 뛰어난 경우도 있습니다. 바로 이 부분에서 하이브리드 검색은 고밀도 벡터 검색의 의미론적 이해와 키워드 매칭의 정확성을 결합하여 그 격차를 해소합니다.</p>
<h2 id="Why-Hybrid-Search-is-Complex-in-Production" class="common-anchor-header">하이브리드 검색이 프로덕션 환경에서 복잡한 이유<button data-href="#Why-Hybrid-Search-is-Complex-in-Production" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><a href="https://zilliz.com/learn/LangChain">LangChain이나</a> <a href="https://zilliz.com/learn/getting-started-with-llamaindex">LlamaIndex와</a> 같은 프레임워크를 사용하면 개념 증명 하이브리드 리트리버를 쉽게 구축할 수 있지만, 대규모 데이터 세트로 프로덕션으로 확장하는 것은 어렵습니다. 기존 아키텍처에서는 별도의 벡터 데이터베이스와 검색 엔진이 필요하기 때문에 몇 가지 주요 문제가 발생합니다:</p>
<ul>
<li><p>높은 인프라 유지보수 비용과 운영 복잡성</p></li>
<li><p>여러 시스템에 걸친 데이터 중복성</p></li>
<li><p>데이터 일관성 관리의 어려움</p></li>
<li><p>시스템 전반의 복잡한 보안 및 액세스 제어</p></li>
</ul>
<p>시장에서는 시스템 복잡성과 비용을 줄이면서 어휘 및 시맨틱 검색을 지원하는 통합 솔루션이 필요합니다.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/elasticsearch_vs_milvus_5be6e2b69e.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<h2 id="The-Pain-Points-of-Elasticsearch" class="common-anchor-header">Elasticsearch의 문제점<button data-href="#The-Pain-Points-of-Elasticsearch" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Elasticsearch는 지난 10년간 가장 영향력 있는 오픈 소스 검색 프로젝트 중 하나였습니다. Apache Lucene을 기반으로 구축된 이 프로젝트는 고성능, 확장성, 분산 아키텍처를 통해 인기를 얻었습니다. 버전 8.0에서 벡터 ANN 검색이 추가되었지만, 프로덕션 배포는 몇 가지 중요한 문제에 직면해 있습니다:</p>
<p><strong>높은 업데이트 및 색인 비용:</strong> Elasticsearch의 아키텍처는 쓰기 작업, 색인 생성, 쿼리를 완전히 분리하지 않습니다. 이로 인해 쓰기 작업 중, 특히 대량 업데이트에서 상당한 CPU 및 I/O 오버헤드가 발생합니다. 인덱싱과 쿼리 간의 리소스 경합은 성능에 영향을 미치며, 빈도가 높은 업데이트 시나리오에서 주요 병목 현상을 일으킵니다.</p>
<p><strong>실시간 성능 저하:</strong> "거의 실시간에 가까운" 검색 엔진인 Elasticsearch는 데이터 가시성에서 눈에 띄는 지연 시간을 발생시킵니다. 이러한 지연 시간은 빈번한 상호 작용과 동적 의사 결정이 즉각적인 데이터 액세스를 필요로 하는 에이전트 시스템과 같은 AI 애플리케이션에서 특히 문제가 됩니다.</p>
<p><strong>어려운 샤드 관리:</strong> Elasticsearch는 분산 아키텍처를 위해 샤딩을 사용하지만 샤드 관리에는 상당한 어려움이 있습니다. 동적 샤딩 지원이 부족하기 때문에 작은 데이터 세트에 샤드가 너무 많으면 성능이 저하되고, 큰 데이터 세트에 샤드가 너무 적으면 확장성이 제한되고 데이터 분포가 고르지 않게 되는 딜레마가 생깁니다.</p>
<p><strong>비클라우드 네이티브 아키텍처:</strong> 클라우드 네이티브 아키텍처가 널리 보급되기 전에 개발된 Elasticsearch의 설계는 스토리지와 컴퓨팅을 긴밀하게 결합하여 퍼블릭 클라우드나 Kubernetes와 같은 최신 인프라와의 통합을 제한합니다. 리소스를 확장하려면 스토리지와 컴퓨팅을 동시에 늘려야 하므로 유연성이 떨어집니다. 다중 복제본 시나리오에서는 각 샤드가 독립적으로 인덱스를 구축해야 하므로 컴퓨팅 비용이 증가하고 리소스 효율성이 떨어집니다.</p>
<p><strong>열악한 벡터 검색 성능:</strong> Elasticsearch 8.0은 벡터 ANN 검색을 도입했지만, 그 성능은 Milvus와 같은 전용 벡터 엔진에 비해 상당히 뒤떨어집니다. Lucene 커널을 기반으로 하는 인덱스 구조는 고차원 데이터에 대해 비효율적이며 대규모 벡터 검색 요구 사항에 어려움을 겪고 있습니다. 특히 스칼라 필터링과 멀티테넌시가 포함된 복잡한 시나리오에서는 성능이 불안정해져 부하가 높거나 다양한 비즈니스 요구 사항을 지원하기 어렵습니다.</p>
<p><strong>과도한 리소스 소비:</strong> Elasticsearch는 특히 대규모 데이터를 처리할 때 메모리와 CPU에 대한 요구가 매우 높습니다. JVM 종속성으로 인해 힙 크기를 자주 조정하고 가비지 수집을 조정해야 하므로 메모리 효율성에 심각한 영향을 미칩니다. 벡터 검색 작업은 집중적인 SIMD 최적화 계산을 필요로 하는데, JVM 환경은 이에 적합하지 않습니다.</p>
<p>이러한 근본적인 한계는 조직이 AI 인프라를 확장함에 따라 점점 더 문제가 되고 있으며, 고성능과 안정성이 요구되는 최신 AI 애플리케이션에서 Elasticsearch는 특히 문제가 되고 있습니다.</p>
<h2 id="Introducing-Sparse-BM25-Reimagining-Lexical-Search" class="common-anchor-header">Sparse-BM25 소개: 어휘 검색의 재구상<button data-href="#Introducing-Sparse-BM25-Reimagining-Lexical-Search" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><a href="https://milvus.io/blog/introduce-milvus-2-5-full-text-search-powerful-metadata-filtering-and-more.md">Milvus 2.5는</a> 버전 2.4에 도입된 하이브리드 검색 기능을 기반으로 Sparse-BM25를 통해 기본 어휘 검색 지원을 도입합니다. 이 혁신적인 접근 방식에는 다음과 같은 주요 구성 요소가 포함됩니다:</p>
<ul>
<li><p>Tantivy를 통한 고급 토큰화 및 전처리</p></li>
<li><p>분산 어휘 및 용어 빈도 관리</p></li>
<li><p>코퍼스 TF와 쿼리 TF-IDF를 사용한 스파스 벡터 생성</p></li>
<li><p>WAND 알고리즘을 통한 역 인덱스 지원(블록-맥스 WAND 및 그래프 인덱스 지원은 개발 중)</p></li>
</ul>
<p>Elasticsearch에 비해 Milvus는 알고리즘 유연성에서 상당한 이점을 제공합니다. 벡터 거리 기반 유사도 계산을 통해 "엔드 투 엔드 쿼리 용어 가중치" 연구에 기반한 TW-BERT(용어 가중치 BERT)를 구현하는 등 보다 정교한 매칭을 가능하게 합니다. 이 접근 방식은 도메인 내 테스트와 도메인 외 테스트 모두에서 우수한 성능을 입증했습니다.</p>
<p>또 다른 중요한 장점은 비용 효율성입니다. 밀버스는 역 인덱스와 고밀도 임베딩 압축을 모두 활용함으로써 1% 미만의 리콜 성능 저하로 5배의 성능 향상을 달성했습니다. 테일텀 프루닝과 벡터 양자화를 통해 메모리 사용량을 50% 이상 줄였습니다.</p>
<p>특히 긴 쿼리 최적화가 두드러집니다. 기존의 WAND 알고리즘이 긴 쿼리에서 어려움을 겪었던 반면, Milvus는 희소 임베딩과 그래프 인덱스를 결합하여 고차원 희소 벡터 검색 시나리오에서 10배의 성능 향상을 제공합니다.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/document_in_and_out_b84771bec4.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<h2 id="Milvus-The-Ultimate-Vector-Database-for-RAG" class="common-anchor-header">Milvus: RAG를 위한 궁극의 벡터 데이터베이스<button data-href="#Milvus-The-Ultimate-Vector-Database-for-RAG" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus는 포괄적인 기능 세트를 통해 RAG 애플리케이션을 위한 최고의 선택입니다. 주요 장점은 다음과 같습니다:</p>
<ul>
<li><p>동적 스키마 기능 및 강력한 필터링 옵션으로 풍부한 메타데이터 지원</p></li>
<li><p>컬렉션, 파티션, 파티션 키를 통한 유연한 격리를 지원하는 엔터프라이즈급 멀티테넌시</p></li>
<li><p>메모리에서 S3에 이르는 멀티 티어 스토리지로 업계 최초의 디스크 벡터 인덱스 지원</p></li>
<li><p>10M에서 1B+ 벡터까지 원활한 확장을 지원하는 클라우드 네이티브 확장성</p></li>
<li><p>그룹화, 범위, 하이브리드 검색을 포함한 포괄적인 검색 기능</p></li>
<li><p>LangChain, LlamaIndex, Dify 및 기타 AI 도구와의 긴밀한 에코시스템 통합</p></li>
</ul>
<p>시스템의 다양한 검색 기능에는 그룹화, 범위, 하이브리드 검색 방법론이 포함됩니다. LangChain, LlamaIndex, Dify와 같은 도구와의 긴밀한 통합은 물론 수많은 AI 제품을 지원함으로써 Milvus는 최신 AI 인프라 생태계의 중심에 서게 되었습니다.</p>
<h2 id="Looking-Forward" class="common-anchor-header">앞으로의 전망<button data-href="#Looking-Forward" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>AI가 POC에서 생산 단계로 전환됨에 따라 Milvus는 계속 진화하고 있습니다. 검색 품질을 향상시키면서 벡터 검색의 접근성과 비용 효율성을 높이는 데 주력하고 있습니다. 스타트업이든 대기업이든 Milvus는 AI 애플리케이션 개발의 기술적 장벽을 낮춰줍니다.</p>
<p>접근성과 혁신에 대한 이러한 노력은 또 다른 중요한 진전으로 이어졌습니다. 당사의 오픈 소스 솔루션은 전 세계 수천 개의 애플리케이션의 기반이 되고 있지만, 많은 조직에서 운영 오버헤드를 없애는 완전 관리형 솔루션이 필요하다는 것을 잘 알고 있습니다.</p>
<h2 id="Zilliz-Cloud-The-Managed-Solution" class="common-anchor-header">바로 질리즈 클라우드입니다: 관리형 솔루션<button data-href="#Zilliz-Cloud-The-Managed-Solution" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>저희는 지난 3년 동안 Milvus 기반의 완전 관리형 벡터 데이터베이스 서비스인 <a href="https://zilliz.com/cloud">Zilliz Cloud를</a> 구축했습니다. Milvus 프로토콜을 클라우드 네이티브로 재구현하여 사용성, 비용 효율성 및 보안을 강화했습니다.</p>
<p>세계 최대 규모의 벡터 검색 클러스터를 유지 관리하고 수천 명의 AI 애플리케이션 개발자를 지원한 경험을 바탕으로 Zilliz Cloud는 자체 호스팅 솔루션에 비해 운영 오버헤드와 비용을 크게 줄여줍니다.</p>
<p>벡터 검색의 미래를 경험할 준비가 되셨나요? 신용 카드 없이도 최대 200달러의 크레딧으로 지금 무료 체험을 시작하세요.</p>


Elasticsearch는 죽었다, 어휘 검색은 살아있다

Milvus 2.5로 하이브리드 시맨틱/전체 텍스트 검색 시작하기

Milvus 2.5를 소개합니다: 전체 텍스트 검색, 더욱 강력해진 메타데이터 필터링, 사용성 개선!

시맨틱 검색과 전체 텍스트 검색: Milvus 2.5에서는 어떤 것을 선택해야 할까요?

Milvus로 멀티테넌시 RAG 설계하기: 확장 가능한 엔터프라이즈 지식창고를 위한 모범 사례

Milvus에 기여하는 방법: 개발자를 위한 빠른 시작하기

Getting Started with HNSWlib

HNSWlib 시작하기

<p>Milvus 사용자가 <a href="https://zilliz.com/learn/what-is-vector-database">벡터 데이터베이스</a> 프로젝트에 대한 실질적인 지원을 받을 수 있는 주간 업무 시간을 소개하게 되어 기쁩니다! 전문가 팀과 20분간 일대일 세션을 통해 인사이트, 지침, 질문에 대한 답변을 얻으세요. 이제 막 시작했거나 특정 문제에 대한 도움이 필요하신 분들을 위해 Milvus를 최대한 활용할 수 있도록 도와드리겠습니다.</p>
<p><strong>여기에서 오피스 아워 세션을 예약하세요:<a href="https://meetings.hubspot.com/chloe-williams1/milvus-office-hours">https://meetings.hubspot.com/chloe-williams1/milvus-office-hours</a></strong></p>
<h2 id="Why-Book-a-Session" class="common-anchor-header">세션을 예약해야 하는 이유는 무엇인가요?<button data-href="#Why-Book-a-Session" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>업무 시간 동안 세션을 예약해야 하는 몇 가지 좋은 이유는 다음과 같습니다:</p>
<ul>
<li><p><strong>Milvus 성능 최적화:</strong> 데이터베이스 성능 향상을 위한 구성 튜닝에 대한 팁을 얻으세요.</p></li>
<li><p><strong>데이터 스키마 설계 조언:</strong> 사용 사례에 가장 적합한 데이터 스키마 및 인덱스 유형에 대한 모범 사례를 알아보세요.</p></li>
<li><p><strong>Milvus 배포 확장:</strong> 대용량 데이터에 대한 Milvus 관리 및 확장에 대한 조언을 확인하세요.</p></li>
<li><p><strong>특정 문제 해결:</strong> 오류나 비정상적인 동작이 발생했나요? 문제 해결을 도와드릴 수 있습니다.</p></li>
<li><p><strong>통합 지원:</strong> LangChain, LlamaIndex, Spark 또는 데이터 처리 파이프라인과 같은 다른 통합 프레임워크와 Milvus 사용에 대한 안내가 필요하신가요?</p></li>
<li><p><strong>새로운 기능에 대해 알아보기:</strong> 최신 Milvus 기능과 프로젝트에 어떤 도움이 될 수 있는지 최신 정보를 받아보세요.</p></li>
</ul>
<p>전문가의 안내를 통해 Milvus 구현 수준을 높일 수 있는 이 기회를 놓치지 마세요.</p>
<p>라이브에 참여하지 못하더라도 걱정하지 마세요. 다양한 방법으로 지원을 받을 수 있으니까요! Milvus 커뮤니티는 <a href="https://discord.com/invite/8uyFbECzPX">Discord와</a><a href="https://github.com/search?q=milvus&amp;type=discussions"> GitHub 토론</a> 모두에서 활발하게 활동하며 도움을 드릴 준비가 되어 있습니다. 실시간 채팅을 선호하든 비동기식 토론을 선호하든, 이 플랫폼은 질문을 하고 지식을 공유하며 다른 Milvus 사용자 및 기여자들과 소통할 수 있는 좋은 장소입니다.</p>


Milvus 오피스 아워에 참여하여 벡터 DB 전문가의 지원을 받으세요!

What are Matryoshka Embeddings?

마트료시카 임베딩: 다양한 스케일의 디테일

Milvus 백업 도구 사용 방법: 단계별 가이드

쿠버네티스에 밀버스 배포하기: Kubernetes 사용자를 위한 단계별 가이드

Amazon EKS에 오픈 소스 Milvus 벡터 데이터베이스를 배포하는 방법

<p><a href="https://milvus.io/intro">Milvus는</a> AI 애플리케이션을 위해 특별히 설계된 오픈 소스 벡터 데이터베이스입니다. 머신 러닝, 딥 러닝, 그 외 어떤 AI 관련 프로젝트를 진행하든 Milvus는 대규모 벡터 데이터를 처리할 수 있는 강력하고 효율적인 방법을 제공합니다.</p>
<p>이제 Milvus용 Python SDK인 PyMilvus의 <a href="https://milvus.io/docs/embeddings.md">모델 모듈 통합을</a> 통해 임베딩 및 재랭크 모델을 더욱 쉽게 추가할 수 있습니다. 이 통합을 통해 데이터를 검색 가능한 벡터로 변환하거나 <a href="https://zilliz.com/learn/Retrieval-Augmented-Generation">검색 증강 생성(RAG)</a>과 같이 보다 정확한 결과를 위해 결과를 재랭크하는 작업을 간소화할 수 있습니다.</p>
<p>이 블로그에서는 밀도 임베딩 모델, 스파스 임베딩 모델, 리랭커를 검토하고 Python 애플리케이션에서 로컬로 실행할 수 있는 Milvus의 경량 버전인 Milvus <a href="https://milvus.io/blog/introducing-milvus-lite.md">Lite를</a> 사용해 실제로 이를 사용하는 방법을 보여드립니다.</p>
<h2 id="Dense-vs-Sparse-Embeddings" class="common-anchor-header">고밀도 임베딩과 스파스 임베딩<button data-href="#Dense-vs-Sparse-Embeddings" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>통합 기능을 사용하는 방법을 안내하기 전에 벡터 임베딩의 두 가지 주요 범주를 살펴보겠습니다.</p>
<p><a href="https://zilliz.com/glossary/vector-embeddings">벡터 임베딩은</a> 일반적으로 두 가지 주요 카테고리로 나뉩니다: <a href="https://zilliz.com/learn/sparse-and-dense-embeddings"><strong>고밀도 임</strong> 베딩과 <strong>스파스 임베딩입니다</strong></a>.</p>
<ul>
<li><p>고밀도 임베딩은 대부분의 요소 또는 모든 요소가 0이 아닌 고차원 벡터로, 텍스트 의미나 퍼지 의미를 인코딩하는 데 이상적입니다.</p></li>
<li><p>스파스 임베딩은 0 요소가 많은 고차원 벡터로, 정확하거나 인접한 개념을 인코딩하는 데 더 적합합니다.</p></li>
</ul>
<p>Milvus는 두 가지 유형의 임베딩을 모두 지원하며 하이브리드 검색을 제공합니다. <a href="https://zilliz.com/blog/hybrid-search-with-milvus">하이브리드 검색을</a> 사용하면 동일한 컬렉션 내에서 다양한 벡터 필드에 걸쳐 검색을 수행할 수 있습니다. 이러한 벡터는 데이터의 여러 측면을 나타내거나, 다양한 임베딩 모델을 사용하거나, 리랭커를 사용해 결과를 결합하는 등 서로 다른 데이터 처리 방법을 사용할 수 있습니다.</p>
<h2 id="How-to-Use-Our-Embedding-and-Reranking-Integrations" class="common-anchor-header">임베딩 및 재랭크 통합을 사용하는 방법<button data-href="#How-to-Use-Our-Embedding-and-Reranking-Integrations" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>다음 섹션에서는 통합 기능을 사용해 임베딩을 생성하고 벡터 검색을 수행하는 세 가지 실제 예시를 보여드리겠습니다.</p>
<h3 id="Example-1-Use-the-Default-Embedding-Function-to-Generate-Dense-Vectors" class="common-anchor-header">예 1: 기본 임베딩 함수를 사용하여 고밀도 벡터 생성하기</h3><p>Milvus에서 임베딩 및 리랭크 기능을 사용하려면 <code translate="no">model</code> 패키지와 함께 <code translate="no">pymilvus</code> 클라이언트를 설치해야 합니다.</p>
<pre><code translate="no">pip install <span class="hljs-string">&quot;pymilvus[model]&quot;</span>
<button class="copy-code-btn"></button></code></pre>
<p>이 단계에서는 Milvus <a href="https://milvus.io/docs/quickstart.md">Lite를</a> 설치하여 Python 애플리케이션 내에서 Milvus를 로컬로 실행할 수 있습니다. 또한 임베딩 및 리랭킹을 위한 모든 유틸리티가 포함된 모델 서브 패키지도 포함되어 있습니다.</p>
<p>모델 서브 패키지는 OpenAI, <a href="https://zilliz.com/learn/Sentence-Transformers-for-Long-Form-Text">Sentence Transformers</a>, <a href="https://zilliz.com/learn/bge-m3-and-splade-two-machine-learning-models-for-generating-sparse-embeddings">BGE-M3</a>, BM25, <a href="https://zilliz.com/learn/bge-m3-and-splade-two-machine-learning-models-for-generating-sparse-embeddings">SPLADE</a>, Jina AI 사전 학습 모델 등 다양한 임베딩 모델을 지원합니다.</p>
<p>이 예에서는 간결성을 위해 <code translate="no">all-MiniLM-L6-v2</code> Sentence Transformer 모델을 기반으로 한 <code translate="no">DefaultEmbeddingFunction</code> 을 사용합니다. 이 모델의 용량은 약 70MB이며 처음 사용할 때 다운로드됩니다:</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> model

<span class="hljs-comment"># This will download &quot;all-MiniLM-L6-v2&quot;, a lightweight model.</span>
ef = model.DefaultEmbeddingFunction()

<span class="hljs-comment"># Data from which embeddings are to be generated</span>
docs = [
   <span class="hljs-string">&quot;Artificial intelligence was founded as an academic discipline in 1956.&quot;</span>,
   <span class="hljs-string">&quot;Alan Turing was the first person to conduct substantial research in AI.&quot;</span>,
   <span class="hljs-string">&quot;Born in Maida Vale, London, Turing was raised in southern England.&quot;</span>,
]

embeddings = ef.encode_documents(docs)

<span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Embeddings:&quot;</span>, embeddings)
<span class="hljs-comment"># Print dimension and shape of embeddings</span>
<span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Dim:&quot;</span>, ef.dim, embeddings[<span class="hljs-number">0</span>].shape)
<button class="copy-code-btn"></button></code></pre>
<p>예상 출력은 다음과 같아야 합니다:</p>
<pre><code translate="no">Embeddings: [array([<span class="hljs-number">-3.09392996e-02</span>, <span class="hljs-number">-1.80662833e-02</span>,  <span class="hljs-number">1.34775648e-02</span>,  <span class="hljs-number">2.77156215e-02</span>,
      <span class="hljs-number">-4.86349640e-03</span>, <span class="hljs-number">-3.12581174e-02</span>, <span class="hljs-number">-3.55921760e-02</span>,  <span class="hljs-number">5.76934684e-03</span>,
       <span class="hljs-number">2.80773244e-03</span>,  <span class="hljs-number">1.35783911e-01</span>,  <span class="hljs-number">3.59678417e-02</span>,  <span class="hljs-number">6.17732145e-02</span>,
...
      <span class="hljs-number">-4.61330153e-02</span>, <span class="hljs-number">-4.85207550e-02</span>,  <span class="hljs-number">3.13997865e-02</span>,  <span class="hljs-number">7.82178566e-02</span>,
      <span class="hljs-number">-4.75336798e-02</span>,  <span class="hljs-number">5.21207601e-02</span>,  <span class="hljs-number">9.04406682e-02</span>, <span class="hljs-number">-5.36676683e-02</span>],
     dtype=<span class="hljs-type">float32</span>)]
Dim: <span class="hljs-number">384</span> (<span class="hljs-number">384</span>,)
<button class="copy-code-btn"></button></code></pre>
<h3 id="Example-2-Generate-Sparse-Vectors-Using-The-BM25-Model" class="common-anchor-header">예제 2: BM25 모델을 사용하여 스파스 벡터 생성하기</h3><p>BM25는 단어 발생 빈도를 사용하여 쿼리와 문서 간의 관련성을 결정하는 잘 알려진 방법입니다. 이 예에서는 <code translate="no">BM25EmbeddingFunction</code> 을 사용하여 쿼리와 문서에 대한 스파스 임베딩을 생성하는 방법을 보여드리겠습니다.</p>
<p>BM25에서는 문서의 통계를 계산하여 문서의 패턴을 나타낼 수 있는 IDF(역문서 빈도)를 얻는 것이 중요합니다. IDF는 모든 문서에서 단어가 얼마나 많은 정보를 제공하는지, 그 단어가 흔한지 또는 드문지를 측정합니다.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus.model.sparse <span class="hljs-keyword">import</span> BM25EmbeddingFunction

<span class="hljs-comment"># 1. Prepare a small corpus to search</span>
docs = [
   <span class="hljs-string">&quot;Artificial intelligence was founded as an academic discipline in 1956.&quot;</span>,
   <span class="hljs-string">&quot;Alan Turing was the first person to conduct substantial research in AI.&quot;</span>,
   <span class="hljs-string">&quot;Born in Maida Vale, London, Turing was raised in southern England.&quot;</span>,
]
query = <span class="hljs-string">&quot;Where was Turing born?&quot;</span>
bm25_ef = BM25EmbeddingFunction()

<span class="hljs-comment"># 2. Fit the corpus to get BM25 model parameters on your documents.</span>
bm25_ef.fit(docs)

<span class="hljs-comment"># 3. Store the fitted parameters to expedite future processing.</span>
bm25_ef.save(<span class="hljs-string">&quot;bm25_params.json&quot;</span>)

<span class="hljs-comment"># 4. Load the saved params</span>
new_bm25_ef = BM25EmbeddingFunction()
new_bm25_ef.load(<span class="hljs-string">&quot;bm25_params.json&quot;</span>)

docs_embeddings = new_bm25_ef.encode_documents(docs)
query_embeddings = new_bm25_ef.encode_queries([query])
<span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Dim:&quot;</span>, new_bm25_ef.dim, <span class="hljs-built_in">list</span>(docs_embeddings)[<span class="hljs-number">0</span>].shape)
<button class="copy-code-btn"></button></code></pre>
<h3 id="Example-3-Using-a-ReRanker" class="common-anchor-header">예 3: 리랭커 사용</h3><p>검색 시스템은 가장 관련성이 높은 결과를 빠르고 효율적으로 찾는 것을 목표로 합니다. 전통적으로 BM25 또는 TF-IDF와 같은 방법은 키워드 매칭을 기반으로 검색 결과의 순위를 매기는 데 사용되어 왔습니다. 임베딩 기반 코사인 유사도와 같은 최근의 방법은 간단하지만 언어의 미묘한 차이, 그리고 가장 중요한 문서와 쿼리의 의도 간의 상호 작용을 놓칠 수 있습니다.</p>
<p>이때 <a href="https://zilliz.com/learn/optimize-rag-with-rerankers-the-role-and-tradeoffs">리랭커를</a> 사용하면 도움이 됩니다. 리랭커는 임베딩/토큰 기반 검색에서 제공되는 검색의 초기 결과 집합을 가져와서 사용자의 의도에 더 가깝게 일치하도록 재평가하는 고급 AI 모델입니다. 표면적인 수준의 용어 매칭을 넘어 검색 쿼리와 문서 콘텐츠 간의 심층적인 상호 작용을 고려합니다.</p>
<p>이 예에서는 <a href="https://milvus.io/docs/integrate_with_jina.md">Jina AI Reranker를</a> 사용하겠습니다.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus.model.reranker <span class="hljs-keyword">import</span> JinaRerankFunction

jina_api_key = <span class="hljs-string">&quot;&lt;YOUR_JINA_API_KEY&gt;&quot;</span>

rf = JinaRerankFunction(<span class="hljs-string">&quot;jina-reranker-v1-base-en&quot;</span>, jina_api_key)

query = <span class="hljs-string">&quot;What event in 1956 marked the official birth of artificial intelligence as a discipline?&quot;</span>

documents = [
   <span class="hljs-string">&quot;In 1950, Alan Turing published his seminal paper, &#x27;Computing Machinery and Intelligence,&#x27; proposing the Turing Test as a criterion of intelligence, a foundational concept in the philosophy and development of artificial intelligence.&quot;</span>,
   <span class="hljs-string">&quot;The Dartmouth Conference in 1956 is considered the birthplace of artificial intelligence as a field; here, John McCarthy and others coined the term &#x27;artificial intelligence&#x27; and laid out its basic goals.&quot;</span>,
   <span class="hljs-string">&quot;In 1951, British mathematician and computer scientist Alan Turing also developed the first program designed to play chess, demonstrating an early example of AI in game strategy.&quot;</span>,
   <span class="hljs-string">&quot;The invention of the Logic Theorist by Allen Newell, Herbert A. Simon, and Cliff Shaw in 1955 marked the creation of the first true AI program, which was capable of solving logic problems, akin to proving mathematical theorems.&quot;</span>
]

results = rf(query, documents)

<span class="hljs-keyword">for</span> result <span class="hljs-keyword">in</span> results:
   <span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;Index: <span class="hljs-subst">{result.index}</span>&quot;</span>)
   <span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;Score: <span class="hljs-subst">{result.score:<span class="hljs-number">.6</span>f}</span>&quot;</span>)
   <span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;Text: <span class="hljs-subst">{result.text}</span>\n&quot;</span>)
<button class="copy-code-btn"></button></code></pre>
<p>예상되는 결과는 다음과 비슷합니다:</p>
<pre><code translate="no">Index: <span class="hljs-number">1</span>
Score: <span class="hljs-number">0.937096</span>
Text: The Dartmouth Conference <span class="hljs-keyword">in</span> <span class="hljs-number">1956</span> <span class="hljs-keyword">is</span> considered the birthplace of artificial intelligence <span class="hljs-keyword">as</span> a field; here, John McCarthy <span class="hljs-keyword">and</span> others coined the term <span class="hljs-string">&#x27;artificial intelligence&#x27;</span> <span class="hljs-keyword">and</span> laid <span class="hljs-keyword">out</span> its basic goals.

Index: <span class="hljs-number">3</span>
Score: <span class="hljs-number">0.354210</span>
Text: The invention of the Logic Theorist <span class="hljs-keyword">by</span> Allen Newell, Herbert A. Simon, <span class="hljs-keyword">and</span> Cliff Shaw <span class="hljs-keyword">in</span> <span class="hljs-number">1955</span> marked the creation of the first <span class="hljs-literal">true</span> AI program, which was capable of solving logic problems, akin to proving mathematical theorems.

Index: <span class="hljs-number">0</span>
Score: <span class="hljs-number">0.349866</span>
Text: In <span class="hljs-number">1950</span>, Alan Turing published his seminal paper, <span class="hljs-string">&#x27;Computing Machinery and Intelligence,&#x27;</span> proposing the Turing Test <span class="hljs-keyword">as</span> a criterion of intelligence, a foundational concept <span class="hljs-keyword">in</span> the philosophy <span class="hljs-keyword">and</span> development of artificial intelligence.

Index: <span class="hljs-number">2</span>
Score: <span class="hljs-number">0.272896</span>
Text: In <span class="hljs-number">1951</span>, British mathematician <span class="hljs-keyword">and</span> computer scientist Alan Turing also developed the first program designed to play chess, demonstrating an early example of AI <span class="hljs-keyword">in</span> game strategy.
<button class="copy-code-btn"></button></code></pre>
<h2 id="Star-Us-On-GitHub-and-Join-Our-Discord" class="common-anchor-header">GitHub에서 별표를 누르고 Discord에 참여하세요!<button data-href="#Star-Us-On-GitHub-and-Join-Our-Discord" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>이 블로그 게시물이 마음에 드셨다면 <a href="https://github.com/milvus-io/milvus">GitHub에서</a> Milvus를 별표로 추천해 주시고, <a href="https://discord.gg/FG6hMJStWu">Discord에</a> 가입해 주세요! 💙</p>


임베딩 모델과 PyMilvus 통합 소개

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/2_72e444c8dc.JPG" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Python 애플리케이션 내에서 로컬로 실행되는 경량 벡터 데이터베이스인 <a href="https://milvus.io/docs/milvus_lite.md">Milvus Lite를</a> 소개하게 되어 기쁘게 생각합니다. 인기 있는 오픈 소스 <a href="https://milvus.io/intro">Milvus</a> 벡터 데이터베이스를 기반으로 하는 Milvus Lite는 분산 시스템에서 높은 확장성을 위해 설계된 요소를 제거하면서 벡터 인덱싱과 쿼리 구문 분석을 위한 핵심 구성 요소를 재사용합니다. 이러한 설계 덕분에 작고 효율적인 솔루션은 노트북, Jupyter 노트북, 모바일 또는 엣지 장치와 같이 컴퓨팅 리소스가 제한된 환경에 이상적입니다.</p>
<p>Milvus Lite는 LangChain, LlamaIndex와 같은 다양한 AI 개발 스택과 통합되어 서버 설정 없이도 검색 증강 생성(RAG) 파이프라인에서 벡터 저장소로 사용할 수 있습니다. <code translate="no">pip install pymilvus</code> (버전 2.4.3 이상)을 실행하기만 하면 AI 애플리케이션에 Python 라이브러리로 통합할 수 있습니다.</p>
<p>Milvus Lite는 Milvus API를 공유하므로 클라이언트 측 코드가 소규모 로컬 배포와 수십억 개의 벡터가 있는 Docker 또는 Kubernetes에 배포된 Milvus 서버 모두에서 작동하도록 보장합니다.</p>
<h2 id="Why-We-Built-Milvus-Lite" class="common-anchor-header">Milvus Lite를 구축한 이유<button data-href="#Why-We-Built-Milvus-Lite" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>챗봇이나 쇼핑 도우미와 같은 애플리케이션을 위해 텍스트, 이미지, 음성, 동영상 등 비정형 데이터에 대한 벡터 유사성 검색이 필요한 AI 애플리케이션이 많습니다. 벡터 데이터베이스는 벡터 임베딩을 저장하고 검색하기 위해 만들어졌으며, 특히 <a href="https://zilliz.com/learn/Retrieval-Augmented-Generation">검색 증강 생성(RAG)</a>과 같은 제너레이티브 AI 사용 사례에서 AI 개발 스택의 중요한 부분입니다.</p>
<p>수많은 벡터 검색 솔루션이 존재하지만, 대규모 프로덕션 배포에도 적합한 시작하기 쉬운 옵션이 없었습니다. Milvus를 개발한 저희는 AI 개발자가 애플리케이션을 더 빠르게 구축하는 동시에 Kubernetes, Docker, 관리형 클라우드 서비스 등 다양한 배포 옵션에서 일관된 경험을 보장할 수 있도록 Milvus Lite를 설계했습니다.</p>
<p>Milvus Lite는 Milvus 에코시스템 내의 제품군에 중요한 추가 기능입니다. 개발자에게 개발 여정의 모든 단계를 지원하는 다목적 도구를 제공합니다. 프로토타이핑에서 프로덕션 환경, 엣지 컴퓨팅에서 대규모 배포에 이르기까지 Milvus는 이제 모든 규모와 모든 개발 단계의 사용 사례를 포괄하는 유일한 벡터 데이터베이스가 되었습니다.</p>
<h2 id="How-Milvus-Lite-Works" class="common-anchor-header">Milvus Lite의 작동 방식<button data-href="#How-Milvus-Lite-Works" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus Lite는 컬렉션 생성, 벡터 삽입, 검색, 삭제 등 Milvus에서 사용할 수 있는 모든 기본 작업을 지원합니다. 곧 하이브리드 검색과 같은 고급 기능도 지원할 예정입니다. Milvus Lite는 효율적인 검색을 위해 데이터를 메모리에 로드하고 SQLite 파일로 유지합니다.</p>
<p>Milvus Lite는 <a href="https://github.com/milvus-io/pymilvus">Milvus의 Python SDK에</a> 포함되어 있으며 간단한 <code translate="no">pip install pymilvus</code> 을 통해 배포할 수 있습니다. 다음 코드 스니펫은 로컬 파일 이름을 지정한 다음 새 컬렉션을 생성하여 Milvus Lite로 벡터 데이터베이스를 설정하는 방법을 보여줍니다. Milvus API에 익숙한 분들을 위해, <code translate="no">uri</code> 이 네트워크 엔드포인트 대신 로컬 파일 이름을 참조한다는 점(예: Milvus 서버의 경우 <code translate="no">&quot;http://localhost:19530&quot;</code> 대신 <code translate="no">&quot;milvus_demo.db&quot;</code> )만 다를 뿐입니다. 다른 모든 기능은 동일하게 유지됩니다. Milvus Lite는 아래와 같이 동적 또는 명시적으로 정의된 스키마를 사용하여 원시 텍스트 및 기타 레이블을 메타데이터로 저장하는 기능도 지원합니다.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> MilvusClient

client = MilvusClient(<span class="hljs-string">&quot;milvus_demo.db&quot;</span>)
<span class="hljs-comment"># This collection can take input with mandatory fields named &quot;id&quot;, &quot;vector&quot; and</span>
<span class="hljs-comment"># any other fields as &quot;dynamic schema&quot;. You can also define the schema explicitly.</span>
client.create_collection(
    collection_name=<span class="hljs-string">&quot;demo_collection&quot;</span>,
    dimension=<span class="hljs-number">384</span>  <span class="hljs-comment"># Dimension for vectors.</span>
)
<button class="copy-code-btn"></button></code></pre>
<p>확장성을 위해 Milvus Lite로 개발된 AI 애플리케이션은 서버 엔드포인트에 <code translate="no">uri</code> 를 지정하기만 하면 Docker 또는 Kubernetes에 배포된 Milvus를 사용하는 것으로 쉽게 전환할 수 있습니다.</p>
<h2 id="Integration-with-AI-Development-Stack" class="common-anchor-header">AI 개발 스택과의 통합<button data-href="#Integration-with-AI-Development-Stack" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus는 벡터 검색을 쉽게 시작할 수 있도록 Milvus Lite를 도입하는 것 외에도 <a href="https://python.langchain.com/v0.2/docs/integrations/vectorstores/milvus/">LangChain</a>, <a href="https://docs.llamaindex.ai/en/stable/examples/vector_stores/MilvusIndexDemo/">LlamaIndex</a>, <a href="https://haystack.deepset.ai/integrations/milvus-document-store">Haystack</a>, <a href="https://blog.voyageai.com/2024/05/30/semantic-search-with-milvus-lite-and-voyage-ai/">Voyage AI</a>, <a href="https://milvus.io/docs/integrate_with_ragas.md">Ragas</a>, <a href="https://jina.ai/news/implementing-a-chat-history-rag-with-jina-ai-and-milvus-lite/">Jina AI</a>, <a href="https://dspy-docs.vercel.app/docs/deep-dive/retrieval_models_clients/MilvusRM">DSPy</a>, <a href="https://www.bentoml.com/blog/building-a-rag-app-with-bentocloud-and-milvus-lite">BentoML</a>, <a href="https://chiajy.medium.com/70873c7576f1">WhyHow</a>, <a href="https://blog.relari.ai/case-study-using-synthetic-data-to-benchmark-rag-systems-be324904ace1">Relari AI</a>, <a href="https://docs.airbyte.com/integrations/destinations/milvus">Airbyte</a>, <a href="https://milvus.io/docs/integrate_with_hugging-face.md">HuggingFace</a> 및 <a href="https://memgpt.readme.io/docs/storage#milvus">MemGPT를</a> 포함한 많은 AI 개발 스택의 프레임워크 및 제공업체와 통합할 수 있습니다. 이러한 통합은 광범위한 도구와 서비스 덕분에 벡터 검색 기능을 갖춘 AI 애플리케이션 개발을 간소화합니다.</p>
<p>그리고 이것은 시작에 불과합니다. 더 많은 흥미로운 통합 기능이 곧 추가될 예정입니다! 계속 지켜봐 주세요!</p>
<h2 id="More-Resources-and-Examples" class="common-anchor-header">더 많은 리소스 및 예제<button data-href="#More-Resources-and-Examples" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus <a href="https://milvus.io/docs/quickstart.md">빠른 시작 설명서를</a> 통해 Milvus Lite를 사용해 검색 증강 생성<a href="https://github.com/milvus-io/bootcamp/blob/master/bootcamp/tutorials/quickstart/build_RAG_with_milvus.ipynb">(RAG)</a> 및 <a href="https://github.com/milvus-io/bootcamp/blob/master/bootcamp/tutorials/quickstart/image_search_with_milvus.ipynb">이미지 검색과</a> 같은 AI 애플리케이션을 구축하는 방법에 대한 자세한 가이드와 코드 예제를 살펴보세요.</p>
<p>Milvus Lite는 오픈 소스 프로젝트이며, 여러분의 기여를 환영합니다. 시작하려면 <a href="https://github.com/milvus-io/milvus-lite/blob/main/CONTRIBUTING.md">기여 가이드를</a> 확인하세요. <a href="https://github.com/milvus-io/milvus-lite">Milvus Lite GitHub</a> 리포지토리에 이슈를 제출하여 버그를 보고하거나 기능을 요청할 수도 있습니다.</p>


Milvus Lite를 소개합니다: 몇 초 만에 GenAI 애플리케이션 구축 시작

벡터 데이터베이스 최적화, RAG 기반 제너레이티브 AI 강화

Milvus 클러스터 및 K8 시작하기

<p>대규모 데이터 세트에 대한 검색 기능을 크게 향상시킨 Milvus 2.4의 출시를 발표하게 되어 기쁘게 생각합니다. 이번 최신 버전에는 GPU 기반 CAGRA 인덱스 지원, <a href="https://zilliz.com/learn/sparse-and-dense-embeddings">스파스 임베딩</a> 베타 지원, 그룹 검색, 기타 다양한 검색 기능 개선 등 새로운 기능이 추가되었습니다. 이러한 개발은 여러분과 같은 개발자에게 벡터 데이터를 처리하고 쿼리할 수 있는 강력하고 효율적인 도구를 제공함으로써 커뮤니티에 대한 저희의 약속을 더욱 강화합니다. Milvus 2.4의 주요 이점을 함께 살펴보겠습니다.</p>
<h2 id="Enabled-Multi-vector-Search-for-Simplified-Multimodal-Searches" class="common-anchor-header">간소화된 멀티모달 검색을 위한 멀티벡터 검색 활성화<button data-href="#Enabled-Multi-vector-Search-for-Simplified-Multimodal-Searches" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.4는 멀티 벡터 검색 기능을 제공하여 동일한 Milvus 시스템 내에서 서로 다른 벡터 유형을 동시에 검색하고 순위를 재조정할 수 있습니다. 이 기능은 멀티모달 검색을 간소화하여 리콜률을 크게 향상시키고 개발자가 다양한 데이터 유형을 가진 복잡한 AI 애플리케이션을 손쉽게 관리할 수 있도록 지원합니다. 또한 이 기능은 맞춤형 재랭크 모델의 통합과 미세 조정을 간소화하여 다차원 데이터의 인사이트를 활용하는 정밀한 <a href="https://zilliz.com/vector-database-use-cases/recommender-system">추천 시스템과</a> 같은 고급 검색 기능을 생성하는 데 도움을 줍니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/How_the_multi_vector_search_feature_works_6c85961349.png" alt="How the Milti-Vector Search Feature Works" class="doc-image" id="how-the-milti-vector-search-feature-works" />
   </span> <span class="img-wrapper"> <span>밀티-벡터 검색 기능의 작동 방식</span> </span></p>
<p>Milvus의 멀티벡터 지원은 두 가지 구성 요소로 이루어져 있습니다:</p>
<ol>
<li><p>컬렉션 내의 단일 엔티티에 대해 여러 개의 벡터를 저장/조회하는 기능으로, 데이터를 보다 자연스럽게 구성할 수 있습니다.</p></li>
<li><p>Milvus에 미리 구축된 리랭크 알고리즘을 활용하여 리랭크 알고리즘을 구축/최적화할 수 있는 기능.</p></li>
</ol>
<p>이 기능은 <a href="https://github.com/milvus-io/milvus/issues/25639">요청이</a> 많았던 기능일 뿐만 아니라, 업계가 GPT-4 및 Claude 3의 출시와 함께 멀티모달 모델로 이동하고 있기 때문에 구축하게 되었습니다. 재랭크는 검색에서 쿼리 성능을 더욱 향상시키기 위해 일반적으로 사용되는 기술입니다. 저희는 개발자들이 Milvus 에코시스템 내에서 리랭커를 쉽게 구축하고 최적화할 수 있도록 하는 것을 목표로 했습니다.</p>
<h2 id="Grouping-Search-Support-for-Enhanced-Compute-Efficiency" class="common-anchor-header">컴퓨팅 효율성 향상을 위한 그룹화 검색 지원<button data-href="#Grouping-Search-Support-for-Enhanced-Compute-Efficiency" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>그룹 검색은 Milvus 2.4에 추가한 또 다른 <a href="https://github.com/milvus-io/milvus/issues/25343">요청이</a> 많았던 기능입니다. 이 기능은 BOOL, INT 또는 VARCHAR 유형의 필드용으로 설계된 그룹별 연산을 통합하여 대규모 그룹화 쿼리를 실행할 때 중요한 효율성 격차를 메웁니다.</p>
<p>기존에는 개발자들이 그룹별 결과를 추출하기 위해 광범위한 Top-K 검색과 수동 후처리에 의존했는데, 이는 컴퓨팅 집약적이고 코드가 많은 방식이었습니다. 그룹화 검색은 쿼리 결과를 문서나 동영상 이름과 같은 집계 그룹 식별자에 효율적으로 연결함으로써 이 프로세스를 개선하여 대규모 데이터 세트 내에서 세그먼트화된 엔티티를 처리하는 작업을 간소화합니다.</p>
<p>Milvus는 반복자 기반 구현으로 그룹화 검색을 차별화하여 유사한 기술보다 계산 효율성이 현저히 향상되었습니다. 이러한 선택은 특히 컴퓨팅 리소스 최적화가 가장 중요한 프로덕션 환경에서 뛰어난 성능 확장성을 보장합니다. 데이터 탐색과 계산 오버헤드를 줄임으로써 Milvus는 보다 효율적인 쿼리 처리를 지원하여 다른 벡터 데이터베이스에 비해 응답 시간과 운영 비용을 크게 줄여줍니다.</p>
<p>그룹화 검색은 대량의 복잡한 쿼리를 관리하는 Milvus의 역량을 강화하며, 강력한 데이터 관리 솔루션을 위한 고성능 컴퓨팅 관행에 부합합니다.</p>
<h2 id="Beta-Support-for-Sparse-Vector-Embeddings" class="common-anchor-header">스파스 벡터 임베딩 베타 지원<button data-href="#Beta-Support-for-Sparse-Vector-Embeddings" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><a href="https://zilliz.com/learn/sparse-and-dense-embeddings">스파스 임베딩은</a> 단순한 키워드 빈도보다는 의미적 유사성의 뉘앙스를 고려하는 기존의 고밀도 벡터 접근 방식에서 패러다임의 전환을 의미합니다. 이러한 차이는 쿼리 및 문서의 의미론적 콘텐츠와 밀접하게 연계되어 보다 미묘한 검색 기능을 가능하게 합니다. 정보 검색과 자연어 처리에 특히 유용한 스파스 벡터 모델은 밀도가 높은 모델에 비해 강력한 도메인 외 검색 기능과 해석 가능성을 제공합니다.</p>
<p>Milvus 2.4에서는 하이브리드 검색을 확장하여 SPLADEv2와 같은 고급 신경 모델이나 BM25와 같은 통계 모델에서 생성된 희소 임베딩을 포함하도록 했습니다. 밀버스에서는 희소 벡터를 고밀도 벡터와 동등하게 취급하여 희소 벡터 필드를 사용한 컬렉션 생성, 데이터 삽입, 인덱스 구축, 유사도 검색을 수행할 수 있게 되었습니다. 특히, Milvus의 희소 임베딩은 고차원적 특성을 고려할 때 다른 메트릭의 효율을 떨어뜨리는 <a href="https://zilliz.com/blog/similarity-metrics-for-vector-search#Inner-Product">내적</a> 곱(IP) 거리 메트릭을 지원한다는 점에서 유리합니다. 이 기능은 또한 차원이 부호 없는 32비트 정수와 값에 대한 32비트 부동 소수점인 데이터 유형을 지원하므로 미묘한 텍스트 검색부터 정교한 <a href="https://zilliz.com/learn/information-retrieval-metrics">정보 검색</a> 시스템에 이르기까지 광범위한 애플리케이션을 용이하게 해줍니다.</p>
<p>이 새로운 기능을 통해 Milvus는 키워드와 임베딩 기반 기술을 혼합한 하이브리드 검색 방법론을 지원하여 키워드 중심의 검색 프레임워크에서 유지보수가 적은 종합적인 솔루션을 찾는 사용자들에게 원활한 전환을 제공합니다.</p>
<p>이 기능의 성능 테스트를 계속하고 커뮤니티의 피드백을 수집하기 위해 이 기능을 '베타'로 분류하고 있습니다. 희소 벡터 지원의 일반 공개(GA)는 Milvus 3.0의 출시와 함께 이루어질 예정입니다.</p>
<h2 id="CAGRA-Index-Support-for-Advanced-GPU-Accelerated-Graph-Indexing" class="common-anchor-header">고급 GPU 가속 그래프 인덱싱을 위한 CAGRA 인덱스 지원<button data-href="#CAGRA-Index-Support-for-Advanced-GPU-Accelerated-Graph-Indexing" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>NVIDIA에서 개발한 <a href="https://arxiv.org/abs/2308.15136">CAGRA</a> (쿠다 앤스 그래프 기반)는 GPU 기반 그래프 인덱싱 기술로, 특히 처리량이 많은 환경에서 효율성과 성능 면에서 HNSW 인덱스와 같은 기존 CPU 기반 방식을 크게 뛰어넘는 기술입니다.</p>
<p>CAGRA 인덱스의 도입으로 Milvus 2.4는 향상된 GPU 가속 그래프 인덱싱 기능을 제공합니다. 이 향상된 기능은 지연 시간을 최소화해야 하는 유사도 검색 애플리케이션을 구축하는 데 이상적입니다. 또한, Milvus 2.4는 무차별 대입 검색과 CAGRA 인덱스를 통합하여 애플리케이션에서 최대 리콜률을 달성합니다. 자세한 내용은 <a href="https://zilliz.com/blog/Milvus-introduces-GPU-index-CAGRA">CAGRA 소개 블로그를</a> 참조하세요.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Milvus_raft_cagra_vs_milvus_hnsw_ffe0415ff5.png" alt="Milvus Raft CAGRA vs. Milvus HNSW" class="doc-image" id="milvus-raft-cagra-vs.-milvus-hnsw" />
   </span> <span class="img-wrapper"> <span>밀버스 래프트 CAGRA와 밀버스 HNSW 비교</span> </span></p>
<h2 id="Additional-Enhancements-and-Features" class="common-anchor-header">추가 개선 사항 및 기능<button data-href="#Additional-Enhancements-and-Features" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.4에는 <a href="https://zilliz.com/blog/metadata-filtering-with-zilliz-cloud-pipelines">메타데이터 필터링에서</a> 향상된 부분 문자열 매칭을 위한 정규식 지원, 효율적인 스칼라 데이터 유형 필터링을 위한 새로운 스칼라 반전 인덱스, Milvus 컬렉션의 변경 사항을 모니터링하고 복제하는 변경 데이터 캡처 도구와 같은 다른 주요 개선 사항도 포함되어 있습니다. 이러한 업데이트는 Milvus의 성능과 다용도성을 종합적으로 향상시켜 복잡한 데이터 작업을 위한 종합 솔루션으로 거듭나게 해줍니다.</p>
<p>자세한 내용은 <a href="https://milvus.io/docs/release_notes.md">Milvus 2.4 설명서를</a> 참조하세요.</p>
<h2 id="Stay-Connected" class="common-anchor-header">계속 연결하세요!<button data-href="#Stay-Connected" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.4에 대해 더 자세히 알고 싶으신가요? Zilliz의 엔지니어링 부사장 제임스 루안과 함께하는 <a href="https://zilliz.com/event/unlocking-advanced-search-capabilities-milvus">웨비나에 참여하여</a> 최신 릴리스의 기능에 대해 심도 있게 논의해 보세요. 질문이나 피드백이 있으시면 <a href="https://discord.com/invite/8uyFbECzPX">Discord 채널에</a> 참여하여 엔지니어 및 커뮤니티 회원들과 소통하세요. <a href="https://twitter.com/milvusio">트위터나</a> <a href="https://www.linkedin.com/company/the-milvus-project">링크드인을</a> 팔로우하여 Milvus에 대한 최신 뉴스와 업데이트를 놓치지 마세요.</p>


Milvus 2.4 Supports Multi-vector Search, Sparse Vector, CAGRA, and More!

Milvus 2.4 공개: 다중 벡터 검색, 스파스 벡터, CAGRA 인덱스 등!

<p>방대한 데이터 세트를 처리하는 능력으로 유명한 확장성이 뛰어난 벡터 데이터베이스인<a href="https://zilliz.com/what-is-milvus">Milvus는</a> <a href="https://zilliz.com/blog/what-is-new-in-milvus-2-3-4">버전 2.3.4에서</a> Parquet 파일 지원을 도입하여 한 단계 더 발전했습니다. Apache Parquet을 도입함으로써 사용자는 데이터 가져오기 프로세스를 간소화하고 스토리지 및 계산 비용을 크게 절감할 수 있습니다.</p>
<p>최신 게시물에서는 Parquet의 장점과 Milvus 사용자에게 제공되는 이점을 살펴봅니다. 이 기능을 통합하게 된 동기를 설명하고, Parquet 파일을 Milvus로 원활하게 가져와 효율적인 데이터 관리 및 분석을 위한 새로운 가능성을 열어주는 단계별 가이드를 제공합니다.</p>
<h2 id="What-Is-Apache-Parquet" class="common-anchor-header">Apache Parquet이란?<button data-href="#What-Is-Apache-Parquet" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><a href="https://parquet.apache.org/">Apache Parquet은</a> 대규모 데이터 세트의 저장 및 처리 효율성을 높이기 위해 설계된 널리 사용되는 오픈 소스 열 지향 데이터 파일 형식입니다. CSV나 JSON과 같은 기존의 행 중심 데이터 형식과 달리 Parquet은 데이터를 열 단위로 저장하여 보다 효율적인 데이터 압축 및 인코딩 체계를 제공합니다. 이러한 접근 방식은 성능 향상, 스토리지 요구 사항 감소, 처리 능력 향상으로 이어져 복잡한 데이터를 대량으로 처리하는 데 이상적입니다.</p>
<h2 id="How-Milvus-Users-Benefit-from-the-Support-for-Parquet-File-Imports" class="common-anchor-header">Milvus 사용자가 Parquet 파일 가져오기 지원의 혜택을 누리는 방법<button data-href="#How-Milvus-Users-Benefit-from-the-Support-for-Parquet-File-Imports" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus는 Parquet 파일 가져오기 지원을 확장하여 사용자에게 스토리지 및 컴퓨팅 비용 절감, 데이터 관리 간소화, 가져오기 프로세스 간소화 등 최적화된 환경과 다양한 이점을 제공합니다.</p>
<h3 id="Optimized-Storage-Efficiency-and-Streamlined-Data-Management" class="common-anchor-header">최적화된 스토리지 효율성 및 간소화된 데이터 관리</h3><p>Parquet은 다양한 데이터 유형에 맞는 유연한 압축 옵션과 효율적인 인코딩 체계를 제공하여 최적의 스토리지 효율성을 보장합니다. 이러한 유연성은 모든 스토리지 절약이 실질적인 비용 절감으로 직결되는 클라우드 환경에서 특히 유용합니다. Milvus의 이 새로운 기능을 통해 사용자는 다양한 데이터를 모두 하나의 파일로 손쉽게 통합하여 데이터 관리를 간소화하고 전반적인 사용자 경험을 향상시킬 수 있습니다. 이 기능은 특히 가변 길이 배열 데이터 유형으로 작업하는 사용자에게 유용하며, 이제 데이터 가져오기 프로세스를 간소화할 수 있습니다.</p>
<h3 id="Improved-Query-Performance" class="common-anchor-header">쿼리 성능 향상</h3><p>Parquet의 컬럼형 스토리지 설계와 고급 압축 방식은 쿼리 성능을 크게 향상시킵니다. 쿼리를 수행할 때 사용자는 관련 없는 데이터를 스캔할 필요 없이 관련 데이터에만 집중할 수 있습니다. 이러한 선택적 열 읽기는 CPU 사용량을 최소화하여 쿼리 시간을 단축합니다.</p>
<h3 id="Broad-Language-Compatibility" class="common-anchor-header">광범위한 언어 호환성</h3><p>Parquet은 Java, C++, Python 등 여러 언어로 제공되며 수많은 데이터 처리 도구와 호환됩니다. Parquet 파일 지원으로 다른 SDK를 사용하는 Milvus 사용자도 데이터베이스 내에서 구문 분석을 위한 Parquet 파일을 원활하게 생성할 수 있습니다.</p>
<h2 id="How-to-Import-Parquet-Files-into-Milvus" class="common-anchor-header">Parquet 파일을 Milvus로 가져오는 방법<button data-href="#How-to-Import-Parquet-Files-into-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>데이터가 이미 Parquet 파일 형식인 경우 가져오기는 쉽습니다. Parquet 파일을 MinIO와 같은 객체 스토리지 시스템에 업로드하면 가져올 준비가 완료됩니다.</p>
<p>아래 코드 스니펫은 Parquet 파일을 Milvus로 가져오는 예제입니다.</p>
<pre><code translate="no">remote_files = []
<span class="hljs-keyword">try</span>:
    <span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Prepare upload files&quot;</span>)
    minio_client = Minio(endpoint=MINIO_ADDRESS, access_key=MINIO_ACCESS_KEY, secret_key=MINIO_SECRET_KEY,
                         secure=<span class="hljs-literal">False</span>)
    found = minio_client.bucket_exists(bucket_name)
    <span class="hljs-keyword">if</span> <span class="hljs-keyword">not</span> found:
        minio_client.make_bucket(bucket_name)
        <span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;MinIO bucket &#x27;{}&#x27; doesn&#x27;t exist&quot;</span>.<span class="hljs-built_in">format</span>(bucket_name))
        <span class="hljs-keyword">return</span> <span class="hljs-literal">False</span>, []

    <span class="hljs-comment"># set your remote data path</span>
    remote_data_path = <span class="hljs-string">&quot;milvus_bulkinsert&quot;</span>

    <span class="hljs-keyword">def</span> <span class="hljs-title function_">upload_file</span>(<span class="hljs-params">f: <span class="hljs-built_in">str</span></span>):
        file_name = os.path.basename(f)
        minio_file_path = os.path.join(remote_data_path, <span class="hljs-string">&quot;parquet&quot;</span>, file_name)
        minio_client.fput_object(bucket_name, minio_file_path, f)
        <span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Upload file &#x27;{}&#x27; to &#x27;{}&#x27;&quot;</span>.<span class="hljs-built_in">format</span>(f, minio_file_path))
        remote_files.append(minio_file_path)

    upload_file(data_file)

<span class="hljs-keyword">except</span> S3Error <span class="hljs-keyword">as</span> e:
    <span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Failed to connect MinIO server {}, error: {}&quot;</span>.<span class="hljs-built_in">format</span>(MINIO_ADDRESS, e))
    <span class="hljs-keyword">return</span> <span class="hljs-literal">False</span>, []

<span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Successfully upload files: {}&quot;</span>.<span class="hljs-built_in">format</span>(remote_files))
<span class="hljs-keyword">return</span> <span class="hljs-literal">True</span>, remote_files
<button class="copy-code-btn"></button></code></pre>
<p>데이터가 Parquet 파일이 아니거나 동적 필드가 있는 경우, 데이터 형식 변환 도구인 BulkWriter를 활용하여 Parquet 파일을 생성할 수 있습니다. 이제 BulkWriter는 기본 출력 데이터 형식으로 Parquet을 채택하여 개발자에게 보다 직관적인 환경을 제공합니다.</p>
<p>아래 코드 스니펫은 BulkWriter를 사용하여 Parquet 파일을 생성하는 예시입니다.</p>
<pre><code translate="no"><span class="hljs-keyword">import</span> numpy <span class="hljs-keyword">as</span> np
<span class="hljs-keyword">import</span> json

<span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> (
    RemoteBulkWriter,
    BulkFileType,
)

remote_writer = RemoteBulkWriter(
        schema=your_collection_schema,
        remote_path=<span class="hljs-string">&quot;your_remote_data_path&quot;</span>,
        connect_param=RemoteBulkWriter.ConnectParam(
            endpoint=YOUR_MINIO_ADDRESS,
            access_key=YOUR_MINIO_ACCESS_KEY,
            secret_key=YOUR_MINIO_SECRET_KEY,
            bucket_name=<span class="hljs-string">&quot;a-bucket&quot;</span>,
        ),
        file_type=BulkFileType.PARQUET,
)

<span class="hljs-comment"># append your data</span>
batch_count = <span class="hljs-number">10000</span>
<span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(batch_count):
    row = {
        <span class="hljs-string">&quot;id&quot;</span>: i,
        <span class="hljs-string">&quot;bool&quot;</span>: <span class="hljs-literal">True</span> <span class="hljs-keyword">if</span> i % <span class="hljs-number">5</span> == <span class="hljs-number">0</span> <span class="hljs-keyword">else</span> <span class="hljs-literal">False</span>,
        <span class="hljs-string">&quot;int8&quot;</span>: i % <span class="hljs-number">128</span>,
        <span class="hljs-string">&quot;int16&quot;</span>: i % <span class="hljs-number">1000</span>,
        <span class="hljs-string">&quot;int32&quot;</span>: i % <span class="hljs-number">100000</span>,
        <span class="hljs-string">&quot;int64&quot;</span>: i,
        <span class="hljs-string">&quot;float&quot;</span>: i / <span class="hljs-number">3</span>,
        <span class="hljs-string">&quot;double&quot;</span>: i / <span class="hljs-number">7</span>,
        <span class="hljs-string">&quot;varchar&quot;</span>: <span class="hljs-string">f&quot;varchar_<span class="hljs-subst">{i}</span>&quot;</span>,
        <span class="hljs-string">&quot;json&quot;</span>: {<span class="hljs-string">&quot;dummy&quot;</span>: i, <span class="hljs-string">&quot;ok&quot;</span>: <span class="hljs-string">f&quot;name_<span class="hljs-subst">{i}</span>&quot;</span>},
        <span class="hljs-string">&quot;vector&quot;</span>: gen_binary_vector() <span class="hljs-keyword">if</span> bin_vec <span class="hljs-keyword">else</span> gen_float_vector(),
        <span class="hljs-string">f&quot;dynamic_<span class="hljs-subst">{i}</span>&quot;</span>: i,
    }
    remote_writer.append_row(row)

<span class="hljs-comment"># append rows by numpy type</span>
<span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(batch_count):
    remote_writer.append_row({
        <span class="hljs-string">&quot;id&quot;</span>: np.int64(i + batch_count),
        <span class="hljs-string">&quot;bool&quot;</span>: <span class="hljs-literal">True</span> <span class="hljs-keyword">if</span> i % <span class="hljs-number">3</span> == <span class="hljs-number">0</span> <span class="hljs-keyword">else</span> <span class="hljs-literal">False</span>,
        <span class="hljs-string">&quot;int8&quot;</span>: np.int8(i % <span class="hljs-number">128</span>),
        <span class="hljs-string">&quot;int16&quot;</span>: np.int16(i % <span class="hljs-number">1000</span>),
        <span class="hljs-string">&quot;int32&quot;</span>: np.int32(i % <span class="hljs-number">100000</span>),
        <span class="hljs-string">&quot;int64&quot;</span>: np.int64(i),
        <span class="hljs-string">&quot;float&quot;</span>: np.float32(i / <span class="hljs-number">3</span>),
        <span class="hljs-string">&quot;double&quot;</span>: np.float64(i / <span class="hljs-number">7</span>),
        <span class="hljs-string">&quot;varchar&quot;</span>: <span class="hljs-string">f&quot;varchar_<span class="hljs-subst">{i}</span>&quot;</span>,
        <span class="hljs-string">&quot;json&quot;</span>: json.dumps({<span class="hljs-string">&quot;dummy&quot;</span>: i, <span class="hljs-string">&quot;ok&quot;</span>: <span class="hljs-string">f&quot;name_<span class="hljs-subst">{i}</span>&quot;</span>}),
        <span class="hljs-string">&quot;vector&quot;</span>: gen_binary_vector() <span class="hljs-keyword">if</span> bin_vec <span class="hljs-keyword">else</span> gen_float_vector(),
        <span class="hljs-string">f&quot;dynamic_<span class="hljs-subst">{i}</span>&quot;</span>: i,
    })

<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;<span class="hljs-subst">{remote_writer.total_row_count}</span> rows appends&quot;</span>)
<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;<span class="hljs-subst">{remote_writer.buffer_row_count}</span> rows in buffer not flushed&quot;</span>)
<span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Generate data files...&quot;</span>)
remote_writer.commit()
<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;Data files have been uploaded: <span class="hljs-subst">{remote_writer.batch_files}</span>&quot;</span>)
remote_files = remote_writer.batch_files
<button class="copy-code-btn"></button></code></pre>
<p>그런 다음 Parquet 파일을 Milvus로 가져오기 시작할 수 있습니다.</p>
<pre><code translate="no">remote_files = [remote_file_path]
task_id = utility.do_bulk_insert(collection_name=collection_name,
                                 files=remote_files)

task_ids = [task_id]         
states = wait_tasks_to_state(task_ids, BulkInsertState.ImportCompleted)
complete_count = 0
for state in states:
    if state.state == BulkInsertState.ImportCompleted:
        complete_count = complete_count + 1
<button class="copy-code-btn"></button></code></pre>
<p>이제 데이터가 Milvus에 원활하게 통합되었습니다.</p>
<h2 id="Whats-Next" class="common-anchor-header">다음 단계는 무엇인가요?<button data-href="#Whats-Next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus가 계속해서 증가하는 데이터 용량을 지원함에 따라, 특히 Parquet 파일이 10GB를 초과하는 경우 상당한 크기의 가져오기를 관리하는 데 어려움이 있습니다. 이 문제를 해결하기 위해 가져오기 데이터를 스칼라 열과 벡터 열로 분리하여 가져오기당 2개의 Parquet 파일을 생성하여 I/O 부담을 완화할 계획입니다. 수백 기가바이트를 초과하는 데이터 세트의 경우, 데이터를 여러 번 가져오는 것이 좋습니다.</p>


Milvus Supports Imports of Apache Parquet Files

Milvus, 데이터 처리 효율성 향상을 위한 Apache Parquet 파일 가져오기 지원

<custom-h1>Milvus 버전 소개</custom-h1><p>벡터 검색 기술을 활용하는 모든 프로젝트의 성공을 위해서는 적절한 Milvus 버전을 선택하는 것이 무엇보다 중요합니다. 다양한 요구사항에 맞춘 다양한 Milvus 버전이 있으므로 원하는 결과를 얻으려면 올바른 버전을 선택하는 것의 중요성을 이해하는 것이 중요합니다.</p>
<p>올바른 Milvus 버전은 개발자가 빠르게 학습하고 프로토타입을 제작하거나 리소스 활용을 최적화하고 개발 노력을 간소화하며 기존 인프라 및 도구와의 호환성을 보장하는 데 도움이 될 수 있습니다. 궁극적으로는 개발자의 생산성을 유지하고 효율성, 안정성 및 사용자 만족도를 개선하는 것입니다.</p>
<h2 id="Available-Milvus-versions" class="common-anchor-header">사용 가능한 Milvus 버전<button data-href="#Available-Milvus-versions" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>개발자는 세 가지 버전의 Milvus를 사용할 수 있으며 모두 오픈 소스입니다. Milvus 라이트, Milvus 스탠드얼론, Milvus 클러스터의 세 가지 버전은 기능 및 사용자가 장단기적으로 Milvus를 사용하는 방식에 차이가 있습니다. 이제 각 버전을 개별적으로 살펴보겠습니다.</p>
<h2 id="Milvus-Lite" class="common-anchor-header">Milvus Lite<button data-href="#Milvus-Lite" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>이름에서 알 수 있듯이 Milvus Lite는 Google Colab 및 Jupyter Notebook과 원활하게 통합되는 경량 버전입니다. 추가 종속성 없이 단일 바이너리로 패키징되어 있어 컴퓨터에 쉽게 설치 및 실행하거나 Python 애플리케이션에 임베드할 수 있습니다. 또한 Milvus Lite에는 CLI 기반 Milvus 독립형 서버가 포함되어 있어 머신에서 직접 실행할 수 있는 유연성을 제공합니다. Python 코드에 포함할지 아니면 독립형 서버로 활용할지는 전적으로 사용자의 선호도와 특정 애플리케이션 요구 사항에 따라 결정됩니다.</p>
<h3 id="Features-and-Capabilities" class="common-anchor-header">특징 및 기능</h3><p>Milvus Lite에는 Milvus의 모든 핵심 벡터 검색 기능이 포함되어 있습니다.</p>
<ul>
<li><p><strong>검색 기능</strong>: 메타데이터 필터링을 포함한 상위-k, 범위 및 하이브리드 검색을 지원하여 다양한 검색 요구 사항을 충족합니다.</p></li>
<li><p><strong>인덱스 유형 및 유사성 메트릭</strong>: 11가지 인덱스 유형과 5가지 유사성 지표를 지원하여 특정 사용 사례에 맞는 유연성과 사용자 정의 옵션을 제공합니다.</p></li>
<li><p><strong>데이터 처리</strong>: 일괄 처리(Apache Parquet, Arrays, JSON) 및 스트림 처리를 지원하며, Airbyte, Apache Kafka, Apache Spark용 커넥터를 통해 원활하게 통합할 수 있습니다.</p></li>
<li><p><strong>CRUD 운영</strong>: 완전한 CRUD 지원(생성, 읽기, 업데이트/삽입, 삭제)을 제공하여 사용자에게 포괄적인 데이터 관리 기능을 제공합니다.</p></li>
</ul>
<h3 id="Applications-and-limitations" class="common-anchor-header">애플리케이션 및 제한 사항</h3><p>Milvus Lite는 신속한 프로토타이핑과 로컬 개발에 이상적이며, 머신에서 소규모 데이터 세트를 빠르게 설정하고 실험할 수 있도록 지원합니다. 그러나 대규모 데이터 세트와 더 까다로운 인프라 요구 사항이 있는 프로덕션 환경으로 전환할 때는 그 한계가 분명해집니다. 따라서 Milvus Lite는 초기 탐색 및 테스트에는 훌륭한 도구이지만, 대량 또는 프로덕션 환경에서 애플리케이션을 배포하는 데는 적합하지 않을 수 있습니다.</p>
<h3 id="Available-Resources" class="common-anchor-header">사용 가능한 리소스</h3><ul>
<li><p><a href="https://milvus.io/docs/milvus_lite.md">문서</a></p></li>
<li><p><a href="https://github.com/milvus-io/milvus-lite/">Github 리포지토리</a></p></li>
<li><p><a href="https://github.com/milvus-io/milvus-lite/tree/main/examples">Google Colab 예제</a></p></li>
<li><p><a href="https://www.youtube.com/watch?v=IgJdrGiB5ZY">시작하기 비디오</a></p></li>
</ul>
<h2 id="Milvus-Standalone" class="common-anchor-header">Milvus 스탠드얼론<button data-href="#Milvus-Standalone" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus는 두 가지 운영 모드를 제공합니다: 독립형과 클러스터. 두 모드 모두 핵심 벡터 데이터베이스 기능은 동일하지만 데이터 크기 지원 및 확장성 요구 사항에서 차이가 있습니다. 이러한 차이점을 통해 데이터 세트 크기, 트래픽 양, 기타 프로덕션 인프라 요구 사항에 가장 적합한 모드를 선택할 수 있습니다.</p>
<p>Milvus Standalone은 클러스터링이나 분산 설정 없이 단일 인스턴스로 독립적으로 작동하는 Milvus 벡터 데이터베이스 시스템의 운영 모드입니다. Milvus는 이 모드에서 단일 서버 또는 머신에서 실행되며, 인덱싱 및 벡터 검색과 같은 기능을 제공합니다. 데이터 및 트래픽 규모가 상대적으로 작고 클러스터 설정에서 제공하는 분산 기능이 필요하지 않은 상황에 적합합니다.</p>
<h3 id="Features-and-Capabilities" class="common-anchor-header">특징 및 기능</h3><ul>
<li><p><strong>고성능</strong>: 수십억 개 이상의 대규모 데이터 세트에 대한 벡터 검색을 탁월한 속도와 효율성으로 수행할 수 있습니다.</p></li>
<li><p><strong>검색 기능</strong>: 메타데이터 필터링을 포함한 상위-k, 범위, 하이브리드 검색을 지원하여 다양한 검색 요구사항을 충족합니다.</p></li>
<li><p><strong>색인 유형 및 유사성 메트릭</strong>: 11가지 색인 유형과 5가지 유사성 지표를 지원하여 특정 사용 사례에 맞는 유연성과 사용자 지정 옵션을 제공합니다.</p></li>
<li><p><strong>데이터 처리</strong>: 일괄 처리(Apache Parquet, Arrays, Json)와 스트림 처리를 모두 지원하며, Airbyte, Apache Kafka, Apache Spark용 커넥터를 통해 원활하게 통합할 수 있습니다.</p></li>
<li><p><strong>데이터 복제 및 페일오버</strong>: 기본 제공되는 복제 및 장애 조치/장애 복구 기능은 중단이나 장애 발생 시에도 데이터 무결성과 애플리케이션 가용성을 보장합니다.</p></li>
<li><p><strong>확장성</strong>: 구성 요소 수준 확장을 통해 동적 확장성을 달성하여 수요에 따라 원활하게 확장 및 축소할 수 있습니다. Milvus는 구성 요소 수준에서 자동 확장이 가능하므로 리소스 할당을 최적화하여 효율성을 높일 수 있습니다.</p></li>
<li><p><strong>멀티 테넌시</strong>: 클러스터에서 최대 10,000개의 컬렉션/파티션을 관리할 수 있는 멀티 테넌시를 지원하여 다양한 사용자 또는 애플리케이션을 위한 효율적인 리소스 활용과 격리를 제공합니다.</p></li>
<li><p><strong>CRUD 운영</strong>: 완전한 CRUD 지원(만들기, 읽기, 업데이트/삽입, 삭제)을 제공하여 사용자에게 포괄적인 데이터 관리 기능을 제공합니다.</p></li>
</ul>
<h3 id="Essential-components" class="common-anchor-header">필수 구성 요소:</h3><ul>
<li><p>Milvus: 핵심 기능 구성 요소.</p></li>
<li><p>etcd: 프록시, 인덱스 노드 등을 포함한 Milvus의 내부 구성 요소에서 메타데이터에 액세스하고 저장하는 메타데이터 엔진입니다.</p></li>
<li><p>MinIO: Milvus 내에서 데이터 지속성을 담당하는 스토리지 엔진.</p></li>
</ul>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Screenshot_2024_02_19_at_4_16_41_PM_5e635586a7.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>그림 1: Milvus 독립형 아키텍처</p>
<h3 id="Available-Resources" class="common-anchor-header">사용 가능한 리소스</h3><ul>
<li><p>문서</p>
<ul>
<li><p><a href="https://milvus.io/docs/prerequisite-docker.md">Docker Compose를 사용한 Milvus 환경 체크리스트</a></p></li>
<li><p><a href="https://milvus.io/docs/install_standalone-docker.md">Docker로 Milvus 독립형 설치</a></p></li>
</ul></li>
<li><p><a href="https://github.com/milvus-io/milvus">깃허브 리포지토리</a></p></li>
</ul>
<h2 id="Milvus-Cluster" class="common-anchor-header">밀버스 클러스터<button data-href="#Milvus-Cluster" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 클러스터는 여러 노드 또는 서버에 분산되어 작동하는 Milvus 벡터 데이터베이스 시스템의 운영 모드입니다. 이 모드에서는 Milvus 인스턴스가 함께 클러스터링되어 독립형 설정에 비해 더 많은 양의 데이터와 더 높은 트래픽 부하를 처리할 수 있는 통합 시스템을 형성합니다. Milvus 클러스터는 확장성, 내결함성, 부하 분산 기능을 제공하므로 빅 데이터를 처리하고 많은 동시 쿼리를 효율적으로 처리해야 하는 시나리오에 적합합니다.</p>
<h3 id="Features-and-Capabilities" class="common-anchor-header">특징 및 기능</h3><ul>
<li><p>고성능 벡터 검색, 여러 인덱스 유형 및 유사성 메트릭 지원, 배치 및 스트림 처리 프레임워크와의 원활한 통합 등 Milvus Standalone에서 제공되는 모든 기능을 그대로 계승합니다.</p></li>
<li><p>분산 컴퓨팅과 여러 노드에 걸친 부하 분산 기능을 활용하여 탁월한 가용성, 성능, 비용 최적화를 제공합니다.</p></li>
<li><p>클러스터 전반의 리소스를 효율적으로 활용하고 워크로드 수요에 따라 리소스 할당을 최적화하여 총 비용을 절감하면서 안전한 엔터프라이즈급 워크로드를 배포 및 확장할 수 있습니다.</p></li>
</ul>
<h3 id="Essential-components" class="common-anchor-header">필수 구성 요소:</h3><p>Milvus Cluster에는 8개의 마이크로서비스 구성 요소와 3개의 타사 종속성이 포함되어 있습니다. 모든 마이크로서비스는 서로 독립적으로 Kubernetes에 배포할 수 있습니다.</p>
<h4 id="Microservice-components" class="common-anchor-header">마이크로서비스 구성 요소</h4><ul>
<li><p>루트 조정</p></li>
<li><p>프록시</p></li>
<li><p>쿼리 조정</p></li>
<li><p>쿼리 노드</p></li>
<li><p>인덱스 좌표</p></li>
<li><p>인덱스 노드</p></li>
<li><p>데이터 좌표</p></li>
<li><p>데이터 노드</p></li>
</ul>
<h4 id="Third-party-dependencies" class="common-anchor-header">서드파티 종속성</h4><ul>
<li><p>etcd: 클러스터의 다양한 컴포넌트에 대한 메타데이터를 저장합니다.</p></li>
<li><p>MinIO: 인덱스 및 바이너리 로그 파일과 같은 클러스터 내 대용량 파일의 데이터 지속성을 담당합니다.</p></li>
<li><p>Pulsar: 최근 변경 작업의 로그를 관리하고, 스트리밍 로그를 출력하며, 로그 게시-구독 서비스를 제공합니다.</p></li>
</ul>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Screenshot_2024_02_19_at_4_18_01_PM_88971280ed.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>그림 2: Milvus 클러스터 아키텍처</p>
<h4 id="Available-Resources" class="common-anchor-header">사용 가능한 리소스</h4><ul>
<li><p><a href="https://milvus.io/docs/install_cluster-milvusoperator.md">문서</a> | 시작 방법</p>
<ul>
<li><p><a href="https://milvus.io/docs/install_cluster-milvusoperator.md">밀버스 운영자로 밀버스 클러스터 설치하기</a></p></li>
<li><p><a href="https://milvus.io/docs/install_cluster-helm.md">헬름으로 Milvus 클러스터 설치하기</a></p></li>
<li><p><a href="https://milvus.io/docs/scaleout.md">Milvus 클러스터를 확장하는 방법</a></p></li>
</ul></li>
<li><p><a href="https://github.com/milvus-io/milvus">깃허브 리포지토리</a></p></li>
</ul>
<h2 id="Making-the-Decision-on-which-Milvus-version-to-use" class="common-anchor-header">사용할 Milvus 버전 결정하기<button data-href="#Making-the-Decision-on-which-Milvus-version-to-use" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>프로젝트에 사용할 Milvus 버전을 결정할 때는 데이터 세트 크기, 트래픽 볼륨, 확장성 요구 사항 및 프로덕션 환경 제약 조건과 같은 요소를 고려해야 합니다. Milvus Lite는 노트북에서 프로토타이핑하는 데 적합합니다. Milvus Standalone은 데이터 세트에서 벡터 검색을 수행할 수 있는 높은 성능과 유연성을 제공하므로 소규모 배포, CI/CD, Kubernetes를 지원하지 않는 오프라인 배포에 적합합니다. 마지막으로 Milvus Cluster는 엔터프라이즈급 워크로드를 위한 탁월한 가용성, 확장성, 비용 최적화를 제공하므로 대규모의 고가용성 운영 환경을 위한 선호되는 선택이 될 것입니다.</p>
<p>번거로움이 없는 또 다른 버전이 있는데, 바로 <a href="https://cloud.zilliz.com/signup">Zilliz Cloud라는</a> Milvus의 관리형 버전입니다.</p>
<p>궁극적으로 Milvus 버전은 특정 사용 사례, 인프라 요구 사항 및 장기적인 목표에 따라 달라집니다. 이러한 요소를 신중하게 평가하고 각 버전의 특징과 기능을 이해하면 프로젝트의 요구 사항과 목표에 맞는 정보에 입각한 결정을 내릴 수 있습니다. Milvus 스탠드얼론과 Milvus 클러스터 중 어떤 것을 선택하든 벡터 데이터베이스의 강력한 기능을 활용하여 AI 애플리케이션의 성능과 효율성을 향상시킬 수 있습니다.</p>


시작할 Milvus 버전

Top 10 Keywords Dominating the Milvus Community in 2023

2023년 밀버스 커뮤니티를 지배할 10대 키워드 공개

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/What_is_new_in_Milvus_2_3_4_1847b0fa8a.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Milvus 2.3.4의 최신 버전을 공개하게 되어 기쁘게 생각합니다. 이번 업데이트에서는 성능을 최적화하고 효율성을 높이며 원활한 사용자 경험을 제공하기 위해 세심하게 설계된 다양한 기능과 개선 사항을 소개합니다. 이 블로그 게시물에서는 Milvus 2.3.4의 주요 기능을 자세히 살펴봅니다.</p>
<h2 id="Access-logs-for-improved-monitoring" class="common-anchor-header">향상된 모니터링을 위한 액세스 로그<button data-href="#Access-logs-for-improved-monitoring" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus는 이제 외부 인터페이스와의 상호 작용에 대한 귀중한 인사이트를 제공하는 액세스 로그를 지원합니다. 이러한 로그는 메서드 이름, 사용자 요청, 응답 시간, 오류 코드 및 기타 상호 작용 정보를 기록하여 개발자와 시스템 관리자가 성능 분석, 보안 감사 및 효율적인 문제 해결을 수행할 수 있도록 지원합니다.</p>
<p><strong><em>참고:</em></strong> <em>현재 액세스 로그는 gRPC 상호 작용만 지원합니다. 그러나 개선을 위한 노력은 계속되고 있으며, 향후 버전에서는 이 기능을 확장하여 RESTful 요청 로그도 포함할 예정입니다.</em></p>
<p>자세한 내용은 <a href="https://milvus.io/docs/configure_access_logs.md">액세스 로그 구성을</a> 참조하세요.</p>
<h2 id="Parquet-file-imports-for-enhanced-data-processing-efficiency" class="common-anchor-header">데이터 처리 효율성 향상을 위한 Parquet 파일 가져오기<button data-href="#Parquet-file-imports-for-enhanced-data-processing-efficiency" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.3.4는 이제 대규모 데이터 세트의 저장 및 처리 효율성을 높이기 위해 널리 사용되는 컬럼형 저장 형식인 Parquet 파일 가져오기를 지원합니다. 이 기능의 추가를 통해 사용자는 데이터 처리 작업의 유연성과 효율성을 높일 수 있습니다. 번거로운 데이터 형식 변환이 필요 없어짐에 따라, Parquet 형식으로 대규모 데이터 세트를 관리하는 사용자는 데이터 가져오기 프로세스가 간소화되어 초기 데이터 준비부터 후속 벡터 검색까지 걸리는 시간이 크게 단축될 것입니다.</p>
<p>또한, 데이터 형식 변환 도구인 BulkWriter는 이제 Parquet을 기본 출력 데이터 형식으로 채택하여 개발자에게 더욱 직관적인 환경을 제공합니다.</p>
<h2 id="Binlog-index-on-growing-segments-for-faster-searches" class="common-anchor-header">더 빠른 검색을 위한 증가하는 세그먼트의 빈로그 인덱스<button data-href="#Binlog-index-on-growing-segments-for-faster-searches" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus는 이제 증가하는 세그먼트에 대한 빈로그 인덱스를 활용하여 증가하는 세그먼트에서 최대 10배 더 빠른 검색을 제공합니다. 이 향상된 기능은 검색 효율성을 크게 향상시키고 IVF 또는 빠른 스캔과 같은 고급 인덱스를 지원하여 전반적인 사용자 경험을 개선합니다.</p>
<h2 id="Support-for-up-to-10000-collectionspartitions" class="common-anchor-header">최대 10,000개의 컬렉션/파티 지원<button data-href="#Support-for-up-to-10000-collectionspartitions" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>관계형 데이터베이스의 테이블 및 파티션과 마찬가지로 컬렉션과 파티션은 Milvus에서 벡터 데이터를 저장하고 관리하는 핵심 단위입니다. 세밀한 데이터 구성에 대한 사용자의 진화하는 요구에 부응하기 위해 Milvus 2.3.4는 이제 클러스터에서 최대 10,000개의 컬렉션/파티션을 지원하며, 이는 이전 제한인 4,096개에서 크게 늘어난 수치입니다. 이러한 향상된 기능은 지식 베이스 관리 및 멀티테넌트 환경과 같은 다양한 사용 사례에 도움이 됩니다. 컬렉션/파티션에 대한 확장된 지원은 타임 틱 메커니즘, 고루틴 관리 및 메모리 사용량 개선에 따른 것입니다.</p>
<p><strong><em>참고:</em></strong> <em>컬렉션/파티 수에 대한 권장 제한은 10,000개이며, 이 제한을 초과하면 장애 복구 및 리소스 사용에 영향을 미칠 수 있습니다.</em></p>
<h2 id="Other-enhancements" class="common-anchor-header">기타 개선 사항<button data-href="#Other-enhancements" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>위의 기능 외에도 Milvus 2.3.4에는 다양한 개선 사항과 버그 수정이 포함되어 있습니다. 여기에는 데이터 검색 및 가변 길이 데이터 처리 중 메모리 사용량 감소, 오류 메시징 개선, 로딩 속도 향상, 쿼리 샤드 밸런스 개선 등이 포함됩니다. 이러한 총체적인 개선 사항은 전반적인 사용자 경험을 더욱 원활하고 효율적으로 개선하는 데 기여합니다.</p>
<p>Milvus 2.3.4에 도입된 모든 변경사항에 대한 종합적인 개요는 <a href="https://milvus.io/docs/release_notes.md#v234">릴리즈 노트를</a> 참조하세요.</p>
<h2 id="Stay-connected" class="common-anchor-header">계속 연락주세요!<button data-href="#Stay-connected" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus에 대한 질문이나 피드백이 있으시면 <a href="https://discord.com/invite/8uyFbECzPX">Discord 채널에</a> 가입하여 엔지니어 및 커뮤니티와 직접 소통하거나 매주 화요일 오후 12시부터 12시 30분까지 진행되는 <a href="https://discord.com/invite/RjNbk8RR4f">Milvus 커뮤니티 런치 앤 런치에</a> 참여하세요. 또한 <a href="https://twitter.com/milvusio">트위터나</a> <a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn을</a> 팔로우하여 Milvus에 대한 최신 뉴스와 업데이트를 받아보세요.</p>


Milvus 2.3.4: 더 빨라진 검색, 확장된 데이터 지원, 향상된 모니터링 등

2023년: AI의 해

올바른 벡터 임베딩을 얻는 방법

Milvus로 데이터를 원활하게 마이그레이션하는 방법: 종합 가이드

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Exploring_NATS_878f48c848.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>데이터 처리의 복잡한 태피스트리에서 원활한 커뮤니케이션은 작업을 하나로 묶는 실타래입니다. 선구적인 <a href="https://zilliz.com/cloud">오픈 소스 벡터 데이터베이스인</a> <a href="https://zilliz.com/what-is-milvus">Milvus가</a> 최신 기능으로 혁신적인 여정을 시작했습니다: 바로 NATS 메시징 통합입니다. 이 포괄적인 블로그 게시물에서는 이 통합의 핵심 기능, 설정 프로세스, 마이그레이션의 이점, 이전 버전인 RocksMQ와의 비교를 통해 이 통합의 복잡성을 풀어보겠습니다.</p>
<h2 id="Understanding-the-role-of-message-queues-in-Milvus" class="common-anchor-header">Milvus에서 메시지 큐의 역할 이해하기<button data-href="#Understanding-the-role-of-message-queues-in-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus의 클라우드 네이티브 아키텍처에서 메시지 큐 또는 로그 브로커는 매우 중요한 역할을 합니다. 이는 지속적인 데이터 스트림, 동기화, 이벤트 알림, 시스템 복구 중 데이터 무결성을 보장하는 백본입니다. 기존에는 Milvus 독립형 모드에서 특히 Pulsar 및 Kafka와 비교할 때 RocksMQ가 가장 간단한 선택이었지만, 방대한 데이터와 복잡한 시나리오로 인해 그 한계가 분명해졌습니다.</p>
<p>Milvus 2.3은 단일 노드 MQ 구현인 NATS를 도입하여 데이터 스트림 관리 방법을 재정의합니다. 이전 버전과 달리 NATS는 Milvus 사용자에게 성능 제약으로부터 자유로워져 상당한 양의 데이터를 원활하게 처리할 수 있는 환경을 제공합니다.</p>
<h2 id="What-is-NATS" class="common-anchor-header">NATS란 무엇인가요?<button data-href="#What-is-NATS" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>NATS는 Go에서 구현된 분산 시스템 연결 기술입니다. 시스템 간 요청-응답 및 게시-구독과 같은 다양한 통신 모드를 지원하고, JetStream을 통해 데이터 지속성을 제공하며, 내장된 RAFT를 통해 분산 기능을 제공합니다. NATS에 대한 자세한 내용은 NATS <a href="https://nats.io/">공식 홈페이지를</a> 참조하세요.</p>
<p>Milvus 2.3 독립 실행형 모드에서 NATS, JetStream, PubSub는 Milvus에 강력한 MQ 기능을 제공합니다.</p>
<h2 id="Enabling-NATS" class="common-anchor-header">NATS 활성화<button data-href="#Enabling-NATS" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.3은 새로운 제어 옵션인 <code translate="no">mq.type</code> 을 제공하여 사용자가 사용하고자 하는 MQ 유형을 지정할 수 있습니다. NATS를 활성화하려면 <code translate="no">mq.type=natsmq</code> 을 설정하세요. Milvus 인스턴스를 시작한 후 아래와 유사한 로그가 표시되면 메시지 큐로 NATS를 성공적으로 활성화한 것입니다.</p>
<pre><code translate="no">[INFO] [dependency/factory.go:83] [<span class="hljs-string">&quot;try to init mq&quot;</span>] [standalone=<span class="hljs-literal">true</span>] [mqType=natsmq]
<button class="copy-code-btn"></button></code></pre>
<h2 id="Configuring-NATS-for-Milvus" class="common-anchor-header">Milvus용 NATS 구성하기<button data-href="#Configuring-NATS-for-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>NATS 사용자 지정 옵션에는 수신 포트, JetStream 스토리지 디렉터리, 최대 페이로드 크기 및 초기화 시간 초과 지정이 포함됩니다. 이러한 설정을 미세 조정하면 최적의 성능과 안정성을 보장할 수 있습니다.</p>
<pre><code translate="no">natsmq:
server: <span class="hljs-comment"># server side configuration for natsmq.</span>
port: <span class="hljs-number">4222</span> <span class="hljs-comment"># 4222 by default, Port for nats server listening.</span>
storeDir: /var/lib/milvus/nats <span class="hljs-comment"># /var/lib/milvus/nats by default, directory to use for JetStream storage of nats.</span>
maxFileStore: <span class="hljs-number">17179869184</span> <span class="hljs-comment"># (B) 16GB by default, Maximum size of the &#x27;file&#x27; storage.</span>
maxPayload: <span class="hljs-number">8388608</span> <span class="hljs-comment"># (B) 8MB by default, Maximum number of bytes in a message payload.</span>
maxPending: <span class="hljs-number">67108864</span> <span class="hljs-comment"># (B) 64MB by default, Maximum number of bytes buffered for a connection Applies to client connections.</span>
initializeTimeout: <span class="hljs-number">4000</span> <span class="hljs-comment"># (ms) 4s by default, waiting for initialization of natsmq finished.</span>
monitor:
trace: false <span class="hljs-comment"># false by default, If true enable protocol trace log messages.</span>
debug: false <span class="hljs-comment"># false by default, If true enable debug log messages.</span>
logTime: true <span class="hljs-comment"># true by default, If set to false, log without timestamps.</span>
logFile: /tmp/milvus/logs/nats.log <span class="hljs-comment"># /tmp/milvus/logs/nats.log by default, Log file path relative to .. of milvus binary if use relative path.</span>
logSizeLimit: <span class="hljs-number">536870912</span> <span class="hljs-comment"># (B) 512MB by default, Size in bytes after the log file rolls over to a new one.</span>
retention:
maxAge: <span class="hljs-number">4320</span> <span class="hljs-comment"># (min) 3 days by default, Maximum age of any message in the P-channel.</span>
maxBytes: <span class="hljs-comment"># (B) None by default, How many bytes the single P-channel may contain. Removing oldest messages if the P-channel exceeds this size.</span>
maxMsgs: <span class="hljs-comment"># None by default, How many message the single P-channel may contain. Removing oldest messages if the P-channel exceeds this limit.</span>
<button class="copy-code-btn"></button></code></pre>
<p><strong>참고:</strong></p>
<ul>
<li><p>NATS 서버 수신에는 <code translate="no">server.port</code> 을 지정해야 합니다. 포트 충돌이 발생하면 Milvus를 시작할 수 없습니다. <code translate="no">server.port=-1</code> 을 설정하여 포트를 임의로 선택합니다.</p></li>
<li><p><code translate="no">storeDir</code> JetStream 스토리지의 디렉터리를 지정합니다. Milvus의 읽기/쓰기 처리량을 높이려면 고성능 SSD(솔리드 스테이트 드라이브)에 디렉터리를 저장하는 것이 좋습니다.</p></li>
<li><p><code translate="no">maxFileStore</code> JetStream 스토리지 크기의 상한을 설정합니다. 이 제한을 초과하면 더 이상의 데이터 쓰기가 불가능합니다.</p></li>
<li><p><code translate="no">maxPayload</code> 개별 메시지 크기를 제한합니다. 쓰기 거부를 방지하려면 5MB 이상으로 유지해야 합니다.</p></li>
<li><p><code translate="no">initializeTimeout</code>NATS 서버 시작 시간 제한을 제어합니다.</p></li>
<li><p><code translate="no">monitor</code> NATS의 독립 로그를 구성합니다.</p></li>
<li><p><code translate="no">retention</code> NATS 메시지의 보존 메커니즘을 제어합니다.</p></li>
</ul>
<p>자세한 내용은 <a href="https://docs.nats.io/running-a-nats-service/configuration">NATS 공식 문서를</a> 참조하세요.</p>
<h2 id="Migrating-from-RocksMQ-to-NATS" class="common-anchor-header">RocksMQ에서 NATS로 마이그레이션하기<button data-href="#Migrating-from-RocksMQ-to-NATS" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>RocksMQ에서 NATS로 마이그레이션하는 것은 쓰기 작업 중지, 데이터 플러시, 구성 수정, Milvus 로그를 통한 마이그레이션 확인 등의 단계를 포함하는 원활한 프로세스입니다.</p>
<ol>
<li><p>마이그레이션을 시작하기 전에 Milvus에서 모든 쓰기 작업을 중지하세요.</p></li>
<li><p>Milvus에서 <code translate="no">FlushALL</code> 작업을 실행하고 완료될 때까지 기다립니다. 이 단계를 통해 보류 중인 모든 데이터가 플러시되고 시스템이 종료될 준비가 됩니다.</p></li>
<li><p><code translate="no">mq.type=natsmq</code> 을 설정하고 <code translate="no">natsmq</code> 섹션에서 관련 옵션을 조정하여 Milvus 구성 파일을 수정합니다.</p></li>
<li><p>Milvus 2.3을 시작합니다.</p></li>
<li><p><code translate="no">rocksmq.path</code> 디렉터리에 저장된 원본 데이터를 백업하고 정리합니다. (선택 사항)</p></li>
</ol>
<h2 id="NATS-vs-RocksMQ-A-Performance-Showdown" class="common-anchor-header">NATS 대 RocksMQ: 성능 대결<button data-href="#NATS-vs-RocksMQ-A-Performance-Showdown" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="PubSub-Performance-Testing" class="common-anchor-header">게시/서브 성능 테스트</h3><ul>
<li><p><strong>테스트 플랫폼:</strong> M1 Pro 칩/메모리: 16GB</p></li>
<li><p><strong>테스트 시나리오:</strong> 마지막으로 게시된 결과가 수신될 때까지 임의의 데이터 패킷을 주제에 반복적으로 구독 및 게시.</p></li>
<li><p><strong>결과:</strong></p>
<ul>
<li><p>더 작은 데이터 패킷(64KB 미만)의 경우, 메모리, CPU, 응답 속도 면에서 RocksMQ가 NATS보다 우수한 성능을 보였습니다.</p></li>
<li><p>더 큰 데이터 패킷(64KB 초과)의 경우, 응답 시간이 훨씬 빠른 NATS가 RocksMQ를 앞섰습니다.</p></li>
</ul></li>
</ul>
<table>
<thead>
<tr><th>테스트 유형</th><th>MQ</th><th>연산 횟수</th><th>연산당 비용</th><th>메모리 비용</th><th>CPU 총 시간</th><th>스토리지 비용</th></tr>
</thead>
<tbody>
<tr><td>5MB*100 Pub/Sub</td><td>NATS</td><td>50</td><td>1.650328186 s/op</td><td>4.29 GB</td><td>85.58</td><td>25G</td></tr>
<tr><td>5MB*100 Pub/Sub</td><td>RocksMQ</td><td>50</td><td>2.475595131 s/op</td><td>1.18 GB</td><td>81.42</td><td>19G</td></tr>
<tr><td>1MB*500 Pub/Sub</td><td>NATS</td><td>50</td><td>2.248722593 s/op</td><td>2.60 GB</td><td>96.50</td><td>25G</td></tr>
<tr><td>1MB*500 Pub/Sub</td><td>RocksMQ</td><td>50</td><td>2.554614279 s/op</td><td>614.9 MB</td><td>80.19</td><td>19G</td></tr>
<tr><td>64KB*10000 Pub/Sub</td><td>NATS</td><td>50</td><td>2.133345262 s/op</td><td>3.29 GB</td><td>97.59</td><td>31G</td></tr>
<tr><td>64KB*10000 Pub/Sub</td><td>RocksMQ</td><td>50</td><td>3.253778195 s/op</td><td>331.2 MB</td><td>134.6</td><td>24G</td></tr>
<tr><td>1KB*50000 Pub/Sub</td><td>NATS</td><td>50</td><td>2.629391004 s/op</td><td>635.1 MB</td><td>179.67</td><td>2.6G</td></tr>
<tr><td>1KB*50000 Pub/Sub</td><td>RocksMQ</td><td>50</td><td>0.897638581 s/op</td><td>232.3 MB</td><td>60.42</td><td>521M</td></tr>
</tbody>
</table>
<p>표 1: Pub/Sub 성능 테스트 결과</p>
<h3 id="Milvus-Integration-Testing" class="common-anchor-header">Milvus 통합 테스트</h3><p><strong>데이터 크기:</strong> 100M</p>
<p><strong>결과:</strong> 1억 개의 벡터 데이터 세트를 사용한 광범위한 테스트에서 NATS는 더 낮은 벡터 검색 및 쿼리 지연 시간을 보여주었습니다.</p>
<table>
<thead>
<tr><th>메트릭</th><th>RocksMQ(ms)</th><th>NATS(ms)</th></tr>
</thead>
<tbody>
<tr><td>평균 벡터 검색 지연 시간</td><td>23.55</td><td>20.17</td></tr>
<tr><td>초당 벡터 검색 요청 수(RPS)</td><td>2.95</td><td>3.07</td></tr>
<tr><td>평균 쿼리 지연 시간</td><td>7.2</td><td>6.74</td></tr>
<tr><td>초당 쿼리 요청 수(RPS)</td><td>1.47</td><td>1.54</td></tr>
</tbody>
</table>
<p>표 2: 100m 데이터 세트를 사용한 Milvus 통합 테스트 결과</p>
<p><strong>데이터 세트: &lt;100M</strong></p>
<p><strong>결과</strong> 100M보다 작은 데이터 세트의 경우, NATS와 RocksMQ는 비슷한 성능을 보였습니다.</p>
<h2 id="Conclusion-Empowering-Milvus-with-NATS-messaging" class="common-anchor-header">결론: NATS 메시징을 통한 Milvus의 역량 강화<button data-href="#Conclusion-Empowering-Milvus-with-NATS-messaging" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus에 NATS를 통합함으로써 데이터 처리에 있어 상당한 진전을 이루었습니다. 실시간 분석, 머신 러닝 애플리케이션, 데이터 집약적인 벤처 등 어떤 프로젝트든 NATS는 효율성, 안정성, 속도를 통해 프로젝트의 역량을 강화합니다. 데이터 환경이 진화함에 따라 Milvus 내에 NATS와 같은 강력한 메시징 시스템을 갖추면 원활하고 안정적인 고성능 데이터 통신을 보장할 수 있습니다.</p>


데이터 통신 최적화: Milvus, NATS 메시징 도입

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/What_s_New_in_Milvus_2_3_2_and_2_3_3_d3d0db03c3.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>끊임없이 진화하는 벡터 검색 기술 환경에서 Milvus는 한계를 뛰어넘고 새로운 표준을 세우며 선두를 지키고 있습니다. 오늘, Milvus 2.3.2와 2.3.3의 출시를 발표하게 되어 매우 기쁩니다! 이번 업데이트는 시스템 성능, 유연성 및 전반적인 사용자 경험을 향상시키는 여러 가지 흥미로운 기능, 최적화 및 개선 사항을 제공합니다.</p>
<h2 id="Support-for-Array-data-types---making-search-results-more-accurate-and-relevant" class="common-anchor-header">배열 데이터 유형 지원 - 검색 결과의 정확성과 연관성 향상<button data-href="#Support-for-Array-data-types---making-search-results-more-accurate-and-relevant" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>배열 데이터 유형 지원 추가는 특히 교차 및 유니온과 같은 쿼리 필터링 시나리오에서 Milvus의 핵심적인 개선 사항입니다. 이 기능을 추가하면 검색 결과가 더 정확해질 뿐만 아니라 관련성도 높아집니다. 예를 들어, 이커머스 부문에서는 문자열 배열로 저장된 제품 태그를 통해 소비자가 고급 검색을 수행하여 관련 없는 결과를 걸러낼 수 있습니다.</p>
<p>Milvus에서 배열 유형을 활용하는 방법에 대한 심층적인 가이드는 종합 <a href="https://milvus.io/docs/array_data_type.md">문서를</a> 참조하세요.</p>
<h2 id="Support-for-complex-delete-expressions---improving-your-data-management" class="common-anchor-header">복잡한 삭제 표현식 지원 - 데이터 관리 개선<button data-href="#Support-for-complex-delete-expressions---improving-your-data-management" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>이전 버전에서 Milvus는 기본 키 삭제 표현식을 지원하여 안정적이고 간소화된 아키텍처를 제공했습니다. Milvus 2.3.2 또는 2.3.3에서는 복잡한 삭제 표현식을 사용할 수 있어 오래된 데이터의 롤링 정리 또는 사용자 ID를 기반으로 한 GDPR 준수 기반 데이터 삭제와 같은 정교한 데이터 관리 작업이 용이해집니다.</p>
<p>참고: 복잡한 표현식을 활용하기 전에 컬렉션을 로드했는지 확인하세요. 또한 삭제 프로세스가 원자성을 보장하지 않는다는 점에 유의하세요.</p>
<h2 id="TiKV-integration---scalable-metadata-storage-with-stability" class="common-anchor-header">TiKV 통합 - 안정성을 갖춘 확장 가능한 메타데이터 스토리지<button data-href="#TiKV-integration---scalable-metadata-storage-with-stability" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>이전에 메타데이터 스토리지를 위해 Etcd에 의존했던 Milvus는 메타데이터 스토리지의 용량과 확장성 문제에 직면했습니다. 이러한 문제를 해결하기 위해 Milvus는 메타데이터 스토리지를 위한 또 하나의 옵션으로 오픈 소스 키-값 저장소인 TiKV를 추가했습니다. TiKV는 향상된 확장성, 안정성, 효율성을 제공하므로 Milvus의 진화하는 요구사항에 이상적인 솔루션입니다. Milvus 2.3.2부터 사용자는 구성을 수정하여 메타데이터 스토리지를 TiKV로 원활하게 전환할 수 있습니다.</p>
<h2 id="Support-for-FP16-vector-type---embracing-machine-learning-efficiency" class="common-anchor-header">FP16 벡터 유형 지원 - 머신 러닝 효율성 수용<button data-href="#Support-for-FP16-vector-type---embracing-machine-learning-efficiency" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.3.2 이상 버전은 이제 인터페이스 수준에서 FP16 벡터 유형을 지원합니다. 16비트 부동 소수점인 FP16은 딥 러닝과 머신 러닝에서 널리 사용되는 데이터 형식으로, 수치 값을 효율적으로 표현하고 계산할 수 있습니다. FP16에 대한 완전한 지원은 진행 중이지만, 인덱싱 계층의 다양한 인덱스는 구축 과정에서 FP16을 FP32로 변환해야 합니다.</p>
<p>Milvus의 이후 버전에서는 FP16, BF16 및 int8 데이터 유형을 완벽하게 지원할 예정입니다. 계속 지켜봐 주세요.</p>
<h2 id="Significant-improvement-in-the-rolling-upgrade-experience---seamless-transition-for-users" class="common-anchor-header">롤링 업그레이드 환경의 대폭적인 개선 - 사용자의 원활한 전환<button data-href="#Significant-improvement-in-the-rolling-upgrade-experience---seamless-transition-for-users" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>롤링 업그레이드는 분산 시스템에 중요한 기능으로, 비즈니스 서비스를 중단하거나 다운타임 없이 시스템을 업그레이드할 수 있게 해줍니다. 최신 Milvus 릴리스에서는 Milvus의 롤링 업그레이드 기능을 강화하여 사용자가 버전 2.2.15에서 2.3.3 및 이후 모든 버전으로 업그레이드할 때 보다 간소하고 효율적으로 전환할 수 있도록 했습니다. 또한 커뮤니티는 광범위한 테스트와 최적화에 투자하여 업그레이드 중 쿼리 영향을 5분 이내로 줄여 사용자에게 번거로움 없는 환경을 제공합니다.</p>
<h2 id="Performance-optimization" class="common-anchor-header">성능 최적화<button data-href="#Performance-optimization" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>새로운 기능을 도입하는 것 외에도 최신 두 릴리스에서는 Milvus의 성능을 대폭 최적화했습니다.</p>
<ul>
<li><p>데이터 로딩 최적화를 위해 데이터 복사 작업 최소화</p></li>
<li><p>일괄 바차르 읽기를 사용하여 대용량 삽입 간소화</p></li>
<li><p>데이터 패딩 중 불필요한 오프셋 검사를 제거하여 리콜 단계 성능을 개선했습니다.</p></li>
<li><p>상당한 양의 데이터를 삽입하는 시나리오에서 높은 CPU 소비 문제 해결</p></li>
</ul>
<p>이러한 최적화를 통해 보다 빠르고 효율적인 Milvus 환경을 제공합니다. Milvus의 성능 개선 과정을 모니터링 대시보드에서 한눈에 확인할 수 있습니다.</p>
<h2 id="Incompatible-changes" class="common-anchor-header">호환되지 않는 변경 사항<button data-href="#Incompatible-changes" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p>시간 여행 관련 코드가 영구적으로 삭제되었습니다.</p></li>
<li><p>메타데이터 저장소로 MySQL에 대한 지원이 중단되었습니다.</p></li>
</ul>
<p>모든 새로운 기능 및 개선 사항에 대한 자세한 내용은 <a href="https://milvus.io/docs/release_notes.md">Milvus 릴리스 노트를</a> 참조하세요.</p>
<h2 id="Conclusion" class="common-anchor-header">결론<button data-href="#Conclusion" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>최신 Milvus 2.3.2 및 2.3.3 릴리스를 통해 저희는 강력하고 기능이 풍부한 고성능 데이터베이스 솔루션을 제공하기 위해 최선을 다하고 있습니다. 새로운 기능을 살펴보고, 최적화된 기능을 활용하고, 최신 데이터 관리의 요구 사항을 충족하기 위해 Milvus를 발전시키는 이 흥미로운 여정에 동참하세요. 지금 최신 버전을 다운로드하고 Milvus로 데이터 스토리지의 미래를 경험하세요!</p>
<h2 id="Let’s-keep-in-touch" class="common-anchor-header">계속 연락주세요!<button data-href="#Let’s-keep-in-touch" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus에 대한 질문이나 피드백이 있으시면 <a href="https://discord.com/invite/8uyFbECzPX">Discord 채널에</a> 가입하여 엔지니어 및 커뮤니티와 직접 소통하거나 매주 화요일 오후 12시부터 12시 30분까지 진행되는 <a href="https://discord.com/invite/RjNbk8RR4f">Milvus 커뮤니티 런치 앤 러닝에</a> 참여하세요(PST). 또한 <a href="https://twitter.com/milvusio">트위터나</a> <a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn을</a> 팔로우하여 Milvus에 대한 최신 뉴스와 업데이트를 받아보세요.</p>


Milvus 2.3.2 및 2.3.3을 공개합니다: 배열 데이터 유형, 복합 삭제, TiKV 통합 등 지원

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Exploring_M_Map_5086d652bd.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p><a href="https://zilliz.com/what-is-milvus">Milvus는</a> 오픈 소스 <a href="https://zilliz.com/blog/what-is-a-real-vector-database">벡터 데이터베이스</a> 중 가장 빠른 솔루션으로, 성능에 대한 요구 사항이 집중적인 사용자에게 적합합니다. 하지만 사용자 요구사항의 다양성은 작업하는 데이터의 다양성을 반영합니다. 일부는 빠른 속도보다 예산 친화적인 솔루션과 대용량 스토리지를 우선시합니다. 이러한 요구의 스펙트럼을 이해한 Milvus는 기능의 저하 없이 비용 효율성을 약속하면서 대용량 데이터 처리 방식을 재정의하는 MMap 기능을 도입했습니다.</p>
<h2 id="What-is-MMap" class="common-anchor-header">MMap이란 무엇인가요?<button data-href="#What-is-MMap" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>메모리 매핑 파일의 줄임말인 MMap은 운영 체제 내에서 파일과 메모리 사이의 간극을 메워줍니다. 이 기술은 대용량 파일을 시스템의 메모리 공간에 직접 매핑하여 파일을 연속적인 메모리 블록으로 변환하는 Milvus의 기술입니다. 이러한 통합으로 명시적인 읽기 또는 쓰기 작업이 필요 없어져 Milvus의 데이터 관리 방식이 근본적으로 달라집니다. 대용량 파일이나 사용자가 임의로 파일에 액세스해야 하는 상황에서 원활한 액세스와 효율적인 스토리지를 보장합니다.</p>
<h2 id="Who-benefits-from-MMap" class="common-anchor-header">MMap의 혜택은 누구에게 제공되나요?<button data-href="#Who-benefits-from-MMap" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>벡터 데이터베이스는 벡터 데이터의 저장 요구 사항으로 인해 상당한 메모리 용량을 필요로 합니다. MMap 기능을 사용하면 제한된 메모리 내에서 더 많은 데이터를 처리하는 것이 현실화됩니다. 하지만 이렇게 늘어난 용량에는 성능 저하라는 대가가 따릅니다. 시스템은 지능적으로 메모리를 관리하여 부하와 사용량에 따라 일부 데이터를 제거합니다. 이러한 퇴거를 통해 Milvus는 동일한 메모리 용량 내에서 더 많은 데이터를 처리할 수 있습니다.</p>
<p>테스트 결과, 메모리가 충분할 경우 워밍업 기간이 지나면 모든 데이터가 메모리에 남아 시스템 성능이 유지되는 것으로 나타났습니다. 그러나 데이터 양이 증가하면 성능이 점차 저하됩니다. <strong>따라서 성능 변동에 덜 민감한 사용자에게는 MMap 기능을 사용하는 것이 좋습니다.</strong></p>
<h2 id="Enabling-MMap-in-Milvus-a-simple-configuration" class="common-anchor-header">Milvus에서 MMap 활성화: 간단한 구성<button data-href="#Enabling-MMap-in-Milvus-a-simple-configuration" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus에서 MMap을 활성화하는 방법은 매우 간단합니다. <code translate="no">milvus.yaml</code> 파일을 수정하고 <code translate="no">queryNode</code> 구성 아래에 <code translate="no">mmapDirPath</code> 항목을 추가한 다음 유효한 경로를 값으로 설정하기만 하면 됩니다.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/enabling_mmap_a2df88276b.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<h2 id="Striking-the-balance-performance-storage-and-system-limits" class="common-anchor-header">균형 잡기: 성능, 스토리지 및 시스템 제한<button data-href="#Striking-the-balance-performance-storage-and-system-limits" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>데이터 액세스 패턴은 성능에 큰 영향을 미칩니다. Milvus의 MMap 기능은 로캘리티에 따라 데이터 액세스를 최적화합니다. MMap은 순차적으로 액세스되는 데이터 세그먼트에 대해 디스크에 직접 스칼라 데이터를 쓸 수 있게 해줍니다. 문자열과 같은 가변 길이 데이터는 플랫화 과정을 거쳐 메모리의 오프셋 배열을 사용해 인덱싱됩니다. 이 접근 방식은 데이터 액세스 로컬리티를 보장하고 각 가변 길이 데이터를 개별적으로 저장하는 데 따른 오버헤드를 제거합니다. 벡터 인덱스에 대한 최적화는 세심하게 이루어집니다. MMap은 인접성 목록을 메모리에 유지하면서 벡터 데이터에 선택적으로 사용되므로 성능 저하 없이 상당한 메모리를 절약할 수 있습니다.</p>
<p>또한 MMap은 메모리 사용량을 최소화하여 데이터 처리를 극대화합니다. QueryNode가 전체 데이터 세트를 복사했던 이전 Milvus 버전과 달리, MMap은 개발 과정에서 간소화된 복사 없는 스트리밍 프로세스를 채택합니다. 이러한 최적화를 통해 메모리 오버헤드가 대폭 감소합니다.</p>
<p><strong>내부 테스트 결과에 따르면 MMap을 활성화할 경우 Milvus는 두 배의 데이터 볼륨을 효율적으로 처리할 수 있는 것으로 나타났습니다.</strong></p>
<h2 id="The-road-ahead-continuous-innovation-and-user-centric-enhancements" class="common-anchor-header">앞으로 나아갈 길: 지속적인 혁신과 사용자 중심의 기능 개선<button data-href="#The-road-ahead-continuous-innovation-and-user-centric-enhancements" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>MMap 기능은 아직 베타 단계에 있지만, Milvus 팀은 지속적인 개선을 위해 최선을 다하고 있습니다. 향후 업데이트를 통해 시스템의 메모리 사용량을 개선하여 단일 노드에서 훨씬 더 많은 양의 데이터를 지원할 수 있게 될 것입니다. 사용자는 MMap 기능을 더욱 세밀하게 제어하여 컬렉션과 고급 필드 로딩 모드를 동적으로 변경할 수 있게 될 것으로 기대할 수 있습니다. 이러한 향상된 기능은 전례 없는 유연성을 제공하여 사용자가 특정 요구사항에 맞게 데이터 처리 전략을 조정할 수 있게 해줍니다.</p>
<h2 id="Conclusion-redefining-data-processing-excellence-with-Milvus-MMap" class="common-anchor-header">결론: Milvus MMap을 통한 데이터 처리의 우수성 재정의<button data-href="#Conclusion-redefining-data-processing-excellence-with-Milvus-MMap" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.3의 MMap 기능은 데이터 처리 기술의 획기적인 도약을 의미합니다. 성능, 비용, 시스템 한계 사이의 섬세한 균형을 유지함으로써 Milvus는 사용자가 방대한 양의 데이터를 효율적이고 경제적으로 처리할 수 있도록 지원합니다. Milvus는 계속해서 진화하면서 혁신적인 솔루션의 선두에 서서 데이터 관리의 한계를 재정의하고 있습니다.</p>
<p>탁월한 데이터 처리 능력을 향한 Milvus의 여정을 계속 지켜봐 주시기 바랍니다.</p>


Milvus, 재정의된 데이터 관리 및 향상된 스토리지 기능을 위한 MMap 도입

벡터 데이터베이스, 벡터 검색 라이브러리, 벡터 검색 플러그인 비교하기

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Ingesting_Chaos_20231017_110103_54fe2009cb.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>데이터는 상상할 수 있는 모든 형태로 그 어느 때보다 빠르게 생성되고 있습니다. 이러한 데이터는 새로운 인공지능 애플리케이션의 원동력이 되는 가솔린이지만, 이러한 생산성 향상 엔진은 이 연료를 섭취하는 데 도움이 필요합니다. 비정형 데이터를 둘러싼 다양한 시나리오와 엣지 케이스는 프로덕션 AI 시스템에서 사용하기 어렵게 만듭니다.</p>
<p>우선, 방대한 수의 데이터 소스가 존재합니다. 이러한 데이터는 다양한 파일 형식으로 내보내지며, 각 파일 형식마다 고유한 특성이 있습니다. 예를 들어, PDF를 처리하는 방법은 PDF의 출처에 따라 크게 달라집니다. 증권 소송 사건에 대한 PDF를 수집하는 경우 텍스트 데이터에 초점을 맞출 가능성이 높습니다. 반면 로켓 엔지니어를 위한 시스템 설계 사양은 시각적 처리가 필요한 다이어그램으로 가득할 것입니다. 비정형 데이터에는 정의된 스키마가 없기 때문에 복잡성이 더욱 가중됩니다. 데이터를 처리하는 문제를 극복하더라도 대규모로 데이터를 수집하는 문제는 여전히 남아 있습니다. 파일은 크기가 매우 다양하기 때문에 처리 방식이 달라질 수 있습니다. HTTP를 통한 API에서 1MB 업로드는 빠르게 처리할 수 있지만, 단일 파일에서 수십 GB를 읽으려면 스트리밍과 전담 작업자가 필요합니다.</p>
<p>이러한 전통적인 데이터 엔지니어링 과제를 극복하기 위해서는 <a href="https://github.com/milvus-io/milvus">Milvus와</a> 같은 <a href="https://zilliz.com/learn/what-is-vector-database">벡터 데이터베이스를</a> 통해 원시 데이터를 <a href="https://zilliz.com/glossary/large-language-models-(llms)">LLM에</a> 연결하는 것이 필수적입니다. 그러나 벡터 데이터베이스를 통해 의미론적 유사성 검색을 수행하는 것과 같은 새로운 사용 사례에는 소스 데이터 청크, 하이브리드 검색을 위한 메타데이터 오케스트레이션, 적합한 벡터 임베딩 모델 선택, LLM에 제공할 데이터를 결정하기 위한 검색 매개변수 조정과 같은 새로운 처리 단계가 필요합니다. 이러한 워크플로는 너무 새롭기 때문에 개발자가 따라야 할 확립된 모범 사례가 없습니다. 대신, 개발자는 데이터에 대한 올바른 구성과 사용 사례를 찾기 위해 실험을 해야 합니다. 이 프로세스의 속도를 높이려면 벡터 임베딩 파이프라인을 사용해 벡터 데이터베이스로의 데이터 수집을 처리하는 것이 매우 중요합니다.</p>
<p><a href="https://github.com/dgarnitz/vectorflow">VectorFlow와</a> 같은 벡터 임베딩 파이프라인은 청킹, 메타데이터 오케스트레이션, 임베딩 및 업로드를 포함하여 원시 데이터를 벡터 데이터베이스에 연결합니다. VectorFlow를 사용하면 엔지니어링 팀은 임베딩 모델, 청킹 전략, 메타데이터 필드, 검색 측면에서 생성된 다양한 검색 파라미터를 실험하여 무엇이 가장 효과적인지 확인하면서 핵심 애플리케이션 로직에 집중할 수 있습니다.</p>
<p>엔지니어링 팀이 <a href="https://zilliz.com/use-cases/llm-retrieval-augmented-generation">검색 증강 생성(RAG)</a> 시스템을 프로토타입에서 프로덕션으로 전환하는 작업을 지원하면서, 다음과 같은 접근 방식이 RAG 검색 파이프라인의 다양한 파라미터를 성공적으로 테스트하는 데 도움이 되는 것으로 관찰되었습니다:</p>
<ol>
<li>반복 속도를 높이기 위해 검색 쿼리와 관련된 청크가 있는 몇 개의 PDF와 같이 익숙한 작은 데이터 세트를 사용합니다.</li>
<li>해당 데이터의 하위 집합에 대한 표준 질문과 답변 세트를 만드세요. 예를 들어, PDF를 읽은 후 질문 목록을 작성하고 팀원들이 답변에 동의하도록 하세요.</li>
<li>각 질문에 대한 검색 결과를 점수화하는 자동화된 평가 시스템을 만드세요. 이를 수행하는 한 가지 방법은 RAG 시스템에서 답을 가져와서 이 RAG 결과가 정답이 주어진 질문에 맞는지 묻는 프롬프트와 함께 LLM을 통해 다시 실행하는 것입니다. 답은 "예" 또는 "아니오"여야 합니다. 예를 들어 문서에 25개의 질문이 있는데 시스템이 20개의 정답을 맞힌다면 이를 다른 접근 방식과 비교하여 벤치마킹하는 데 사용할 수 있습니다.</li>
<li>평가에는 데이터베이스에 저장된 벡터 임베딩을 인코딩하는 데 사용한 것과는 다른 LLM을 사용해야 합니다. 평가용 LLM은 일반적으로 GPT-4와 같은 모델의 디코더 유형입니다. 한 가지 기억해야 할 점은 이러한 평가가 반복적으로 실행될 때 비용이 많이 든다는 점입니다. 더 작은 단일 GPU에서 실행할 수 있는 Llama2 70B 또는 Deci AI LLM 6B와 같은 오픈 소스 모델은 훨씬 적은 비용으로 거의 동일한 성능을 제공합니다.</li>
<li>각 테스트를 여러 번 실행하고 점수를 평균하여 LLM의 확률성을 평준화합니다.</li>
</ol>
<p>한 가지 옵션을 제외한 모든 옵션을 일정하게 유지하면 사용 사례에 가장 적합한 파라미터를 빠르게 결정할 수 있습니다. VectorFlow와 같은 벡터 임베딩 파이프라인을 사용하면 수집 측면에서 특히 쉽게 이 작업을 수행할 수 있으며, 다양한 청킹 전략, 청크 길이, 청크 오버랩, 오픈 소스 임베딩 모델을 빠르게 시도하여 무엇이 최상의 결과를 가져오는지 확인할 수 있습니다. 이 기능은 데이터 세트에 다양한 파일 형식과 사용자 정의 로직이 필요한 데이터 소스가 있을 때 특히 유용합니다.</p>
<p>팀이 사용 사례에 적합한 것이 무엇인지 알게 되면, 벡터 임베딩 파이프라인을 통해 안정성 및 모니터링 등을 고려하여 시스템을 재설계할 필요 없이 신속하게 프로덕션으로 전환할 수 있습니다. 오픈 소스이며 플랫폼에 구애받지 않는 VectorFlow 및 <a href="https://zilliz.com/what-is-milvus">Milvus와</a> 같은 기술을 통해 팀은 개인 정보 보호 및 보안 요구 사항을 준수하면서 다양한 환경에서 효율적으로 테스트할 수 있습니다.</p>


카오스 수집: RAG를 위한 대규모 비정형 데이터 안정적 처리를 위한 MLOps

전용 벡터 데이터베이스는 왜, 언제 필요한가요?

Milvus 2.3 공개: GPU, Arm64, CDC 및 기타 많은 기대를 모았던 기능을 지원하는 획기적인 릴리스 공개

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/What_s_New_in_2_2_12_20230720_143424_7d19280738.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Milvus 2.2.12의 최신 버전을 발표하게 되어 기쁘게 생각합니다. 이번 업데이트에는 사용자 피드백을 반영하여 RESTful API 지원, <code translate="no">json_contains</code> 기능, ANN 검색 중 벡터 검색 등 여러 가지 새로운 기능이 포함되어 있습니다. 또한 사용자 환경을 간소화하고, 벡터 검색 속도를 개선했으며, 여러 문제를 해결했습니다. Milvus 2.2.12에서 기대할 수 있는 기능에 대해 자세히 알아봅시다.</p>
<h2 id="Support-for-RESTful-API" class="common-anchor-header">RESTful API 지원<button data-href="#Support-for-RESTful-API" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.2.12는 이제 RESTful API를 지원하여 사용자가 클라이언트를 설치하지 않고도 Milvus에 액세스할 수 있어 클라이언트-서버 운영이 쉬워집니다. 또한 Milvus SDK와 RESTful API가 동일한 포트 번호를 공유하기 때문에 Milvus 배포가 더욱 편리해졌습니다.</p>
<p><strong>참고</strong>: 고급 작업이나 지연 시간에 민감한 비즈니스의 경우 여전히 SDK를 사용하여 Milvus를 배포하는 것이 좋습니다.</p>
<h2 id="Vector-retrieval-during-ANN-searches" class="common-anchor-header">ANN 검색 중 벡터 검색<button data-href="#Vector-retrieval-during-ANN-searches" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>이전 버전에서는 성능과 메모리 사용의 우선 순위를 정하기 위해 Milvus에서 근사 근사 이웃(ANN) 검색 중 벡터 검색을 허용하지 않았습니다. 그 결과, 원시 벡터를 검색하려면 ANN 검색을 수행한 다음 ID를 기반으로 원시 벡터를 쿼리하는 두 단계로 나눠야 했습니다. 이러한 접근 방식은 개발 비용을 증가시키고 사용자가 Milvus를 배포하고 채택하기 어렵게 만들었습니다.</p>
<p>Milvus 2.2.12에서는 사용자가 벡터 필드를 출력 필드로 설정하고 HNSW-, DiskANN- 또는 IVF-FLAT 색인된 컬렉션에서 쿼리하여 ANN 검색 중에 원시 벡터를 검색할 수 있습니다. 또한 사용자는 훨씬 빠른 벡터 검색 속도를 기대할 수 있습니다.</p>
<h2 id="Support-for-operations-on-JSON-arrays" class="common-anchor-header">JSON 배열에 대한 작업 지원<button data-href="#Support-for-operations-on-JSON-arrays" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>최근 Milvus 2.2.8에서 JSON에 대한 지원이 추가되었습니다. 그 이후로 사용자들은 포함, 제외, 교차, 결합, 차이 등과 같은 추가적인 JSON 배열 연산을 지원해 달라는 수많은 요청을 보내왔습니다. Milvus 2.2.12에서는 포함 연산을 활성화하기 위해 <code translate="no">json_contains</code> 함수를 우선적으로 지원하게 되었습니다. 향후 버전에서 다른 연산자에 대한 지원을 계속 추가할 예정입니다.</p>
<h2 id="Enhancements-and-bug-fixes" class="common-anchor-header">개선 사항 및 버그 수정<button data-href="#Enhancements-and-bug-fixes" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>새로운 기능을 도입하는 것 외에도 Milvus 2.2.12는 벡터 검색 성능을 개선하고 오버헤드를 줄여 광범위한 토픽 검색을 더 쉽게 처리할 수 있도록 했습니다. 또한 파티션 키 사용 및 다중 파티션 상황에서 쓰기 성능을 향상시키고 대규모 시스템의 CPU 사용량을 최적화합니다. 이 업데이트는 과도한 디스크 사용, 압축 고착, 잦은 데이터 삭제, 대량 삽입 실패 등 다양한 문제를 해결합니다. 자세한 내용은 <a href="https://milvus.io/docs/release_notes.md#2212">Milvus 2.2.12 릴리즈 노트를</a> 참조하세요.</p>
<h2 id="Lets-keep-in-touch" class="common-anchor-header">계속 연락주세요!<button data-href="#Lets-keep-in-touch" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus에 대한 질문이나 피드백이 있으시면 언제든지 <a href="https://twitter.com/milvusio">트위터나</a> <a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn을</a> 통해 문의해 주세요. 또한 <a href="https://milvus.io/slack/">Slack 채널에</a> 가입하여 엔지니어 및 커뮤니티와 직접 채팅하거나 <a href="https://us02web.zoom.us/meeting/register/tZ0pcO6vrzsuEtVAuGTpNdb6lGnsPBzGfQ1T#/registration">화요일 업무 시간을</a> 확인하실 수도 있습니다!</p>


Milvus 2.2.12: 더 쉬운 액세스, 더 빠른 벡터 검색 속도, 더 나은 사용자 환경

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/What_s_New_in_Milvus_2_2_10_and_2_2_11_5018946465.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Milvus 팬 여러분, 안녕하세요! 버그 수정과 전반적인 성능 개선에 중점을 둔 Milvus 2.2.10과 2.2.11의 마이너 업데이트를 출시하게 되어 매우 기쁩니다. 두 가지 업데이트를 통해 더욱 안정적인 시스템과 더 나은 사용자 경험을 기대하실 수 있습니다. 이 두 릴리스의 새로운 기능을 간단히 살펴보겠습니다.</p>
<h2 id="Milvus-2210" class="common-anchor-header">Milvus 2.2.10<button data-href="#Milvus-2210" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.2.10은 가끔 발생하는 시스템 충돌을 수정하고, 로딩 및 인덱싱 속도를 높이며, 데이터 노드의 메모리 사용량을 줄이는 등 여러 가지 개선 사항을 적용했습니다. 다음은 몇 가지 주목할 만한 변경 사항입니다:</p>
<ul>
<li>기존 CGO 페이로드 작성기를 순수 Go로 작성된 새로운 작성기로 교체하여 데이터 노드의 메모리 사용량을 줄였습니다.</li>
<li>다른 <code translate="no">milvus-proto</code> 버전과의 혼동을 방지하기 위해 <code translate="no">milvus-proto</code> 파일에 <code translate="no">go-api/v2</code> 을 추가했습니다.</li>
<li><code translate="no">Context.FileAttachment</code> 함수의 버그를 수정하기 위해 Gin을 버전 1.9.0에서 1.9.1로 업그레이드했습니다.</li>
<li>FlushAll 및 데이터베이스 API에 역할 기반 액세스 제어(RBAC)를 추가했습니다.</li>
<li>AWS S3 SDK로 인한 무작위 충돌을 수정했습니다.</li>
<li>로딩 및 인덱싱 속도가 개선되었습니다.</li>
</ul>
<p>자세한 내용은 <a href="https://milvus.io/docs/release_notes.md#2210">Milvus 2.2.10 릴리즈 노트를</a> 참조하세요.</p>
<h2 id="Milvus-2211" class="common-anchor-header">Milvus 2.2.11<button data-href="#Milvus-2211" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.2.11은 다양한 문제를 해결하여 시스템의 안정성을 개선했습니다. 또한 모니터링, 로깅, 속도 제한, 클러스터 간 요청 차단 등의 성능이 개선되었습니다. 이번 업데이트의 주요 내용은 아래를 참조하세요.</p>
<ul>
<li>클러스터 간 라우팅 문제를 방지하기 위해 Milvus GRPC 서버에 인터셉터를 추가했습니다.</li>
<li>미니오 청크 매니저에 오류 코드를 추가하여 오류를 더 쉽게 진단하고 수정할 수 있도록 했습니다.</li>
<li>싱글톤 코루틴 풀을 활용하여 코루틴 낭비를 방지하고 리소스 사용을 극대화했습니다.</li>
<li>zstd 압축을 활성화하여 RocksMq의 디스크 사용량을 원래의 10분의 1 수준으로 줄였습니다.</li>
<li>로딩 중 간헐적으로 발생하는 QueryNode 패닉을 수정했습니다.</li>
<li>큐 길이를 두 번 잘못 계산하여 발생하는 읽기 요청 스로틀링 문제를 수정했습니다.</li>
<li>MacOS에서 GetObject가 null 값을 반환하는 문제를 수정했습니다.</li>
<li>noexcept 수정자를 잘못 사용하여 발생하는 충돌을 수정했습니다.</li>
</ul>
<p>자세한 내용은 <a href="https://milvus.io/docs/release_notes.md#2211">Milvus 2.2.11 릴리스 노트를</a> 참조하세요.</p>
<h2 id="Let’s-keep-in-touch" class="common-anchor-header">계속 연락주세요!<button data-href="#Let’s-keep-in-touch" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus에 대한 질문이나 피드백이 있으시면 언제든지 <a href="https://twitter.com/milvusio">트위터나</a> <a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn을</a> 통해 문의해 주세요. 또한 <a href="https://milvus.io/slack/">Slack 채널에</a> 가입하여 엔지니어 및 커뮤니티와 직접 채팅하거나 <a href="https://us02web.zoom.us/meeting/register/tZ0pcO6vrzsuEtVAuGTpNdb6lGnsPBzGfQ1T#/registration">화요일 업무 시간을</a> 확인하실 수도 있습니다!</p>


Milvus 2.2.10 & 2.2.11 Enhanced System Stability and User Experience

Milvus 2.2.10 및 2.2.11: 시스템 안정성 및 사용자 경험 향상을 위한 마이너 업데이트

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Milvus_hit_20_000_stars_284ed694d2.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>색종이를 터뜨리며 축하해 주세요!</p>
<p><a href="https://github.com/milvus-io/milvus">Milvus가</a> 깃허브에서 별 20,000개를 돌파하는 놀라운 이정표를 달성했습니다! 저희의 충성스러운 팬과 커뮤니티 회원의 지원과 피드백이 없었다면 달성할 수 없었을 것입니다. 정말 감사합니다.</p>
<p>이 기쁨을 함께 나누기 위해 다음과 같이 광범위한 Milvus 커뮤니티의 중요한 주제 목록을 정리했습니다:</p>
<ul>
<li>Milvus를 활용하는 6가지 주목할 만한 프로젝트</li>
<li>다른 오픈소스 프로젝트와의 5가지 통합</li>
<li>Milvus의 잘 알려진 5가지 사용 사례</li>
<li>곧 출시될 5가지 우수한 기능</li>
</ul>
<h2 id="Six-LLM-projects-that-utilize-Milvus" class="common-anchor-header">Milvus를 활용하는 6개의 LLM 프로젝트<button data-href="#Six-LLM-projects-that-utilize-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="PaperGPT" class="common-anchor-header">PaperGPT</h3><p><a href="http://papergpt.bio">PaperGPT는</a> LLM과 벡터 데이터베이스로 구동되는 생의학 논문 검색 도구입니다. 이 도구는 효율적인 검색을 위해 PubMed 데이터베이스와 센텐스 트랜스포머, 질리즈 클라우드와 같은 기술을 활용합니다.</p>
<h3 id="NoticeAI" class="common-anchor-header">NoticeAI</h3><p>NoticeAI는 기업의 고객 지원 프로세스 자동화를 지원합니다. Milvus와 LangChain을 활용하여 고객 지원 질문을 추적하고, 지식창고를 업데이트하며, 사람의 개입 여부를 결정합니다.</p>
<h3 id="Searchanythingio" class="common-anchor-header">Search.anything.io</h3><p><a href="http://search.anything.io">Search Anything은</a> 더 나은 검색 환경을 제공하기 위해 LLM과 Milvus를 활용합니다. 사용자의 텍스트 설명을 받아 웹에서 해당 이미지를 찾습니다.</p>
<h3 id="IkuStudies" class="common-anchor-header">IkuStudies</h3><p><a href="https://ikustudies.xyz/">IkuStudies는</a> 사용자가 28개 언어로 동음이의어를 검색할 수 있는 프로젝트입니다. Milvus를 벡터 저장소로 사용하여 단어 간의 유사성을 찾습니다.</p>
<h3 id="AssistLink-AI" class="common-anchor-header">어시스트링크 AI</h3><p><a href="https://www.linkedin.com/company/assistlink/about/">AssistLink AI는</a> 시애틀에 본사를 둔 스타트업으로, 정부 지원 시스템을 위한 변수를 저장하는 데 Milvus와 LLaMa 650억을 사용합니다.</p>
<h3 id="OSS-Chat" class="common-anchor-header">OSS 채팅</h3><p><a href="http://osschat.io">OSS Chat을</a> 사용하면 오픈 소스 소프트웨어와 채팅할 수 있습니다. Milvus를 사용해 오픈소스 프로젝트에 대한 도메인 지식을 주입하고, <a href="https://zilliz.com/blog/Caching-LLM-Queries-for-performance-improvements">GPTCache를</a> 사용해 자주 묻는 질문을 캐시하여 LLM 비용을 절감합니다.</p>
<h2 id="Five-AI-projects-Milvus-integrates-with" class="common-anchor-header">Milvus와 통합된 5가지 AI 프로젝트<button data-href="#Five-AI-projects-Milvus-integrates-with" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="LlamaIndex" class="common-anchor-header">LlamaIndex</h3><p><a href="https://github.com/jerryjliu/llama_index">LlamaIndex는</a> LLM 애플리케이션을 위한 데이터 프레임워크로, 외부 데이터 소스를 LLM과 연결할 수 있는 데이터 커넥터를 제공합니다. 라마인덱스를 사용하면 개인 데이터나 도메인 관련 지식을 LLM 애플리케이션에 직접 주입할 수 있습니다.</p>
<h3 id="LangChainLangChainJS" class="common-anchor-header">LangChain/LangChainJS</h3><p><a href="https://github.com/hwchase17/langchain">LangChain은</a> 신속한 관리, 체인, 데이터 증강 생성, 메모리 등의 기능을 제공하여 LLM 애플리케이션 개발을 가속화하도록 설계된 라이브러리입니다.</p>
<h3 id="ChatGPT-Retrieval-Plugin" class="common-anchor-header">ChatGPT 검색 플러그인</h3><p>OpenAI의 <a href="https://github.com/openai/chatgpt-retrieval-plugin">ChatGPT 검색 플러그인은</a> 자연어 쿼리를 사용하여 개인 또는 조직 문서의 시맨틱 검색 및 검색을 가능하게 하며, 개발자는 플러그인을 배포하고 ChatGPT에 등록할 수 있습니다.</p>
<h3 id="Haystack" class="common-anchor-header">Haystack</h3><p><a href="https://github.com/deepset-ai/haystack">Haystack은</a> 질문 답변, 시맨틱 문서 검색, 복잡한 의사 결정 구축과 같은 작업을 위한 LLM, 트랜스포머 모델, 벡터 검색 및 기타 기술로 구동되는 NLP 애플리케이션을 구축하기 위한 엔드투엔드 NLP 프레임워크입니다.</p>
<h3 id="GPTCache" class="common-anchor-header">GPTCache</h3><p>LLM API 호출은 비용이 많이 들고 속도가 느릴 수 있습니다. <a href="https://github.com/zilliztech/gptcache">GPTCache는</a> LLM 쿼리를 위한 시맨틱 캐시를 제공함으로써 이 두 가지 문제를 모두 해결할 수 있습니다.</p>
<h2 id="Five-well-known-use-cases-of-Milvus" class="common-anchor-header">Milvus의 잘 알려진 5가지 사용 사례<button data-href="#Five-well-known-use-cases-of-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="LLM-augmentation" class="common-anchor-header">LLM 증강</h3><p>LLM 또는 LLM 애플리케이션에는 도메인별 데이터 부족, 오래된 데이터, 높은 비용이라는 세 가지 주요 문제가 있습니다. Milvus는 외부 데이터를 삽입하고 빈번한 쿼리를 위한 캐시 역할을 함으로써 이 세 가지 문제를 모두 해결할 수 있습니다.</p>
<h3 id="Anomaly-detection" class="common-anchor-header">이상 징후 탐지</h3><p>비정상 데이터는 주어진 세트에서 나머지 데이터와 크게 다릅니다. Milvus와 같은 벡터 데이터베이스는 유사도 검색을 수행하는 데 유용하므로 이러한 비정상 데이터를 쉽게 식별할 수 있습니다.</p>
<h3 id="Recommender-systems" class="common-anchor-header">추천 시스템</h3><p>추천 시스템은 사람들이 이미 즐겨 찾는 것과 유사한 항목을 추천합니다. 밀버스는 유사도 검색을 수행함으로써 이 프로세스를 가속화하는 대표적인 예입니다.</p>
<h3 id="Semantic-search" class="common-anchor-header">시맨틱 검색</h3><p>텍스트를 검색하여 비슷한 의미를 가진 것을 찾고자 할 때 키워드 검색은 적합하지 않습니다. 바로 이때 시맨틱 검색이 필요하며 Milvus가 도움을 줄 수 있습니다. Milvus를 사용하면 단어 자체뿐만 아니라 텍스트 뒤에 숨겨진 의도를 비교할 수 있습니다.</p>
<h3 id="Automatic-data-labeling" class="common-anchor-header">자동 데이터 라벨링</h3><p>라벨링된 데이터가 있고 더 많은 마킹이 필요하신가요? Milvus에 벡터 표현을 저장하면 새 데이터에서 가장 유사한 데이터 포인트를 자동으로 감지하고 적절한 라벨을 적용할 수 있습니다.</p>
<h2 id="Five-awesome-upcoming-features" class="common-anchor-header">곧 출시될 5가지 멋진 기능<button data-href="#Five-awesome-upcoming-features" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="NVIDIA-GPU-support" class="common-anchor-header">NVIDIA GPU 지원</h3><p>GPU 지원은 Milvus 2.3에서 제공될 예정이며, 이미 <a href="https://github.com/milvus-io/milvus/releases/tag/v2.3.0-beta">최신 베타 릴리스에서</a> 사용 가능합니다!</p>
<h3 id="Delete-by-Expression" class="common-anchor-header">표현식으로 삭제</h3><p>Milvus에서는 이미 부울 표현식을 통해 스칼라/메타데이터 필터링을 수행할 수 있습니다. 표현식으로 삭제 기능도 곧 출시될 예정입니다.</p>
<h3 id="Change-Data-Capture-CDC" class="common-anchor-header">변경 데이터 캡처(CDC)</h3><p>CDC는 Milvus 인스턴스의 변경 사항을 실시간으로 캡처하고 추적하는 기술입니다.</p>
<h3 id="Range-Search" class="common-anchor-header">범위 검색</h3><p>일부 업계에서는 엡실론 검색이라고도 하는 범위 검색을 사용하면 쿼리 벡터에서 일정 거리 내에 있는 모든 벡터를 찾을 수 있습니다.</p>
<h3 id="Fast-Scan" class="common-anchor-header">빠른 스캔</h3><p>4비트 양자화 및 FastScan은 최근 FAISS에 추가되었으며 Milvus에도 추가될 예정입니다.</p>
<h2 id="Looking-forward-to-Milvus-reaching-even-greater-heights" class="common-anchor-header">Milvus가 더 높은 곳에 도달하기를 기대합니다!<button data-href="#Looking-forward-to-Milvus-reaching-even-greater-heights" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>지속적인 지원과 피드백, 기여를 해주신 사용자, 커뮤니티 회원, 에코시스템 파트너, 별 관측가 여러분께 진심으로 감사드립니다. 앞으로 더 높은 곳에 도달할 Milvus를 기대해 주세요!</p>


놀라운 이정표: Milvus, 깃허브에서 별 20,000개 돌파

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Conversational_Memory_in_Lang_Chain_7c1b4b7ba9.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>LangChain은 LLM 애플리케이션을 구축하기 위한 강력한 프레임워크입니다. 그러나 그 강력한 성능에는 상당한 복잡성이 수반됩니다. LangChain은 대화형 메모리와 같은 필수 기능과 LLM을 프롬프트하는 다양한 방법을 제공합니다. 대화 메모리는 LLM이 채팅을 기억할 수 있는 컨텍스트를 제공합니다.</p>
<p>이 포스팅에서는 LangChain과 Milvus에서 대화형 메모리를 사용하는 방법을 살펴보겠습니다. 따라 하려면 <code translate="no">pip</code> 네 개의 라이브러리와 OpenAI API 키를 설치해야 합니다. 필요한 네 개의 라이브러리는 <code translate="no">pip install langchain milvus pymilvus python-dotenv</code> 을 실행하여 설치할 수 있습니다. 또는 이 글의 <a href="https://colab.research.google.com/drive/11p-u8nKqrQYePlXR0HiSrUapmKLD0QN9?usp=sharing">CoLab 노트북에서</a> 첫 번째 블록을 실행합니다.</p>
<p>이 글에서는 다음에 대해 알아보겠습니다:</p>
<ul>
<li>LangChain을 사용한 대화 메모리</li>
<li>대화 컨텍스트 설정하기</li>
<li>LangChain으로 대화형 메모리 프롬프트하기</li>
<li>LangChain 대화형 메모리 요약</li>
</ul>
<h2 id="Conversational-Memory-with-LangChain" class="common-anchor-header">LangChain을 사용한 대화형 메모리<button data-href="#Conversational-Memory-with-LangChain" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>기본 상태에서는 단일 프롬프트를 통해 LLM과 상호작용합니다. 컨텍스트를 위한 메모리, 즉 "대화형 메모리"를 추가하면 더 이상 하나의 프롬프트를 통해 모든 것을 전송할 필요가 없습니다. LangChain은 LLM과 이미 나눈 대화를 저장하여 나중에 해당 정보를 검색할 수 있는 기능을 제공합니다.</p>
<p>벡터 저장소로 영구 대화 메모리를 설정하려면 LangChain의 6가지 모듈이 필요합니다. 먼저 <code translate="no">OpenAIEmbeddings</code> 및 <code translate="no">OpenAI</code> LLM을 가져와야 합니다. 또한 벡터 저장소 백엔드를 사용하려면 <code translate="no">VectorStoreRetrieverMemory</code> 와 <code translate="no">Milvus</code> 의 LangChain 버전이 필요합니다. 그런 다음 대화를 저장하고 쿼리하려면 <code translate="no">ConversationChain</code> 과 <code translate="no">PromptTemplate</code> 이 필요합니다.</p>
<p><code translate="no">os</code>, <code translate="no">dotenv</code>, <code translate="no">openai</code> 라이브러리는 주로 운영 목적으로 사용됩니다. 이 라이브러리를 사용하여 OpenAI API 키를 로드하고 사용합니다. 마지막 설정 단계는 로컬 <a href="https://milvus.io/docs/milvus_lite.md">Milvus Lite</a> 인스턴스를 스핀업하는 것입니다. 이 작업은 Milvus Python 패키지의 <code translate="no">default_server</code> 을 사용하여 수행합니다.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> langchain.<span class="hljs-property">embeddings</span>.<span class="hljs-property">openai</span> <span class="hljs-keyword">import</span> <span class="hljs-title class_">OpenAIEmbeddings</span>
<span class="hljs-keyword">from</span> langchain.<span class="hljs-property">llms</span> <span class="hljs-keyword">import</span> <span class="hljs-title class_">OpenAI</span>
<span class="hljs-keyword">from</span> langchain.<span class="hljs-property">memory</span> <span class="hljs-keyword">import</span> <span class="hljs-title class_">VectorStoreRetrieverMemory</span>
<span class="hljs-keyword">from</span> langchain.<span class="hljs-property">chains</span> <span class="hljs-keyword">import</span> <span class="hljs-title class_">ConversationChain</span>
<span class="hljs-keyword">from</span> langchain.<span class="hljs-property">prompts</span> <span class="hljs-keyword">import</span> <span class="hljs-title class_">PromptTemplate</span>
<span class="hljs-keyword">from</span> langchain.<span class="hljs-property">vectorstores</span> <span class="hljs-keyword">import</span> <span class="hljs-title class_">Milvus</span>
embeddings = <span class="hljs-title class_">OpenAIEmbeddings</span>()


<span class="hljs-keyword">import</span> os
<span class="hljs-keyword">from</span> dotenv <span class="hljs-keyword">import</span> load_dotenv
<span class="hljs-keyword">import</span> openai
<span class="hljs-title function_">load_dotenv</span>()
openai.<span class="hljs-property">api_key</span> = os.<span class="hljs-title function_">getenv</span>(<span class="hljs-string">&quot;OPENAI_API_KEY&quot;</span>)


<span class="hljs-keyword">from</span> milvus <span class="hljs-keyword">import</span> default_server
default_server.<span class="hljs-title function_">start</span>()
<button class="copy-code-btn"></button></code></pre>
<h2 id="Setting-Up-Conversation-Context" class="common-anchor-header">대화 컨텍스트 설정<button data-href="#Setting-Up-Conversation-Context" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>이제 모든 전제 조건이 설정되었으므로 대화 메모리를 만들 수 있습니다. 첫 번째 단계는 LangChain을 사용하여 Milvus 서버에 대한 연결을 생성하는 것입니다. 다음으로, 빈 사전을 사용해 LangChain Milvus 컬렉션을 생성합니다. 또한 위에서 생성한 임베딩과 Milvus Lite 서버에 대한 연결 세부 정보를 전달합니다.</p>
<p>대화형 메모리에 벡터 데이터베이스를 사용하려면 이를 리트리버로 인스턴스화해야 합니다. 이 경우 상위 1개 결과만 검색하도록 <code translate="no">k=1</code> 으로 설정합니다. 마지막 대화형 메모리 설정 단계는 방금 설정한 리트리버와 벡터 데이터베이스 연결을 통해 <code translate="no">VectorStoreRetrieverMemory</code> 객체를 대화형 메모리로 사용하는 것입니다.</p>
<p>대화형 메모리를 사용하려면 메모리에 컨텍스트가 있어야 합니다. 따라서 메모리에 컨텍스트를 부여해 보겠습니다. 이 예제에서는 다섯 가지 정보를 제공합니다. 내가 좋아하는 간식(초콜릿), 스포츠(수영), 맥주(기네스), 디저트(치즈 케이크), 음악가(테일러 스위프트)를 저장해 봅시다. 각 항목은 <code translate="no">save_context</code> 기능을 통해 메모리에 저장됩니다.</p>
<pre><code translate="no">vectordb = Milvus.from_documents(
   {},
   embeddings,
   connection_args={<span class="hljs-string">&quot;host&quot;</span>: <span class="hljs-string">&quot;127.0.0.1&quot;</span>, <span class="hljs-string">&quot;port&quot;</span>: default_server.listen_port})
retriever = Milvus.as_retriever(vectordb, search_kwargs=<span class="hljs-built_in">dict</span>(k=<span class="hljs-number">1</span>))
memory = VectorStoreRetrieverMemory(retriever=retriever)
about_me = [
   {<span class="hljs-string">&quot;input&quot;</span>: <span class="hljs-string">&quot;My favorite snack is chocolate&quot;</span>,
    <span class="hljs-string">&quot;output&quot;</span>: <span class="hljs-string">&quot;Nice&quot;</span>},
   {<span class="hljs-string">&quot;input&quot;</span>: <span class="hljs-string">&quot;My favorite sport is swimming&quot;</span>,
    <span class="hljs-string">&quot;output&quot;</span>: <span class="hljs-string">&quot;Cool&quot;</span>},
   {<span class="hljs-string">&quot;input&quot;</span>: <span class="hljs-string">&quot;My favorite beer is Guinness&quot;</span>,
    <span class="hljs-string">&quot;output&quot;</span>: <span class="hljs-string">&quot;Great&quot;</span>},
   {<span class="hljs-string">&quot;input&quot;</span>: <span class="hljs-string">&quot;My favorite dessert is cheesecake&quot;</span>,
    <span class="hljs-string">&quot;output&quot;</span>: <span class="hljs-string">&quot;Good to know&quot;</span>},
   {<span class="hljs-string">&quot;input&quot;</span>: <span class="hljs-string">&quot;My favorite musician is Taylor Swift&quot;</span>,
    <span class="hljs-string">&quot;output&quot;</span>: <span class="hljs-string">&quot;Same&quot;</span>}
]
<span class="hljs-keyword">for</span> example <span class="hljs-keyword">in</span> about_me:
   memory.save_context({<span class="hljs-string">&quot;input&quot;</span>: example[<span class="hljs-string">&quot;input&quot;</span>]}, {<span class="hljs-string">&quot;output&quot;</span>: example[<span class="hljs-string">&quot;output&quot;</span>]})
<button class="copy-code-btn"></button></code></pre>
<h2 id="Prompting-the-Conversational-Memory-with-LangChain" class="common-anchor-header">LangChain으로 대화형 메모리 활성화하기<button data-href="#Prompting-the-Conversational-Memory-with-LangChain" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>이제 대화형 메모리를 어떻게 사용할 수 있는지 살펴볼 차례입니다. 먼저 LangChain을 통해 OpenAI LLM에 연결해 보겠습니다. LLM이 창의성을 발휘하지 않기를 원한다는 의미로 온도를 0으로 설정합니다.</p>
<p>다음으로 템플릿을 생성합니다. LLM에 인간과 친근한 대화를 나누고 있다고 알려주고 두 개의 변수를 삽입합니다. <code translate="no">history</code> 변수는 대화 메모리의 컨텍스트를 제공합니다. <code translate="no">input</code> 변수는 현재 입력을 제공합니다. <code translate="no">PromptTemplate</code> 객체를 사용하여 이 변수를 삽입합니다.</p>
<p><code translate="no">ConversationChain</code> 객체를 사용하여 프롬프트, LLM 및 메모리를 결합합니다. 이제 몇 가지 프롬프트를 제공하여 대화의 메모리를 확인할 준비가 되었습니다. 먼저 LLM에 내 이름이 포켓몬 시리즈의 주요 라이벌인 게리라고 알려줍니다(대화 메모리의 다른 모든 내용은 나에 대한 사실입니다).</p>
<pre><code translate="no">llm = OpenAI(temperature=<span class="hljs-number">0</span>) <span class="hljs-comment"># Can be any valid LLM</span>
_DEFAULT_TEMPLATE = <span class="hljs-string">&quot;&quot;&quot;The following is a friendly conversation between a human and an AI. The AI is talkative and provides lots of specific details from its context. If the AI does not know the answer to a question, it truthfully says it does not know.


Relevant pieces of previous conversation:
{history}


(You do not need to use these pieces of information if not relevant)


Current conversation:
Human: {input}
AI:&quot;&quot;&quot;</span>
PROMPT = PromptTemplate(
   input_variables=[<span class="hljs-string">&quot;history&quot;</span>, <span class="hljs-string">&quot;input&quot;</span>], template=_DEFAULT_TEMPLATE
)
conversation_with_summary = ConversationChain(
   llm=llm,
   prompt=PROMPT,
   memory=memory,
   verbose=<span class="hljs-literal">True</span>
)
conversation_with_summary.predict(<span class="hljs-built_in">input</span>=<span class="hljs-string">&quot;Hi, my name is Gary, what&#x27;s up?&quot;</span>)
<button class="copy-code-btn"></button></code></pre>
<p>아래 이미지는 LLM의 예상 응답이 어떤 모습일지 보여줍니다. 이 예에서는 자신의 이름이 "AI"라고 응답했습니다.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Conversational_Memory_in_Lang_Chain_graphics_1_2bf386d22a.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>이제 지금까지의 메모리를 테스트해 보겠습니다. 앞서 만든 <code translate="no">ConversationChain</code> 객체를 사용하여 제가 좋아하는 뮤지션에 대해 쿼리해 보겠습니다.</p>
<pre><code translate="no">conversation_with_summary.predict(<span class="hljs-built_in">input</span>=<span class="hljs-string">&quot;who is my favorite musician?&quot;</span>)
<button class="copy-code-btn"></button></code></pre>
<p>아래 이미지는 대화 체인의 예상 응답을 보여줍니다. 자세한 설명 옵션을 사용했기 때문에 관련 대화도 표시됩니다. 예상대로 제가 가장 좋아하는 아티스트가 테일러 스위프트임을 반환하는 것을 볼 수 있습니다.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Conversational_Memory_in_Lang_Chain_graphics_2_8355206f3e.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>다음으로 제가 가장 좋아하는 디저트인 치즈케이크를 확인해 보겠습니다.</p>
<pre><code translate="no">conversation_with_summary.predict(<span class="hljs-built_in">input</span>=<span class="hljs-string">&quot;Whats my favorite dessert?&quot;</span>)
<button class="copy-code-btn"></button></code></pre>
<p>내가 가장 좋아하는 디저트를 쿼리하면 대화 체인이 다시 한 번 밀버스에서 올바른 정보를 선택하는 것을 볼 수 있습니다. 앞서 말했듯이 제가 가장 좋아하는 디저트는 치즈케이크임을 알 수 있습니다.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Conversational_Memory_in_Lang_Chain_graphics_3_66a5c9690f.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>이제 앞서 제공한 정보를 쿼리할 수 있다는 것을 확인했으니 대화 초반에 제공한 정보를 한 가지 더 확인해 보겠습니다. AI에게 제 이름이 Gary라고 말하면서 대화를 시작했습니다.</p>
<pre><code translate="no">conversation_with_summary.predict(<span class="hljs-built_in">input</span>=<span class="hljs-string">&quot;What&#x27;s my name?&quot;</span>)
<button class="copy-code-btn"></button></code></pre>
<p>최종 확인 결과 대화 체인이 벡터 스토어 대화 메모리에 이름에 대한 비트를 저장한 것으로 나타났습니다. 대화 체인은 우리가 이름이 게리라고 말한 것을 반환합니다.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Conversational_Memory_in_Lang_Chain_graphics_4_f446f49672.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<h2 id="LangChain-Conversational-Memory-Summary" class="common-anchor-header">LangChain 대화 메모리 요약<button data-href="#LangChain-Conversational-Memory-Summary" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>이 튜토리얼에서는 LangChain에서 대화형 메모리를 사용하는 방법을 배웠습니다. LangChain은 지속적인 대화형 메모리를 위해 Milvus와 같은 벡터 저장소 백엔드에 대한 액세스를 제공합니다. 프롬프트에 히스토리를 주입하고 <code translate="no">ConversationChain</code> 객체에 히스토리 컨텍스트를 저장하여 대화형 메모리를 사용할 수 있습니다.</p>
<p>이 예제 튜토리얼에서는 대화 체인에 저에 대한 다섯 가지 사실을 제공하고 포켓몬스터의 주요 라이벌인 게리인 척했습니다. 그런 다음 대화 체인에 내가 좋아하는 뮤지션과 디저트 등 저장된 선험적 지식에 대한 질문을 던졌습니다. 대화 체인은 이 두 가지 질문에 모두 정답을 맞추고 관련 항목을 표시했습니다. 마지막으로 대화 초반에 주어진 이름에 대해 물었더니 "Gary"라고 정확하게 대답했습니다.</p>


LangChain의 대화형 메모리

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/What_s_New_in_2_2_9_858e54a2d3.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>팀과 커뮤니티에 중요한 이정표가 될 Milvus 2.2.9의 출시를 발표하게 되어 매우 기쁘게 생각합니다. 이번 릴리스에서는 오랫동안 기다려온 JSON 데이터 유형, 동적 스키마 및 파티션 키에 대한 지원을 비롯하여 여러 가지 흥미로운 기능을 제공하여 최적화된 사용자 경험과 간소화된 개발 워크플로우를 보장합니다. 또한 이번 릴리스에는 수많은 개선 사항과 버그 수정이 포함되어 있습니다. Milvus 2.2.9를 살펴보고 이번 릴리스가 기대되는 이유를 알아보세요.</p>
<h2 id="Optimized-user-experience-with-JSON-support" class="common-anchor-header">JSON 지원으로 최적화된 사용자 경험<button data-href="#Optimized-user-experience-with-JSON-support" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus는 많은 기대를 모았던 JSON 데이터 유형에 대한 지원을 도입하여 사용자 컬렉션 내 벡터의 메타데이터와 함께 JSON 데이터를 원활하게 저장할 수 있게 되었습니다. 이 향상된 기능을 통해 사용자는 JSON 데이터를 효율적으로 대량으로 삽입하고 JSON 필드의 내용을 기반으로 고급 쿼리 및 필터링을 수행할 수 있습니다. 또한, 사용자는 데이터 세트의 JSON 필드에 맞는 표현식을 활용하여 연산을 수행하고, 쿼리를 구성하고, JSON 필드의 콘텐츠와 구조를 기반으로 필터를 적용할 수 있어 관련 정보를 추출하고 데이터를 더 잘 조작할 수 있습니다.</p>
<p>앞으로 Milvus 팀은 JSON 유형 내의 필드에 대한 인덱스를 추가하여 혼합 스칼라 및 벡터 쿼리의 성능을 더욱 최적화할 예정입니다. 앞으로의 흥미로운 개발 소식을 기대해 주세요!</p>
<h2 id="Added-flexibility-with-support-for-dynamic-schema" class="common-anchor-header">동적 스키마 지원으로 유연성 향상<button data-href="#Added-flexibility-with-support-for-dynamic-schema" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>밀버스 2.2.9는 이제 JSON 데이터 지원과 함께 간소화된 소프트웨어 개발 키트(SDK)를 통해 동적 스키마 기능을 제공합니다.</p>
<p>Milvus 2.2.9부터 Milvus SDK에는 컬렉션의 숨겨진 JSON 필드에 동적 필드를 자동으로 채우는 상위 레벨 API가 포함되어 있어 사용자는 비즈니스 필드에만 집중할 수 있습니다.</p>
<h2 id="Better-data-separation-and-enhanced-search-efficiency-with-Partition-Key" class="common-anchor-header">파티션 키로 데이터 분리 및 검색 효율성 향상<button data-href="#Better-data-separation-and-enhanced-search-efficiency-with-Partition-Key" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.2.9는 파티션 키 기능을 도입하여 파티셔닝 기능을 강화했습니다. 사용자별 열을 파티셔닝의 기본 키로 사용할 수 있어 <code translate="no">loadPartition</code> 및 <code translate="no">releasePartition</code> 과 같은 추가 API가 필요하지 않습니다. 또한 이 새로운 기능은 파티션 수에 대한 제한을 없애 리소스를 더욱 효율적으로 활용할 수 있게 해줍니다.</p>
<h2 id="Support-for-Alibaba-Cloud-OSS" class="common-anchor-header">알리바바 클라우드 OSS 지원<button data-href="#Support-for-Alibaba-Cloud-OSS" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.2.9는 이제 Alibaba Cloud OSS(객체 스토리지 서비스)를 지원합니다. 알리바바 클라우드 사용자는 <code translate="no">cloudProvider</code> 을 알리바바 클라우드에 쉽게 구성하고 클라우드에서 벡터 데이터를 효율적으로 저장하고 검색할 수 있는 원활한 통합을 활용할 수 있습니다.</p>
<p>앞서 언급한 기능 외에도 Milvus 2.2.9는 역할 기반 액세스 제어(RBAC)에서 데이터베이스 지원을 제공하고, 연결 관리를 도입하며, 여러 개선 사항과 버그 수정이 포함되어 있습니다. 자세한 내용은 <a href="https://milvus.io/docs/release_notes.md">Milvus 2.2.9 릴리즈 노트를</a> 참조하세요.</p>
<h2 id="Let’s-keep-in-touch" class="common-anchor-header">계속 연락주세요!<button data-href="#Let’s-keep-in-touch" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus에 대한 질문이나 피드백이 있으시면 언제든지 <a href="https://twitter.com/milvusio">트위터나</a> <a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn을</a> 통해 문의해 주세요. 또한 <a href="https://milvus.io/slack/">Slack 채널에</a> 가입하여 엔지니어 및 커뮤니티와 직접 채팅하거나 <a href="https://us02web.zoom.us/meeting/register/tZ0pcO6vrzsuEtVAuGTpNdb6lGnsPBzGfQ1T#/registration">화요일 근무 시간을</a> 확인하실 수도 있습니다!</p>


Milvus 2.2.9: 최적의 사용자 경험을 제공하는 많은 기대를 받고 있는 릴리스

<p><strong><em>중요 참고 사항</em></strong></p>
<p><em>2024년 6월에 Milvus Lite를 업그레이드하여 AI 개발자가 더 빠르게 애플리케이션을 구축하는 동시에 Kurbernetes, Docker, 관리형 클라우드 서비스 등 다양한 배포 옵션에서 일관된 경험을 보장할 수 있도록 했습니다. 또한 Milvus Lite는 다양한 AI 프레임워크 및 기술과 통합되어 벡터 검색 기능을 통해 AI 애플리케이션 개발을 간소화합니다. 자세한 내용은 다음 참조 자료를 참조하세요:</em></p>
<ul>
<li><p><em>Milvus Lite 출시 블로그: h<a href="https://milvus.io/blog/introducing-milvus-lite.md">ttps://</a>milvus.io/blog/introducing-milvus-lite.md</em></p></li>
<li><p><em>Milvus Lite 설명서: <a href="https://milvus.io/docs/quickstart.md">https://milvus.io/docs/quickstart.md</a></em></p></li>
<li><p><em>Milvus Lite GitHub 리포지토리: <a href="https://github.com/milvus-io/milvus-lite">https://github.com/milvus-io/milvus-lite</a></em></p></li>
</ul>
<p><br></p>
<p><a href="https://github.com/milvus-io/milvus">Milvus는</a> 수십억 개의 규모로 심층 신경망 및 기타 머신 러닝(ML) 모델에서 생성된 임베딩 벡터를 색인, 저장 및 쿼리하기 위해 특별히 구축된 오픈 소스 벡터 데이터베이스입니다. 대규모 데이터 세트에서 유사도 검색을 수행해야 하는 많은 기업, 연구자, 개발자들이 즐겨 사용하고 있습니다.</p>
<p>그러나 일부 사용자들은 Milvus 정식 버전이 너무 무겁거나 복잡하다고 느낄 수 있습니다. 이 문제를 해결하기 위해 Milvus 커뮤니티에서 가장 활발하게 활동하는 기여자 중 한 명인 <a href="https://github.com/matrixji">Bin Ji는</a> Milvus의 경량 버전인 Milvus <a href="https://github.com/milvus-io/milvus-lite">Lite를</a> 만들었습니다.</p>
<h2 id="What-is-Milvus-Lite" class="common-anchor-header">Milvus Lite란 무엇인가요?<button data-href="#What-is-Milvus-Lite" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>앞서 언급했듯이 Milvus <a href="https://github.com/milvus-io/milvus-lite">Lite는</a> 많은 장점과 이점을 제공하는 Milvus의 간소화된 대안입니다.</p>
<ul>
<li>무게를 추가하지 않고도 Python 애플리케이션에 통합할 수 있습니다.</li>
<li>독립형 Milvus는 임베디드 Etcd 및 로컬 스토리지와 함께 작동하는 기능 덕분에 다른 종속성이 필요하지 않습니다.</li>
<li>Python 라이브러리로 가져와서 명령줄 인터페이스(CLI) 기반 독립형 서버로 사용할 수 있습니다.</li>
<li>Google Colab 및 Jupyter Notebook과 원활하게 작동합니다.</li>
<li>데이터 손실의 위험 없이 작업을 안전하게 마이그레이션하고 다른 Milvus 인스턴스(독립형, 클러스터형, 완전 관리형 버전)로 코드를 작성할 수 있습니다.</li>
</ul>
<h2 id="When-should-you-use-Milvus-Lite" class="common-anchor-header">Milvus Lite는 언제 사용해야 하나요?<button data-href="#When-should-you-use-Milvus-Lite" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>특히 다음과 같은 상황에서 Milvus Lite가 가장 유용합니다:</p>
<ul>
<li><a href="https://milvus.io/docs/install_standalone-operator.md">밀버스 오퍼레이터</a>, <a href="https://milvus.io/docs/install_standalone-helm.md">헬름</a>, <a href="https://milvus.io/docs/install_standalone-docker.md">도커 컴포즈와</a> 같은 컨테이너 기술 및 도구 없이 밀버스를 사용하고 싶을 때.</li>
<li>Milvus를 사용하기 위해 가상 머신이나 컨테이너가 필요하지 않은 경우.</li>
<li>Milvus 기능을 Python 애플리케이션에 통합하려는 경우.</li>
<li>빠른 실험을 위해 Colab 또는 Notebook에서 Milvus 인스턴스를 스핀업하려는 경우.</li>
</ul>
<p><strong>참고</strong>: 프로덕션 환경이나 고성능, 강력한 가용성 또는 높은 확장성이 필요한 경우에는 Milvus Lite를 사용하지 않는 것이 좋습니다. 대신, 프로덕션 환경에서는 <a href="https://github.com/milvus-io/milvus">Milvus 클러스터</a> 또는 <a href="https://zilliz.com/cloud">Zilliz Cloud의 완전 관리형 Milvus를</a> 사용하는 것을 고려하세요.</p>
<h2 id="How-to-get-started-with-Milvus-Lite" class="common-anchor-header">Milvus Lite는 어떻게 시작하나요?<button data-href="#How-to-get-started-with-Milvus-Lite" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>이제 Milvus Lite를 설치, 구성 및 사용하는 방법을 살펴보겠습니다.</p>
<h3 id="Prerequisites" class="common-anchor-header">전제 조건</h3><p>Milvus Lite를 사용하려면 다음 요구 사항을 완료했는지 확인하세요:</p>
<ul>
<li>Python 3.7 이상 버전 설치.</li>
<li>아래 나열된 검증된 운영 체제 중 하나 사용:<ul>
<li>Ubuntu &gt;= 18.04(x86_64)</li>
<li>CentOS &gt;= 7.0(x86_64)</li>
<li>MacOS &gt;= 11.0(Apple Silicon)</li>
</ul></li>
</ul>
<p><strong>참고</strong>:</p>
<ol>
<li>Milvus Lite는 <code translate="no">manylinux2014</code> 을 기본 이미지로 사용하므로 Linux 사용자를 위해 대부분의 Linux 배포판과 호환됩니다.</li>
<li>아직 완전히 검증되지는 않았지만 Windows에서도 Milvus Lite를 실행할 수 있습니다.</li>
</ol>
<h3 id="Install-Milvus-Lite" class="common-anchor-header">Milvus Lite 설치</h3><p>Milvus Lite는 PyPI에서 사용할 수 있으므로 <code translate="no">pip</code> 을 통해 설치할 수 있습니다.</p>
<pre><code translate="no">$ python3 -m pip install milvus
<button class="copy-code-btn"></button></code></pre>
<p>다음과 같이 PyMilvus를 사용하여 설치할 수도 있습니다:</p>
<pre><code translate="no">$ python3 -m pip install milvus[client]
<button class="copy-code-btn"></button></code></pre>
<h3 id="Use-and-start-Milvus-Lite" class="common-anchor-header">Milvus Lite 사용 및 시작</h3><p>프로젝트 저장소의 예제 폴더에서 <a href="https://github.com/milvus-io/milvus-lite/tree/main/examples">예제 노트북을</a> 다운로드합니다. Milvus Lite를 사용할 수 있는 두 가지 옵션이 있습니다: Python 라이브러리로 가져오거나 CLI를 사용해 컴퓨터에서 독립형 서버로 실행하는 것입니다.</p>
<ul>
<li>Milvus Lite를 Python 모듈로 시작하려면 다음 명령을 실행하세요:</li>
</ul>
<pre><code translate="no"><span class="hljs-keyword">from</span> milvus <span class="hljs-keyword">import</span> default_server
<span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> connections, utility

<span class="hljs-comment"># Start your milvus server</span>
default_server.start()

<span class="hljs-comment"># Now you can connect with localhost and the given port</span>
<span class="hljs-comment"># Port is defined by default_server.listen_port</span>
connections.connect(host=<span class="hljs-string">&#x27;127.0.0.1&#x27;</span>, port=default_server.listen_port)

<span class="hljs-comment"># Check if the server is ready.</span>
<span class="hljs-built_in">print</span>(utility.get_server_version())

<span class="hljs-comment"># Stop your milvus server</span>
default_server.stop()
<button class="copy-code-btn"></button></code></pre>
<ul>
<li>Milvus Lite를 일시 중단하거나 중지하려면 <code translate="no">with</code> 문을 사용합니다.</li>
</ul>
<pre><code translate="no"><span class="hljs-keyword">from</span> milvus <span class="hljs-keyword">import</span> default_server

<span class="hljs-keyword">with</span> default_server:
  <span class="hljs-comment"># Milvus Lite has already started, use default_server here.</span>
  connections.connect(host=<span class="hljs-string">&#x27;127.0.0.1&#x27;</span>, port=default_server.listen_port)
<button class="copy-code-btn"></button></code></pre>
<ul>
<li>CLI 기반 독립 실행형 서버로 Milvus Lite를 시작하려면 다음 명령을 실행합니다:</li>
</ul>
<pre><code translate="no">milvus-server
<button class="copy-code-btn"></button></code></pre>
<p>Milvus Lite를 시작한 후 PyMilvus 또는 원하는 다른 도구를 사용하여 독립형 서버에 연결할 수 있습니다.</p>
<h3 id="Start-Milvus-Lite-in-a-debug-mode" class="common-anchor-header">디버그 모드에서 Milvus Lite 시작하기</h3><ul>
<li>디버그 모드에서 Milvus Lite를 Python 모듈로 실행하려면 다음 명령을 실행하세요:</li>
</ul>
<pre><code translate="no"><span class="hljs-keyword">from</span> milvus <span class="hljs-keyword">import</span> debug_server, MilvusServer

debug_server.run()

<span class="hljs-comment"># Or you can create a MilvusServer by yourself</span>
<span class="hljs-comment"># server = MilvusServer(debug=True)</span>
<button class="copy-code-btn"></button></code></pre>
<ul>
<li>독립 실행형 서버를 디버그 모드로 실행하려면 다음 명령을 실행합니다:</li>
</ul>
<pre><code translate="no">milvus-server --debug
<button class="copy-code-btn"></button></code></pre>
<h3 id="Persist-data-and-logs" class="common-anchor-header">데이터 및 로그 유지</h3><ul>
<li>모든 관련 데이터와 로그를 포함할 Milvus Lite용 로컬 디렉터리를 만들려면 다음 명령을 실행합니다:</li>
</ul>
<pre><code translate="no"><span class="hljs-keyword">from</span> milvus <span class="hljs-keyword">import</span> default_server

<span class="hljs-keyword">with</span> <span class="hljs-attr">default_server</span>:
  default_server.<span class="hljs-title function_">set_base_dir</span>(<span class="hljs-string">&#x27;milvus_data&#x27;</span>)
<button class="copy-code-btn"></button></code></pre>
<ul>
<li>독립형 서버에서 생성된 모든 데이터와 로그를 로컬 드라이브에 유지하려면 다음 명령을 실행합니다:</li>
</ul>
<pre><code translate="no">$ milvus-server --data milvus_data
<button class="copy-code-btn"></button></code></pre>
<h3 id="Configure-Milvus-Lite" class="common-anchor-header">Milvus Lite 구성</h3><p>Milvus Lite 구성은 Python API 또는 CLI를 사용하여 Milvus 인스턴스를 설정하는 것과 유사합니다.</p>
<ul>
<li>Python API를 사용하여 Milvus Lite를 구성하려면 기본 설정과 추가 설정 모두에 <code translate="no">MilvusServer</code> 인스턴스의 <code translate="no">config.set</code> API를 사용합니다:</li>
</ul>
<pre><code translate="no"><span class="hljs-keyword">from</span> milvus <span class="hljs-keyword">import</span> default_server

<span class="hljs-keyword">with</span> default_server:
  default_server.config.<span class="hljs-built_in">set</span>(<span class="hljs-string">&#x27;system_Log_level&#x27;</span>, <span class="hljs-string">&#x27;info&#x27;</span>)
  default_server.config.<span class="hljs-built_in">set</span>(<span class="hljs-string">&#x27;proxy_port&#x27;</span>, <span class="hljs-number">19531</span>)
  default_server.config.<span class="hljs-built_in">set</span>(<span class="hljs-string">&#x27;dataCoord.segment.maxSize&#x27;</span>, <span class="hljs-number">1024</span>)
<button class="copy-code-btn"></button></code></pre>
<ul>
<li>CLI를 사용하여 Milvus Lite를 구성하려면 기본 설정의 경우 다음 명령을 실행합니다:</li>
</ul>
<pre><code translate="no">$ milvus-server --system-log-level info
$ milvus-server --proxy-port 19531
<button class="copy-code-btn"></button></code></pre>
<ul>
<li>또는 추가 설정의 경우 다음을 실행합니다.</li>
</ul>
<pre><code translate="no">$ milvus-server --extra-config dataCoord.segment.maxSize=1024
<button class="copy-code-btn"></button></code></pre>
<p>구성 가능한 모든 항목은 Milvus 패키지와 함께 제공되는 <code translate="no">config.yaml</code> 템플릿에 있습니다.</p>
<p>Milvus Lite 설치 및 구성 방법에 대한 자세한 기술 정보는 <a href="https://milvus.io/docs/milvus_lite.md#Prerequisites">문서를</a> 참조하세요.</p>
<h2 id="Summary" class="common-anchor-header">요약<button data-href="#Summary" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus Lite는 Milvus의 기능을 컴팩트한 형식으로 원하는 사용자에게 탁월한 선택입니다. 연구자, 개발자 또는 데이터 과학자라면 이 옵션을 살펴볼 가치가 있습니다.</p>
<p>밀버스 라이트는 또한 오픈 소스 커뮤니티의 훌륭한 추가 기능으로, 기여자들의 뛰어난 작업을 보여줍니다. 빈 지의 노력 덕분에 이제 더 많은 사용자가 Milvus를 사용할 수 있게 되었습니다. 앞으로 빈지를 비롯한 Milvus 커뮤니티의 다른 구성원들이 어떤 혁신적인 아이디어를 내놓을지 기대가 됩니다.</p>
<h2 id="Let’s-keep-in-touch" class="common-anchor-header">계속 연락주세요!<button data-href="#Let’s-keep-in-touch" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus Lite 설치 또는 사용에 문제가 발생하면 <a href="https://github.com/milvus-io/milvus-lite/issues/new">여기에서 문제를</a> 제기하거나 <a href="https://twitter.com/milvusio">트위터</a> 또는 <a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn을</a> 통해 문의하실 수 있습니다. 또한 <a href="https://milvus.io/slack/">Slack 채널에</a> 가입하여 엔지니어 및 전체 커뮤니티와 채팅하거나 <a href="https://us02web.zoom.us/meeting/register/tZ0pcO6vrzsuEtVAuGTpNdb6lGnsPBzGfQ1T#/registration">화요일 근무 시간을</a> 확인해 보세요!</p>


Milvus 라이트: Milvus의 경량 버전 소개

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/What_s_New_in_2_2_8_f4dd6de0f2.png" alt="Milvus 2.2.8" class="doc-image" id="milvus-2.2.8" />
   </span> <span class="img-wrapper"> <span>Milvus 2.2.8</span> </span></p>
<p>Milvus 2.2.8의 최신 버전을 발표하게 되어 기쁘게 생각합니다. 이번 릴리스에는 이전 버전의 수많은 개선 사항과 버그 수정이 포함되어 있어 쿼리 성능이 향상되고 리소스가 절약되며 처리량이 증가합니다. 이번 릴리스의 새로운 기능을 함께 살펴보겠습니다.</p>
<h2 id="Reduced-peak-memory-consumption-during-collection-loading" class="common-anchor-header">컬렉션 로딩 중 피크 메모리 사용량 감소<button data-href="#Reduced-peak-memory-consumption-during-collection-loading" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>쿼리를 수행하려면 Milvus는 데이터와 인덱스를 메모리에 로드해야 합니다. 그러나 로드 프로세스 중에 여러 메모리 복사본으로 인해 최대 메모리 사용량이 실제 런타임보다 최대 3~4배까지 증가할 수 있습니다. 최신 버전의 Milvus 2.2.8은 이 문제를 효과적으로 해결하고 메모리 사용량을 최적화합니다.</p>
<h2 id="Expanded-querying-scenarios-with-QueryNode-supporting-plugins" class="common-anchor-header">쿼리 노드 지원 플러그인을 통한 쿼리 시나리오 확장<button data-href="#Expanded-querying-scenarios-with-QueryNode-supporting-plugins" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>이제 최신 Milvus 2.2.8에서 QueryNode가 플러그인을 지원합니다. <code translate="no">queryNode.soPath</code> 설정으로 플러그인 파일의 경로를 쉽게 지정할 수 있습니다. 그러면 Milvus가 런타임에 플러그인을 로드하고 사용 가능한 쿼리 시나리오를 확장할 수 있습니다. 플러그인 개발에 대한 지침이 필요한 경우 <a href="https://pkg.go.dev/plugin">Go 플러그인 설명서를</a> 참조하세요.</p>
<h2 id="Optimized-querying-performance-with-enhanced-compaction-algorithm" class="common-anchor-header">향상된 압축 알고리즘으로 쿼리 성능 최적화<button data-href="#Optimized-querying-performance-with-enhanced-compaction-algorithm" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>압축 알고리즘은 세그먼트가 수렴되는 속도를 결정하며 쿼리 성능에 직접적인 영향을 미칩니다. 최근 압축 알고리즘이 개선되면서 수렴 효율이 크게 향상되어 쿼리 속도가 빨라졌습니다.</p>
<h2 id="Better-resource-saving-and-querying-performance-with-reduced-collection-shards" class="common-anchor-header">수집 샤드 감소로 리소스 절약 및 쿼리 성능 향상<button data-href="#Better-resource-saving-and-querying-performance-with-reduced-collection-shards" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus는 대규모 병렬 처리(MPP) 시스템으로, 수집 샤드의 수가 Milvus의 쓰기 및 쿼리 효율성에 영향을 미칩니다. 이전 버전에서는 컬렉션에 기본적으로 2개의 샤드가 있었기 때문에 쓰기 성능은 뛰어났지만 쿼리 성능과 리소스 비용이 저하되었습니다. 새로운 Milvus 2.2.8 업데이트에서는 기본 컬렉션 샤드가 1개로 줄어들어 사용자가 더 많은 리소스를 절약하고 더 나은 쿼리를 수행할 수 있게 되었습니다. 커뮤니티의 대부분의 사용자는 데이터 볼륨이 1,000만 개 미만이며, 하나의 샤드만으로도 우수한 쓰기 성능을 얻을 수 있습니다.</p>
<p><strong>참고</strong>: 이 업그레이드는 이 릴리즈 이전에 생성된 컬렉션에는 영향을 미치지 않습니다.</p>
<h2 id="20-throughput-increase-with-an-improved-query-grouping-algorithm" class="common-anchor-header">쿼리 그룹화 알고리즘 개선으로 처리량 20% 증가<button data-href="#20-throughput-increase-with-an-improved-query-grouping-algorithm" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus는 큐에 있는 여러 쿼리 요청을 하나로 결합하여 더 빠르게 실행하는 효율적인 쿼리 그룹화 알고리즘을 통해 처리량을 크게 향상시켰습니다. 최신 릴리스에서는 이 알고리즘을 추가로 개선하여 Milvus의 처리량을 최소 20% 이상 향상시켰습니다.</p>
<p>앞서 언급한 개선 사항 외에도 Milvus 2.2.8은 다양한 버그도 수정했습니다. 자세한 내용은 <a href="https://milvus.io/docs/release_notes.md">Milvus 릴리스 노트를</a> 참조하세요.</p>
<h2 id="Let’s-keep-in-touch" class="common-anchor-header">계속 연락주세요!<button data-href="#Let’s-keep-in-touch" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus에 대한 질문이나 피드백이 있으시면 언제든지 <a href="https://twitter.com/milvusio">트위터나</a> <a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn을</a> 통해 문의해 주세요. 또한 <a href="https://milvus.io/slack/">Slack 채널에</a> 가입하여 엔지니어 및 전체 커뮤니티와 직접 채팅하거나 <a href="https://us02web.zoom.us/meeting/register/tZ0pcO6vrzsuEtVAuGTpNdb6lGnsPBzGfQ1T#/registration">화요일 근무 시간을</a> 확인하실 수도 있습니다!</p>


Milvus 2.2.8: 쿼리 성능 향상, 처리량 20% 증가

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/exploring_milvus_latest_versions_4fa890533e.png" alt="Milvus at Its Best" class="doc-image" id="milvus-at-its-best" />
   </span> <span class="img-wrapper"> <span>최고의 밀버스</span> </span></p>
<p>Milvus 팔로워 여러분, 다시 오신 것을 환영합니다! 이 최첨단 오픈 소스 벡터 데이터베이스에 대한 업데이트를 마지막으로 공유한 지 꽤 오래되었다는 것을 알고 있습니다. 하지만 걱정하지 마세요. 지난 8월 이후 일어난 모든 흥미로운 발전 사항을 알려드리기 위해 이 자리에 모였습니다.</p>
<p>이 블로그 게시물에서는 버전 2.2부터 버전 2.2.6에 이르는 최신 Milvus 릴리스를 소개합니다. 새로운 기능, 개선 사항, 버그 수정 및 최적화 등 다양한 내용을 다루고 있습니다. 그러니 안전벨트를 단단히 매고 자세히 살펴봅시다!</p>
<h2 id="Milvus-v22-a-major-release-with-enhanced-stability-faster-search-speed-and-flexible-scalability" class="common-anchor-header">Milvus v2.2: 향상된 안정성, 빨라진 검색 속도, 유연한 확장성을 갖춘 주요 릴리즈<button data-href="#Milvus-v22-a-major-release-with-enhanced-stability-faster-search-speed-and-flexible-scalability" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus v2.2는 7가지 새로운 기능과 이전 버전에 대한 수많은 획기적인 개선 사항을 도입한 중요한 릴리스입니다. 주요 기능 중 몇 가지를 자세히 살펴보겠습니다:</p>
<ul>
<li><strong>파일에서 엔티티 대량 삽입</strong>: 이 기능을 사용하면 몇 줄의 코드만으로 하나 또는 여러 파일에 있는 엔티티 배치를 Milvus에 직접 업로드할 수 있어 시간과 노력을 절약할 수 있습니다.</li>
<li><strong>쿼리 결과 페이지 매김</strong>: 단일 RPC(원격 프로시저 호출)로 대량의 검색 및 쿼리 결과가 반환되는 것을 방지하기 위해 Milvus v2.2에서는 검색 및 쿼리에서 키워드로 오프셋 및 필터링 결과를 구성할 수 있습니다.</li>
<li><strong>역할 기반 액세스 제어(RBAC)</strong>: Milvus v2.2는 이제 RBAC를 지원하므로 사용자, 역할 및 권한을 관리하여 Milvus 인스턴스에 대한 액세스를 제어할 수 있습니다.</li>
<li><strong>할당량 및 제한</strong>: 할당량 및 제한은 Milvus v2.2의 새로운 메커니즘으로, 갑작스러운 트래픽 급증 시 메모리 부족(OOM) 오류 및 충돌로부터 데이터베이스 시스템을 보호합니다. 이 기능을 사용하면 수집, 검색 및 메모리 사용량을 제어할 수 있습니다.</li>
<li><strong>수집 수준에서의 TTL(Time to Live)</strong>: 이전 릴리즈에서는 Milvus에서 클러스터에 대한 TTL만 구성할 수 있었습니다. 그러나 Milvus v2.2에서는 이제 컬렉션 수준에서 TTL을 구성할 수 있습니다. 특정 컬렉션 및 해당 컬렉션의 엔티티에 대해 TTL을 구성하면 TTL이 종료된 후 자동으로 만료됩니다. 이 구성을 통해 데이터 보존을 보다 세밀하게 제어할 수 있습니다.</li>
<li><strong>디스크 기반 근사 근접 이웃 검색(ANNS) 인덱스(베타)</strong>: Milvus v2.2에서는 SSD에 상주하는 DiskANN과 Vamana 그래프 기반 ANNS 알고리즘을 지원합니다. 이 지원으로 대규모 데이터 세트에 대한 직접 검색이 가능해져 메모리 사용량을 최대 10배까지 크게 줄일 수 있습니다.</li>
<li><strong>데이터 백업(베타)</strong>: Milvus v2.2는 명령줄 또는 API 서버를 통해 Milvus 데이터를 올바르게 백업하고 복원할 수 있는 <a href="https://github.com/zilliztech/milvus-backup">새로운 도구를</a> 제공합니다.</li>
</ul>
<p>위에서 언급한 새로운 기능 외에도 Milvus v2.2에는 5가지 버그 수정과 Milvus의 안정성, 관찰 가능성 및 성능 향상을 위한 여러 가지 개선 사항이 포함되어 있습니다. 자세한 내용은 <a href="https://milvus.io/docs/release_notes.md#v220">Milvus v2.2 릴리스 노트를</a> 참조하세요.</p>
<h2 id="Milvus-v221--v222-minor-releases-with-issues-fixed" class="common-anchor-header">Milvus v2.2.1 및 v2.2.2: 문제가 수정된 마이너 릴리스<button data-href="#Milvus-v221--v222-minor-releases-with-issues-fixed" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus v2.2.1 및 v2.2.2는 이전 버전의 중요한 문제를 수정하고 새로운 기능을 도입하는 데 중점을 둔 마이너 릴리스입니다. 다음은 몇 가지 주요 내용입니다:</p>
<h3 id="Milvus-v221" class="common-anchor-header">Milvus v2.2.1</h3><ul>
<li>Pulsa 테넌트 및 인증 지원</li>
<li>etcd 구성 소스에서 TLS(전송 계층 보안) 지원</li>
<li>검색 성능 30% 이상 개선</li>
<li>스케줄러 최적화 및 병합 작업 확률 증가</li>
<li>인덱싱된 스칼라 필드에서 용어 필터링 실패 및 인덱스 생성 실패 시 IndexNode 패닉을 포함한 여러 버그 수정</li>
</ul>
<h3 id="Milvus-v222" class="common-anchor-header">Milvus v2.2.2</h3><ul>
<li>프록시가 샤드 리더의 캐시를 업데이트하지 않는 문제를 수정했습니다.</li>
<li>릴리즈된 컬렉션/파티션에 대해 로드된 정보가 정리되지 않는 문제 수정</li>
<li>로드 카운트가 제때 지워지지 않는 문제 수정</li>
</ul>
<p>자세한 내용은 <a href="https://milvus.io/docs/release_notes.md#v221">Milvus v2.2.1 릴리즈 노트</a> 및 <a href="https://milvus.io/docs/release_notes.md#v222">Milvus v2.2.2 릴리즈 노트를</a> 참조하세요.</p>
<h2 id="Milvus-v223-more-secure-stable-and-available" class="common-anchor-header">Milvus v2.2.3: 보안, 안정성 및 가용성 향상<button data-href="#Milvus-v223-more-secure-stable-and-available" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus v2.2.3은 시스템의 보안, 안정성 및 가용성을 강화하는 데 중점을 둔 릴리스입니다. 또한 두 가지 중요한 기능이 도입되었습니다:</p>
<ul>
<li><p><strong>롤링 업그레이드</strong>: 이 기능을 사용하면 이전 릴리스에서는 불가능했던 업그레이드 프로세스 중에 들어오는 요청에 Milvus가 응답할 수 있습니다. 롤링 업그레이드는 업그레이드 중에도 시스템을 계속 사용할 수 있고 사용자 요청에 응답할 수 있도록 보장합니다.</p></li>
<li><p><strong>코디네이터 고가용성(HA)</strong>: 이 기능을 통해 Milvus 코디네이터는 활성-대기 모드에서 작업할 수 있어 단일 지점 장애의 위험을 줄일 수 있습니다. 예상치 못한 재해가 발생하더라도 복구 시간이 최대 30초로 단축됩니다.</p></li>
</ul>
<p>이러한 새로운 기능 외에도 Milvus v2.2.3에는 향상된 대량 삽입 성능, 메모리 사용량 감소, 모니터링 지표 최적화, 메타 스토리지 성능 개선 등 수많은 개선 사항과 버그 수정이 포함되어 있습니다. 자세한 내용은 <a href="https://milvus.io/docs/release_notes.md#v223">Milvus v2.2.3 릴리즈 노트를</a> 참조하세요.</p>
<h2 id="Milvus-v224-faster-more-reliable-and-resource-saving" class="common-anchor-header">Milvus v2.2.4: 더 빠르고, 더 안정적이며, 리소스 절약<button data-href="#Milvus-v224-faster-more-reliable-and-resource-saving" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus v2.2.4는 Milvus v2.2의 마이너 업데이트입니다. 4가지 새로운 기능과 몇 가지 향상된 기능을 도입하여 성능이 향상되고 안정성이 개선되며 리소스 소비가 감소합니다. 이번 릴리스의 주요 기능은 다음과 같습니다:</p>
<ul>
<li><strong>리소스 그룹화</strong>: Milvus는 이제 쿼리 노드를 다른 리소스 그룹으로 그룹화하여 서로 다른 그룹의 물리적 리소스에 대한 액세스를 완전히 격리할 수 있도록 지원합니다.</li>
<li><strong>컬렉션 이름 변경</strong>: 컬렉션 이름 변경 API를 통해 사용자는 컬렉션의 이름을 변경할 수 있어 컬렉션을 보다 유연하게 관리하고 사용성을 개선할 수 있습니다.</li>
<li><strong>Google 클라우드 스토리지 지원</strong></li>
<li><strong>검색 및 쿼리 API의 새로운 옵션</strong>: 이 새로운 기능을 통해 사용자는 증가하는 모든 세그먼트에서 검색을 건너뛸 수 있어 데이터 삽입과 동시에 검색이 수행되는 시나리오에서 더 나은 검색 성능을 제공할 수 있습니다.</li>
</ul>
<p>자세한 내용은 <a href="https://milvus.io/docs/release_notes.md#v224">Milvus v2.2.4 릴리즈 노트를</a> 참조하세요.</p>
<h2 id="Milvus-v225-NOT-RECOMMENDED" class="common-anchor-header">Milvus v2.2.5: 권장되지 않음<button data-href="#Milvus-v225-NOT-RECOMMENDED" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus v2.2.5에는 몇 가지 중요한 문제가 있으므로 이 릴리스의 사용을 권장하지 않습니다.  이로 인해 불편을 끼쳐 드린 점 진심으로 사과드립니다. 그러나 이러한 문제는 Milvus v2.2.6에서 해결되었습니다.</p>
<h2 id="Milvus-v226-resolves-critical-issues-from-v225" class="common-anchor-header">Milvus v2.2.6: v2.2.5의 중요한 문제 해결<button data-href="#Milvus-v226-resolves-critical-issues-from-v225" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus v2.2.6은 더티 빈로그 데이터 재활용 문제와 DataCoord GC 오류를 포함하여 v2.2.5에서 발견된 중요한 문제를 성공적으로 해결했습니다. 현재 v2.2.5를 사용 중이라면 최적의 성능과 안정성을 보장하기 위해 업그레이드하시기 바랍니다.</p>
<p>수정된 중요한 문제는 다음과 같습니다:</p>
<ul>
<li>DataCoord GC 실패</li>
<li>전달된 인덱스 매개변수 재정의</li>
<li>RootCoord 메시지 백로그로 인한 시스템 지연</li>
<li>메트릭 RootCoordInsertChannelTimeTick의 부정확성</li>
<li>타임스탬프 중지 가능성</li>
<li>재시작 프로세스 중 가끔씩 코디네이터 역할이 자체 파괴됨</li>
<li>비정상적인 가비지 수집 종료로 인해 체크포인트가 뒤처지는 현상</li>
</ul>
<p>자세한 내용은 <a href="https://milvus.io/docs/release_notes.md#v226">Milvus v2.2.6 릴리즈 노트를</a> 참조하세요.</p>
<h2 id="Summary" class="common-anchor-header">요약<button data-href="#Summary" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>결론적으로, v2.2부터 v2.2.6까지의 최신 Milvus 릴리스에는 많은 흥미로운 업데이트와 개선 사항이 포함되어 있습니다. 새로운 기능부터 버그 수정 및 최적화에 이르기까지 Milvus는 최첨단 솔루션을 제공하고 다양한 영역의 애플리케이션을 강화하기 위한 노력을 계속하고 있습니다. Milvus 커뮤니티의 더 많은 흥미로운 업데이트와 혁신을 기대해 주세요.</p>


밀버스 최고의 기능: v2.2부터 v2.2.6까지 살펴보기

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Dynamically_Change_Log_Levels_in_the_Milvus_Vector_Database_58e31c66cc.png" alt="Cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>표지 이미지</span> </span></p>
<blockquote>
<p>이 글은 <a href="https://github.com/jiaoew1991">엔웨이 지아오가</a> 작성하고 <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">안젤라 니가</a> 번역했습니다.</p>
</blockquote>
<p>로그가 과도하게 출력되어 디스크 및 시스템 성능에 영향을 미치는 것을 방지하기 위해 Milvus는 기본적으로 실행 중 <code translate="no">info</code> 수준의 로그를 출력합니다. 그러나 <code translate="no">info</code> 수준의 로그만으로는 버그와 문제를 효율적으로 식별하기에 충분하지 않을 때가 있습니다. 게다가 로그 수준을 변경하고 서비스를 다시 시작하면 문제를 재현하는 데 실패하여 문제 해결이 더욱 어려워지는 경우도 있습니다. 따라서 Milvus 벡터 데이터베이스에서 로그 수준을 동적으로 변경할 수 있는 지원이 시급히 필요합니다.</p>
<p>이 문서에서는 로그 수준을 동적으로 변경할 수 있는 메커니즘을 소개하고 Milvus 벡터 데이터베이스에서 이를 수행하는 방법에 대한 지침을 제공하는 것을 목표로 합니다.</p>
<p><strong>이동하기:</strong></p>
<ul>
<li><a href="#Mechanism">메커니즘</a></li>
<li><a href="#How-to-dynamically-change-log-levels">로그 수준을 동적으로 변경하는 방법</a></li>
</ul>
<h2 id="Mechanism" class="common-anchor-header">메커니즘<button data-href="#Mechanism" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 벡터 데이터베이스는 Uber에서 오픈 소스로 제공하는 <a href="https://github.com/uber-go/zap">zap</a> 로거를 채택하고 있습니다. Go 언어 생태계에서 가장 강력한 로그 구성 요소 중 하나인 zap은 <a href="https://github.com/uber-go/zap/blob/master/http_handler.go">http_handler.go</a> 모듈을 통합하여 현재 로그 수준을 확인하고 HTTP 인터페이스를 통해 로그 수준을 동적으로 변경할 수 있도록 합니다.</p>
<p>Milvus는 <code translate="no">9091</code> 포트에서 제공하는 HTTP 서비스를 수신합니다. 따라서 <code translate="no">9091</code> 포트에 액세스하여 성능 디버깅, 메트릭, 상태 확인과 같은 기능을 활용할 수 있습니다. 마찬가지로 <code translate="no">9091</code> 포트는 동적 로그 수준 수정을 활성화하기 위해 재사용되며 <code translate="no">/log/level</code> 경로도 포트에 추가됩니다. 자세한 내용은<a href="https://github.com/milvus-io/milvus/pull/18430"> 로그 인터페이스 PR을</a> 참조하세요.</p>
<h2 id="How-to-dynamically-change-log-levels" class="common-anchor-header">로그 수준을 동적으로 변경하는 방법<button data-href="#How-to-dynamically-change-log-levels" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>이 섹션에서는 실행 중인 Milvus 서비스를 다시 시작하지 않고도 로그 수준을 동적으로 변경하는 방법에 대한 지침을 제공합니다.</p>
<h3 id="Prerequisite" class="common-anchor-header">전제 조건</h3><p>Milvus 구성 요소의 <code translate="no">9091</code> 포트에 액세스할 수 있는지 확인합니다.</p>
<h3 id="Change-the-log-level" class="common-anchor-header">로그 수준 변경하기</h3><p>Milvus 프록시의 IP 주소가 <code translate="no">192.168.48.12</code> 이라고 가정합니다.</p>
<p>먼저 <code translate="no">$ curl -X GET 192.168.48.12:9091/log/level</code> 을 실행하여 프록시의 현재 로그 수준을 확인할 수 있습니다.</p>
<p>그런 다음 로그 수준을 지정하여 조정할 수 있습니다. 로그 수준 옵션은 다음과 같습니다:</p>
<ul>
<li><p><code translate="no">debug</code></p></li>
<li><p><code translate="no">info</code></p></li>
<li><p><code translate="no">warn</code></p></li>
<li><p><code translate="no">error</code></p></li>
<li><p><code translate="no">dpanic</code></p></li>
<li><p><code translate="no">panic</code></p></li>
<li><p><code translate="no">fatal</code></p></li>
</ul>
<p>다음 예제 코드는 로그 수준을 기본 로그 수준인 <code translate="no">info</code> 에서 <code translate="no">error</code> 로 변경합니다.</p>
<pre><code translate="no" class="language-Python">$ curl -X PUT 192.168.48.12:9091/log/level -d level=error
<button class="copy-code-btn"></button></code></pre>


Milvus 벡터 데이터베이스에서 동적으로 로그 수준 변경하기

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1280_X1280_0e0d4bc107.png" alt="Cover_image" class="doc-image" id="cover_image" />
   </span> <span class="img-wrapper"> <span>Cover_image</span> </span></p>
<blockquote>
<p>이 글은 <a href="https://github.com/longjiquan">Jiquan Long이</a> 작성하고 <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni가</a> 번역했습니다.</p>
</blockquote>
<p>일관성에 대한 <a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md">이전 블로그에서는</a> 분산형 벡터 데이터베이스에서 일관성이 갖는 의미에 대해 설명하고, Milvus 벡터 데이터베이스에서 지원되는 네 가지 일관성 수준인 강력, 경계형, 세션, 이벤트에 대해 다루었으며, 각 일관성 수준에 가장 적합한 적용 시나리오에 대해 설명했습니다.</p>
<p>이 게시물에서는 Milvus 벡터 데이터베이스 사용자가 다양한 애플리케이션 시나리오에 적합한 일관성 수준을 유연하게 선택할 수 있는 메커니즘에 대해 계속해서 살펴보겠습니다. 또한 Milvus 벡터 데이터베이스에서 일관성 수준을 조정하는 방법에 대한 기본 튜토리얼도 제공할 예정입니다.</p>
<p><strong>이동하기:</strong></p>
<ul>
<li><a href="#The-underlying-time-tick-mechanism">기본 시간 틱 메커니즘</a></li>
<li><a href="#Guarantee-timestamp">타임스탬프 보장</a></li>
<li><a href="#Consistency-levels">일관성 수준</a></li>
<li><a href="#How-to-tune-consistency-level-in-Milvus">Milvus에서 일관성 수준을 조정하는 방법은 무엇인가요?</a></li>
</ul>
<h2 id="The-underlying-time-tick-mechanism" class="common-anchor-header">기본 시간 틱 메커니즘<button data-href="#The-underlying-time-tick-mechanism" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus는 시간 틱 메커니즘을 사용하여 벡터 검색이나 쿼리가 수행될 때 다양한 수준의 일관성을 보장합니다. 타임 틱은 Milvus에서 시계처럼 작동하는 Milvus의 워터마크로, Milvus 시스템이 어느 시점에 있는지를 나타냅니다. Milvus 벡터 데이터베이스에 데이터 조작 언어(DML) 요청이 전송될 때마다 해당 요청에 타임스탬프를 할당합니다. 아래 그림과 같이 예를 들어 메시지 대기열에 새 데이터가 삽입되면 Milvus는 삽입된 데이터에 타임스탬프를 표시할 뿐만 아니라 일정한 간격으로 시간 틱도 삽입합니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/timetick_b395df9804.png" alt="timetick" class="doc-image" id="timetick" />
   </span> <span class="img-wrapper"> <span>timetick</span> </span></p>
<p>위 그림의 <code translate="no">syncTs1</code> 을 예로 들어 보겠습니다. 쿼리 노드와 같은 다운스트림 소비자가 <code translate="no">syncTs1</code> 을 볼 때, 소비자 구성 요소는 <code translate="no">syncTs1</code> 보다 이전에 삽입된 모든 데이터가 소비된 것으로 이해합니다. 즉, 타임스탬프 값이 <code translate="no">syncTs1</code> 보다 작은 데이터 삽입 요청은 더 이상 메시지 대기열에 표시되지 않습니다.</p>
<h2 id="Guarantee-Timestamp" class="common-anchor-header">타임스탬프 보장<button data-href="#Guarantee-Timestamp" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>이전 섹션에서 언급했듯이 쿼리 노드와 같은 다운스트림 소비자 구성 요소는 메시지 대기열에서 데이터 삽입 요청 메시지와 타임 틱을 지속적으로 가져옵니다. 타임 틱이 소비될 때마다 쿼리 노드는 이 소비된 타임 틱을 서비스 가능한 시간( <code translate="no">ServiceTime</code> )으로 표시하고 <code translate="no">ServiceTime</code> 이전에 삽입된 모든 데이터를 쿼리 노드에 표시합니다.</p>
<p>Milvus는 <code translate="no">ServiceTime</code> 외에도 다양한 사용자들의 다양한 수준의 일관성과 가용성에 대한 요구를 충족시키기 위해 타임스탬프의 한 유형인 보증 타임스탬프(<code translate="no">GuaranteeTS</code>)도 채택하고 있습니다. 즉, Milvus 벡터 데이터베이스 사용자는 검색이나 쿼리가 수행될 때 <code translate="no">GuaranteeTs</code> 이전의 모든 데이터가 표시되고 관련되어야 한다는 것을 쿼리 노드에 알리기 위해 <code translate="no">GuaranteeTs</code> 을 지정할 수 있습니다.</p>
<p>일반적으로 쿼리 노드가 Milvus 벡터 데이터베이스에서 검색 요청을 실행할 때는 두 가지 시나리오가 있습니다.</p>
<h3 id="Scenario-1-Execute-search-request-immediately" class="common-anchor-header">시나리오 1: 검색 요청을 즉시 실행하는 경우</h3><p>아래 그림과 같이 <code translate="no">GuaranteeTs</code> 가 <code translate="no">ServiceTime</code> 보다 작으면 쿼리 노드는 검색 요청을 즉시 실행할 수 있습니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/execute_immediately_dd1913775d.png" alt="execute_immediately" class="doc-image" id="execute_immediately" />
   </span> <span class="img-wrapper"> <span>execute_immediately</span> </span></p>
<h3 id="Scenario-2-Wait-till-ServiceTime--GuaranteeTs" class="common-anchor-header">시나리오 2: "서비스 시간 &gt; 보장 시간"까지 기다림</h3><p><code translate="no">GuaranteeTs</code> 이 <code translate="no">ServiceTime</code> 보다 큰 경우 쿼리 노드는 메시지 큐에서 시간 틱을 계속 소비해야 합니다. <code translate="no">ServiceTime</code> 이 <code translate="no">GuaranteeTs</code> 보다 클 때까지 검색 요청을 실행할 수 없습니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/wait_search_f09a2f6cf9.png" alt="wait_search" class="doc-image" id="wait_search" />
   </span> <span class="img-wrapper"> <span>wait_search</span> </span></p>
<h2 id="Consistency-Levels" class="common-anchor-header">일관성 수준<button data-href="#Consistency-Levels" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>따라서 검색 요청에서 <code translate="no">GuaranteeTs</code> 을 구성하여 사용자가 지정한 일관성 수준을 달성할 수 있습니다. 값이 큰 <code translate="no">GuaranteeTs</code> 은 검색 지연 시간이 길어지지만 <a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md#Strong">강력한 일관성을</a> 보장합니다. 그리고 <code translate="no">GuaranteeTs</code> 값이 작으면 검색 지연 시간은 줄어들지만 데이터 가시성이 저하됩니다.</p>
<p><code translate="no">GuaranteeTs</code> 는 하이브리드 타임스탬프 형식입니다. 그리고 사용자는 Milvus 내부의 <a href="https://github.com/milvus-io/milvus/blob/master/docs/design_docs/20211214-milvus_hybrid_ts.md">TSO를</a> 알 수 없습니다. 따라서<code translate="no">GuaranteeTs</code> 값을 지정하는 것은 사용자에게 너무 복잡한 작업입니다. 사용자의 수고를 덜어주고 최적의 사용자 경험을 제공하기 위해 Milvus는 사용자가 특정 일관성 수준만 선택하면 Milvus 벡터 데이터베이스가 자동으로 <code translate="no">GuaranteeTs</code> 값을 처리합니다. 즉, Milvus 사용자는 네 가지 일관성 수준 중에서 선택하기만 하면 됩니다: <code translate="no">Strong</code>, <code translate="no">Bounded</code>, <code translate="no">Session</code>, <code translate="no">Eventually</code>. 그리고 각 일관성 수준은 특정 <code translate="no">GuaranteeTs</code> 값에 해당합니다.</p>
<p>아래 그림은 Milvus 벡터 데이터베이스의 네 가지 일관성 수준 각각에 대한 <code translate="no">GuaranteeTs</code> 을 보여줍니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/guarantee_ts_f4b3e119d3.png" alt="guarantee_ts" class="doc-image" id="guarantee_ts" />
   </span> <span class="img-wrapper"> <span>guarantee_ts</span> </span></p>
<p>Milvus 벡터 데이터베이스는 네 가지 일관성 수준을 지원합니다:</p>
<ul>
<li><p><code translate="no">CONSISTENCY_STRONG</code> <code translate="no">GuaranteeTs</code> 은 최신 시스템 타임스탬프와 동일한 값으로 설정되며, 쿼리 노드는 서비스 시간이 최신 시스템 타임스탬프로 진행될 때까지 기다렸다가 검색 또는 쿼리 요청을 처리합니다.</p></li>
<li><p><code translate="no">CONSISTENCY_EVENTUALLY</code> <code translate="no">GuaranteeTs</code> 은 일관성 검사를 건너뛰기 위해 최신 시스템 타임스탬프보다 약간 작은 값으로 설정됩니다. 쿼리 노드는 기존 데이터 보기에서 즉시 검색합니다.</p></li>
<li><p><code translate="no">CONSISTENCY_BOUNDED</code> <code translate="no">GuaranteeTs</code> 은 최신 시스템 타임스탬프보다 상대적으로 작은 값으로 설정되며, 쿼리 노드는 허용 가능한 수준으로 업데이트되지 않은 데이터 보기에서 검색합니다.</p></li>
<li><p><code translate="no">CONSISTENCY_SESSION</code>: 클라이언트는 마지막 쓰기 작업의 타임스탬프를 <code translate="no">GuaranteeTs</code> 로 사용하여 각 클라이언트가 최소한 자체적으로 삽입한 데이터를 검색할 수 있도록 합니다.</p></li>
</ul>
<h2 id="How-to-tune-consistency-level-in-Milvus" class="common-anchor-header">Milvus에서 일관성 수준을 조정하는 방법은 무엇인가요?<button data-href="#How-to-tune-consistency-level-in-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus는 <a href="https://milvus.io/docs/v2.1.x/create_collection.md">컬렉션을 만들거나</a> <a href="https://milvus.io/docs/v2.1.x/search.md">검색</a> 또는 <a href="https://milvus.io/docs/v2.1.x/query.md">쿼리를</a> 수행할 때 일관성 수준을 조정할 수 있도록 지원합니다.</p>
<h3 id="Conduct-a-vector-similarity-search" class="common-anchor-header">벡터 유사도 검색 수행</h3><p>원하는 일관성 수준으로 벡터 유사도 검색을 수행하려면 <code translate="no">consistency_level</code> 파라미터 값을 <code translate="no">Strong</code>, <code translate="no">Bounded</code>, <code translate="no">Session</code> 또는 <code translate="no">Eventually</code> 로 설정하면 됩니다. <code translate="no">consistency_level</code> 파라미터 값을 설정하지 않으면 기본적으로 일관성 수준은 <code translate="no">Bounded</code> 이 됩니다. 이 예에서는 <code translate="no">Strong</code> 일관성을 사용하여 벡터 유사성 검색을 수행합니다.</p>
<pre><code translate="no">results = collection.search(
        data=[[0.1, 0.2]], 
        anns_field=<span class="hljs-string">&quot;book_intro&quot;</span>, 
        param=search_params, 
        <span class="hljs-built_in">limit</span>=10, 
        <span class="hljs-built_in">expr</span>=None,
        consistency_level=<span class="hljs-string">&quot;Strong&quot;</span>
)
<button class="copy-code-btn"></button></code></pre>
<h3 id="Conduct-a-vector-query" class="common-anchor-header">벡터 쿼리 수행하기</h3><p>벡터 유사도 검색을 수행할 때와 마찬가지로 벡터 쿼리를 수행할 때 <code translate="no">consistency_level</code> 매개변수 값을 지정할 수 있습니다. 이 예에서는 <code translate="no">Strong</code> 일관성을 사용하여 벡터 쿼리를 수행합니다.</p>
<pre><code translate="no">res = collection.query(
  <span class="hljs-built_in">expr</span> = <span class="hljs-string">&quot;book_id in [2,4,6,8]&quot;</span>, 
  output_fields = [<span class="hljs-string">&quot;book_id&quot;</span>, <span class="hljs-string">&quot;book_intro&quot;</span>],
  consistency_level=<span class="hljs-string">&quot;Strong&quot;</span>
)
<button class="copy-code-btn"></button></code></pre>
<h2 id="Whats-next" class="common-anchor-header">다음 단계<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.1의 공식 출시와 함께 새로운 기능을 소개하는 블로그 시리즈를 준비했습니다. 이 블로그 시리즈에서 자세히 읽어보세요:</p>
<ul>
<li><a href="https://milvus.io/blog/2022-08-08-How-to-use-string-data-to-empower-your-similarity-search-applications.md">문자열 데이터를 사용해 유사도 검색 애플리케이션을 강화하는 방법</a></li>
<li><a href="https://milvus.io/blog/embedded-milvus.md">임베디드 Milvus를 사용하여 Python으로 Milvus 즉시 설치 및 실행하기</a></li>
<li><a href="https://milvus.io/blog/in-memory-replicas.md">인메모리 복제본으로 벡터 데이터베이스 읽기 처리량 늘리기</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md">Milvus 벡터 데이터베이스의 일관성 수준 이해하기</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database-2.md">Milvus 벡터 데이터베이스의 일관성 수준 이해하기(2부)</a></li>
<li><a href="https://milvus.io/blog/data-security.md">Milvus Vector 데이터베이스는 어떻게 데이터 보안을 보장하나요?</a></li>
</ul>


Milvus 벡터 데이터베이스의 일관성 수준 이해 - 2부

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Security_192e35a790.png" alt="Cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>표지 이미지</span> </span></p>
<p>데이터 보안을 충분히 고려하여 사용자 인증 및 TLS(전송 계층 보안) 연결이 이제 Milvus 2.1에서 공식적으로 제공됩니다. 사용자 인증 없이도 누구나 SDK를 통해 벡터 데이터베이스의 모든 데이터에 액세스할 수 있습니다. 하지만 Milvus 2.1부터는 유효한 사용자 이름과 비밀번호를 가진 사용자만 Milvus 벡터 데이터베이스에 액세스할 수 있습니다. 또한 Milvus 2.1에서는 컴퓨터 네트워크에서 안전한 통신을 보장하는 TLS를 통해 데이터 보안이 더욱 강화되었습니다.</p>
<p>이 글에서는 벡터 데이터베이스 Milvus가 사용자 인증과 TLS 연결을 통해 데이터 보안을 보장하는 방법을 분석하고, 벡터 데이터베이스를 사용할 때 데이터 보안을 보장하려는 사용자로서 이 두 가지 기능을 어떻게 활용할 수 있는지 설명하고자 합니다.</p>
<p><strong>건너뛰기:</strong></p>
<ul>
<li><a href="#What-is-database-security-and-why-is-it-important">데이터베이스 보안이란 무엇이며 왜 중요한가요?</a></li>
<li><a href="#How-does-the-Milvus-vector-database-ensure-data-security">Milvus 벡터 데이터베이스는 어떻게 데이터 보안을 보장하나요?</a><ul>
<li><a href="#User-authentication">사용자 인증</a></li>
<li><a href="#TLS-connection">TLS 연결</a></li>
</ul></li>
</ul>
<h2 id="What-is-database-security-and-why-is-it-important" class="common-anchor-header">데이터베이스 보안이란 무엇이며 왜 중요한가요?<button data-href="#What-is-database-security-and-why-is-it-important" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>데이터베이스 보안이란 데이터베이스의 모든 데이터를 안전하게 보호하고 기밀로 유지하기 위해 취하는 조치를 말합니다. 최근 <a href="https://firewalltimes.com/recent-data-breaches/">트위터, 메리어트, 텍사스 보험국 등에서</a> 발생한 데이터 침해 및 데이터 유출 사건으로 인해 데이터 보안 문제에 대한 경각심이 더욱 커지고 있습니다. 이러한 모든 사례는 데이터를 제대로 보호하지 않고 사용하는 데이터베이스가 안전하지 않으면 기업과 비즈니스가 심각한 손실을 입을 수 있다는 사실을 끊임없이 상기시켜 줍니다.</p>
<h2 id="How-does-the-Milvus-vector-database-ensure-data-security" class="common-anchor-header">Milvus 벡터 데이터베이스는 어떻게 데이터 보안을 보장하나요?<button data-href="#How-does-the-Milvus-vector-database-ensure-data-security" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>현재 2.1 릴리스에서 Milvus 벡터 데이터베이스는 인증 및 암호화를 통해 데이터베이스 보안을 보장하려고 시도합니다. 보다 구체적으로, 액세스 수준에서 Milvus는 데이터베이스에 액세스할 수 있는 사용자를 제어하기 위해 기본 사용자 인증을 지원합니다. 한편, 데이터베이스 수준에서 Milvus는 데이터 통신을 보호하기 위해 TLS(전송 계층 보안) 암호화 프로토콜을 채택하고 있습니다.</p>
<h3 id="User-authentication" class="common-anchor-header">사용자 인증</h3><p>Milvus의 기본 사용자 인증 기능은 데이터 보안을 위해 사용자 이름과 비밀번호를 사용하여 벡터 데이터베이스에 액세스하는 것을 지원합니다. 즉, 클라이언트는 인증된 사용자 이름과 비밀번호를 제공해야만 Milvus 인스턴스에 액세스할 수 있습니다.</p>
<h4 id="The-authentication-workflow-in-the-Milvus-vector-database" class="common-anchor-header">Milvus 벡터 데이터베이스의 인증 워크플로</h4><p>모든 gRPC 요청은 Milvus 프록시에 의해 처리되므로 인증은 프록시에 의해 완료됩니다. Milvus 인스턴스에 연결하기 위해 자격 증명으로 로그인하는 워크플로우는 다음과 같습니다.</p>
<ol>
<li>각 Milvus 인스턴스에 대한 자격 증명을 생성하고 암호화된 비밀번호를 etcd에 저장합니다. Milvus는 프로보스와 마지에르의 <a href="http://www.usenix.org/event/usenix99/provos/provos.pdf">적응형 해싱 알고리즘을</a> 구현하기 때문에 암호화에 <a href="https://golang.org/x/crypto/bcrypt">bcrypt를</a> 사용합니다.</li>
<li>클라이언트 측에서 SDK는 Milvus 서비스에 연결할 때 암호 텍스트를 전송합니다. base64 암호 텍스트(<username>:<password>)는 <code translate="no">authorization</code> 키로 메타데이터에 첨부됩니다.</li>
<li>Milvus 프록시는 요청을 가로채서 자격 증명을 확인합니다.</li>
<li>자격 증명은 프록시에 로컬로 캐시됩니다.</li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1280_X1280_021e90e3c8.jpeg" alt="authetication_workflow" class="doc-image" id="authetication_workflow" />
   </span> <span class="img-wrapper"> <span>인증_워크플로</span> </span></p>
<p>자격 증명이 업데이트되면 Milvus의 시스템 워크플로는 다음과 같습니다.</p>
<ol>
<li>삽입, 조회, 삭제 API가 호출될 때 루트 코드는 자격 증명을 담당합니다.</li>
<li>예를 들어 비밀번호를 잊어버려서 자격 증명을 업데이트하면 새 비밀번호가 etcd에 유지됩니다. 그러면 프록시의 로컬 캐시에 있는 모든 이전 자격 증명이 무효화됩니다.</li>
<li>인증 인터셉터는 로컬 캐시에서 레코드를 먼저 찾습니다. 캐시에 있는 자격 증명이 올바르지 않으면 루트 코드로부터 가장 최근에 업데이트된 레코드를 가져오기 위한 RPC 호출이 트리거됩니다. 그리고 로컬 캐시의 자격 증명이 그에 따라 업데이트됩니다.</li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/update_5af81a4173.jpeg" alt="credential_update_workflow" class="doc-image" id="credential_update_workflow" />
   </span> <span class="img-wrapper"> <span>자격증명_업데이트_워크플로</span> </span></p>
<h4 id="How-to-manage-user-authentication-in-the-Milvus-vector-database" class="common-anchor-header">Milvus 벡터 데이터베이스에서 사용자 인증을 관리하는 방법</h4><p>인증을 활성화하려면 먼저 <code translate="no">milvus.yaml</code> 파일에서 Milvus를 구성할 때 <code translate="no">common.security.authorizationEnabled</code> 을 <code translate="no">true</code> 으로 설정해야 합니다.</p>
<p>인증이 활성화되면 Milvus 인스턴스에 대한 루트 사용자가 생성됩니다. 이 루트 사용자는 <code translate="no">Milvus</code> 의 초기 비밀번호를 사용하여 Milvus 벡터 데이터베이스에 연결할 수 있습니다.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> connections
connections.<span class="hljs-title function_">connect</span>(
    alias=<span class="hljs-string">&#x27;default&#x27;</span>,
    host=<span class="hljs-string">&#x27;localhost&#x27;</span>,
    port=<span class="hljs-string">&#x27;19530&#x27;</span>,
    user=<span class="hljs-string">&#x27;root_user&#x27;</span>,
    password=<span class="hljs-string">&#x27;Milvus&#x27;</span>,
)
<button class="copy-code-btn"></button></code></pre>
<p>Milvus를 처음 시작할 때 루트 사용자의 비밀번호를 변경하는 것이 좋습니다.</p>
<p>그런 다음 루트 사용자는 다음 명령을 실행하여 새 사용자를 생성하여 인증된 액세스를 위해 더 많은 새 사용자를 추가로 만들 수 있습니다.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> utility
utility.<span class="hljs-title function_">create_credential</span>(<span class="hljs-string">&#x27;user&#x27;</span>, <span class="hljs-string">&#x27;password&#x27;</span>, <span class="hljs-keyword">using</span>=<span class="hljs-string">&#x27;default&#x27;</span>) 
<button class="copy-code-btn"></button></code></pre>
<p>새 사용자를 만들 때 기억해야 할 두 가지 사항이 있습니다:</p>
<ol>
<li><p>새 사용자 아이디의 길이는 32자를 초과할 수 없으며 반드시 문자로 시작해야 합니다. 사용자 아이디에는 밑줄, 문자 또는 숫자만 사용할 수 있습니다. 예를 들어 "2abc!"라는 사용자 아이디는 허용되지 않습니다.</p></li>
<li><p>비밀번호의 길이는 6~256자이어야 합니다.</p></li>
</ol>
<p>새 자격 증명이 설정되면 새 사용자는 사용자 아이디와 비밀번호를 사용하여 Milvus 인스턴스에 연결할 수 있습니다.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> connections
connections.<span class="hljs-title function_">connect</span>(
    alias=<span class="hljs-string">&#x27;default&#x27;</span>,
    host=<span class="hljs-string">&#x27;localhost&#x27;</span>,
    port=<span class="hljs-string">&#x27;19530&#x27;</span>,
    user=<span class="hljs-string">&#x27;user&#x27;</span>,
    password=<span class="hljs-string">&#x27;password&#x27;</span>,
)
<button class="copy-code-btn"></button></code></pre>
<p>모든 인증 프로세스와 마찬가지로 비밀번호를 잊어버려도 걱정할 필요가 없습니다. 기존 사용자의 비밀번호는 다음 명령어로 재설정할 수 있습니다.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> utility
utility.<span class="hljs-title function_">reset_password</span>(<span class="hljs-string">&#x27;user&#x27;</span>, <span class="hljs-string">&#x27;new_password&#x27;</span>, <span class="hljs-keyword">using</span>=<span class="hljs-string">&#x27;default&#x27;</span>)
<button class="copy-code-btn"></button></code></pre>
<p>사용자 인증에 대해 자세히 알아보려면 <a href="https://milvus.io/docs/v2.1.x/authenticate.md">Milvus 문서를</a> 참조하세요.</p>
<h3 id="TLS-connection" class="common-anchor-header">TLS 연결</h3><p>TLS(전송 계층 보안)는 컴퓨터 네트워크에서 통신 보안을 제공하기 위한 인증 프로토콜의 일종입니다. TLS는 인증서를 사용하여 둘 이상의 통신 당사자 간에 인증 서비스를 제공합니다.</p>
<h4 id="How-to-enable-TLS-in-the-Milvus-vector-database" class="common-anchor-header">Milvus 벡터 데이터베이스에서 TLS를 사용 설정하는 방법</h4><p>Milvus에서 TLS를 사용하려면 먼저 다음 명령을 실행하여 인증서를 생성하기 위한 두 개의 파일, 즉 <code translate="no">openssl.cnf</code> 이라는 이름의 기본 OpenSSL 구성 파일과 <code translate="no">gen.sh</code> 이라는 이름의 파일을 퍼레이트해야 합니다.</p>
<pre><code translate="no"><span class="hljs-built_in">mkdir</span> cert &amp;&amp; <span class="hljs-built_in">cd</span> cert
<span class="hljs-built_in">touch</span> openssl.cnf gen.sh
<button class="copy-code-btn"></button></code></pre>
<p>그런 다음 <a href="https://milvus.io/docs/v2.1.x/tls.md#Create-files">여기에서</a> 제공하는 구성을 복사하여 두 파일에 붙여넣기만 하면 됩니다. 또는 저희의 구성을 기반으로 귀하의 애플리케이션에 더 적합하도록 수정할 수도 있습니다.</p>
<p>두 파일이 준비되면 <code translate="no">gen.sh</code> 파일을 실행하여 9개의 인증서 파일을 만들 수 있습니다. 마찬가지로 9개의 인증서 파일의 구성을 필요에 맞게 수정할 수도 있습니다.</p>
<pre><code translate="no"><span class="hljs-built_in">chmod</span> +x gen.sh
./gen.sh
<button class="copy-code-btn"></button></code></pre>
<p>TLS를 사용하여 Milvus 서비스에 연결하기 전에 마지막 단계가 하나 있습니다. <code translate="no">tlsEnabled</code> 을 <code translate="no">true</code> 으로 설정하고 <code translate="no">config/milvus.yaml</code> 에서 서버의 파일 경로를 <code translate="no">server.pem</code>, <code translate="no">server.key</code>, <code translate="no">ca.pem</code> 로 구성해야 합니다. 아래 코드는 예시입니다.</p>
<pre><code translate="no">tls:
  serverPemPath: configs/cert/server.pem
  serverKeyPath: configs/cert/server.key
  caPemPath: configs/cert/ca.pem

common:
  security:
    tlsEnabled: <span class="hljs-literal">true</span>
<button class="copy-code-btn"></button></code></pre>
<p>그러면 모든 설정이 완료되며 Milvus 연결 SDK를 사용할 때 클라이언트에 <code translate="no">client.pem</code>, <code translate="no">client.key</code>, <code translate="no">ca.pem</code> 의 파일 경로를 지정하기만 하면 TLS로 Milvus 서비스에 연결할 수 있습니다. 아래 코드도 예시입니다.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> connections

_HOST = <span class="hljs-string">&#x27;127.0.0.1&#x27;</span>
_PORT = <span class="hljs-string">&#x27;19530&#x27;</span>

<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;\nCreate connection...&quot;</span>)
connections.connect(host=_HOST, port=_PORT, secure=<span class="hljs-literal">True</span>, client_pem_path=<span class="hljs-string">&quot;cert/client.pem&quot;</span>,
                        client_key_path=<span class="hljs-string">&quot;cert/client.key&quot;</span>,
                        ca_pem_path=<span class="hljs-string">&quot;cert/ca.pem&quot;</span>, server_name=<span class="hljs-string">&quot;localhost&quot;</span>)
<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;\nList connections:&quot;</span>)
<span class="hljs-built_in">print</span>(connections.list_connections())
<button class="copy-code-btn"></button></code></pre>
<h2 id="Whats-next" class="common-anchor-header">향후 계획<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.1의 공식 출시와 함께 새로운 기능을 소개하는 블로그 시리즈를 준비했습니다. 이 블로그 시리즈에서 자세히 읽어보세요:</p>
<ul>
<li><a href="https://milvus.io/blog/2022-08-08-How-to-use-string-data-to-empower-your-similarity-search-applications.md">문자열 데이터를 사용해 유사도 검색 애플리케이션을 강화하는 방법</a></li>
<li><a href="https://milvus.io/blog/embedded-milvus.md">임베디드 Milvus를 사용하여 Python으로 Milvus 즉시 설치 및 실행하기</a></li>
<li><a href="https://milvus.io/blog/in-memory-replicas.md">인메모리 복제본으로 벡터 데이터베이스 읽기 처리량 늘리기</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md">Milvus 벡터 데이터베이스의 일관성 수준 이해하기</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database-2.md">Milvus 벡터 데이터베이스의 일관성 수준 이해하기(2부)</a></li>
<li><a href="https://milvus.io/blog/data-security.md">Milvus Vector 데이터베이스는 어떻게 데이터 보안을 보장하나요?</a></li>
</ul>


밀버스 벡터 데이터베이스는 어떻게 데이터 보안을 보장하나요?

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1280_X1280_0e0d4bc107.png" alt="Cover_image" class="doc-image" id="cover_image" />
   </span> <span class="img-wrapper"> <span>Cover_image</span> </span></p>
<blockquote>
<p>이 글은 <a href="https://github.com/JackLCL">Chenglong Li가</a> 작성하고 <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni가</a> 번역했습니다.</p>
</blockquote>
<p>Mlivus 벡터 데이터베이스에서 삭제한 데이터가 검색 결과에 계속 나타나는 이유가 궁금하신 적이 있으신가요?</p>
<p>가장 큰 이유는 애플리케이션에 적절한 일관성 수준을 설정하지 않았기 때문일 가능성이 높습니다. 분산형 벡터 데이터베이스의 일관성 수준은 시스템에서 특정 데이터 쓰기를 읽을 수 있는 시점을 결정하기 때문에 매우 중요합니다.</p>
<p>따라서 이 문서에서는 일관성의 개념을 명확히 이해하고 Milvus 벡터 데이터베이스에서 지원하는 일관성 수준을 자세히 살펴봅니다.</p>
<p><strong>이동하기:</strong></p>
<ul>
<li><a href="#What-is-consistency">일관성이란 무엇인가요?</a></li>
<li><a href="#Four-levels-of-consistency-in-the-Milvus-vector-database">Milvus 벡터 데이터베이스의 4가지 일관성 수준</a><ul>
<li><a href="#Strong">강함</a></li>
<li><a href="#Bounded-staleness">경계가 있는 부실함</a></li>
<li><a href="#Session">세션</a></li>
<li><a href="#Eventual">최종</a></li>
</ul></li>
</ul>
<h2 id="What-is-consistency" class="common-anchor-header">일관성이란 무엇인가요?<button data-href="#What-is-consistency" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>시작하기 전에 먼저 "일관성"이라는 단어는 컴퓨팅 업계에서 과부하가 걸린 용어이므로 이 글에서 일관성의 의미를 명확히 할 필요가 있습니다. 분산 데이터베이스에서 일관성이란 특정 시간에 데이터를 쓰거나 읽을 때 모든 노드 또는 복제본이 동일한 데이터 보기를 갖도록 보장하는 속성을 의미합니다. 따라서 여기서는 <a href="https://en.wikipedia.org/wiki/CAP_theorem">CAP 정리</a>에서와 같이 일관성에 대해 이야기하고 있습니다.</p>
<p>현대의 대규모 온라인 비즈니스에 서비스를 제공하기 위해 일반적으로 여러 복제본을 채택합니다. 예를 들어, 온라인 전자상거래 업체인 Amazon은 시스템 충돌이나 장애 발생 시 높은 시스템 가용성을 보장하기 위해 여러 데이터 센터, 지역, 심지어 국가에 걸쳐 주문 또는 SKU 데이터를 복제합니다. 이로 인해 여러 복제본에 걸친 데이터 일관성이라는 시스템 문제가 발생합니다. 일관성이 없으면 Amazon 카트에서 삭제된 품목이 다시 나타나 사용자 경험이 매우 나빠질 가능성이 매우 높습니다.</p>
<p>따라서 애플리케이션마다 서로 다른 데이터 일관성 수준이 필요합니다. 다행히도 AI용 데이터베이스인 Milvus는 일관성 수준의 유연성을 제공하며, 애플리케이션에 가장 적합한 일관성 수준을 설정할 수 있습니다.</p>
<h3 id="Consistency-in-the-Milvus-vector-database" class="common-anchor-header">Milvus 벡터 데이터베이스의 일관성 수준</h3><p>일관성 수준이라는 개념은 Milvus 2.0 출시와 함께 처음 도입되었습니다. Milvus 1.0 버전은 분산형 벡터 데이터베이스가 아니었기 때문에 당시에는 일관성 수준을 조정할 수 없었습니다. Milvus 1.0은 매초마다 데이터를 플러시하므로 새로운 데이터가 삽입되면 거의 즉시 볼 수 있으며, 벡터 유사성 검색이나 쿼리 요청이 들어오는 정확한 시점에 가장 업데이트된 데이터 뷰를 읽습니다.</p>
<p>그러나 Milvus는 2.0 버전에서 리팩터링되었으며, <a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">Milvus 2.0은</a> 퍼브-서브 메커니즘에 기반한 <a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">분산형 벡터 데이터베이스입니다</a>. <a href="https://en.wikipedia.org/wiki/PACELC_theorem">PACELC</a> 정리에 따르면 분산 시스템은 일관성, 가용성, 지연 시간 사이에서 절충점을 찾아야 합니다. 또한 시나리오에 따라 서로 다른 수준의 일관성이 필요합니다. 따라서 <a href="https://milvus.io/blog/2022-1-25-annoucing-general-availability-of-milvus-2-0.md">Milvus 2.0에는</a> 일관성 개념이 도입되어 일관성 수준 조정을 지원합니다.</p>
<h2 id="Four-levels-of-consistency-in-the-Milvus-vector-database" class="common-anchor-header">Milvus 벡터 데이터베이스의 4가지 일관성 수준<button data-href="#Four-levels-of-consistency-in-the-Milvus-vector-database" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus는 네 가지 수준의 일관성을 지원합니다: 강함, 경계가 있는 부실함, 세션, 최종. 그리고 Milvus 사용자는 <a href="https://milvus.io/docs/v2.1.x/create_collection.md">컬렉션을 만들거나</a> <a href="https://milvus.io/docs/v2.1.x/search.md">벡터 유사성 검색</a> 또는 <a href="https://milvus.io/docs/v2.1.x/query.md">쿼리를</a> 수행할 때 일관성 수준을 지정할 수 있습니다. 이 섹션에서는 이 네 가지 일관성 수준이 어떻게 다른지, 그리고 어떤 시나리오에 가장 적합한지 계속 설명합니다.</p>
<h3 id="Strong" class="common-anchor-header">강함</h3><p>강함은 가장 높고 가장 엄격한 일관성 수준입니다. 사용자가 최신 버전의 데이터를 읽을 수 있도록 보장합니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Consistency_Strong_5d791eb8b2.png" alt="Strong" class="doc-image" id="strong" />
   </span> <span class="img-wrapper"> <span>강함</span> </span></p>
<p>PACELC 정리에 따르면 일관성 수준을 강함으로 설정하면 지연 시간이 증가합니다. 따라서 테스트 결과의 정확성을 보장하기 위해 기능 테스트 중에 강한 일관성을 선택하는 것이 좋습니다. 또한 강력한 일관성은 검색 속도를 희생하는 대신 데이터 일관성에 대한 엄격한 요구가 있는 애플리케이션에 가장 적합합니다. 주문 결제 및 청구를 처리하는 온라인 금융 시스템을 예로 들 수 있습니다.</p>
<h3 id="Bounded-staleness" class="common-anchor-header">바운드 스탤런트</h3><p>이름에서 알 수 있듯이 경계부실성은 특정 기간 동안 데이터 불일치를 허용합니다. 그러나 일반적으로 데이터는 해당 기간 외에는 항상 전 세계적으로 일관성을 유지합니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Consistency_Bounded_c034bc6e51.png" alt="Bounded_staleness" class="doc-image" id="bounded_staleness" />
   </span> <span class="img-wrapper"> <span>Bounded_staleness</span> </span></p>
<p>바운드 스탤렌니스는 검색 지연 시간을 제어해야 하고 산발적인 데이터 보이지 않음을 허용할 수 있는 시나리오에 적합합니다. 예를 들어, 동영상 추천 엔진과 같은 추천 시스템에서 가끔씩 발생하는 데이터 숨김은 전체 회상률에 미치는 영향은 매우 작지만 추천 시스템의 성능을 크게 향상시킬 수 있습니다. 온라인 주문 상태를 추적하는 앱을 예로 들 수 있습니다.</p>
<h3 id="Session" class="common-anchor-header">세션</h3><p>세션은 모든 데이터 쓰기가 동일한 세션 동안 읽기에서 즉시 인식될 수 있도록 합니다. 즉, 하나의 클라이언트를 통해 데이터를 쓰면 새로 삽입된 데이터를 즉시 검색할 수 있습니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Consistency_Session_6dc4782212.png" alt="Session" class="doc-image" id="session" />
   </span> <span class="img-wrapper"> <span>세션</span> </span></p>
<p>동일한 세션에서 데이터 일관성에 대한 요구가 높은 시나리오에서는 일관성 수준으로 세션을 선택하는 것이 좋습니다. 예를 들어 라이브러리 시스템에서 도서 항목의 데이터를 삭제하고 삭제를 확인한 후 페이지를 새로고침(다른 세션)하면 해당 도서가 더 이상 검색 결과에 표시되지 않아야 합니다.</p>
<h3 id="Eventual" class="common-anchor-header">최종</h3><p>읽기 및 쓰기 순서는 보장되지 않으며, 더 이상의 쓰기 작업이 수행되지 않으면 복제본은 결국 동일한 상태로 수렴합니다. 최종 일관성에서는 복제본이 최신 업데이트된 값으로 읽기 요청에 대해 작업을 시작합니다. 최종 일관성은 네 가지 수준 중 가장 약한 수준입니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Consistency_Eventual_7c66dd5b6f.png" alt="Eventual" class="doc-image" id="eventual" />
   </span> <span class="img-wrapper"> <span>최종</span> </span></p>
<p>그러나 PACELC 정리에 따르면 일관성을 희생하면 검색 지연 시간을 엄청나게 단축할 수 있습니다. 따라서 최종 일관성은 데이터 일관성에 대한 요구는 높지 않지만 매우 빠른 검색 성능이 필요한 시나리오에 가장 적합합니다. 예를 들어 최종 일관성을 사용하여 Amazon 제품에 대한 리뷰 및 평점을 검색하는 경우를 들 수 있습니다.</p>
<h2 id="Endnote" class="common-anchor-header">Endnote<button data-href="#Endnote" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>이 글의 서두에서 제기한 질문으로 돌아가서, 사용자가 적절한 일관성 수준을 선택하지 않았기 때문에 삭제된 데이터가 여전히 검색 결과로 반환됩니다. 일관성 수준의 기본값은 Milvus 벡터 데이터베이스에서 경계 부실(<code translate="no">Bounded</code>)입니다. 따라서 데이터 읽기가 지연될 수 있으며 유사성 검색 또는 쿼리 중에 사용자가 삭제 작업을 수행하기 전에 Milvus가 데이터 보기를 읽을 수 있습니다. 하지만 이 문제는 간단하게 해결할 수 있습니다. 컬렉션을 만들거나 벡터 유사도 검색 또는 쿼리를 수행할 때 <a href="https://milvus.io/docs/v2.1.x/tune_consistency.md">일관성 수준을 조정하기만</a> 하면 됩니다. 간단하죠!</p>
<p>다음 포스트에서는 Milvus 벡터 데이터베이스가 어떻게 다양한 수준의 일관성을 달성하는지에 대한 메커니즘을 공개하고 설명해 드리겠습니다. 기대해 주세요!</p>
<h2 id="Whats-next" class="common-anchor-header">다음 단계<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.1의 공식 출시와 함께 새로운 기능을 소개하는 블로그 시리즈를 준비했습니다. 이 블로그 시리즈에서 자세히 읽어보세요:</p>
<ul>
<li><a href="https://milvus.io/blog/2022-08-08-How-to-use-string-data-to-empower-your-similarity-search-applications.md">문자열 데이터를 사용해 유사도 검색 애플리케이션을 강화하는 방법</a></li>
<li><a href="https://milvus.io/blog/embedded-milvus.md">임베디드 Milvus를 사용하여 Python으로 Milvus 즉시 설치 및 실행하기</a></li>
<li><a href="https://milvus.io/blog/in-memory-replicas.md">인메모리 복제본으로 벡터 데이터베이스 읽기 처리량 늘리기</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md">Milvus 벡터 데이터베이스의 일관성 수준 이해하기</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database-2.md">Milvus 벡터 데이터베이스의 일관성 수준 이해하기(2부)</a></li>
<li><a href="https://milvus.io/blog/data-security.md">Milvus Vector 데이터베이스는 어떻게 데이터 보안을 보장하나요?</a></li>
</ul>


Milvus 벡터 데이터베이스의 일관성 수준 이해하기

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/in_memory_replica_af1fa21d61.png" alt="Cover_image" class="doc-image" id="cover_image" />
   </span> <span class="img-wrapper"> <span>Cover_image</span> </span></p>
<blockquote>
<p>이 글은 <a href="https://github.com/congqixia">콩치 샤와</a> <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">안젤라 니가</a> 공동 집필했습니다.</p>
</blockquote>
<p>공식 출시와 함께 Milvus 2.1은 편의성과 더 나은 사용자 경험을 제공하기 위해 많은 새로운 기능을 제공합니다. 인메모리 복제본이라는 개념은 분산 데이터베이스의 세계에서 새로운 것은 아니지만, 시스템 성능을 높이고 시스템 가용성을 손쉽게 향상시키는 데 도움이 되는 중요한 기능입니다. 따라서 이 게시물에서는 인메모리 복제본이 무엇이며 왜 중요한지 설명한 다음, AI용 벡터 데이터베이스인 Milvus에서 이 새로운 기능을 활성화하는 방법을 소개합니다.</p>
<p><strong>건너뛰기:</strong></p>
<ul>
<li><p><a href="#Concepts-related-to-in-memory-replica">인메모리 복제본과 관련된 개념</a></p></li>
<li><p><a href="#What-is-in-memory-replica">인메모리 복제란 무엇인가요?</a></p></li>
<li><p><a href="#Why-are-in-memory-replicas-important">인메모리 복제본이 중요한 이유는 무엇인가요?</a></p></li>
<li><p><a href="#Enable-in-memory-replicas-in-the-Milvus-vector-database">Milvus 벡터 데이터베이스에서 인메모리 복제본 활성화하기</a></p></li>
</ul>
<h2 id="Concepts-related-to-in-memory-replica" class="common-anchor-header">인메모리 복제본과 관련된 개념<button data-href="#Concepts-related-to-in-memory-replica" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>인메모리 복제본이 무엇이며 왜 중요한지 알기 전에 먼저 복제본 그룹, 샤드 복제본, 스트리밍 복제본, 히스토리 복제본, 샤드 리더 등 몇 가지 관련 개념을 이해해야 합니다. 아래 이미지는 이러한 개념을 설명하는 그림입니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/diagram_1_525afc706a.jpg" alt="Replica_concepts" class="doc-image" id="replica_concepts" />
   </span> <span class="img-wrapper"> <span>레플리카_개념</span> </span></p>
<h3 id="Replica-group" class="common-anchor-header">레플리카 그룹</h3><p>복제본 그룹은 기록 데이터 및 복제본 처리를 담당하는 여러 <a href="https://milvus.io/docs/v2.1.x/four_layers.md#Query-node">쿼리 노드로</a> 구성됩니다.</p>
<h3 id="Shard-replica" class="common-anchor-header">샤드 복제본</h3><p>샤드 복제본은 스트리밍 복제본과 기록 복제본으로 구성되며, 둘 다 동일한 <a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md#Shard">샤드</a> (즉, DML 채널)에 속합니다. 여러 개의 샤드 복제본이 하나의 복제본 그룹을 구성합니다. 그리고 복제본 그룹의 정확한 샤드 복제본 수는 지정된 컬렉션의 샤드 수에 따라 결정됩니다.</p>
<h3 id="Streaming-replica" class="common-anchor-header">스트리밍 복제본</h3><p>스트리밍 복제본에는 동일한 DML 채널에서 <a href="https://milvus.io/docs/v2.1.x/glossary.md#Segment">성장하는</a> 모든 <a href="https://milvus.io/docs/v2.1.x/glossary.md#Segment">세그먼트가</a> 포함됩니다. 기술적으로 스트리밍 복제본은 하나의 복제본에서 하나의 쿼리 노드만 제공해야 합니다.</p>
<h3 id="Historical-replica" class="common-anchor-header">기록 복제본</h3><p>기록 복제본에는 동일한 DML 채널의 모든 봉인된 세그먼트가 포함됩니다. 하나의 기록 복제본의 봉인된 세그먼트는 동일한 복제본 그룹 내의 여러 쿼리 노드에 분산될 수 있습니다.</p>
<h3 id="Shard-leader" class="common-anchor-header">샤드 리더</h3><p>샤드 리더는 샤드 복제본에서 스트리밍 복제본을 제공하는 쿼리 노드입니다.</p>
<h2 id="What-is-in-memory-replica" class="common-anchor-header">인메모리 복제본이란 무엇인가요?<button data-href="#What-is-in-memory-replica" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>인메모리 복제본을 활성화하면 여러 쿼리 노드에서 컬렉션의 데이터를 로드할 수 있으므로 추가 CPU 및 메모리 리소스를 활용할 수 있습니다. 이 기능은 데이터 세트가 비교적 작지만 읽기 처리량을 늘리고 하드웨어 리소스의 활용도를 높이고자 하는 경우에 매우 유용합니다.</p>
<p>현재 Milvus 벡터 데이터베이스는 각 세그먼트에 대해 하나의 복제본을 메모리에 보관합니다. 그러나 인메모리 복제본을 사용하면 서로 다른 쿼리 노드에 세그먼트의 복제본을 여러 개 가질 수 있습니다. 즉, 한 쿼리 노드가 세그먼트에 대한 검색을 수행하는 경우, 이 쿼리 노드가 정확히 동일한 세그먼트의 복제본을 가지고 있기 때문에 들어오는 새 검색 요청을 다른 유휴 쿼리 노드에 할당할 수 있습니다.</p>
<p>또한 인메모리 복제본이 여러 개 있으면 쿼리 노드가 충돌하는 상황에 더 잘 대처할 수 있습니다. 이전에는 다른 쿼리 노드에서 검색을 계속하기 위해 세그먼트가 다시 로드될 때까지 기다려야 했습니다. 하지만 인메모리 복제를 사용하면 데이터를 다시 로드할 필요 없이 검색 요청을 즉시 새 쿼리 노드로 재전송할 수 있습니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/replication_3_1_2c25513cb9.jpg" alt="Replication" class="doc-image" id="replication" />
   </span> <span class="img-wrapper"> <span>복제</span> </span></p>
<h2 id="Why-are-in-memory-replicas-important" class="common-anchor-header">인메모리 복제본이 중요한 이유는 무엇인가요?<button data-href="#Why-are-in-memory-replicas-important" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>인메모리 복제본을 활성화하면 얻을 수 있는 가장 중요한 이점 중 하나는 전체 QPS(초당 쿼리 수)와 처리량이 증가한다는 것입니다. 또한, 여러 세그먼트 복제본을 유지 관리할 수 있으며 장애 조치 시에도 시스템의 복원력이 향상됩니다.</p>
<h2 id="Enable-in-memory-replicas-in-the-Milvus-vector-database" class="common-anchor-header">Milvus 벡터 데이터베이스에서 인메모리 복제본 활성화<button data-href="#Enable-in-memory-replicas-in-the-Milvus-vector-database" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 벡터 데이터베이스에서 인메모리 복제본의 새로운 기능을 활성화하는 것은 매우 쉽습니다. 컬렉션을 로드할 때 원하는 복제본 수를 지정하기만 하면 됩니다(예: <code translate="no">collection.load()</code> 호출 ).</p>
<p>다음 예제 튜토리얼에서는 이미 "book"이라는 이름의 <a href="https://milvus.io/docs/v2.1.x/create_collection.md">컬렉션을 만들고</a> 여기에 <a href="https://milvus.io/docs/v2.1.x/insert_data.md">데이터를 삽입했다고</a> 가정합니다. 그런 다음 다음 명령을 실행하여 책 컬렉션을 <a href="https://milvus.io/docs/v2.1.x/load_collection.md">로드할</a> 때 두 개의 복제본을 만들 수 있습니다.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> Collection
collection = Collection(<span class="hljs-string">&quot;book&quot;</span>)      <span class="hljs-comment"># Get an existing collection.</span>
collection.load(replica_number=<span class="hljs-number">2</span>) <span class="hljs-comment"># load collection as 2 replicas</span>
<button class="copy-code-btn"></button></code></pre>
<p>위 예제 코드의 복제본 수는 애플리케이션 시나리오에 가장 적합하도록 유연하게 수정할 수 있습니다. 그러면 추가 명령을 실행하지 않고도 여러 복제본에 대해 벡터 유사도 <a href="https://milvus.io/docs/v2.1.x/search.md">검색</a> 또는 <a href="https://milvus.io/docs/v2.1.x/query.md">쿼리를</a> 직접 수행할 수 있습니다. 그러나 허용되는 최대 복제본 수는 쿼리 노드를 실행하는 데 사용할 수 있는 총 메모리 양에 의해 제한된다는 점에 유의해야 합니다. 지정한 복제본 수가 사용 가능한 메모리 제한을 초과하면 데이터 로드 중에 오류가 반환됩니다.</p>
<p><code translate="no">collection.get_replicas()</code> 을 실행하여 생성한 인메모리 복제본의 정보를 확인할 수도 있습니다. 복제본 그룹과 해당 쿼리 노드 및 샤드에 대한 정보가 반환됩니다. 다음은 출력 예시입니다.</p>
<pre><code translate="no">Replica <span class="hljs-built_in">groups</span>:
- Group: &lt;group_id:435309823872729305&gt;, &lt;group_nodes:(21, 20)&gt;, &lt;shards:[Shard: &lt;channel_name:milvus-zong-rootcoord-dml_27_435367661874184193v0&gt;, &lt;shard_leader:21&gt;, &lt;shard_nodes:[21]&gt;, Shard: &lt;channel_name:milvus-zong-rootcoord-dml_28_435367661874184193v1&gt;, &lt;shard_leader:20&gt;, &lt;shard_nodes:[20, 21]&gt;]&gt;
- Group: &lt;group_id:435309823872729304&gt;, &lt;group_nodes:(25,)&gt;, &lt;shards:[Shard: &lt;channel_name:milvus-zong-rootcoord-dml_28_435367661874184193v1&gt;, &lt;shard_leader:25&gt;, &lt;shard_nodes:[25]&gt;, Shard: &lt;channel_name:milvus-zong-rootcoord-dml_27_435367661874184193v0&gt;, &lt;shard_leader:25&gt;, &lt;shard_nodes:[25]&gt;]&gt;
<button class="copy-code-btn"></button></code></pre>
<h2 id="Whats-next" class="common-anchor-header">다음 단계<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.1의 공식 출시와 함께 새로운 기능을 소개하는 블로그 시리즈를 준비했습니다. 이 블로그 시리즈에서 자세히 읽어보세요:</p>
<ul>
<li><a href="https://milvus.io/blog/2022-08-08-How-to-use-string-data-to-empower-your-similarity-search-applications.md">문자열 데이터를 사용해 유사도 검색 애플리케이션을 강화하는 방법</a></li>
<li><a href="https://milvus.io/blog/embedded-milvus.md">임베디드 Milvus를 사용하여 Python으로 Milvus 즉시 설치 및 실행하기</a></li>
<li><a href="https://milvus.io/blog/in-memory-replicas.md">인메모리 복제본으로 벡터 데이터베이스 읽기 처리량 늘리기</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md">Milvus 벡터 데이터베이스의 일관성 수준 이해하기</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database-2.md">Milvus 벡터 데이터베이스의 일관성 수준 이해하기(2부)</a></li>
<li><a href="https://milvus.io/blog/data-security.md">Milvus Vector 데이터베이스는 어떻게 데이터 보안을 보장하나요?</a></li>
</ul>


인메모리 복제본으로 벡터 데이터베이스 읽기 처리량 증대

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Benchmark_Quick_Setup_58cc8eed5b.png" alt="Cover" class="doc-image" id="cover" />
   </span> <span class="img-wrapper"> <span>Cover</span> </span></p>
<p>최근 <a href="https://milvus.io/docs/v2.1.x/benchmark.md">Milvus 2.1의 벤치마크 보고서를</a> 업데이트했습니다. 백만 개의 벡터 데이터 세트를 사용한 테스트에서 <a href="https://milvus.io/docs/v2.1.x/benchmark.md#Terminology">작은</a> 크기의 쿼리를 병합하면 QPS를 크게 향상시킬 수 있다는 것이 입증되었습니다.</p>
<p>다음은 테스트를 쉽게 재현할 수 있는 몇 가지 간단한 스크립트입니다.</p>
<h2 id="Procedures" class="common-anchor-header">절차<button data-href="#Procedures" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ol>
<li><p>Milvus 독립형 또는 클러스터를 배포합니다. 이 경우 Milvus 서버의 IP 주소는 10.100.31.105입니다.</p></li>
<li><p>클라이언트를 배포합니다. 이 경우 배포에 Ubuntu 18.04와 Python 3.8.13을 사용합니다. 다음 코드를 실행하여 PyMilvus 2.1.1을 설치합니다.</p></li>
</ol>
<pre><code translate="no">pip install pymilvus==2.1.1
<button class="copy-code-btn"></button></code></pre>
<ol start="3">
<li><p>다음 파일을 다운로드하여 클라이언트와 동일한 작업 디렉토리에 복사합니다. 이 경우 작업 디렉터리는 <code translate="no">/go_ben</code> 입니다.</p>
<ul>
<li><p><a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/collection_prepare.py"><code translate="no">collection_prepare.py</code></a></p></li>
<li><p><a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/go_benchmark.py"><code translate="no">go_benchmark.py</code></a></p></li>
<li><p><a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/benchmark"><code translate="no">benchmark</code></a> (우분투의 경우) 또는 <a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/benchmark-mac"><code translate="no">benchmark-mac</code></a> (macOS의 경우)</p></li>
</ul>
<p><strong>참고:</strong></p>
<ul>
<li><p><code translate="no">benchmark</code> 과 <code translate="no">benchmark-mac</code> 은 Go SDK 2.1.1을 사용하여 개발 및 컴파일된 실행 파일입니다. 이 파일들은 동시 검색을 수행하는 데만 사용됩니다.</p></li>
<li><p>우분투 사용자의 경우 <code translate="no">benchmark</code>, macOS 사용자의 경우 <code translate="no">benchmark-mac</code> 을 다운로드하세요.</p></li>
<li><p><code translate="no">benchmark</code> 또는 <code translate="no">benchmark-mac</code> 에 액세스하려면 실행 권한이 필요합니다.</p></li>
<li><p>Mac 사용자는 시스템 환경설정에서 보안 및 개인정보 보호를 구성하여 <code translate="no">benchmark-mac</code> 파일을 신뢰해야 합니다.</p></li>
<li><p>동시 검색에 대한 설정은 <code translate="no">go_benchmark.py</code> 소스 코드에서 찾아 수정할 수 있습니다.</p></li>
</ul></li>
</ol>
<ol start="4">
<li>컬렉션을 만들고 벡터 데이터를 삽입합니다.</li>
</ol>
<pre><code translate="no">root@milvus-pytest:/go_ben<span class="hljs-comment"># python collection_prepare.py 10.100.31.105 </span>
<button class="copy-code-btn"></button></code></pre>
<ol start="5">
<li><code translate="no">/tmp/collection_prepare.log</code> 을 열어 실행 결과를 확인합니다.</li>
</ol>
<pre><code translate="no">...
08/11/2022 17:33:34 PM - INFO - Build index costs 263.626
08/11/2022 17:33:54 PM - INFO - Collection prepared completed
<button class="copy-code-btn"></button></code></pre>
<ol start="6">
<li><code translate="no">benchmark</code> (또는 macOS의 경우 <code translate="no">benchmark-mac</code> )를 호출하여 동시 검색을 수행합니다.</li>
</ol>
<pre><code translate="no">root@milvus-pytest:/go_ben<span class="hljs-meta"># python go_benchmark.py 10.100.31.105 ./benchmark</span>
[<span class="hljs-meta">write_json_file</span>] <span class="hljs-function">Remove <span class="hljs-title">file</span>(<span class="hljs-params">search_vector_file.json</span>).
[write_json_file] Write json <span class="hljs-keyword">file</span>:search_vector_file.json done.
Params of go_benchmark: [&#x27;./benchmark&#x27;, &#x27;locust&#x27;, &#x27;-u&#x27;, &#x27;10.100.31.105:19530&#x27;, &#x27;-q&#x27;, &#x27;search_vector_file.json&#x27;, &#x27;-s&#x27;, &#x27;</span>{\n  <span class="hljs-string">&quot;collection_name&quot;</span>: <span class="hljs-string">&quot;random_1m&quot;</span>,\n  <span class="hljs-string">&quot;partition_names&quot;</span>: [],\n  <span class="hljs-string">&quot;fieldName&quot;</span>: <span class="hljs-string">&quot;embedding&quot;</span>,\n  <span class="hljs-string">&quot;index_type&quot;</span>: <span class="hljs-string">&quot;HNSW&quot;</span>,\n  <span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&quot;L2&quot;</span>,\n  <span class="hljs-string">&quot;params&quot;</span>: {\n    <span class="hljs-string">&quot;sp_value&quot;</span>: <span class="hljs-number">64</span>,\n    <span class="hljs-string">&quot;dim&quot;</span>: <span class="hljs-number">128</span>\n  },\n  <span class="hljs-string">&quot;limit&quot;</span>: <span class="hljs-number">1</span>,\n  <span class="hljs-string">&quot;expr&quot;</span>: <span class="hljs-literal">null</span>,\n  <span class="hljs-string">&quot;output_fields&quot;</span>: [],\n  <span class="hljs-string">&quot;timeout&quot;</span>: <span class="hljs-number">600</span>\n}<span class="hljs-string">&#x27;, &#x27;</span>-p<span class="hljs-string">&#x27;, &#x27;</span><span class="hljs-number">10&#x27;</span>, <span class="hljs-string">&#x27;-f&#x27;</span>, <span class="hljs-string">&#x27;json&#x27;</span>, <span class="hljs-string">&#x27;-t&#x27;</span>, <span class="hljs-string">&#x27;60&#x27;</span>, <span class="hljs-string">&#x27;-i&#x27;</span>, <span class="hljs-string">&#x27;20&#x27;</span>, <span class="hljs-string">&#x27;-l&#x27;</span>, <span class="hljs-string">&#x27;go_log_file.log&#x27;</span>]
[<span class="hljs-meta">2022-08-11 11:37:39.811</span>][    INFO] - Name      <span class="hljs-meta">#   reqs      # fails  |       Avg       Min       Max    Median  |     req/s  failures/s (benchmark_run.go:212:sample)</span>
[<span class="hljs-meta">2022-08-11 11:37:39.811</span>][    INFO] - go search     <span class="hljs-number">9665</span>     <span class="hljs-number">0</span>(<span class="hljs-number">0.00</span>%)  |    <span class="hljs-number">20.679</span>     <span class="hljs-number">6.499</span>    <span class="hljs-number">81.761</span>    <span class="hljs-number">12.810</span>  |    <span class="hljs-number">483.25</span>        <span class="hljs-number">0.00</span> (benchmark_run.go:<span class="hljs-number">213</span>:sample)
[<span class="hljs-meta">2022-08-11 11:37:59.811</span>][    INFO] - Name      <span class="hljs-meta">#   reqs      # fails  |       Avg       Min       Max    Median  |     req/s  failures/s (benchmark_run.go:212:sample)</span>
[<span class="hljs-meta">2022-08-11 11:37:59.811</span>][    INFO] - go search    <span class="hljs-number">19448</span>     <span class="hljs-number">0</span>(<span class="hljs-number">0.00</span>%)  |    <span class="hljs-number">20.443</span>     <span class="hljs-number">6.549</span>    <span class="hljs-number">78.121</span>    <span class="hljs-number">13.401</span>  |    <span class="hljs-number">489.22</span>        <span class="hljs-number">0.00</span> (benchmark_run.go:<span class="hljs-number">213</span>:sample)
[<span class="hljs-meta">2022-08-11 11:38:19.811</span>][    INFO] - Name      <span class="hljs-meta">#   reqs      # fails  |       Avg       Min       Max    Median  |     req/s  failures/s (benchmark_run.go:212:sample)</span>
[<span class="hljs-meta">2022-08-11 11:38:19.811</span>][    INFO] - go search    <span class="hljs-number">29170</span>     <span class="hljs-number">0</span>(<span class="hljs-number">0.00</span>%)  |    <span class="hljs-number">20.568</span>     <span class="hljs-number">6.398</span>    <span class="hljs-number">76.887</span>    <span class="hljs-number">12.828</span>  |    <span class="hljs-number">486.15</span>        <span class="hljs-number">0.00</span> (benchmark_run.go:<span class="hljs-number">213</span>:sample)
[<span class="hljs-meta">2022-08-11 11:38:19.811</span>][   DEBUG] - go search run finished, parallel: <span class="hljs-number">10</span>(benchmark_run.go:<span class="hljs-number">95</span>:benchmark)
[<span class="hljs-meta">2022-08-11 11:38:19.811</span>][    INFO] - Name      <span class="hljs-meta">#   reqs      # fails  |       Avg       Min       Max    Median  |     req/s  failures/s (benchmark_run.go:159:samplingLoop)</span>
[<span class="hljs-meta">2022-08-11 11:38:19.811</span>][    INFO] - go search    <span class="hljs-number">29180</span>     <span class="hljs-number">0</span>(<span class="hljs-number">0.00</span>%)  |    <span class="hljs-number">20.560</span>     <span class="hljs-number">6.398</span>    <span class="hljs-number">81.761</span>    <span class="hljs-number">13.014</span>  |    <span class="hljs-number">486.25</span>        <span class="hljs-number">0.00</span> (benchmark_run.go:<span class="hljs-number">160</span>:samplingLoop)
Result of go_benchmark: {<span class="hljs-string">&#x27;response&#x27;</span>: True, <span class="hljs-string">&#x27;err_code&#x27;</span>: <span class="hljs-number">0</span>, <span class="hljs-string">&#x27;err_message&#x27;</span>: <span class="hljs-string">&#x27;&#x27;</span>} 
<button class="copy-code-btn"></button></code></pre>
<ol start="7">
<li>현재 디렉토리 아래 <code translate="no">go_log_file.log</code> 파일을 열어 자세한 검색 로그를 확인합니다. 검색 로그에서 확인할 수 있는 검색 정보는 다음과 같습니다.<ul>
<li><p>reqs: 동시 검색이 발생한 시점부터 현재 시점까지(현재 시간 범위) 검색 요청 수</p></li>
<li><p>fails: 현재 시간 범위에서 요청의 백분율로 표시된 실패한 요청 수입니다.</p></li>
<li><p>평균: 현재 시간 범위의 평균 요청 응답 시간(단위: 밀리초)</p></li>
<li><p>최소: 현재 시간 범위의 최소 요청 응답 시간(단위: 밀리초)</p></li>
<li><p>최대: 현재 시간 범위의 최대 요청 응답 시간(단위: 밀리초)</p></li>
<li><p>중앙값: 현재 시간 범위의 요청 응답 시간 중앙값(단위: 밀리초)</p></li>
<li><p>req/s: 초당 요청 수(예: QPS)</p></li>
<li><p>failures/s: 현재 시간 범위에서 초당 평균 실패한 요청 수입니다.</p></li>
</ul></li>
</ol>
<h2 id="Downloading-Scripts-and-Executable-Files" class="common-anchor-header">스크립트 및 실행 파일 다운로드<button data-href="#Downloading-Scripts-and-Executable-Files" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p><a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/collection_prepare.py">collection_prepare.py</a></p></li>
<li><p><a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/go_benchmark.py">go_benchmark.py</a></p></li>
<li><p>우분투용<a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/benchmark">벤치마크</a> </p></li>
<li><p>macOS용<a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/benchmark-mac">벤치마크-mac</a> </p></li>
</ul>
<h2 id="Whats-next" class="common-anchor-header">다음 단계<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.1의 공식 출시와 함께 새로운 기능을 소개하는 블로그 시리즈를 준비했습니다. 이 블로그 시리즈에서 자세히 읽어보세요:</p>
<ul>
<li><a href="https://milvus.io/blog/2022-08-08-How-to-use-string-data-to-empower-your-similarity-search-applications.md">문자열 데이터를 사용해 유사도 검색 애플리케이션을 강화하는 방법</a></li>
<li><a href="https://milvus.io/blog/embedded-milvus.md">임베디드 Milvus를 사용하여 Python으로 Milvus 즉시 설치 및 실행하기</a></li>
<li><a href="https://milvus.io/blog/in-memory-replicas.md">인메모리 복제본으로 벡터 데이터베이스 읽기 처리량 늘리기</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md">Milvus 벡터 데이터베이스의 일관성 수준 이해하기</a></li>
<li><a href="https://milvus.io/blog/data-security.md">Milvus 벡터 데이터베이스는 어떻게 데이터 보안을 보장하나요?</a></li>
</ul>


Milvus 2.1 벤치마킹을 위한 빠른 가이드

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/embeddded_milvus_1_8132468cac.png" alt="Cover" class="doc-image" id="cover" />
   </span> <span class="img-wrapper"> <span>표지</span> </span></p>
<blockquote>
<p>이 글은 <a href="https://github.com/soothing-rain/">알렉스 가오와</a> <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">안젤라 니가</a> 공동 집필했습니다.</p>
</blockquote>
<p>Milvus는 AI 애플리케이션을 위한 오픈 소스 벡터 데이터베이스입니다. 소스 코드에서 빌드하는 방법, Docker Compose/Helm/APT/YUM/Ansible로 Milvus를 설치하는 방법 등 다양한 설치 방법을 제공합니다. 사용자는 운영 체제와 환경 설정에 따라 설치 방법 중 하나를 선택할 수 있습니다. 그러나 Milvus 커뮤니티의 많은 데이터 과학자와 AI 엔지니어들은 Python으로 작업하며 현재 사용 가능한 설치 방법보다 훨씬 간단한 설치 방법을 갈망하고 있습니다.</p>
<p>따라서 Milvus 2.1과 함께 Python 사용자 친화적인 버전인 임베디드 Milvus를 출시하여 커뮤니티의 더 많은 Python 개발자에게 힘을 실어드리고자 합니다. 이 문서에서는 임베디드 Milvus가 무엇인지 소개하고 설치 및 사용 방법에 대한 지침을 제공합니다.</p>
<p><strong>건너뛰기:</strong></p>
<ul>
<li><a href="#An-overview-of-embedded-Milvus">임베디드 Milvus 개요</a><ul>
<li><a href="#When-to-use-embedded-Milvus">임베디드 Milvus는 언제 사용하나요?</a></li>
<li><a href="#A-comparison-of-different-modes-of-Milvus">Milvus의 다양한 모드 비교</a></li>
</ul></li>
<li><a href="#How-to-install-embedded-Milvus">임베디드 Milvus 설치 방법</a></li>
<li><a href="#Start-and-stop-embedded-Milvus">임베디드 Milvus 시작 및 중지</a></li>
</ul>
<h2 id="An-overview-of-embedded-Milvus" class="common-anchor-header">임베디드 Milvus 개요<button data-href="#An-overview-of-embedded-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><a href="https://github.com/milvus-io/embd-milvus">임베디드 Mil</a> vus를 사용하면 Python으로 Milvus를 빠르게 설치하고 사용할 수 있습니다. Milvus 인스턴스를 빠르게 불러올 수 있으며, 원할 때마다 Milvus 서비스를 시작 및 중지할 수 있습니다. 임베디드 Milvus를 중지하더라도 모든 데이터와 로그는 유지됩니다.</p>
<p>임베디드 Milvus 자체에는 내부 종속성이 없으며 etcd, MinIO, Pulsar 등과 같은 타사 종속성을 사전 설치 및 실행할 필요가 없습니다.</p>
<p>임베디드 Milvus로 수행하는 모든 작업과 이를 위해 작성하는 모든 코드는 독립형, 클러스터, 클라우드 버전 등 다른 Milvus 모드로 안전하게 마이그레이션할 수 있습니다. 이는 임베디드 Milvus의 가장 큰 특징 중 하나인 <strong>"한 번 작성하면 어디서나 실행"을</strong> 반영합니다.</p>
<h3 id="When-to-use-embedded-Milvus" class="common-anchor-header">임베디드 Milvus는 언제 사용하나요?</h3><p>임베디드 Milvus와 <a href="https://milvus.io/docs/v2.1.x/install-pymilvus.md">PyMilvus는</a> 서로 다른 목적을 위해 만들어졌습니다. 다음 시나리오에서는 임베디드 Milvus를 선택하는 것을 고려할 수 있습니다:</p>
<ul>
<li><p><a href="https://milvus.io/docs/v2.1.x/install_standalone-docker.md">여기에</a> 제공된 방법으로 Milvus를 설치하지 않고 Milvus를 사용하려는 경우.</p></li>
<li><p>머신에서 장기간 실행되는 Milvus 프로세스를 유지하지 않고 Milvus를 사용하려는 경우.</p></li>
<li><p>별도의 Milvus 프로세스 및 etcd, MinIO, Pulsar 등과 같은 기타 필수 구성 요소를 시작하지 않고 Milvus를 빠르게 사용하고자 하는 경우.</p></li>
</ul>
<p>임베디드 Milvus를 사용하지 <strong>않는</strong> 것이 좋습니다:</p>
<ul>
<li><p>프로덕션 환경에서.<em>(프로덕션 환경에서 Milvus를 사용하려면 Milvus 클러스터 또는 완전 관리형 Milvus 서비스인 <a href="https://zilliz.com/cloud">Zilliz 클라우드를</a> 고려하세요</em>.)</p></li>
<li><p>성능에 대한 요구가 높은 경우.<em>(상대적으로 임베디드 Milvus는 최상의 성능을 제공하지 못할 수</em> 있습니다.)</p></li>
</ul>
<h3 id="A-comparison-of-different-modes-of-Milvus" class="common-anchor-header">Milvus의 다양한 모드 비교</h3><p>아래 표는 독립형, 클러스터, 임베디드 Milvus, 그리고 완전 관리형 Milvus 서비스인 Zilliz Cloud의 여러 Milvus 모드를 비교한 것입니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/comparison_ebcd7c5b07.jpeg" alt="comparison" class="doc-image" id="comparison" />
   </span> <span class="img-wrapper"> <span>비교</span> </span></p>
<h2 id="How-to-install-embedded-Milvus" class="common-anchor-header">임베디드 Milvus는 어떻게 설치하나요?<button data-href="#How-to-install-embedded-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>임베디드 Milvus를 설치하기 전에 먼저 Python 3.6 이상을 설치했는지 확인해야 합니다. 임베디드 Milvus는 다음 운영 체제를 지원합니다:</p>
<ul>
<li><p>Ubuntu 18.04</p></li>
<li><p>Mac x86_64 &gt;= 10.4</p></li>
<li><p>Mac M1 &gt;= 11.0</p></li>
</ul>
<p>요구 사항을 충족하는 경우 <code translate="no">$ python3 -m pip install milvus</code> 을 실행하여 임베디드 Milvus를 설치할 수 있습니다. 명령에 버전을 추가하여 특정 버전의 임베디드 Milvus를 설치할 수도 있습니다. 예를 들어 2.1.0 버전을 설치하려면 <code translate="no">$ python3 -m pip install milvus==2.1.0</code> 을 실행합니다. 나중에 임베디드 Milvus의 새 버전이 출시되면 <code translate="no">$ python3 -m pip install --upgrade milvus</code> 을 실행하여 임베디드 Milvus를 최신 버전으로 업그레이드할 수도 있습니다.</p>
<p>이전에 이미 파이밀버스를 설치한 적이 있는 기존 Milvus 사용자로서 임베디드 Milvus를 설치하고자 하는 경우 <code translate="no">$ python3 -m pip install --no-deps milvus</code> 을 실행할 수 있습니다.</p>
<p>설치 명령을 실행한 후 다음 명령을 실행하여 <code translate="no">/var/bin/e-milvus</code> 아래에 임베디드 Milvus용 데이터 폴더를 만들어야 합니다:</p>
<pre><code translate="no"><span class="hljs-built_in">sudo</span> <span class="hljs-built_in">mkdir</span> -p /var/bin/e-milvus
<span class="hljs-built_in">sudo</span> <span class="hljs-built_in">chmod</span> -R 777 /var/bin/e-milvus
<button class="copy-code-btn"></button></code></pre>
<h2 id="Start-and-stop-embedded-Milvus" class="common-anchor-header">임베디드 Milvus 시작 및 중지<button data-href="#Start-and-stop-embedded-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>설치가 완료되면 서비스를 시작할 수 있습니다.</p>
<p>임베디드 Milvus를 처음 실행하는 경우 먼저 Milvus를 가져와서 임베디드 Milvus를 설정해야 합니다.</p>
<pre><code translate="no">$ python3
Python 3.9.10 (main, Jan 15 2022, 11:40:53)
[Clang 13.0.0 (clang-1300.0.29.3)] on darwin
Type <span class="hljs-string">&quot;help&quot;</span>, <span class="hljs-string">&quot;copyright&quot;</span>, <span class="hljs-string">&quot;credits&quot;</span> or <span class="hljs-string">&quot;license&quot;</span> <span class="hljs-keyword">for</span> more information.
&gt;&gt;&gt; import milvus
&gt;&gt;&gt; milvus.before()
please <span class="hljs-keyword">do</span> the following <span class="hljs-keyword">if</span> you have not already <span class="hljs-keyword">done</span> so:
1. install required dependencies: bash /var/bin/e-milvus/lib/install_deps.sh
2. <span class="hljs-built_in">export</span> LD_PRELOAD=/SOME_PATH/embd-milvus.so
3. <span class="hljs-built_in">export</span> LD_LIBRARY_PATH=<span class="hljs-variable">$LD_LIBRARY_PATH</span>:/usr/lib:/usr/local/lib:/var/bin/e-milvus/lib/
&gt;&gt;&gt;
<button class="copy-code-btn"></button></code></pre>
<p>이전에 임베디드 Milvus를 성공적으로 실행한 후 다시 시작하려면 Milvus를 가져온 후 <code translate="no">milvus.start()</code> 를 바로 실행하면 됩니다.</p>
<pre><code translate="no">$ python3
Python <span class="hljs-number">3.9</span><span class="hljs-number">.10</span> (main, Jan <span class="hljs-number">15</span> <span class="hljs-number">2022</span>, <span class="hljs-number">11</span>:<span class="hljs-number">40</span>:<span class="hljs-number">53</span>)
[Clang <span class="hljs-number">13.0</span><span class="hljs-number">.0</span> (clang-<span class="hljs-number">1300.0</span><span class="hljs-number">.29</span><span class="hljs-number">.3</span>)] on darwinType <span class="hljs-string">&quot;help&quot;</span>, <span class="hljs-string">&quot;copyright&quot;</span>, <span class="hljs-string">&quot;credits&quot;</span> <span class="hljs-keyword">or</span> <span class="hljs-string">&quot;license&quot;</span> <span class="hljs-keyword">for</span> more information.
<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">import</span> milvus
<span class="hljs-meta">&gt;&gt;&gt; </span>milvus.start()
&gt;&gt;&gt;
<button class="copy-code-btn"></button></code></pre>
<p>임베디드 Milvus 서비스가 성공적으로 시작되었다면 다음과 같은 출력을 확인할 수 있습니다.</p>
<pre><code translate="no">---<span class="hljs-title class_">Milvus</span> <span class="hljs-title class_">Proxy</span> successfully initialized and ready to serve!---
<button class="copy-code-btn"></button></code></pre>
<p>서비스가 시작되면 다른 터미널 창을 열고 &quot;<a href="https://github.com/milvus-io/embd-milvus/blob/main/milvus/examples/hello_milvus.py">Hello Milvus</a>&quot;의 예제 코드를 실행하여 임베드된 Milvus를 사용해 볼 수 있습니다!</p>
<pre><code translate="no"><span class="hljs-comment"># Download hello_milvus script</span>
$ wget https://raw.githubusercontent.com/milvus-io/pymilvus/v2.1.0/examples/hello_milvus.py
<span class="hljs-comment"># Run Hello Milvus </span>
$ python3 hello_milvus.py
<button class="copy-code-btn"></button></code></pre>
<p>임베디드 밀버스 사용이 끝나면 다음 명령을 실행하거나 Ctrl-D를 눌러 서비스를 정상적으로 종료하고 환경 변수를 정리하는 것이 좋습니다.</p>
<pre><code translate="no">&gt;&gt;&gt; milvus.stop()
<span class="hljs-keyword">if</span> you need to clean up the environment variables, run:
<span class="hljs-built_in">export</span> LD_PRELOAD=
<span class="hljs-built_in">export</span> LD_LIBRARY_PATH=
&gt;&gt;&gt;
&gt;&gt;&gt; <span class="hljs-built_in">exit</span>()
<button class="copy-code-btn"></button></code></pre>
<h2 id="Whats-next" class="common-anchor-header">다음 단계<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.1의 공식 출시와 함께 새로운 기능을 소개하는 블로그 시리즈를 준비했습니다. 이 블로그 시리즈에서 자세히 읽어보세요:</p>
<ul>
<li><a href="https://milvus.io/blog/2022-08-08-How-to-use-string-data-to-empower-your-similarity-search-applications.md">문자열 데이터를 사용해 유사도 검색 애플리케이션을 강화하는 방법</a></li>
<li><a href="https://milvus.io/blog/embedded-milvus.md">임베디드 Milvus를 사용하여 Python으로 Milvus 즉시 설치 및 실행하기</a></li>
<li><a href="https://milvus.io/blog/in-memory-replicas.md">인메모리 복제본으로 벡터 데이터베이스 읽기 처리량 늘리기</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md">Milvus 벡터 데이터베이스의 일관성 수준 이해하기</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database-2.md">Milvus 벡터 데이터베이스의 일관성 수준 이해하기(2부)</a></li>
<li><a href="https://milvus.io/blog/data-security.md">Milvus Vector 데이터베이스는 어떻게 데이터 보안을 보장하나요?</a></li>
</ul>


임베디드 Milvus를 사용하여 Python으로 Milvus를 즉시 설치 및 실행하기

문자열 데이터를 사용하여 유사도 검색 애플리케이션을 강화하는 방법

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/What_s_New_in_2_1_2_a0660df2a5.png" alt="What's new in Milvus 2.1 - Towards simplicity and speed" class="doc-image" id="what's-new-in-milvus-2.1---towards-simplicity-and-speed" />
   </span> <span class="img-wrapper"> <span>Milvus 2.1의 새로운 기능 - 단순함과 속도를 지향하다</span> </span></p>
<p>Milvus 커뮤니티 기여자들의 6개월간의 노력 끝에 Milvus 2.1이<a href="https://milvus.io/docs/v2.1.x/release_notes.md">출시되었음을</a> 알려드리게 되어 매우 기쁩니다. 인기 있는 벡터 데이터베이스의 이번 주요 버전에서는 가장 중요한 두 가지 키워드인 <strong>성능과</strong> <strong>사용성을</strong> 강조했습니다. 문자열, Kafka 메시지 큐, 임베디드 Milvus에 대한 지원이 추가되었으며, 성능, 확장성, 보안, 통합 가시성 등 여러 가지가 개선되었습니다. Milvus 2.1은 알고리즘 엔지니어의 노트북에서 프로덕션 수준의 벡터 유사도 검색 서비스까지 '라스트 마일'을 연결해줄 흥미로운 업데이트입니다.</p>
<custom-h1>성능 - 3.2배 이상 향상된 성능</custom-h1><h2 id="5ms-level-latency" class="common-anchor-header">5ms 수준의 지연 시간<button data-href="#5ms-level-latency" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus는 이미 기존의 KNN 방식에서 크게 발전한 근사 근사 이웃(ANN) 검색을 지원합니다. 하지만 처리량과 지연 시간 문제는 수십억 개 규모의 벡터 데이터 검색 시나리오를 처리해야 하는 사용자들에게 계속 문제가 되고 있습니다.</p>
<p>Milvus 2.1에서는 더 이상 검색 링크의 메시지 큐에 의존하지 않는 새로운 라우팅 프로토콜이 도입되어 소규모 데이터 세트의 검색 대기 시간을 크게 줄였습니다. 테스트 결과에 따르면 Milvus는 이제 유사도 검색 및 추천과 같은 중요한 온라인 링크의 요구 사항을 충족하는 5ms까지 지연 시간을 낮췄습니다.</p>
<h2 id="Concurrency-control" class="common-anchor-header">동시성 제어<button data-href="#Concurrency-control" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.1은 새로운 비용 평가 모델과 동시성 스케줄러를 도입하여 동시성 모델을 미세 조정합니다. 이제 동시성 제어 기능을 제공하여 많은 수의 동시 요청이 CPU 및 캐시 리소스를 놓고 경쟁하거나 요청이 충분하지 않아 CPU가 제대로 활용되지 않는 일이 없도록 합니다. 또한 Milvus 2.1의 새로운 지능형 스케줄러 계층은 요청 매개변수가 일관된 소규모 쿼리를 병합하여 소규모 쿼리와 높은 쿼리 동시성이 있는 시나리오에서 놀라운 3.2배의 성능 향상을 제공합니다.</p>
<h2 id="In-memory-replicas" class="common-anchor-header">인메모리 복제본<button data-href="#In-memory-replicas" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.1은 소규모 데이터 세트의 확장성과 가용성을 개선하는 인메모리 복제본을 제공합니다. 기존 데이터베이스의 읽기 전용 복제본과 마찬가지로, 인메모리 복제본은 읽기 QPS가 높을 때 머신을 추가하여 수평적으로 확장할 수 있습니다. 소규모 데이터 세트에 대한 벡터 검색에서 추천 시스템은 종종 단일 머신의 성능 한계를 초과하는 QPS를 제공해야 합니다. 이제 이러한 시나리오에서는 메모리에 여러 복제본을 로드하여 시스템의 처리량을 크게 향상시킬 수 있습니다. 향후에는 인메모리 복제본에 기반한 헤지된 읽기 메커니즘도 도입하여 시스템 장애 복구가 필요한 경우 다른 기능의 복제본을 신속하게 요청하고 메모리 중복성을 최대한 활용하여 시스템의 전반적인 가용성을 개선할 예정입니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/What_s_New_in_Milvus_2_1_Figure_1_excalidraw_1f7fe3c998.png" alt="In-memory replicas allow query services to be based on separate
copies of the same data." class="doc-image" id="in-memory-replicas-allow-query-services-to-be-based-on-separate-copies-of-the-same-data." />
   </span> <span class="img-wrapper"> <span>인메모리 복제본을 사용하면 동일한 데이터의 별도 복사본을 기반으로 쿼리 서비스를 제공할 수 있습니다</span>. </span></p>
<h2 id="Faster-data-loading" class="common-anchor-header">더 빠른 데이터 로딩<button data-href="#Faster-data-loading" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>마지막 성능 향상은 데이터 로딩에서 비롯됩니다. Milvus 2.1은 이제 Zstandard(zstd)로 <a href="https://milvus.io/docs/v2.1.x/glossary.md#Log-snapshot">바이너리 로그를</a> 압축하여 객체 및 메시지 저장소의 데이터 크기와 데이터 로딩 중 네트워크 오버헤드를 크게 줄여줍니다. 또한 고루틴 풀이 도입되어 Milvus가 메모리 풋프린트를 제어하면서 동시에 세그먼트를 로드하고 장애 복구 및 데이터 로드에 필요한 시간을 최소화할 수 있습니다.</p>
<p>Milvus 2.1의 전체 벤치마크 결과는 곧 웹사이트를 통해 공개될 예정입니다. 계속 지켜봐 주세요.</p>
<h2 id="String-and-scalar-index-support" class="common-anchor-header">문자열 및 스칼라 인덱스 지원<button data-href="#String-and-scalar-index-support" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>2.1 버전에서 Milvus는 이제 스칼라 데이터 유형으로 가변 길이 문자열(VARCHAR)을 지원합니다. VARCHAR는 출력으로 반환할 수 있는 기본 키로 사용할 수 있으며, 속성 필터로도 작동할 수 있습니다. <a href="https://milvus.io/docs/v2.1.x/hybridsearch.md">속성 필터링은</a> Milvus 사용자에게 가장 많이 사용되는 기능 중 하나입니다. &quot; <span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mo>200-200</mo></mrow><annotation encoding="application/x-tex">-</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.7278em;vertical-align:-0.0833em;"></span><span class="mord">200-300</span></span></span></span>가격대의 사용자와 가장 유사한 제품 찾기&quot; 또는 &quot;키워드가 '벡터 데이터베이스'이고 클라우드 네이티브 주제와 관련된 문서 찾기&quot;를 자주 원하신다면 Milvus 2.1이 마음에 드실 것입니다.</p>
<p>Milvus 2.1은 또한<a href="https://www.cs.le.ac.uk/people/ond1/XMLcomp/confersWEA06_LOUDS.pdf">간결한</a><a href="https://github.com/s-yata/marisa-trie">MARISA-Tries</a> 데이터 구조를 기반으로 필터링 속도를 개선하기 위해 스칼라 반전 인덱스를 지원합니다. 이제 모든 데이터를 매우 적은 공간으로 메모리에 로드할 수 있어 문자열의 비교, 필터링, 접두사 매칭을 훨씬 더 빠르게 수행할 수 있습니다. 테스트 결과, 모든 데이터를 메모리에 로드하고 쿼리 기능을 제공하는 데 필요한 MARISA-trie의 메모리 요구량은 Python 사전의 10%에 불과한 것으로 나타났습니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/What_s_new_in_Milvus_Figure_2_excalidraw_a1149aca96.png" alt="Milvus 2.1 combines MARISA-Trie with inverted index to significantly improve filtering speed." class="doc-image" id="milvus-2.1-combines-marisa-trie-with-inverted-index-to-significantly-improve-filtering-speed." />
   </span> <span class="img-wrapper"> <span>Milvus 2.1은 MARISA-Trie와 역 인덱스를 결합하여 필터링 속도를 크게 향상시켰습니다.</span> </span></p>
<p>앞으로도 Milvus는 스칼라 데이터의 저장 및 사용 비용을 줄이기 위한 지속적인 노력의 일환으로 스칼라 쿼리 관련 개발에 집중하고, 더 많은 스칼라 인덱스 유형과 쿼리 연산자를 지원하고, 디스크 기반 스칼라 쿼리 기능을 제공할 것입니다.</p>
<custom-h1>사용성 개선</custom-h1><h2 id="Kafka-support" class="common-anchor-header">Kafka 지원<button data-href="#Kafka-support" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>커뮤니티에서는 오랫동안 Milvus의 <a href="https://milvus.io/docs/v2.1.x/deploy_pulsar.md">메시지 저장소로</a> <a href="https://kafka.apache.org">Apache Kafka에</a> 대한 지원을 요청해 왔습니다. 이제 Milvus 2.1에서는 Milvus의 추상화 및 캡슐화 설계와 Confluent에서 기여한 Go Kafka SDK 덕분에 사용자 구성에 따라<a href="https://pulsar.apache.org">Pulsar</a> 또는 Kafka를 메시지 저장소로 사용할 수 있는 옵션을 제공할 수 있게 되었습니다.</p>
<h2 id="Production-ready-Java-SDK" class="common-anchor-header">프로덕션에 바로 사용할 수 있는 Java SDK<button data-href="#Production-ready-Java-SDK" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.1과 함께 이제 <a href="https://github.com/milvus-io/milvus-sdk-java">Java SDK가</a> 공식 출시되었습니다. Java SDK는 Python SDK와 완전히 동일한 기능을 제공하며 동시성 성능은 더욱 향상되었습니다. 다음 단계에서는 커뮤니티 기여자들이 Java SDK에 대한 문서와 사용 사례를 점진적으로 개선하고 Go 및 RESTful SDK도 프로덕션 준비 단계로 나아갈 수 있도록 지원할 예정입니다.</p>
<h2 id="Observability-and-maintainability" class="common-anchor-header">관찰 가능성 및 유지 관리 가능성<button data-href="#Observability-and-maintainability" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.1에는 벡터 삽입 횟수, 검색 지연 시간/처리량, 노드 메모리 오버헤드, CPU 오버헤드와 같은 중요한 모니터링<a href="https://milvus.io/docs/v2.1.x/metrics_dashboard.md">메트릭이</a> 추가되었습니다. 또한 새 버전은 로그 수준을 조정하고 쓸모없는 로그 인쇄를 줄임으로써 로그 보관도 크게 최적화합니다.</p>
<h2 id="Embedded-Milvus" class="common-anchor-header">임베디드 Milvus<button data-href="#Embedded-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus는 대규모 대규모 벡터 데이터 검색 서비스의 배포를 크게 간소화했지만, 소규모로 알고리즘을 검증하려는 과학자들에게는 Docker나 K8이 여전히 불필요하게 복잡합니다. <a href="https://github.com/milvus-io/embd-milvus">임베디드 Milvus의</a> 도입으로 이제 Pyrocksb 및 Pysqlite와 마찬가지로 pip를 사용하여 Milvus를 설치할 수 있습니다. 임베디드 Milvus는 클러스터 버전과 독립 실행형 버전의 모든 기능을 지원하므로 코드 한 줄도 변경하지 않고도 노트북에서 분산 프로덕션 환경으로 쉽게 전환할 수 있습니다. 알고리즘 엔지니어는 Milvus로 프로토타입을 구축할 때 훨씬 더 나은 경험을 할 수 있습니다.</p>
<custom-h1>지금 바로 벡터 검색을 사용해 보세요</custom-h1><p>또한 Milvus 2.1은 안정성과 확장성이 크게 개선되었으며, 여러분의 많은 사용과 피드백을 기다리겠습니다.</p>
<h2 id="Whats-next" class="common-anchor-header">다음 업데이트<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li>Milvus 2.1의 모든 변경 사항은 자세한 <a href="https://milvus.io/docs/v2.1.x/release_notes.md">릴리스 노트를</a> 참조하세요.</li>
<li>Milvus 2.1을<a href="https://milvus.io/docs/v2.1.x/install_standalone-docker.md">설치하고</a>새로운 기능을 사용해 보세요.</li>
<li><a href="https://slack.milvus.io/">Slack 커뮤니티에</a> 가입하여 전 세계 수천 명의 Milvus 사용자와 함께 새로운 기능에 대해 토론하세요.</li>
<li><a href="https://twitter.com/milvusio">트위터와</a><a href="https://www.linkedin.com/company/the-milvus-project">링크드인을</a> 팔로우하여 특정 새 기능에 대한 블로그가 게시되면 업데이트를 받아보세요.</li>
</ul>
<blockquote>
<p>편집자: <a href="https://github.com/songxianj">송시안 장</a></p>
</blockquote>


Milvus 2.1의 새로운 기능 - 단순함과 속도를 지향하다

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Frame_1282_edc1fb7d99.png" alt="cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>표지 이미지</span> </span></p>
<p>침실이나 탈의실에 딱 맞는 옷장을 찾고 있다면 대부분의 사람들이 맞춤 제작을 떠올릴 것입니다. 하지만 모든 사람의 예산이 그렇게까지 확장될 수 있는 것은 아닙니다. 그렇다면 기성품은 어떨까요? 이러한 유형의 옷장의 문제점은 고유한 수납 요구 사항을 충족할 만큼 유연하지 않기 때문에 기대에 미치지 못할 가능성이 매우 높다는 것입니다. 또한 온라인에서 검색할 때 원하는 특정 유형의 옷장을 키워드로 요약하기가 다소 어렵습니다. 검색창에 입력한 키워드(예: 주얼리 트레이가 있는 옷장)와 검색 엔진에 정의된 키워드(예: <a href="https://www.ikea.com/us/en/p/komplement-pull-out-tray-with-insert-black-brown-s79249366/">인서트가 있는 풀아웃 트레이가</a> 있는 옷장)가 매우 다를 수 있습니다.</p>
<p>하지만 새로운 기술 덕분에 해결책이 있습니다! 가구 소매 대기업인 IKEA는 사용자가 다양한 기성품 옷장 중에서 선택하고 옷장의 색상, 크기, 인테리어 디자인을 맞춤 설정할 수 있는 인기 있는 디자인 도구인 <a href="https://www.ikea.com/us/en/rooms/bedroom/how-to/how-to-design-your-perfect-pax-wardrobe-pub8b76dda0">PAX 옷장을</a> 제공합니다. 행잉 공간, 여러 개의 선반 또는 내부 서랍이 필요한지 여부에 관계없이 이 지능형 옷장 맞춤화 시스템은 언제나 사용자의 요구를 충족시킬 수 있습니다.</p>
<p>이 스마트 옷장 디자인 시스템을 사용하여 이상적인 옷장을 찾거나 만들려면 다음과 같이 하세요:</p>
<ol>
<li>옷장의 모양(일반, L자형 또는 U자형), 길이, 깊이 등 기본 요구사항을 지정합니다.</li>
<li>필요한 수납 공간과 옷장 내부 구성을 지정합니다(예: 걸이 공간, 풀아웃 바지 걸이 등 필요).</li>
<li>서랍이나 선반과 같은 옷장의 일부를 추가하거나 제거합니다.</li>
</ol>
<p>그러면 디자인이 완성됩니다. 간단하고 쉽습니다!</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Pax_system_ff4c3fa182.png" alt="pax system" class="doc-image" id="pax-system" />
   </span> <span class="img-wrapper"> <span>팍스 시스템</span> </span></p>
<p>이러한 옷장 디자인 시스템을 가능하게 하는 매우 중요한 구성 요소는 <a href="https://zilliz.com/learn/what-is-vector-database">벡터 데이터베이스입니다</a>. 따라서 이 글에서는 벡터 유사도 검색을 기반으로 하는 지능형 옷장 맞춤화 시스템을 구축하는 데 사용되는 워크플로와 유사도 검색 솔루션을 소개하고자 합니다.</p>
<p>이동하기:</p>
<ul>
<li><a href="#System-overview">시스템 개요</a></li>
<li><a href="#Data-flow">데이터 흐름</a></li>
<li><a href="#System-demo">시스템 데모</a></li>
</ul>
<h2 id="System-Overview" class="common-anchor-header">시스템 개요<button data-href="#System-Overview" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>이러한 스마트 옷장 맞춤화 도구를 제공하려면 먼저 비즈니스 로직을 정의하고 품목 속성과 사용자 여정을 이해해야 합니다. 옷장은 서랍, 트레이, 선반과 같은 구성 요소와 함께 모두 비정형 데이터입니다. 따라서 두 번째 단계는 AI 알고리즘과 규칙, 사전 지식, 품목 설명 등을 활용하여 이러한 비정형 데이터를 컴퓨터가 이해할 수 있는 데이터 유형인 벡터로 변환하는 것입니다!</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Customization_tool_overview_86d62e1730.png" alt="Customization tool overview" class="doc-image" id="customization-tool-overview" />
   </span> <span class="img-wrapper"> <span>사용자 지정 도구 개요</span> </span></p>
<p>생성된 벡터를 처리하기 위해서는 강력한 벡터 데이터베이스와 검색 엔진이 필요합니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/tool_architecutre_33fb646954.png" alt="tool architecture" class="doc-image" id="tool-architecture" />
   </span> <span class="img-wrapper"> <span>도구 아키텍처</span> </span></p>
<p>사용자 정의 도구는 가장 인기 있는 검색 엔진과 데이터베이스를 활용합니다: Elasticsearch, <a href="https://milvus.io/">Milvus</a>, PostgreSQL입니다.</p>
<h3 id="Why-Milvus" class="common-anchor-header">왜 Milvus인가?</h3><p>옷장 구성 요소에는 색상, 모양, 내부 구성 등과 같은 매우 복잡한 정보가 포함되어 있습니다. 그러나 옷장 데이터를 관계형 데이터베이스에 보관하는 기존의 방식으로는 충분하지 않습니다. 널리 사용되는 방법은 임베딩 기술을 사용하여 옷장을 벡터로 변환하는 것입니다. 따라서 벡터 저장과 유사도 검색을 위해 특별히 설계된 새로운 유형의 데이터베이스를 찾아야 합니다. 여러 인기 있는 솔루션을 조사한 결과, 뛰어난 성능과 안정성, 호환성, 사용 편의성을 갖춘 <a href="https://github.com/milvus-io/milvus">Milvus</a> 벡터 데이터베이스가 선택되었습니다. 아래 차트는 여러 인기 있는 벡터 검색 솔루션을 비교한 것입니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Solution_comparison_d96b8f1dd5.png" alt="solution comparison" class="doc-image" id="solution-comparison" />
   </span> <span class="img-wrapper"> <span>솔루션 비교</span> </span></p>
<h3 id="System-workflow" class="common-anchor-header">시스템 워크플로</h3><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/System_workflow_250c275ec1.png" alt="System workflow" class="doc-image" id="system-workflow" />
   </span> <span class="img-wrapper"> <span>시스템 워크플로우</span> </span></p>
<p>옷장 크기, 색상 등을 기준으로 대략적인 필터링을 위해 Elasticsearch를 사용합니다. 그런 다음 필터링된 결과는 유사성 검색을 위해 벡터 데이터베이스인 Milvus를 통과하고 쿼리 벡터와의 거리/유사성에 따라 결과가 순위가 매겨집니다. 마지막으로 비즈니스 인사이트를 기반으로 결과를 통합하고 더욱 세분화합니다.</p>
<h2 id="Data-flow" class="common-anchor-header">데이터 흐름<button data-href="#Data-flow" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>옷장 사용자 지정 시스템은 기존 검색 엔진 및 추천 시스템과 매우 유사합니다. 세 부분으로 구성되어 있습니다:</p>
<ul>
<li>데이터 정의 및 생성을 포함한 오프라인 데이터 준비.</li>
<li>리콜 및 랭킹을 포함한 온라인 서비스.</li>
<li>비즈니스 로직에 기반한 데이터 후처리.</li>
</ul>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/data_flow_d0d9fa0fca.png" alt="Data flow" class="doc-image" id="data-flow" />
   </span> <span class="img-wrapper"> <span>데이터 흐름</span> </span></p>
<h3 id="Offline-data-flow" class="common-anchor-header">오프라인 데이터 흐름</h3><ol>
<li>비즈니스 인사이트를 사용하여 데이터를 정의합니다.</li>
<li>사전 지식을 사용하여 다양한 구성 요소를 결합하여 옷장으로 구성하는 방법을 정의합니다.</li>
<li>옷장의 기능 레이블을 인식하고 해당 기능을 <code translate="no">.json</code> 파일에 있는 Elasticsearch 데이터로 인코딩합니다.</li>
<li>비정형 데이터를 벡터로 인코딩하여 리콜 데이터를 준비합니다.</li>
<li>밀버스 벡터 데이터베이스를 사용해 이전 단계에서 얻은 리콜 결과의 순위를 매깁니다.</li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/offline_data_flow_f91ac9cf4c.png" alt="offline data flow" class="doc-image" id="offline-data-flow" />
   </span> <span class="img-wrapper"> <span>오프라인 데이터 흐름</span> </span></p>
<h3 id="Online-data-flow" class="common-anchor-header">온라인 데이터 흐름</h3><ol>
<li>사용자로부터 쿼리 요청을 받고 사용자 프로필을 수집합니다.</li>
<li>옷장에 대한 요구 사항을 파악하여 사용자 쿼리를 이해합니다.</li>
<li>Elasticsearch를 사용해 대략적인 검색을 수행합니다.</li>
<li>밀버스에서 벡터 유사도 계산을 기반으로 거친 검색에서 얻은 결과에 점수를 매기고 순위를 매깁니다.</li>
<li>백엔드 플랫폼에서 결과를 후처리하고 정리하여 최종 결과를 생성합니다.</li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/online_data_flow_1f2af25cc3.png" alt="online data flow" class="doc-image" id="online-data-flow" />
   </span> <span class="img-wrapper"> <span>온라인 데이터 흐름</span> </span></p>
<h3 id="Data-post-processing" class="common-anchor-header">데이터 후처리</h3><p>비즈니스 로직은 회사마다 다릅니다. 귀사의 비즈니스 로직을 적용하여 결과에 최종적인 손질을 더할 수 있습니다.</p>
<h2 id="System-demo" class="common-anchor-header">시스템 데모<button data-href="#System-demo" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>이제 우리가 구축한 시스템이 실제로 어떻게 작동하는지 살펴봅시다.</p>
<p>사용자 인터페이스(UI)는 옷장 구성 요소의 다양한 조합 가능성을 표시합니다.</p>
<p>각 구성 요소는 기능(크기, 색상 등)에 따라 레이블이 지정되고 Elasticsearch(ES)에 저장됩니다. ES에 라벨을 저장할 때는 네 가지 주요 데이터 필드를 입력해야 합니다: ID, 태그, 저장 경로 및 기타 지원 필드입니다. ES와 레이블이 지정된 데이터는 세분화된 리콜 및 속성 필터링에 사용됩니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/es_d5b0639610.png" alt="es" class="doc-image" id="es" />
   </span> <span class="img-wrapper"> <span>es</span> </span></p>
<p>그런 다음 다양한 AI 알고리즘을 사용하여 옷장을 벡터 집합으로 인코딩합니다. 벡터 세트는 유사성 검색 및 순위를 매기기 위해 Milvus에 저장됩니다. 이 단계는 보다 정교하고 정확한 결과를 반환합니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Milvus_38dd93a439.jpeg" alt="Milvus" class="doc-image" id="milvus" />
   </span> <span class="img-wrapper"> <span>Milvus</span> </span></p>
<p>Elasticsearch, Milvus 및 기타 시스템 구성 요소는 전체적으로 사용자 정의 디자인 플랫폼을 형성합니다. 리콜 중에 Elasticsearch와 Milvus의 도메인별 언어(DSL)는 다음과 같습니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/dsl_df60097d23.png" alt="dsl" class="doc-image" id="dsl" />
   </span> <span class="img-wrapper"> <span>dsl</span> </span></p>
<h2 id="Looking-for-more-resources" class="common-anchor-header">더 많은 리소스를 찾고 계신가요?<button data-href="#Looking-for-more-resources" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 벡터 데이터베이스가 어떻게 더 많은 AI 애플리케이션을 강화할 수 있는지 알아보세요:</p>
<ul>
<li><a href="https://milvus.io/blog/2022-06-23-How-Short-video-Platform-Likee-Removes-Duplicate-Videos-with-Milvus.md">짧은 동영상 플랫폼 Likee가 Milvus로 중복 동영상을 제거하는 방법</a></li>
<li><a href="https://milvus.io/blog/2022-06-20-Zhentu-the-Photo-Fraud-Detector-Based-on-Milvus.md">Zhentu - Milvus 기반의 사진 사기 탐지기</a></li>
</ul>


밀버스 벡터 데이터베이스로 구동되는 지능형 옷장 맞춤화 시스템 구축

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/How_Short_video_Platform_Likee_Removes_Duplicate_Videos_with_Milvus_07bd75ec82.png" alt="Cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>표지 이미지</span> </span></p>
<blockquote>
<p>이 글은 BIGO의 엔지니어인 신양 구오와 바오유 한이 작성하고 <a href="https://www.linkedin.cn/incareer/in/rosie-zhang-694528149">로지 장이</a> 번역했습니다.</p>
</blockquote>
<p>BIGO<a href="https://www.bigo.sg/">Technology</a> (BIGO)는 싱가포르에서 가장 빠르게 성장하는 기술 기업 중 하나입니다. 인공지능 기술을 기반으로 하는 BIGO의 동영상 기반 제품과 서비스는 150여 개국에서 4억 명 이상의 사용자를 확보하며 전 세계적으로 큰 인기를 얻고 있습니다. 여기에는 <a href="https://www.bigo.tv/bigo_intro/en.html?hk=true">Bigo Live</a> (라이브 스트리밍)와 <a href="https://likee.video/">Likee</a> (숏폼 동영상)가 포함됩니다.</p>
<p>Likee는 사용자가 자신의 순간을 공유하고, 자신을 표현하고, 전 세계와 소통할 수 있는 글로벌 쇼트 비디오 제작 플랫폼입니다. 사용자 경험을 향상시키고 사용자에게 더 높은 품질의 콘텐츠를 추천하기 위해 Likee는 매일 사용자가 생성하는 엄청난 양의 동영상에서 중복 동영상을 걸러내야 하는데, 이는 결코 쉬운 일이 아닙니다.</p>
<p>이 블로그에서는 BIGO가 오픈 소스 벡터 데이터베이스인 <a href="https://milvus.io">Milvus를</a> 사용하여 중복 동영상을 효과적으로 제거하는 방법을 소개합니다.</p>
<p><strong>바로가기:</strong></p>
<ul>
<li><a href="#Overview">개요</a></li>
<li><a href="#Video-deduplication-workflow">동영상 중복 제거 워크플로</a></li>
<li><a href="#System-architecture">시스템 아키텍처</a></li>
<li><a href="#Using-Milvus-vector-database-to-power-similarity-search">Milvus를 사용하여 유사도 검색 강화하기</a></li>
</ul>
<custom-h1>개요</custom-h1><p>Milvus는 초고속 벡터 검색 기능을 갖춘 오픈 소스 벡터 데이터베이스입니다. Milvus를 기반으로 하는 Likee는 높은 리콜률을 보장하면서 200ms 이내에 검색을 완료할 수 있습니다. 한편, Likee는 <a href="https://milvus.io/docs/v2.0.x/scaleout.md#Scale-a-Milvus-Cluster">Milvus를 수평적으로 확장함으로써</a> 벡터 쿼리의 처리량을 성공적으로 증가시켜 효율성을 더욱 향상시켰습니다.</p>
<custom-h1>비디오 중복 제거 워크플로</custom-h1><p>Likee는 중복 동영상을 어떻게 식별하나요? 쿼리 동영상이 Likee의 시스템에 입력될 때마다 15~20개의 프레임으로 잘리고 각 프레임이 특징 벡터로 변환됩니다. 그런 다음 Likee는 7억 개의 벡터 데이터베이스를 검색하여 가장 유사한 상위 K개의 벡터를 찾습니다. 상위 K개의 벡터는 각각 데이터베이스의 동영상에 해당합니다. Likee는 추가로 정밀한 검색을 수행하여 최종 결과를 얻고 삭제할 동영상을 결정합니다.</p>
<custom-h1>시스템 아키텍처</custom-h1><p>Milvus를 사용하여 Likee의 동영상 중복 제거 시스템이 어떻게 작동하는지 자세히 살펴봅시다. 아래 다이어그램에서 볼 수 있듯이, Likee에 업로드된 새로운 동영상은 데이터 스토리지 시스템인 Kafka에 실시간으로 기록되어 Kafka 소비자들이 소비하게 됩니다. 이러한 동영상의 특징 벡터는 비정형 데이터(동영상)를 특징 벡터로 변환하는 딥러닝 모델을 통해 추출됩니다. 이러한 특징 벡터는 시스템에서 패키징되어 유사성 감사자에게 전송됩니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Likee_1_6f7ebcd8fc.png" alt="Architechure of Likee's video de-duplication system" class="doc-image" id="architechure-of-likee's-video-de-duplication-system" />
   </span> <span class="img-wrapper"> <span>Likee의 동영상 중복제거 시스템 구조도</span> </span></p>
<p>추출된 특징 벡터는 Milvus에 의해 인덱싱되어 Ceph에 저장된 후, 추가 검색을 위해 <a href="https://milvus.io/blog/deep-dive-5-real-time-query.md">Milvus 쿼리 노드에 의해 로드됩니다</a>. 이러한 특징 벡터의 해당 비디오 ID는 실제 필요에 따라 TiDB 또는 Pika에 동시에 저장됩니다.</p>
<h3 id="Using-Milvus-vector-database-to-power-similarity-search" class="common-anchor-header">Milvus 벡터 데이터베이스를 사용해 유사도 검색 강화하기</h3><p>유사한 벡터를 검색할 때, 수십억 개의 기존 데이터와 매일 생성되는 대량의 새로운 데이터는 벡터 검색 엔진의 기능에 큰 도전이 됩니다. Likee는 철저한 분석 끝에 결국 고성능과 높은 회상률을 자랑하는 분산형 벡터 검색 엔진인 Milvus를 벡터 유사도 검색을 위한 엔진으로 선택했습니다.</p>
<p>아래 그림과 같이 유사도 검색의 절차는 다음과 같습니다:</p>
<ol>
<li><p>먼저 Milvus는 일괄 검색을 수행하여 새 동영상에서 추출된 여러 특징 벡터 각각에 대해 상위 100개의 유사한 벡터를 불러옵니다. 각 유사 벡터는 해당 동영상 ID에 바인딩됩니다.</p></li>
<li><p>둘째, Milvus는 비디오 ID를 비교하여 중복 비디오를 제거하고 나머지 비디오의 특징 벡터를 TiDB 또는 Pika에서 검색합니다.</p></li>
<li><p>마지막으로 Milvus는 검색된 각 특징 벡터 세트와 쿼리 동영상의 특징 벡터 간의 유사도를 계산하고 점수를 매깁니다. 가장 높은 점수를 받은 동영상 ID가 결과로 반환됩니다. 이로써 동영상 유사도 검색이 완료됩니다.</p></li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/02_a24d251c8f.png" alt="Procedure of a similarity search" class="doc-image" id="procedure-of-a-similarity-search" />
   </span> <span class="img-wrapper"> <span>유사도 검색 절차</span> </span></p>
<p>밀버스는 고성능 벡터 검색 엔진으로서 Likee의 동영상 중복 제거 시스템에서 탁월한 성능을 발휘하여 BIGO의 짧은 동영상 비즈니스 성장에 큰 원동력이 되었습니다. 동영상 비즈니스 측면에서는 불법 콘텐츠 차단이나 개인 맞춤형 동영상 추천 등 Milvus를 적용할 수 있는 다양한 시나리오가 있습니다. 비고와 밀버스는 앞으로 더 많은 영역에서 협력할 수 있기를 기대하고 있습니다.</p>


쇼트 비디오 플랫폼 Likee가 Milvus로 중복 비디오를 제거하는 방법

Milvus 벡터 데이터베이스를 통한 확장 가능하고 빠른 유사도 검색

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/zhentu_0ae11c98ee.png" alt="cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>표지 이미지</span> </span></p>
<blockquote>
<p>이 글은 BestPay의 수석 알고리즘 엔지니어인 Yan Shi와 Minwei Tang이 작성하고 <a href="https://www.linkedin.cn/incareer/in/rosie-zhang-694528149">Rosie Zhang이</a> 번역했습니다.</p>
</blockquote>
<p>최근 몇 년 동안 전 세계적으로 전자상거래와 온라인 거래가 보편화되면서 전자상거래 사기 또한 번성했습니다. 사기범들은 온라인 비즈니스 플랫폼에서 신원 확인을 통과하기 위해 실제 사진 대신 컴퓨터로 생성한 사진을 사용하여 대규모 가짜 계정을 만들고 기업의 특별 혜택(예: 멤버십 선물, 쿠폰, 토큰)을 통해 현금화함으로써 소비자와 기업 모두에게 돌이킬 수 없는 손실을 가져다줍니다.</p>
<p>기존의 위험 관리 방법은 방대한 양의 데이터 앞에서 더 이상 효과적이지 않습니다. 이 문제를 해결하기 위해 <a href="https://www.bestpay.com.cn">베스트페이는</a> 딥러닝(DL)과 디지털 이미지 처리(DIP) 기술을 기반으로 사진 사기 탐지기인 젠투(중국어로 이미지 감지를 의미)를 개발했습니다. 젠투는 이미지 인식과 관련된 다양한 시나리오에 적용할 수 있으며, 그 중 중요한 파생 기능 중 하나는 위조 사업자등록증을 식별하는 것입니다. 사용자가 제출한 비즈니스 라이선스 사진이 플랫폼의 사진 라이브러리에 이미 존재하는 다른 사진과 매우 유사하다면, 사용자가 어딘가에서 사진을 훔쳤거나 부정한 목적으로 라이선스를 위조했을 가능성이 높습니다.</p>
<p>이미지 유사도를 측정하는 기존 알고리즘(예: <a href="https://en.wikipedia.org/wiki/Peak_signal-to-noise_ratio">PSNR</a> 및 ORB)은 속도가 느리고 부정확하며 오프라인 작업에만 적용할 수 있습니다. 반면 딥러닝은 대규모 이미지 데이터를 실시간으로 처리할 수 있으며, 유사한 이미지를 매칭하는 궁극적인 방법입니다. 베스트페이의 R&amp;D 팀과 <a href="https://milvus.io/">밀버스 커뮤니티의</a> 공동 노력으로 사진 사기 탐지 시스템이 젠투의 일부로 개발되었습니다. 이 시스템은 딥러닝 모델을 통해 방대한 양의 이미지 데이터를 특징 벡터로 변환하고 이를 벡터 검색 엔진인 <a href="https://milvus.io/">Milvus에</a> 삽입하는 방식으로 작동합니다. Milvus를 통해 이 탐지 시스템은 수조 개의 벡터를 색인화하여 수천만 장의 이미지 중에서 유사한 사진을 효율적으로 검색할 수 있습니다.</p>
<p><strong>이동하기:</strong></p>
<ul>
<li><a href="#an-overview-of-zhentu">Zhentu 개요</a></li>
<li><a href="#system-structure">시스템 구조</a></li>
<li><a href="#deployment"><strong>배포</strong></a></li>
<li><a href="#real-world-performance"><strong>실제 성능</strong></a></li>
<li><a href="#reference"><strong>참조</strong></a></li>
<li><a href="#about-bestpay"><strong>베스트페이 소개</strong></a></li>
</ul>
<h2 id="An-overview-of-Zhentu" class="common-anchor-header">젠투 개요<button data-href="#An-overview-of-Zhentu" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>젠투는 머신러닝(ML) 및 신경망 이미지 인식 기술과 긴밀하게 통합된 베스트페이의 자체 설계 멀티미디어 시각적 위험 제어 제품입니다. 내장된 알고리즘을 통해 사용자 인증 시 사기범을 정확하게 식별하고 밀리초 단위로 대응할 수 있습니다. 업계를 선도하는 기술력과 혁신적인 솔루션으로 젠투는 5개의 특허와 2개의 소프트웨어 저작권을 획득했습니다. 현재 여러 은행과 금융 기관에서 잠재적 위험을 사전에 식별하는 데 활용되고 있습니다.</p>
<h2 id="System-structure" class="common-anchor-header">시스템 구조<button data-href="#System-structure" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>베스트페이는 현재 천만 개가 넘는 사업자등록증 사진을 보유하고 있으며, 비즈니스가 성장함에 따라 실제 규모는 기하급수적으로 증가하고 있습니다. 이러한 대규모 데이터베이스에서 유사한 사진을 빠르게 검색하기 위해 Zhentu는 특징 벡터 유사도 계산 엔진으로 Milvus를 선택했습니다. 사진 사기 탐지 시스템의 일반적인 구조는 아래 다이어그램에 나와 있습니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Structure_of_the_photo_fraud_detection_system_cf5d20d431.png" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>이미지</span> </span></p>
<p>절차는 네 단계로 나눌 수 있습니다:</p>
<ol>
<li><p>이미지 전처리. 노이즈 감소, 노이즈 제거, 대비 향상 등의 전처리를 통해 원본 정보의 무결성을 보장하고 이미지 신호에서 쓸모없는 정보를 제거합니다.</p></li>
<li><p>특징 벡터 추출. 특별히 훈련된 딥러닝 모델을 사용해 이미지의 특징 벡터를 추출합니다. 추가 유사성 검색을 위해 이미지를 벡터로 변환하는 것은 일상적인 작업입니다.</p></li>
<li><p>정규화. 추출된 특징 벡터를 정규화하면 후속 처리의 효율성을 높이는 데 도움이 됩니다.</p></li>
<li><p>Milvus를 사용한 벡터 검색. 벡터 유사도 검색을 위해 정규화된 특징 벡터를 Milvus 데이터베이스에 삽입합니다.</p></li>
</ol>
<h2 id="Deployment" class="common-anchor-header"><strong>배포</strong><button data-href="#Deployment" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>다음은 젠투의 사진 사기 탐지 시스템이 어떻게 구축되었는지에 대한 간략한 설명입니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/milvus_architecture_ea45a5ab53.png" alt="Milvus system architecture" class="doc-image" id="milvus-system-architecture" />
   </span> <span class="img-wrapper"> <span>Milvus 시스템 아키텍처</span> </span></p>
<p>우리는 클라우드 서비스의 고가용성과 실시간 동기화를 보장하기 위해 <a href="https://milvus.io/docs/v2.0.x/install_cluster-helm.md">Kubernetes에 Milvus 클러스터를</a> 배포했습니다. 일반적인 단계는 다음과 같습니다:</p>
<ol>
<li><p>사용 가능한 리소스 보기. <code translate="no">kubectl describe nodes</code> 명령을 실행하여 생성된 케이스에 할당할 수 있는 Kubernetes 클러스터의 리소스를 확인합니다.</p></li>
<li><p>리소스를 할당한다. <code translate="no">kubect`` -- apply xxx.yaml</code> 명령을 실행하여 헬름을 사용하여 Milvus 클러스터 구성 요소에 대한 메모리 및 CPU 리소스를 할당한다.</p></li>
<li><p>새 구성을 적용한다. <code translate="no">helm upgrade my-release milvus/milvus --reuse-values -fresources.yaml</code> 명령을 실행한다.</p></li>
<li><p>새 구성을 Milvus 클러스터에 적용한다. 이렇게 배포된 클러스터는 다양한 비즈니스 요구 사항에 따라 시스템 용량을 조정할 수 있을 뿐만 아니라 대규모 벡터 데이터 검색에 대한 고성능 요구 사항도 더 잘 충족합니다.</p></li>
</ol>
<p>다음 두 가지 예와 같이 다양한 비즈니스 시나리오에서 다양한 유형의 데이터에 대한 검색 성능을 최적화하도록 <a href="https://milvus.io/docs/v2.0.x/configure-docker.md">Milvus를 구성할</a> 수 있습니다.</p>
<p><a href="https://milvus.io/docs/v2.0.x/build_index.md">벡터 인덱스를 구축할</a> 때, 시스템의 실제 시나리오에 따라 다음과 같이 인덱스를 매개변수화합니다:</p>
<pre><code translate="no" class="language-Python">index = {<span class="hljs-string">&quot;index_type&quot;</span>: <span class="hljs-string">&quot;IVF_PQ&quot;</span>, <span class="hljs-string">&quot;params&quot;</span>: {<span class="hljs-string">&quot;nlist&quot;</span>: <span class="hljs-number">2048</span>}, <span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&quot;IP&quot;</span>}
<button class="copy-code-btn"></button></code></pre>
<p><a href="https://milvus.io/docs/v2.0.x/index.md#IVF_PQ">IVF_PQ는</a> 벡터의 곱을 정량화하기 전에 IVF 인덱스 클러스터링을 수행합니다. 이는 고속 디스크 쿼리와 매우 낮은 메모리 소비를 특징으로 하며, 실제 Zhentu 애플리케이션의 요구 사항을 충족합니다.</p>
<p>또한 최적의 검색 매개변수를 다음과 같이 설정했습니다:</p>
<pre><code translate="no" class="language-Python">search_params = {<span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&quot;IP&quot;</span>, <span class="hljs-string">&quot;params&quot;</span>: {<span class="hljs-string">&quot;nprobe&quot;</span>: <span class="hljs-number">32</span>}}
<button class="copy-code-btn"></button></code></pre>
<p>밀버스에 입력하기 전에 벡터가 이미 정규화되어 있으므로 두 벡터 사이의 거리를 계산하기 위해 내적 곱(IP)을 선택합니다. 실험을 통해 유클리드 거리(L2)를 사용할 때보다 IP를 사용할 때 리콜률이 약 15% 높아진다는 사실이 입증되었습니다.</p>
<p>위의 예는 다양한 비즈니스 시나리오와 성능 요구 사항에 따라 Milvus의 매개 변수를 테스트하고 설정할 수 있음을 보여줍니다.</p>
<p>또한 Milvus는 다양한 인덱스 라이브러리를 통합할 뿐만 아니라 다양한 인덱스 유형과 유사도 계산 방법도 지원합니다. Milvus는 또한 여러 언어로 된 공식 SDK와 삽입, 쿼리 등을 위한 풍부한 API를 제공하여 프론트엔드 비즈니스 그룹이 SDK를 사용하여 위험 관리 센터에 호출할 수 있도록 합니다.</p>
<h2 id="Real-world-performance" class="common-anchor-header"><strong>실제 성과</strong><button data-href="#Real-world-performance" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>지금까지 사진 사기 탐지 시스템은 꾸준히 운영되어 기업이 잠재적인 사기범을 식별하는 데 도움을 주고 있습니다. 2021년에는 한 해 동안 20,000개 이상의 가짜 라이선스를 탐지했습니다. 쿼리 속도 측면에서도 수천만 개의 벡터 중 단일 벡터 쿼리는 1초도 걸리지 않으며, 일괄 쿼리의 평균 시간은 0.08초 미만입니다. Milvus의 고성능 검색은 정확성과 동시성에 대한 기업의 요구를 모두 충족합니다.</p>
<h2 id="Reference" class="common-anchor-header"><strong>참조</strong><button data-href="#Reference" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>아글라브 P, 콜쿠레 V S. 방향성 빠르고 회전된 간략 알고리즘을 이용한 고성능 특징 추출 방법의 구현[J]. Int. J. Res. Eng. Technol, 2015, 4: 394-397.</p>
<h2 id="About-BestPay" class="common-anchor-header"><strong>베스트페이 소개</strong><button data-href="#About-BestPay" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>차이나 텔레콤 베스트페이는 차이나 텔레콤이 전액 출자한 자회사입니다. 결제 및 금융 사업을 운영합니다. 베스트페이는 빅데이터, 인공지능, 클라우드 컴퓨팅과 같은 첨단 기술을 활용해 비즈니스 혁신을 강화하고 지능형 제품, 위험 관리 솔루션 및 기타 서비스를 제공하기 위해 최선을 다하고 있습니다. 2016년 1월까지 2억 명 이상의 사용자를 유치하며 알리페이와 위챗페이에 이어 중국에서 세 번째로 큰 결제 플랫폼 사업자가 되었습니다.</p>


밀버스 기반의 사진 사기 탐지기 Zhentu

뗏목인가, 아닌가? 클라우드 네이티브 데이터베이스의 데이터 일관성을 위한 최고의 솔루션

밀버스 벡터 데이터베이스의 유사도 검색 기능은 무엇인가요?

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Deep_Dive_7_baae830823.png" alt="Cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>표지 이미지</span> </span></p>
<blockquote>
<p>이 글은 <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni가</a> 번역했습니다.</p>
</blockquote>
<p>Milvus의 <a href="https://milvus.io/docs/v2.0.x/query.md">벡터 쿼리는</a> 부울 표현식에 기반한 스칼라 필터링을 통해 벡터를 검색하는 프로세스입니다. 스칼라 필터링을 통해 사용자는 데이터 속성에 특정 조건을 적용하여 쿼리 결과를 제한할 수 있습니다. 예를 들어, 사용자가 1990~2010년에 개봉한 영화 중 8.5점 이상인 영화를 쿼리할 경우, 해당 속성(개봉 연도 및 점수)이 조건을 충족하는 영화만 표시합니다.</p>
<p>이번 포스팅에서는 쿼리 표현식 입력부터 쿼리 계획 생성 및 쿼리 실행까지 Milvus에서 쿼리가 어떻게 완료되는지 살펴보겠습니다.</p>
<p><strong>바로가기:</strong></p>
<ul>
<li><a href="#Query-expression">쿼리 표현식</a></li>
<li><a href="#Plan-AST-generation">계획 AST 생성</a></li>
<li><a href="#Query-execution">쿼리 실행</a></li>
</ul>
<h2 id="Query-expression" class="common-anchor-header">쿼리 표현식<button data-href="#Query-expression" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus에서 속성 필터링이 적용된 쿼리 표현식은 EBNF(확장 백커스-나우어 형식) 구문을 채택하고 있습니다. 아래 그림은 Milvus의 표현식 규칙입니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Expression_Syntax_966493a5be.png" alt="Expression Syntax" class="doc-image" id="expression-syntax" />
   </span> <span class="img-wrapper"> <span>표현식 구문</span> </span></p>
<p>논리 표현식은 이진 논리 연산자, 단항 논리 연산자, 논리 표현식, 단일 표현식의 조합을 사용하여 만들 수 있습니다. EBNF 구문 자체가 재귀적이기 때문에 논리 표현식은 조합의 결과이거나 더 큰 논리 표현식의 일부일 수 있습니다. 논리 표현식은 많은 하위 논리 표현식을 포함할 수 있습니다. Milvus에서도 동일한 규칙이 적용됩니다. 사용자가 여러 조건으로 결과의 속성을 필터링해야 하는 경우, 사용자는 다양한 논리 연산자와 표현식을 조합하여 자신만의 필터링 조건 집합을 만들 수 있습니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Boolean_expression_1_dce12f8483.png" alt="Boolean expression" class="doc-image" id="boolean-expression" />
   </span> <span class="img-wrapper"> <span>부울 표현식</span> </span></p>
<p>위 이미지는 Milvus의 부울 <a href="https://milvus.io/docs/v2.0.x/boolean.md">표현식 규칙</a> 중 일부를 보여줍니다. 표현식에 단항 논리 연산자를 추가할 수 있습니다. 현재 Milvus는 시스템에서 스칼라 필드 값이 계산 결과를 만족하지 않는 벡터를 가져와야 함을 나타내는 단항 논리 연산자 &quot;not&quot;만 지원합니다. 이진 논리 연산자에는 &quot;and&quot; 및 &quot;or&quot;가 포함됩니다. 단일 표현식에는 용어 표현식과 비교 표현식이 포함됩니다.</p>
<p>더하기, 빼기, 곱하기, 나누기와 같은 기본적인 산술 계산도 Milvus에서 쿼리 중에 지원됩니다. 다음 이미지는 연산의 우선 순위를 보여줍니다. 연산자는 내림차순으로 위에서 아래로 나열됩니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Precedence_b8cfbdf17b.png" alt="Precedence" class="doc-image" id="precedence" />
   </span> <span class="img-wrapper"> <span>우선 순위</span> </span></p>
<h3 id="How-a-query-expression-on-certain-films-is-processed-in-Milvus" class="common-anchor-header">특정 영화에 대한 쿼리 표현식이 Milvus에서 어떻게 처리될까요?</h3><p>Milvus에 많은 필름 데이터가 저장되어 있고 사용자가 특정 필름을 쿼리하고자 한다고 가정해 보겠습니다. 예를 들어 Milvus에 저장된 각 영화 데이터에는 영화 ID, 개봉 연도, 영화 유형, 점수, 포스터의 다섯 가지 필드가 있습니다. 이 예에서 영화 ID와 개봉 연도의 데이터 유형은 int64이고, 영화 점수는 부동 소수점 데이터입니다. 또한 영화 포스터는 부동 소수점 벡터 형식으로, 영화 유형은 문자열 데이터 형식으로 저장됩니다. 특히 문자열 데이터 유형에 대한 지원은 Milvus 2.1의 새로운 기능입니다.</p>
<p>예를 들어 사용자가 8.5점보다 높은 점수를 받은 영화를 쿼리하고자 한다고 가정해 보겠습니다. 또한 영화가 2000년 이전 10년에서 2000년 이후 10년 사이에 개봉했거나 영화 유형이 코미디 또는 액션 영화여야 하는 경우, 사용자는 다음과 같은 술어 표현식을 입력해야 합니다: <code translate="no">score &gt; 8.5 &amp;&amp; (2000 - 10 &lt; release_year &lt; 2000 + 10 || type in [comedy,action])</code>.</p>
<p>쿼리 표현식을 받으면 시스템은 다음 우선순위에 따라 실행합니다:</p>
<ol>
<li>8.5점보다 높은 점수를 받은 영화를 쿼리합니다. 쿼리 결과를 &quot;result1&quot;이라고 합니다.</li>
<li>2000 - 10을 계산하여 "result2"(1990)를 얻습니다.</li>
<li>2000 + 10을 계산하여 "result3"(2010)을 얻습니다.</li>
<li><code translate="no">release_year</code> 값이 &quot;result2&quot;보다 크고 &quot;result3&quot;보다 작은 영화에 대해 쿼리합니다. 즉, 시스템에서 1990년부터 2010년 사이에 개봉한 영화를 쿼리해야 합니다. 쿼리 결과를 &quot;result4&quot;라고 합니다.</li>
<li>코미디 또는 액션 영화인 영화를 쿼리합니다. 쿼리 결과를 &quot;result5&quot;라고 합니다.</li>
<li>"result4"와 "result5"를 결합하여 1990년부터 2010년 사이에 개봉했거나 코미디 또는 액션 영화 카테고리에 속하는 영화를 얻습니다. 결과를 &quot;result6&quot;이라고 합니다.</li>
<li>"result1"과 "result6"의 공통 부분을 취하여 모든 조건을 만족하는 최종 결과를 얻습니다.</li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Frame_1_16_00972a6e5d.png" alt="Film example" class="doc-image" id="film-example" />
   </span> <span class="img-wrapper"> <span>영화 예제</span> </span></p>
<h2 id="Plan-AST-generation" class="common-anchor-header">AST 생성 계획<button data-href="#Plan-AST-generation" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus는 AST(추상 구문 트리) 생성을 위해 오픈 소스 도구인 <a href="https://www.antlr.org/">ANTLR</a> (ANother Tool for Language Recognition)을 활용합니다. ANTLR은 구조 텍스트 또는 바이너리 파일을 읽고, 처리하고, 실행하거나 번역하기 위한 강력한 파서 생성기입니다. 보다 구체적으로, ANTLR은 사전 정의된 구문 또는 규칙을 기반으로 구문 분석 트리를 구축하고 워킹하기 위한 구문 분석기를 생성할 수 있습니다. 다음 이미지는 입력 표현식이 &quot;SP=100;&quot;인 예제입니다. ANTLR에 내장된 언어 인식 기능인 LEXER는 입력 표현식에 대해 &quot;SP&quot;, &quot;=&quot;, &quot;100&quot;, &quot;;&quot; 등 네 개의 토큰을 생성합니다. 그런 다음 이 도구는 4개의 토큰을 추가로 파싱하여 해당 파싱 트리를 생성합니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/parse_tree_b2c3fb0b36.png" alt="parse tree" class="doc-image" id="parse-tree" />
   </span> <span class="img-wrapper"> <span>구문 분석 트리</span> </span></p>
<p>워커 메커니즘은 ANTLR 도구에서 매우 중요한 부분입니다. 워커 메커니즘은 모든 구문 분석 트리를 탐색하여 각 노드가 구문 규칙을 준수하는지 검사하거나 특정 민감한 단어를 감지하도록 설계되었습니다. 관련 API 중 일부는 아래 이미지에 나열되어 있습니다. ANTLR은 루트 노드에서 시작하여 각 하위 노드를 거쳐 맨 아래까지 내려가기 때문에 구문 분석 트리를 걷는 순서를 구분할 필요가 없습니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/parse_tree_walker_9a27942502.png" alt="parse tree walker" class="doc-image" id="parse-tree-walker" />
   </span> <span class="img-wrapper"> <span>구문 분석 트리 워커</span> </span></p>
<p>Milvus는 ANTLR과 유사한 방식으로 쿼리용 PlanAST를 생성합니다. 그러나 ANTLR을 사용하려면 다소 복잡한 구문 규칙을 재정의해야 합니다. 따라서 Milvus는 가장 널리 사용되는 규칙 중 하나인 부울 표현식 규칙을 채택하고, 쿼리 표현식의 구문을 쿼리하고 구문 분석하기 위해 GitHub에서 오픈 소스된 <a href="https://github.com/antonmedv/expr">Expr</a> 패키지에 의존합니다.</p>
<p>속성 필터링이 있는 쿼리 중에 Milvus는 쿼리 식을 수신하면 Expr에서 제공하는 구문 분석 방법인 앤트 파서를 사용하여 원시 미해결 계획 트리를 생성합니다. 기본 계획 트리는 단순한 이진 트리입니다. 그런 다음 이 계획 트리는 Expr과 Milvus에 내장된 최적화 도구에 의해 미세 조정됩니다. Milvus의 최적화 도구는 앞서 언급한 워커 메커니즘과 매우 유사합니다. Expr에서 제공하는 플랜 트리 최적화 기능은 매우 정교하기 때문에 Milvus에 내장된 옵티마이저의 부담이 상당 부분 완화됩니다. 최종적으로 분석기는 최적화된 플랜 트리를 재귀적인 방식으로 분석하여 <a href="https://developers.google.com/protocol-buffers">프로토콜 버퍼</a> (protobuf) 구조의 플랜 AST를 생성합니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/plan_AST_workflow_3e50b7a0d4.png" alt="plan AST workflow" class="doc-image" id="plan-ast-workflow" />
   </span> <span class="img-wrapper"> <span>계획 AST 워크플로우</span> </span></p>
<h2 id="Query-execution" class="common-anchor-header">쿼리 실행<button data-href="#Query-execution" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>쿼리 실행은 이전 단계에서 생성된 계획 AST의 실행을 근간으로 합니다.</p>
<p>Milvus에서 plan AST는 프로토 구조로 정의됩니다. 아래 이미지는 프로토 구조의 메시지입니다. 표현식은 6가지 유형이 있으며, 이 중 이진 표현식과 단항 표현식은 이진 논리 표현식과 단항 논리 표현식을 추가로 가질 수 있습니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Protobuf1_232132dcf2.png" alt="protobuf1" class="doc-image" id="protobuf1" />
   </span> <span class="img-wrapper"> <span>protobuf1</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/protobuf2_193f92f033.png" alt="protobuf2" class="doc-image" id="protobuf2" />
   </span> <span class="img-wrapper"> <span>protobuf2</span> </span></p>
<p>아래 이미지는 쿼리 표현식의 UML 이미지입니다. 각 표현식의 기본 클래스와 파생 클래스를 보여줍니다. 각 클래스에는 방문자 매개변수를 받아들이는 메서드가 있습니다. 이것은 일반적인 방문자 디자인 패턴입니다. 이 패턴의 가장 큰 장점은 사용자가 기본 표현식에 아무 작업도 하지 않고 패턴의 메서드 중 하나에 직접 접근하여 특정 쿼리 표현식 클래스 및 관련 요소를 수정할 수 있다는 점입니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/UML_1238bc30e1.png" alt="UML" class="doc-image" id="uml" />
   </span> <span class="img-wrapper"> <span>UML</span> </span></p>
<p>계획 AST를 실행할 때 Milvus는 먼저 프로토 타입의 계획 노드를 받습니다. 그런 다음 내부 C++ 프로토 파서를 통해 세그코어 타입의 플랜 노드를 얻습니다. 두 가지 유형의 플랜 노드를 얻으면 Milvus는 일련의 클래스 액세스를 수락한 다음 플랜 노드의 내부 구조에서 수정 및 실행합니다. 마지막으로 Milvus는 모든 실행 계획 노드를 검색하여 필터링된 결과를 얻습니다. 최종 결과는 비트마스크 형식으로 출력됩니다. 비트마스크는 비트 숫자("0"과 "1")의 배열입니다. 필터 조건을 충족하는 데이터는 비트마스크에서 "1"로 표시되고, 조건을 충족하지 않는 데이터는 비트마스크에서 "0"으로 표시됩니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/execute_workflow_d89f1ee925.png" alt="execute workflow" class="doc-image" id="execute-workflow" />
   </span> <span class="img-wrapper"> <span>워크플로 실행</span> </span></p>
<h2 id="About-the-Deep-Dive-Series" class="common-anchor-header">심층 분석 시리즈 소개<button data-href="#About-the-Deep-Dive-Series" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.0의 <a href="https://milvus.io/blog/2022-1-25-annoucing-general-availability-of-milvus-2-0.md">공식</a> 출시와 함께 Milvus 아키텍처와 소스 코드에 대한 심층적인 해석을 제공하기 위해 Milvus 딥 다이브 블로그 시리즈를 기획했습니다. 이 블로그 시리즈에서 다루는 주제는 다음과 같습니다:</p>
<ul>
<li><a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">Milvus 아키텍처 개요</a></li>
<li><a href="https://milvus.io/blog/deep-dive-2-milvus-sdk-and-api.md">API 및 Python SDK</a></li>
<li><a href="https://milvus.io/blog/deep-dive-3-data-processing.md">데이터 처리</a></li>
<li><a href="https://milvus.io/blog/deep-dive-4-data-insertion-and-data-persistence.md">데이터 관리</a></li>
<li><a href="https://milvus.io/blog/deep-dive-5-real-time-query.md">실시간 쿼리</a></li>
<li><a href="https://milvus.io/blog/deep-dive-7-query-expression.md">스칼라 실행 엔진</a></li>
<li><a href="https://milvus.io/blog/deep-dive-6-oss-qa.md">QA 시스템</a></li>
<li><a href="https://milvus.io/blog/deep-dive-8-knowhere.md">벡터 실행 엔진</a></li>
</ul>


데이터베이스는 쿼리를 어떻게 이해하고 실행하나요?

오픈 소스 소프트웨어(OSS) 품질 보증 - Milvus 사례 연구

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220516_163732_d40acac221.png" alt="Cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>표지 이미지</span> </span></p>
<p>최근 <a href="https://github.com/milvus-io/milvus">Milvus의 GitHub 리</a>포지토리에서 10,000개 이상의 별이 달리는 등 벡터 데이터베이스의 여정에서 놀라운 이정표를 달성했습니다. 별을 달아주시고 응원해주신 모든 분들께 감사드립니다 ⭐️.</p>
<p>Milvus가 오픈 소스 프로젝트가 된 지 2년 반이 지났습니다. 처음 시작할 때만 해도 벡터 데이터베이스가 무엇인지 정확히 이해하는 사람은 거의 없었고, 일상 생활에서 AI를 어떻게 활용하고 가속화할 수 있을지에 대해 이야기하는 사람도 드물었습니다. Milvus 벡터 데이터베이스는 AI를 위한 차세대 데이터베이스를 정의하고 구축하려는 우리의 비전을 담고 있습니다. Milvus 프로젝트에서는 SOTA 알고리즘과 클라우드 기술을 결합하여 개발자가 Milvus 벡터 데이터베이스를 통해 손쉽게 AI 애플리케이션을 구축할 수 있도록 지원합니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Milvus_0_10000_d50a914332.gif" alt="Gif2" class="doc-image" id="gif2" />
   </span> <span class="img-wrapper"> <span>Gif2</span> </span></p>
<div align="center">Milvus 리포지토리 개발 시각화 전체 동영상을 보려면 <a href="https://www.youtube.com/watch?v=zIAX_oPI2Jk&ab_channel=Milvus-VectorDatabase">여기를</a> 클릭하세요.</div>
<p><br/></p>
<p>Milvus의 토대를 마련한 많은 <a href="https://github.com/milvus-io/milvus">훌륭한 프로젝트가</a> 있으며, 그 거인들의 어깨 위에 서게 되어 감사하게 생각합니다. 그분들이 없었다면 Milvus는 존재하지 않았을 것입니다.</p>
<p>또한 이 새로운 유형의 데이터베이스를 위한 흥미로운 장을 여는 데 도움을 주신 멋진 커뮤니티에도 진심으로 감사드립니다. 앞으로 나아가기 전에 잠시 시간을 내어 이 여정을 되돌아보고 이정표를 돌아보며 개발자들에게 인정과 감사를 표하고 싶습니다:</p>
<ul>
<li>저희는 <a href="https://lfaidata.foundation/blog/2020/04/02/milvus-joins-lf-ai-as-new-incubation-project/">인큐베이션</a> 단계에서 LF AI &amp; Data Foundation에 합류하여 다른 많은 훌륭한 오픈 소스 AI 및 데이터 프로젝트들과 함께 보금자리를 찾았습니다. 이제 Milvus는 이미 <a href="https://lfaidata.foundation/blog/2021/06/23/lf-ai-data-foundation-announces-graduation-of-milvus-project/">졸업 프로젝트가</a> 되었습니다.</li>
<li>우리는 두 가지 주요 릴리스를 제공했습니다: <a href="https://milvus.io/docs/v1.0.0/announcement.md">Milvus 1.0과</a> <a href="https://milvus.io/docs/v2.0.x/comparison.md">Milvus 2.0</a>.</li>
<li>SIGMOD 논문이 발표되었습니다: <a href="https://dl.acm.org/doi/abs/10.1145/3448016.3457550">Milvus: 목적에 맞게 구축된 벡터 데이터 관리 시스템</a>.</li>
<li>현재 전 세계적으로 10,000명 이상의 커뮤니티 회원과 220명 이상의 기여자가 있습니다.</li>
<li>Milvus를 도입한 <a href="https://milvus.io/">기업 사용자도 1,000곳이</a> 넘습니다. 그중에는 업계 리더들도 다수 포함되어 있습니다.</li>
</ul>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Milvus_10000_star_timeline_3sec_de1a7c906a.gif" alt="Timeline gif" class="doc-image" id="timeline-gif" />
   </span> <span class="img-wrapper"> <span>타임라인 gif</span> </span></p>
<p>이 모든 것은 기여해주시는 모든 분들 덕분에 가능한 일입니다. 풀 리퀘스트, 이슈 리포트, 이메일, 미팅, Milvus에 대한 지식 공유에 감사드립니다. 여러분 모두가 Milvus의 발전에 소중한 역할을 하고 있습니다.</p>
<h2 id="Special-event" class="common-anchor-header">특별 이벤트<button data-href="#Special-event" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>이 특별한 이정표를 위해 작은 감사 선물로 <a href="https://assets.zilliz.com/10_K_stars_2b2e0e0b36.png">다운로드 가능한 바탕화면</a> 배경화면을 준비했습니다. 즐겁게 사용하시기 바랍니다!</p>
<p><a href="https://twitter.com/milvusio">널리</a> 알려주시면 감사하겠습니다! ❤️</p>


밀버스를 위한 작은 발걸음 - 10,000개의 별

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/deep_dive_5_5e9175c7f7.png" alt="Cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>표지 이미지</span> </span></p>
<blockquote>
<p>이 글은 <a href="https://github.com/xige-16">Xi Ge가</a> 작성하고 <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni가</a> 번역했습니다.</p>
</blockquote>
<p>이전 게시물에서는 Milvus의 <a href="https://milvus.io/blog/deep-dive-4-data-insertion-and-data-persistence.md">데이터 삽입과 데이터 지속성에</a> 대해 이야기했습니다. 이번 글에서는 Milvus의 <a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">여러 구성 요소가</a> 서로 상호 작용하여 실시간 데이터 쿼리를 완료하는 방법에 대해 계속 설명하겠습니다.</p>
<p><em>시작하기 전에 유용한 몇 가지 리소스는 다음과 같습니다. 이 글의 주제를 더 잘 이해하기 위해 먼저 읽어보시는 것을 권장합니다.</em></p>
<ul>
<li><a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">Milvus 아키텍처에 대해 자세히 알아보기</a></li>
<li><a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md#Data-Model">Milvus 데이터 모델</a></li>
<li><a href="https://milvus.io/docs/v2.0.x/four_layers.md">각 Milvus 구성 요소의 역할과 기능</a></li>
<li><a href="https://milvus.io/blog/deep-dive-3-data-processing.md">Milvus의 데이터 처리</a></li>
<li><a href="https://milvus.io/blog/deep-dive-4-data-insertion-and-data-persistence.md">Milvus의 데이터 삽입 및 데이터 지속성</a></li>
</ul>
<h2 id="Load-data-to-query-node" class="common-anchor-header">쿼리 노드에 데이터 로드<button data-href="#Load-data-to-query-node" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>쿼리를 실행하기 전에 먼저 쿼리 노드에 데이터를 로드해야 합니다.</p>
<p>쿼리 노드에 로드되는 데이터에는 <a href="https://milvus.io/docs/v2.0.x/four_layers.md#Log-broker">로그 브로커의</a> 스트리밍 데이터와 <a href="https://milvus.io/docs/v2.0.x/four_layers.md#Object-storage">객체 스토리지의</a> 기록 데이터(아래에서는 영구 저장소라고도 함)의 두 가지 유형이 있습니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/flowchart_b1c51dfdaa.png" alt="Flowchart" class="doc-image" id="flowchart" />
   </span> <span class="img-wrapper"> <span>흐름도</span> </span></p>
<p>데이터 코드는 Milvus에 지속적으로 삽입되는 스트리밍 데이터를 처리하는 역할을 담당합니다. Milvus 사용자가 컬렉션을 로드하기 위해 <code translate="no">collection.load()</code> 을 호출하면, 쿼리 코드는 데이터 코드로 문의하여 스토리지에 지속된 세그먼트와 그에 해당하는 체크포인트를 알아냅니다. 체크포인트는 체크포인트 이전의 지속된 세그먼트는 소비되고 체크포인트 이후의 세그먼트는 소비되지 않음을 나타내는 표시입니다.</p>
<p>그런 다음 쿼리 코드는 데이터 코드의 정보를 기반으로 세그먼트별 또는 채널별 할당 전략을 출력합니다. 세그먼트 할당자는 영구 저장소의 세그먼트(배치 데이터)를 다른 쿼리 노드에 할당하는 역할을 담당합니다. 예를 들어, 위 이미지에서 세그먼트 할당자는 세그먼트 1과 3(S1, S3)을 쿼리 노드 1에 할당하고 세그먼트 2와 4(S2, S4)를 쿼리 노드 2에 할당합니다. 채널 할당자는 로그 브로커에서 여러 데이터 조작 <a href="https://milvus.io/docs/v2.0.x/data_processing.md#Data-insertion">채널</a> (DMC채널)을 볼 수 있도록 서로 다른 쿼리 노드를 할당합니다. 예를 들어, 위 이미지에서 채널 할당자는 쿼리 노드 1에 채널 1(Ch1)을 감시하도록 할당하고 쿼리 노드 2에 채널 2(Ch2)를 감시하도록 할당합니다.</p>
<p>할당 전략에 따라 각 쿼리 노드는 세그먼트 데이터를 로드하고 그에 따라 채널을 시청합니다. 이미지의 쿼리 노드 1에서는 퍼시스턴트 스토리지에서 할당된 S1 및 S3를 통해 과거 데이터(배치 데이터)가 로드됩니다. 한편, 쿼리 노드 1은 로그 브로커에서 채널 1을 구독하여 증분 데이터(스트리밍 데이터)를 로드합니다.</p>
<h2 id="Data-management-in-query-node" class="common-anchor-header">쿼리 노드에서의 데이터 관리<button data-href="#Data-management-in-query-node" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>쿼리 노드는 기록 데이터와 증분 데이터를 모두 관리해야 합니다. 히스토리 데이터는 봉인된 <a href="https://milvus.io/blog/deep-dive-4-data-insertion-and-data-persistence.md#Sealed-segment">세그먼트에</a> 저장되고 증분 데이터는 <a href="https://milvus.io/blog/deep-dive-4-data-insertion-and-data-persistence.md#Growing-segment">증가하는 세그먼트에</a> 저장됩니다.</p>
<h3 id="Historical-data-management" class="common-anchor-header">기록 데이터 관리</h3><p>기록 데이터 관리에는 크게 부하 분산과 쿼리 노드 장애 조치라는 두 가지 고려 사항이 있습니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/load_balance_c77e22bb5c.png" alt="Load balance" class="doc-image" id="load-balance" />
   </span> <span class="img-wrapper"> <span>부하 분산</span> </span></p>
<p>예를 들어, 그림에서 보듯이 쿼리 노드 4에는 다른 쿼리 노드보다 더 많은 봉인된 세그먼트가 할당되어 있습니다. 이로 인해 쿼리 노드 4가 전체 쿼리 프로세스를 느리게 하는 병목 현상이 발생할 가능성이 높습니다. 이 문제를 해결하려면 시스템은 쿼리 노드 4의 여러 세그먼트를 다른 쿼리 노드에 할당해야 합니다. 이를 부하 분산이라고 합니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Query_node_failover_3278c0e307.png" alt="Query node failover" class="doc-image" id="query-node-failover" />
   </span> <span class="img-wrapper"> <span>쿼리 노드 장애 조치</span> </span></p>
<p>또 다른 가능한 상황이 위 이미지에 설명되어 있습니다. 노드 중 하나인 쿼리 노드 4가 갑자기 다운되었습니다. 이 경우 쿼리 결과의 정확성을 보장하기 위해 부하(쿼리 노드 4에 할당된 세그먼트)를 다른 작업 중인 쿼리 노드로 이전해야 합니다.</p>
<h3 id="Incremental-data-management" class="common-anchor-header">증분 데이터 관리</h3><p>쿼리 노드는 증분 데이터를 수신하기 위해 DMC채널을 감시합니다. 이 과정에서 플로우그래프가 도입됩니다. 먼저 모든 데이터 삽입 메시지를 필터링합니다. 이는 지정된 파티션에 있는 데이터만 로드되도록 하기 위함입니다. Milvus의 각 컬렉션에는 해당 컬렉션의 모든 파티션이 공유하는 해당 채널이 있습니다. 따라서 Milvus 사용자가 특정 파티션의 데이터만 로드해야 하는 경우 삽입된 데이터를 필터링하기 위해 플로우그래프가 필요합니다. 그렇지 않으면 컬렉션의 모든 파티션에 있는 데이터가 쿼리 노드에 로드됩니다.</p>
<p>필터링된 후, 증분 데이터는 증가하는 세그먼트에 삽입되고 서버 시간 노드로 추가로 전달됩니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/flow_graph_dc58651367.png" alt="Flowgraph" class="doc-image" id="flowgraph" />
   </span> <span class="img-wrapper"> <span>흐름 그래프</span> </span></p>
<p>데이터가 삽입되는 동안 각 삽입 메시지에는 타임스탬프가 할당됩니다. 위 이미지에 표시된 DMC채널에서는 데이터가 왼쪽에서 오른쪽으로 순서대로 삽입됩니다. 첫 번째 삽입 메시지의 타임스탬프는 1, 두 번째는 2, 세 번째는 6입니다. 빨간색으로 표시된 네 번째 메시지는 삽입 메시지가 아니라 타임틱 메시지입니다. 이는 타임스탬프가 이 타임틱보다 작은 삽입 데이터가 이미 로그 브로커에 있음을 나타내기 위한 것입니다. 즉, 이 타임틱 메시지 이후에 삽입된 데이터는 모두 이 타임틱보다 큰 값을 갖는 타임스탬프를 가져야 합니다. 예를 들어 위 이미지에서 쿼리 노드가 현재 타임틱이 5라고 인식하면, 타임스탬프 값이 5보다 작은 모든 삽입 메시지가 쿼리 노드에 로드된다는 뜻입니다.</p>
<p>서버 시간 노드는 삽입 노드로부터 타임틱을 받을 때마다 업데이트된 <code translate="no">tsafe</code> 값을 제공합니다. <code translate="no">tsafe</code> 은 안전 시간을 의미하며, 이 시점 이전에 삽입된 모든 데이터를 조회할 수 있습니다. 예를 들어 <code translate="no">tsafe</code> = 9인 경우 타임스탬프가 9보다 작은 삽입 데이터는 모두 쿼리할 수 있습니다.</p>
<h2 id="Real-time-query-in-Milvus" class="common-anchor-header">Milvus에서 실시간 쿼리<button data-href="#Real-time-query-in-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus의 실시간 쿼리는 쿼리 메시지를 통해 활성화됩니다. 쿼리 메시지는 프록시를 통해 로그 브로커에 삽입됩니다. 그러면 쿼리 노드는 로그 브로커에서 쿼리 채널을 감시하여 쿼리 메시지를 얻습니다.</p>
<h3 id="Query-message" class="common-anchor-header">쿼리 메시지</h3><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/query_message_4d57814f47.png" alt="Query message" class="doc-image" id="query-message" />
   </span> <span class="img-wrapper"> <span>쿼리 메시지</span> </span></p>
<p>쿼리 메시지에는 쿼리에 대한 다음과 같은 중요한 정보가 포함됩니다:</p>
<ul>
<li><code translate="no">msgID</code>: 메시지 ID: 시스템에서 할당된 쿼리 메시지의 ID입니다.</li>
<li><code translate="no">collectionID</code>: 쿼리할 컬렉션의 ID(사용자가 지정한 경우).</li>
<li><code translate="no">execPlan</code>: 실행 계획은 주로 쿼리에서 속성 필터링에 사용됩니다.</li>
<li><code translate="no">service_ts</code>: 서비스 타임스탬프는 위에서 언급한 <code translate="no">tsafe</code> 와 함께 업데이트됩니다. 서비스 타임스탬프는 서비스가 어느 시점에 있는지를 나타냅니다. <code translate="no">service_ts</code> 이전에 삽입된 모든 데이터는 쿼리에 사용할 수 있습니다.</li>
<li><code translate="no">travel_ts</code>: 여행 타임스탬프는 과거의 시간 범위를 지정합니다. 그리고 <code translate="no">travel_ts</code> 에 지정된 기간에 존재하는 데이터에 대해 쿼리가 수행됩니다.</li>
<li><code translate="no">guarantee_ts</code>: 보증 타임스탬프는 쿼리를 수행해야 하는 기간을 지정합니다. <code translate="no">service_ts</code> &gt; <code translate="no">guarantee_ts</code> 인 경우에만 쿼리가 수행됩니다.</li>
</ul>
<h3 id="Real-time-query" class="common-anchor-header">실시간 쿼리</h3><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/query_process_7f676972d8.png" alt="Query process" class="doc-image" id="query-process" />
   </span> <span class="img-wrapper"> <span>쿼리 프로세스</span> </span></p>
<p>밀버스는 쿼리 메시지가 수신되면 먼저 현재 서비스 시간인 <code translate="no">service_ts</code> 이 쿼리 메시지의 보증 타임스탬프인 <code translate="no">guarantee_ts</code> 보다 큰지 판단합니다. 그렇다면 쿼리가 실행됩니다. 쿼리는 과거 데이터와 증분 데이터 모두에 대해 병렬로 수행됩니다. 스트리밍 데이터와 배치 데이터 사이에 데이터가 중복될 수 있으므로 중복된 쿼리 결과를 걸러내기 위해 "로컬 축소"라는 작업이 필요합니다.</p>
<p>그러나 현재 서비스 시간이 새로 삽입된 쿼리 메시지의 보증 타임스탬프보다 작으면 해당 쿼리 메시지는 미해결 메시지가 되어 서비스 시간이 보증 타임스탬프보다 커질 때까지 처리를 대기하게 됩니다.</p>
<p>쿼리 결과는 최종적으로 결과 채널로 푸시됩니다. 프록시는 해당 채널에서 쿼리 결과를 가져옵니다. 마찬가지로 프록시는 여러 쿼리 노드로부터 결과를 수신하고 쿼리 결과가 반복될 수 있으므로 '전역 축소'도 수행합니다.</p>
<p>프록시가 SDK에 반환하기 전에 모든 쿼리 결과를 수신했는지 확인하기 위해 결과 메시지에는 검색된 봉인된 세그먼트, 검색된 DMC채널, 글로벌 봉인된 세그먼트(모든 쿼리 노드의 모든 세그먼트) 등의 정보 기록도 유지됩니다. 시스템은 다음 두 가지 조건이 모두 충족되는 경우에만 프록시가 모든 쿼리 결과를 수신했다고 결론을 내릴 수 있습니다:</p>
<ul>
<li>모든 결과 메시지에 기록된 검색된 모든 봉인된 세그먼트의 합이 글로벌 봉인된 세그먼트보다 클 것,</li>
<li>컬렉션의 모든 DMC채널이 쿼리됨.</li>
</ul>
<p>궁극적으로 프록시는 '글로벌 축소' 후 최종 결과를 Milvus SDK에 반환합니다.</p>
<h2 id="About-the-Deep-Dive-Series" class="common-anchor-header">딥 다이브 시리즈 소개<button data-href="#About-the-Deep-Dive-Series" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.0의 <a href="https://milvus.io/blog/2022-1-25-annoucing-general-availability-of-milvus-2-0.md">공식</a> 출시와 함께 Milvus 아키텍처와 소스 코드에 대한 심층적인 해석을 제공하기 위해 Milvus 딥 다이브 블로그 시리즈를 기획했습니다. 이 블로그 시리즈에서 다루는 주제는 다음과 같습니다:</p>
<ul>
<li><a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">Milvus 아키텍처 개요</a></li>
<li><a href="https://milvus.io/blog/deep-dive-2-milvus-sdk-and-api.md">API 및 Python SDK</a></li>
<li><a href="https://milvus.io/blog/deep-dive-3-data-processing.md">데이터 처리</a></li>
<li><a href="https://milvus.io/blog/deep-dive-4-data-insertion-and-data-persistence.md">데이터 관리</a></li>
<li><a href="https://milvus.io/blog/deep-dive-5-real-time-query.md">실시간 쿼리</a></li>
<li><a href="https://milvus.io/blog/deep-dive-7-query-expression.md">스칼라 실행 엔진</a></li>
<li><a href="https://milvus.io/blog/deep-dive-6-oss-qa.md">QA 시스템</a></li>
<li><a href="https://milvus.io/blog/deep-dive-8-knowhere.md">벡터 실행 엔진</a></li>
</ul>


실시간 쿼리를 위한 Milvus 벡터 데이터베이스 사용

벡터 데이터베이스의 데이터 삽입 및 데이터 지속성

벡터 데이터베이스에서 데이터는 어떻게 처리되나요?

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220322_175856_e8e7bea7dc.png" alt="Cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>표지 이미지</span> </span></p>
<p>By <a href="https://github.com/XuanYang-cn">Xuan Yang</a></p>
<h2 id="Background" class="common-anchor-header">배경<button data-href="#Background" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>다음 그림은 gRPC를 통한 SDK와 Milvus 간의 상호 작용을 보여줍니다. Milvus를 블랙박스라고 상상해 보세요. 프로토콜 버퍼는 서버의 인터페이스와 서버가 전달하는 정보의 구조를 정의하는 데 사용됩니다. 따라서 블랙박스 Milvus의 모든 작업은 프로토콜 API에 의해 정의됩니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/SDK_10c9673111.png" alt="Interaction" class="doc-image" id="interaction" />
   </span> <span class="img-wrapper"> <span>상호 작용</span> </span></p>
<h2 id="Milvus-Protocol-API" class="common-anchor-header">Milvus 프로토콜 API<button data-href="#Milvus-Protocol-API" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 프로토콜 API는 <code translate="no">milvus.proto</code>, <code translate="no">common.proto</code>, <code translate="no">schema.proto</code> 로 구성되며, <code translate="no">.proto</code> 이 접미사로 붙은 프로토콜 버퍼 파일입니다. 제대로 작동하려면 SDK는 이러한 프로토콜 버퍼 파일을 사용하여 Milvus와 상호 작용해야 합니다.</p>
<h3 id="milvusproto" class="common-anchor-header">milvus.proto</h3><p><code translate="no">milvus.proto</code> 는 Milvus의 모든 RPC 인터페이스를 추가로 정의하는 <code translate="no">MilvusService</code> 를 정의하기 때문에 Milvus 프로토콜 API의 핵심 구성 요소입니다.</p>
<p>다음 코드 샘플은 <code translate="no">CreatePartitionRequest</code> 인터페이스를 보여줍니다. 여기에는 파티션 생성 요청을 시작할 수 있는 두 개의 주요 문자열 유형 매개변수 <code translate="no">collection_name</code> 와 <code translate="no">partition_name</code> 가 있습니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/code_d5f034d58d.png" alt="CreatePartitionRequest" class="doc-image" id="createpartitionrequest" />
   </span> <span class="img-wrapper"> <span>CreatePartitionRequest</span> </span></p>
<p><a href="https://github.com/milvus-io/milvus-proto/blob/44f59db22b27cc55e4168c8e53b6e781c010a713/proto/milvus.proto">파이밀버스 GitHub 리포지토리</a> 19번 줄의 프로토콜 예제를 확인하세요.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/create_partition_938691f07f.png" alt="Example" class="doc-image" id="example" />
   </span> <span class="img-wrapper"> <span>예제</span> </span></p>
<p><code translate="no">CreatePartitionRequest</code> 의 정의는 여기에서 확인할 수 있습니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220321_112254_4ec4f35bd3.png" alt="Definition" class="doc-image" id="definition" />
   </span> <span class="img-wrapper"> <span>정의</span> </span></p>
<p>Milvus의 기능이나 다른 프로그래밍 언어로 SDK를 개발하고자 하는 기여자는 RPC를 통해 Milvus가 제공하는 모든 인터페이스를 찾을 수 있습니다.</p>
<h3 id="commonproto" class="common-anchor-header">common.proto</h3><p><code translate="no">common.proto</code> 는 <code translate="no">ErrorCode</code>, <code translate="no">Status</code> 을 포함한 일반적인 정보 유형을 정의합니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220321_112303_eaafc432a8.png" alt="common.proto" class="doc-image" id="common.proto" />
   </span> <span class="img-wrapper"> <span>common.proto</span> </span></p>
<h3 id="schemaproto" class="common-anchor-header">schema.proto</h3><p><code translate="no">schema.proto</code> 는 매개변수에서 스키마를 정의합니다. 다음 코드 샘플은 <code translate="no">CollectionSchema</code> 의 예시입니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220321_112313_df4ebe36e7.png" alt="schema.proto" class="doc-image" id="schema.proto" />
   </span> <span class="img-wrapper"> <span>schema.proto</span> </span></p>
<p><code translate="no">milvus.proto</code>, <code translate="no">common.proto</code>, <code translate="no">schema.proto</code> 이 함께 Milvus의 API를 구성하며, RPC를 통해 호출할 수 있는 모든 작업을 나타냅니다.</p>
<p>소스 코드를 자세히 살펴보면 <code translate="no">create_index</code> 와 같은 인터페이스가 호출될 때 실제로는 <code translate="no">describe_collection</code> 및 <code translate="no">describe_index</code> 와 같은 여러 개의 RPC 인터페이스를 호출한다는 것을 알 수 있습니다. Milvus의 많은 외형 인터페이스는 여러 RPC 인터페이스의 조합입니다.</p>
<p>RPC의 동작을 이해했다면 조합을 통해 Milvus의 새로운 기능을 개발할 수 있습니다. 여러분의 상상력과 창의력을 발휘하여 Milvus 커뮤니티에 기여하는 것을 환영합니다.</p>
<h2 id="PyMilvus-20" class="common-anchor-header">PyMilvus 2.0<button data-href="#PyMilvus-20" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="Object-relational-mapping-ORM" class="common-anchor-header">객체 관계형 매핑(ORM)</h3><p>간단히 말해서, 객체 관계형 매핑(ORM)은 로컬 객체에서 작업을 수행할 때 해당 작업이 서버의 해당 객체에 영향을 미치는 것을 말합니다. PyMilvus ORM 스타일 API는 다음과 같은 특징이 있습니다:</p>
<ol>
<li>객체에서 직접 작동합니다.</li>
<li>서비스 로직과 데이터 액세스 세부 정보를 분리합니다.</li>
<li>구현의 복잡성을 숨기고, 배포 접근 방식이나 구현에 관계없이 여러 Milvus 인스턴스에서 동일한 스크립트를 실행할 수 있습니다.</li>
</ol>
<h3 id="ORM-style-API" class="common-anchor-header">ORM 스타일 API</h3><p>ORM 스타일 API의 핵심 중 하나는 Milvus 연결 제어에 있습니다. 예를 들어, 여러 Milvus 서버에 별칭을 지정하고 해당 별칭으로만 서버에 연결하거나 연결을 끊을 수 있습니다. 심지어 로컬 서버 주소를 삭제하고 특정 연결을 통해 특정 개체를 정밀하게 제어할 수도 있습니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220321_112320_d5ff08a582.png" alt="Control Connection" class="doc-image" id="control-connection" />
   </span> <span class="img-wrapper"> <span>연결 제어</span> </span></p>
<p>ORM 스타일 API의 또 다른 특징은 추상화 후 컬렉션, 파티션, 인덱스를 포함한 모든 작업을 객체에서 직접 수행할 수 있다는 점입니다.</p>
<p>기존 컬렉션 객체를 가져오거나 새 컬렉션 객체를 생성하여 컬렉션 객체를 추상화할 수 있습니다. 또한 연결 별칭을 사용하여 특정 개체에 Milvus 연결을 할당하여 이러한 개체에 대해 로컬로 작업할 수 있습니다.</p>
<p>파티션 개체를 만들려면 부모 컬렉션 개체를 사용하여 만들거나 컬렉션 개체를 만들 때와 마찬가지로 만들 수 있습니다. 이러한 방법은 인덱스 객체에도 사용할 수 있습니다.</p>
<p>이러한 파티션 또는 인덱스 개체가 존재하는 경우 상위 컬렉션 개체를 통해 가져올 수 있습니다.</p>
<h2 id="About-the-Deep-Dive-Series" class="common-anchor-header">심층 분석 시리즈 소개<button data-href="#About-the-Deep-Dive-Series" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.0의 <a href="https://milvus.io/blog/2022-1-25-annoucing-general-availability-of-milvus-2-0.md">공식 출시 발표와</a> 함께 Milvus 아키텍처와 소스 코드에 대한 심층적인 해석을 제공하기 위해 Milvus 딥 다이브 블로그 시리즈를 기획했습니다. 이 블로그 시리즈에서 다루는 주제는 다음과 같습니다:</p>
<ul>
<li><a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">Milvus 아키텍처 개요</a></li>
<li><a href="https://milvus.io/blog/deep-dive-2-milvus-sdk-and-api.md">API 및 Python SDK</a></li>
<li><a href="https://milvus.io/blog/deep-dive-3-data-processing.md">데이터 처리</a></li>
<li><a href="https://milvus.io/blog/deep-dive-4-data-insertion-and-data-persistence.md">데이터 관리</a></li>
<li><a href="https://milvus.io/blog/deep-dive-5-real-time-query.md">실시간 쿼리</a></li>
<li><a href="https://milvus.io/blog/deep-dive-7-query-expression.md">스칼라 실행 엔진</a></li>
<li><a href="https://milvus.io/blog/deep-dive-6-oss-qa.md">QA 시스템</a></li>
<li><a href="https://milvus.io/blog/deep-dive-8-knowhere.md">벡터 실행 엔진</a></li>
</ul>


Milvus Python SDK 및 API 소개

확장 가능한 유사도 검색을 위한 벡터 데이터베이스 구축

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Attu_3ff9a76156.png" alt="Binlog Cover Image" class="doc-image" id="binlog-cover-image" />
   </span> <span class="img-wrapper"> <span>빈로그 표지 이미지</span> </span></p>
<p><a href="https://github.com/czhen-zilliz">Zhen Chen이</a> 초안을 작성하고 <a href="https://github.com/LocoRichard">Lichen Wang이</a> 수정했습니다.</p>
<p style="font-size: 12px;color: #4c5a67">원본 게시물을 확인하려면 <a href="https://zilliz.com/blog/manage-your-milvus-vector-database-with-one-click-simplicity">여기를</a> 클릭하세요.</p> 
<p>비정형 데이터 처리에 대한 수요가 급증하는 가운데 Milvus 2.0이 눈에 띕니다. 대규모 생산 시나리오를 위해 설계된 AI 지향 벡터 데이터베이스 시스템입니다. 이러한 Milvus SDK와 Milvus의 명령줄 인터페이스인 Milvus CLI 외에도 사용자가 Milvus를 보다 직관적으로 조작할 수 있는 도구가 있을까요? 정답은 '예'입니다. 질리즈는 Milvus 전용 그래픽 사용자 인터페이스인 Attu를 발표했습니다. 이 글에서는 Attu로 벡터 유사도 검색을 수행하는 방법을 단계별로 보여드리고자 합니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/map_aa1cda30d4.png" alt="Attu island" class="doc-image" id="attu-island" />
   </span> <span class="img-wrapper"> <span>Attu 섬</span> </span></p>
<p>사용법이 가장 단순한 Milvus CLI와 비교했을 때, Attu는 더 많은 기능을 제공합니다:</p>
<ul>
<li>Windows OS, macOS, Linux OS용 설치 프로그램;</li>
<li>밀버스를 더욱 쉽게 사용할 수 있는 직관적인 GUI;</li>
<li>Milvus의 주요 기능 지원;</li>
<li>맞춤형 기능 확장을 위한 플러그인</li>
<li>Milvus 인스턴스를 보다 쉽게 이해하고 관리할 수 있는 완전한 시스템 토폴로지 정보.</li>
</ul>
<h2 id="Installation" class="common-anchor-header">설치<button data-href="#Installation" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Attu의 최신 릴리스는 <a href="https://github.com/zilliztech/attu/releases">GitHub에서</a> 찾을 수 있습니다. Attu는 다양한 운영 체제를 위한 실행 가능한 설치 프로그램을 제공합니다. 오픈 소스 프로젝트이며 모든 사람의 기여를 환영합니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/installation_bbe62873af.png" alt="Installation" class="doc-image" id="installation" />
   </span> <span class="img-wrapper"> <span>설치</span> </span></p>
<p>Docker를 통해 Attu를 설치할 수도 있습니다.</p>
<pre><code translate="no" class="language-shell">docker run -p <span class="hljs-number">8000</span>:<span class="hljs-number">3000</span> -e <span class="hljs-variable constant_">HOST_URL</span>=<span class="hljs-attr">http</span>:<span class="hljs-comment">//{ attu IP }:8000 -e MILVUS_URL={milvus server IP}:19530 zilliz/attu:latest</span>
<button class="copy-code-btn"></button></code></pre>
<p><code translate="no">attu IP</code> 는 Attu가 실행되는 환경의 IP 주소이고 <code translate="no">milvus server IP</code> 는 Milvus가 실행되는 환경의 IP 주소입니다.</p>
<p>Attu를 성공적으로 설치했다면 인터페이스에 Milvus IP와 포트를 입력하여 Attu를 시작할 수 있습니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/connect_1fde46d9d5.png" alt="Connect Milvus with Attu" class="doc-image" id="connect-milvus-with-attu" />
   </span> <span class="img-wrapper"> <span>Milvus와 Attu 연결하기</span> </span></p>
<h2 id="Feature-overview" class="common-anchor-header">기능 개요<button data-href="#Feature-overview" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/overview_591e230514.png" alt="Overview page" class="doc-image" id="overview-page" />
   </span> <span class="img-wrapper"> <span>개요 페이지</span> </span></p>
<p>Attu 인터페이스는 왼쪽 탐색 창의 네 아이콘에 각각 해당하는 <strong>개요</strong> 페이지, <strong>수집</strong> 페이지, <strong>벡터 검색</strong> 페이지, <strong>시스템 보기</strong> 페이지로 구성됩니다.</p>
<p><strong>개요</strong> 페이지에는 로드된 컬렉션이 표시됩니다. <strong>컬렉션</strong> 페이지에는 모든 컬렉션이 나열되고 로드 또는 해제되었는지 여부가 표시됩니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/collection_42656fe308.png" alt="Collection page" class="doc-image" id="collection-page" />
   </span> <span class="img-wrapper"> <span>컬렉션 페이지</span> </span></p>
<p><strong>벡터 검색</strong> 및 <strong>시스템 보기</strong> 페이지는 Attu의 플러그인입니다. 플러그인의 개념과 사용법은 블로그의 마지막 부분에서 소개할 예정입니다.</p>
<p><strong>벡터 검색</strong> 페이지에서 벡터 유사도 검색을 수행할 수 있습니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/vector_search_be7365687c.png" alt="Vector Search page" class="doc-image" id="vector-search-page" />
   </span> <span class="img-wrapper"> <span>벡터 검색 페이지</span> </span></p>
<p><strong>시스템 뷰</strong> 페이지에서는 밀버스의 토폴로지 구조를 확인할 수 있습니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/system_view_e1df15023d.png" alt="System View page" class="doc-image" id="system-view-page" />
   </span> <span class="img-wrapper"> <span>시스템 뷰 페이지</span> </span></p>
<p>노드를 클릭하면 각 노드의 상세 정보를 확인할 수도 있습니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/node_view_5bbc25f9b2.png" alt="Node view" class="doc-image" id="node-view" />
   </span> <span class="img-wrapper"> <span>노드 뷰</span> </span></p>
<h2 id="Demonstration" class="common-anchor-header">데모<button data-href="#Demonstration" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>테스트 데이터 세트를 통해 Attu를 살펴봅시다.</p>
<p>다음 테스트에 사용된 데이터 세트는 <a href="https://github.com/zilliztech/attu/tree/main/examples">GitHub</a> 리포지토리에서 확인하세요.</p>
<p>먼저 다음 네 개의 필드가 있는 test라는 이름의 컬렉션을 만듭니다:</p>
<ul>
<li>필드 이름: id, 기본 키 필드</li>
<li>필드 이름: 벡터, 벡터 필드, 부동 소수점 벡터, 차원: 128</li>
<li>필드 이름: brand, 스칼라 필드, Int64</li>
<li>필드 이름: color, 스칼라 필드, Int64</li>
</ul>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/create_collection_95dfa15354.png" alt="Create a collection" class="doc-image" id="create-a-collection" />
   </span> <span class="img-wrapper"> <span>컬렉션 만들기</span> </span></p>
<p>컬렉션이 성공적으로 생성된 후 검색을 위해 컬렉션을 로드합니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/load_collection_fec39171df.png" alt="Load the collection" class="doc-image" id="load-the-collection" />
   </span> <span class="img-wrapper"> <span>컬렉션 로드</span> </span></p>
<p>이제 <strong>개요</strong> 페이지에서 새로 생성된 컬렉션을 확인할 수 있습니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/check_collection_163b05477e.png" alt="Check the collection" class="doc-image" id="check-the-collection" />
   </span> <span class="img-wrapper"> <span>컬렉션 확인</span> </span></p>
<p>테스트 데이터 세트를 Milvus로 가져옵니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/import_data_1_f73d71be85.png" alt="Import data" class="doc-image" id="import-data" />
   </span> <span class="img-wrapper"> <span>데이터 가져오기</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/import_data_2_4b3c3c3c25.png" alt="Import data" class="doc-image" id="import-data" />
   </span> <span class="img-wrapper"> <span>데이터 가져오기</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/import_data_3_0def4e8550.png" alt="Import data" class="doc-image" id="import-data" />
   </span> <span class="img-wrapper"> <span>데이터 가져오기</span> </span></p>
<p>개요 또는 컬렉션 페이지에서 컬렉션 이름을 클릭하여 가져온 데이터를 확인할 수 있는 쿼리 인터페이스로 들어갑니다.</p>
<p>필터를 추가하고 <code translate="no">id != 0</code> 식을 지정한 후 <strong>필터 적용을</strong> 클릭하고 <strong>쿼리를</strong> 클릭합니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/query_data_24d9f71ccc.png" alt="Query data" class="doc-image" id="query-data" />
   </span> <span class="img-wrapper"> <span>데이터 쿼리</span> </span></p>
<p>50개 항목의 엔티티가 모두 성공적으로 가져온 것을 확인할 수 있습니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/query_result_bcbbd17084.png" alt="Query result" class="doc-image" id="query-result" />
   </span> <span class="img-wrapper"> <span>쿼리 결과</span> </span></p>
<p>벡터 유사도 검색을 해보겠습니다.</p>
<p><code translate="no">search_vectors.csv</code> 에서 벡터 하나를 복사하여 <strong>벡터 값</strong> 필드에 붙여넣습니다. 컬렉션과 필드를 선택합니다. <strong>검색을</strong> 클릭합니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/search_data_5af3a1db53.png" alt="Search data" class="doc-image" id="search-data" />
   </span> <span class="img-wrapper"> <span>데이터 검색</span> </span></p>
<p>그러면 검색 결과를 확인할 수 있습니다. 별도의 스크립트를 컴파일하지 않고도 Milvus로 쉽게 검색할 수 있습니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/search_result_961886efab.png" alt="Search result" class="doc-image" id="search-result" />
   </span> <span class="img-wrapper"> <span>검색 결과</span> </span></p>
<p>마지막으로 <strong>시스템 뷰</strong> 페이지를 확인해 보겠습니다.</p>
<p>Milvus Node.js SDK에 포함된 Metrics API를 통해 시스템 현황, 노드 관계, 노드 상태 등을 확인할 수 있습니다.</p>
<p>Attu의 독점 기능인 시스템 개요 페이지에는 전체 시스템 토폴로지 그래프가 포함되어 있습니다. 각 노드를 클릭하면 해당 노드의 상태를 확인할 수 있습니다(10초마다 새로고침).</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/topological_graph_d0c5c17586.png" alt="Milvus node topological graph" class="doc-image" id="milvus-node-topological-graph" />
   </span> <span class="img-wrapper"> <span>밀버스 노드 토폴로지 그래프</span> </span></p>
<p>각 노드를 클릭하면 <strong>노드 목록 보기로</strong> 들어갑니다. 좌표 노드의 모든 하위 노드를 확인할 수 있습니다. 정렬을 통해 CPU 또는 메모리 사용량이 높은 노드를 빠르게 식별하고 시스템의 문제점을 찾을 수 있습니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/node_list_64fc610a8d.png" alt="Milvus node list" class="doc-image" id="milvus-node-list" />
   </span> <span class="img-wrapper"> <span>밀버스 노드 목록</span> </span></p>
<h2 id="Whats-more" class="common-anchor-header">기타<button data-href="#Whats-more" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>앞서 언급했듯이, <strong>벡터 검색과</strong> <strong>시스템 보기</strong> 페이지는 Attu의 플러그인입니다. 사용자가 자신의 애플리케이션 시나리오에 맞게 Attu에서 직접 플러그인을 개발하는 것을 권장합니다. 소스 코드에는 플러그인 코드를 위해 특별히 제작된 폴더가 있습니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/plugins_a2d98e4e5b.png" alt="Plugins" class="doc-image" id="plugins" />
   </span> <span class="img-wrapper"> <span>플러그인</span> </span></p>
<p>플러그인을 참조하여 플러그인 빌드 방법을 배울 수 있습니다. 다음 설정 파일을 설정하면 Attu에 플러그인을 추가할 수 있습니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/add_plugins_e3ef53cc0d.png" alt="Add plugins to Attu" class="doc-image" id="add-plugins-to-attu" />
   </span> <span class="img-wrapper"> <span>Attu에 플러그인 추가하기</span> </span></p>
<p>자세한 지침은 <a href="https://github.com/zilliztech/attu/tree/main/doc">Attu GitHub 리</a> 포지토리 및 <a href="https://milvus.io/docs/v2.0.x/attu.md">Milvus 기술 문서를</a> 참조하세요.</p>
<p>Attu는 오픈 소스 프로젝트입니다. 모든 기여를 환영합니다. Attu에 문제가 있는 경우 <a href="https://github.com/zilliztech/attu/issues">이슈를 제출할</a> 수도 있습니다.</p>
<p>Attu가 Milvus를 통해 더 나은 사용자 경험을 제공할 수 있기를 진심으로 바랍니다. Attu가 마음에 드시거나 사용법에 대한 피드백이 있으시다면 Attu <a href="https://wenjuan.feishu.cn/m/cfm?t=suw4QnODU1ui-ok7r">사용자 설문조사를</a> 완료하여 더 나은 사용자 경험을 위해 Attu를 최적화하는 데 도움을 주세요.</p>


원클릭으로 간편하게 Milvus 벡터 데이터베이스 관리하기

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Load_balance_b2f35a5577.png" alt="Binlog Cover Image" class="doc-image" id="binlog-cover-image" />
   </span> <span class="img-wrapper"> <span>빈로그 표지 이미지</span> </span></p>
<p>By <a href="https://github.com/xige-16">Xi Ge</a>.</p>
<p>이전 블로그 글에서 Milvus 2.0의 삭제, 비트셋, 압축 기능을 연속적으로 소개해 드렸습니다. 이 시리즈의 마지막을 장식하기 위해 Milvus의 분산 클러스터에서 핵심적인 기능인 로드 밸런스의 설계를 공유하고자 합니다.</p>
<h2 id="Implementation" class="common-anchor-header">구현<button data-href="#Implementation" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>쿼리 노드에서 버퍼링되는 세그먼트의 수와 크기가 다르면 쿼리 노드 전체의 검색 성능도 달라질 수 있습니다. 최악의 경우 몇 개의 쿼리 노드가 대량의 데이터를 검색하다가 모두 소진되었지만 새로 생성된 쿼리 노드는 세그먼트가 분배되지 않아 유휴 상태로 남아있어 CPU 리소스가 대량으로 낭비되고 검색 성능이 크게 저하되는 경우가 발생할 수 있습니다.</p>
<p>이러한 상황을 방지하기 위해 쿼리 코디네이터(쿼리 코디)는 노드의 RAM 사용량에 따라 각 쿼리 노드에 세그먼트를 균등하게 분배하도록 프로그래밍되어 있습니다. 따라서 CPU 리소스가 노드 전체에서 균등하게 사용되므로 검색 성능이 크게 향상됩니다.</p>
<h3 id="Trigger-automatic-load-balance" class="common-anchor-header">자동 부하 분산 트리거</h3><p>구성의 기본값 <code translate="no">queryCoord.balanceIntervalSeconds</code> 에 따르면 쿼리 코드는 60초마다 모든 쿼리 노드의 RAM 사용량(백분율)을 확인합니다. 다음 조건 중 하나가 충족되면 쿼리 코드는 쿼리 노드 전체에 걸쳐 쿼리 부하를 분산하기 시작합니다:</p>
<ol>
<li>클러스터에 있는 쿼리 노드의 RAM 사용량이 <code translate="no">queryCoord.overloadedMemoryThresholdPercentage</code> (기본값: 90)보다 큰 경우;</li>
<li>또는 두 쿼리 노드의 RAM 사용량 차이의 절대값이 <code translate="no">queryCoord.memoryUsageMaxDifferencePercentage</code> (기본값: 30)보다 큰 경우.</li>
</ol>
<p>세그먼트가 소스 쿼리 노드에서 대상 쿼리 노드로 전송된 후에는 다음 조건도 모두 충족해야 합니다:</p>
<ol>
<li>대상 쿼리 노드의 RAM 사용량이 <code translate="no">queryCoord.overloadedMemoryThresholdPercentage</code> (기본값: 90)보다 크지 않아야 합니다;</li>
<li>로드 밸런싱 후 원본 및 대상 쿼리 노드의 RAM 사용량 차이의 절대값이 로드 밸런싱 전보다 작을 것.</li>
</ol>
<p>위의 조건이 충족되면 쿼리 코드는 노드 간 쿼리 부하를 분산하기 위해 작업을 진행합니다.</p>
<h2 id="Load-balance" class="common-anchor-header">로드 밸런스<button data-href="#Load-balance" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>부하 분산이 트리거되면 쿼리 코드는 먼저 대상 세그먼트를 대상 쿼리 노드에 로드합니다. 이 시점에서 두 쿼리 노드는 결과의 완전성을 보장하기 위해 검색 요청이 있을 때마다 대상 세그먼트의 검색 결과를 반환합니다.</p>
<p>대상 쿼리 노드가 대상 세그먼트를 성공적으로 로드한 후 쿼리 코드는 <code translate="no">sealedSegmentChangeInfo</code> 을 쿼리 채널에 게시합니다. 아래 그림과 같이 <code translate="no">onlineNodeID</code> 와 <code translate="no">onlineSegmentIDs</code> 는 각각 세그먼트를 로드하는 쿼리 노드와 로드된 세그먼트를, <code translate="no">offlineNodeID</code> 와 <code translate="no">offlineSegmentIDs</code> 는 세그먼트를 해제해야 하는 쿼리 노드와 해제할 세그먼트를 각각 나타냅니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220228_145413_f253cec15b.png" alt="sealedSegmentChangeInfo" class="doc-image" id="sealedsegmentchangeinfo" />
   </span> <span class="img-wrapper"> <span>sealedSegmentChangeInfo</span> </span></p>
<p><code translate="no">sealedSegmentChangeInfo</code> 을 수신한 소스 쿼리 노드는 대상 세그먼트를 릴리스합니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220228_145436_2604bc57a5.png" alt="Load Balance Workflow" class="doc-image" id="load-balance-workflow" />
   </span> <span class="img-wrapper"> <span>부하 분산 워크플로우</span> </span></p>
<p>소스 쿼리 노드가 대상 세그먼트를 릴리스하면 전체 프로세스가 성공합니다. 이 작업이 완료되면 쿼리 노드 간에 쿼리 부하가 분산되어 모든 쿼리 노드의 RAM 사용량이 <code translate="no">queryCoord.overloadedMemoryThresholdPercentage</code> 보다 크지 않으며, 부하 분산 후 원본 및 대상 쿼리 노드의 RAM 사용량 차이의 절대값이 부하 분산 전보다 작아집니다.</p>
<h2 id="Whats-next" class="common-anchor-header">다음 단계는 무엇인가요?<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>2.0의 새로운 기능 시리즈 블로그에서는 새로운 기능의 설계에 대해 설명하고자 합니다. 이 블로그 시리즈에서 자세히 읽어보세요!</p>
<ul>
<li><a href="https://milvus.io/blog/2022-02-07-how-milvus-deletes-streaming-data-in-distributed-cluster.md">Milvus가 분산 클러스터에서 스트리밍 데이터를 삭제하는 방법</a></li>
<li><a href="https://milvus.io/blog/2022-2-21-compact.md">Milvus에서 데이터를 압축하는 방법은 무엇인가요?</a></li>
<li><a href="https://milvus.io/blog/2022-02-28-how-milvus-balances-query-load-across-nodes.md">Milvus는 노드 간 쿼리 부하를 어떻게 분산하나요?</a></li>
<li><a href="https://milvus.io/blog/2022-2-14-bitset.md">비트셋으로 벡터 유사도 검색의 다양성을 구현하는 방법</a></li>
</ul>
<p>밀버스 2.0의 새로운 기능 블로그 시리즈의 피날레입니다. 이 시리즈에 이어 Milvus 2.0의 기본 아키텍처를 소개하는 새로운 Milvus <a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">심층 분석</a> 시리즈를 계획하고 있습니다. 기대해 주세요.</p>


Milvus는 노드 간 쿼리 부하를 어떻게 분산하나요?

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Compact_173a08ec1c.png" alt="Binlog Cover Image" class="doc-image" id="binlog-cover-image" />
   </span> <span class="img-wrapper"> <span>빈로그 표지 이미지</span> </span></p>
<p><a href="https://github.com/sunby">바이썬 빙이</a>, <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">안젤라 니</a>.</p>
<p>Milvus 2.0 GA의 <a href="https://milvus.io/blog/2022-1-25-annoucing-general-availability-of-milvus-2-0.md">공식 출시와</a> 함께 새로운 기능들이 지원됩니다. 그 중 압축은 저장 공간을 절약하는 데 도움이 되는 새로운 기능 중 하나입니다.</p>
<p>압축이란 작은 세그먼트를 큰 세그먼트로 병합하고 논리적으로 삭제된 데이터를 정리하는 과정을 말합니다. 즉, 압축은 빈로그에서 삭제되거나 만료된 항목을 제거하여 디스크 공간 사용량을 줄여줍니다. 압축은 <a href="https://milvus.io/docs/v2.0.x/four_layers.md#Data-coordinator-data-coord">데이터 코디에</a> 의해 트리거되고 Milvus의 <a href="https://milvus.io/docs/v2.0.x/four_layers.md#Data-node">데이터 노드에</a> 의해 실행되는 백그라운드 작업입니다.</p>
<p>이 문서에서는 Milvus에서 압축의 개념과 구현에 대해 자세히 설명합니다.</p>
<h2 id="What-is-compaction" class="common-anchor-header">압축이란 무엇인가요?<button data-href="#What-is-compaction" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.0에서 압축을 구현하는 방법에 대해 자세히 알아보기 전에 먼저 Milvus에서 압축이 무엇인지 파악하는 것이 중요합니다.</p>
<p>Milvus 사용자라면 하드 디스크 공간 사용량 증가로 인해 불편을 겪은 적이 있을 것입니다. 또 다른 문제는 1,024행 미만의 세그먼트는 색인되지 않으며 쿼리 처리를 위해 무차별 대입 검색만 지원한다는 것입니다. 자동 플러시 또는 사용자 호출 플러시로 인해 발생하는 작은 세그먼트는 쿼리 효율성을 저해할 수 있습니다.</p>
<p>따라서 위에서 언급한 두 가지 문제를 해결하고 디스크 사용량을 줄이고 쿼리 효율성을 개선하기 위해 Milvus는 압축을 지원합니다.</p>
<p><a href="https://github.com/google/leveldb">LevelDB</a> 및 <a href="http://rocksdb.org/">RocksDB와</a> 같은 데이터베이스는 정렬된 문자열 테이블(SSTables)에 데이터를 추가합니다. 쿼리당 평균 디스크 읽기 횟수는 SSTable의 수에 따라 증가하여 비효율적인 쿼리로 이어집니다. 이러한 데이터베이스는 읽기 증폭을 줄이고 하드 드라이브 공간을 확보하기 위해 SSTables를 하나로 압축합니다. 압축 프로세스는 백그라운드에서 자동으로 실행됩니다.</p>
<p>마찬가지로 Milvus는 삽입 및 삭제된 데이터를 <a href="https://github.com/milvus-io/milvus/blob/master/docs/developer_guides/chap08_binlog.md">빈로그에</a> 추가합니다. 빈로그의 수가 증가하면 더 많은 하드 디스크 공간이 사용됩니다. 하드 디스크 공간을 확보하기 위해 Milvus는 삭제 및 삽입된 데이터의 빈로그를 압축합니다. 엔티티가 삽입되었지만 나중에 삭제된 경우, 일단 압축되면 데이터 삽입 또는 삭제를 기록하는 빈로그에 더 이상 존재하지 않습니다. 또한 Milvus는 삽입된 데이터를 보관하기 위해 Milvus가 자동으로 생성하는 데이터 파일인 <a href="https://milvus.io/docs/v2.0.x/glossary.md#Segment">세그먼트도</a> 압축합니다.</p>
<h2 id="How-to-configure-compaction" class="common-anchor-header">압축은 어떻게 구성하나요?<button data-href="#How-to-configure-compaction" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus에서 압축을 구성하려면 주로 <code translate="no">dataCoord.enableCompaction</code> 와 <code translate="no">common.retentionDuration</code>.</p>
<p><code translate="no">dataCoord.enableCompaction</code> 는 압축을 활성화할지 여부를 지정합니다. 기본값은 <code translate="no">true</code> 입니다.</p>
<p><code translate="no">common.retentionDuration</code> 는 압축이 실행되지 않는 기간을 지정합니다. 단위는 초입니다. 데이터를 압축하면 삭제된 모든 엔티티는 시간 이동으로 검색할 수 없게 됩니다. 따라서 시간 이동으로 검색하려는 경우 압축이 실행되지 않고 삭제된 데이터에 영향을 미치지 않는 기간을 지정해야 합니다. 밀버스는 시간 이동 검색의 정확한 결과를 보장하기 위해 <code translate="no">common.retentionDuration</code> 에서 지정한 기간 동안 운영된 데이터를 보관합니다. 즉, 이 기간에 운영된 데이터는 압축되지 않습니다. 자세한 내용은 <a href="https://milvus.io/docs/v2.0.x/timetravel.md">시간 여행을 통한 검색을</a> 참조하세요.</p>
<p>Milvus에서는 기본적으로 압축이 활성화되어 있습니다. 압축을 비활성화했다가 나중에 수동으로 활성화하려면 아래 단계를 따르세요:</p>
<ol>
<li><code translate="no">collection.compact()</code> 메서드를 호출하여 글로벌 압축 프로세스를 수동으로 트리거합니다. 그러나 이 작업은 시간이 오래 걸릴 수 있다는 점에 유의하세요.</li>
<li>메서드를 호출하면 압축 ID가 반환됩니다. <code translate="no">collection.get_compaction_state()</code> 메서드를 호출하여 압축 상태를 확인합니다.</li>
</ol>
<p>압축이 활성화되면 백그라운드에서 자동으로 실행됩니다. 압축 프로세스는 시간이 오래 걸릴 수 있으므로 압축 요청은 시간을 절약하기 위해 비동기적으로 처리됩니다.</p>
<h2 id="How-to-implement-compaction" class="common-anchor-header">압축은 어떻게 구현하나요?<button data-href="#How-to-implement-compaction" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus에서는 압축을 수동 또는 자동으로 구현할 수 있습니다.</p>
<p>빈로그 또는 세그먼트의 수동 압축은 트리거 조건을 충족할 필요가 없습니다. 따라서 수동으로 압축을 호출하면 빈로그나 세그먼트는 무슨 일이 있어도 압축됩니다.</p>
<p>그러나 자동 압축을 사용하려면 시스템에서 세그먼트나 binlog를 압축하기 위해 특정 압축 트리거 조건을 충족해야 합니다.</p>
<p>일반적으로 Milvus에서 압축할 수 있는 개체에는 빈로그와 세그먼트의 두 가지 유형이 있습니다.</p>
<h2 id="Binlog-compaction" class="common-anchor-header">빈로그 압축<button data-href="#Binlog-compaction" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>바이너리 로그 또는 세그먼트의 더 작은 단위인 바이너리 로그는 Milvus 벡터 데이터베이스의 데이터에 대한 업데이트 및 변경 사항을 기록하고 처리합니다. 세그먼트의 데이터는 여러 빈로그에 유지됩니다. 빈로그 압축에는 Milvus에서 삽입 빈로그와 델타 빈로그의 두 가지 유형의 빈로그가 포함됩니다.</p>
<p>델타 빈로그는 데이터가 삭제될 때 생성되는 반면, 삽입 빈로그는 다음 세 가지 상황에서 생성됩니다.</p>
<ul>
<li>삽입된 데이터가 추가되는 동안 세그먼트가 크기 상한에 도달하면 자동으로 디스크에 플러시됩니다.</li>
<li>DataCoord는 봉인되지 않은 채로 오랫동안 남아 있는 세그먼트를 자동으로 플러시합니다.</li>
<li><code translate="no">collection.num_entities</code>, <code translate="no">collection.load()</code> 등과 같은 일부 API는 자동으로 플러시를 호출하여 세그먼트를 디스크에 씁니다.</li>
</ul>
<p>따라서 빈로그 압축은 이름에서 알 수 있듯이 세그먼트 내의 빈로그를 압축하는 것을 의미합니다. 보다 구체적으로, 빈로그 압축 중에 유지되지 않는 모든 델타 빈로그와 삽입 빈로그가 압축됩니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/binlog_compaction_d7f8f910c8.png" alt="Binlog compaction" class="doc-image" id="binlog-compaction" />
   </span> <span class="img-wrapper"> <span>빈로그 압축</span> </span></p>
<p>세그먼트가 디스크에 플러시되거나 압축이 오랫동안 실행되지 않아 Milvus가 전역 압축을 요청하는 경우, 자동 압축을 트리거하려면 다음 두 가지 조건 중 하나 이상이 충족되어야 합니다:</p>
<ol>
<li>델타 빈로그의 행이 전체 행의 20% 이상입니다.</li>
<li>델타 빈로그의 크기가 10MB를 초과합니다.</li>
</ol>
<h2 id="Segment-compaction" class="common-anchor-header">세그먼트 압축<button data-href="#Segment-compaction" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><a href="https://milvus.io/docs/v2.0.x/glossary.md#Segment">세그먼트는</a> 삽입된 데이터를 보관하기 위해 Milvus에서 자동으로 생성하는 데이터 파일입니다. Milvus에는 세그먼트에는 증가하는 세그먼트와 봉인된 세그먼트의 두 가지 유형이 있습니다.</p>
<p>성장하는 세그먼트는 봉인될 때까지 새로 삽입된 데이터를 계속 수신합니다. 봉인된 세그먼트는 더 이상 새 데이터를 수신하지 않고 오브젝트 스토리지로 플러시되며, 새로 생성된 성장 중인 세그먼트에 새 데이터가 삽입됩니다.</p>
<p>따라서 세그먼트 압축은 봉인된 여러 세그먼트를 압축하는 것을 의미합니다. 보다 구체적으로, 세그먼트 압축 중에는 작은 세그먼트가 더 큰 세그먼트로 압축됩니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/segment_compaction_92eecc0e55.jpeg" alt="Segment compaction" class="doc-image" id="segment-compaction" />
   </span> <span class="img-wrapper"> <span>세그먼트 압축</span> </span></p>
<p>압축 후 생성된 각 세그먼트는 기본적으로 512MB인 세그먼트 크기의 상한을 초과할 수 없습니다. 세그먼트 크기 상한을 수정하는 방법을 알아보려면 <a href="https://milvus.io/docs/v2.0.x/system_configuration.md">시스템 구성을</a> 참조하세요.</p>
<p>세그먼트가 디스크에 플러시되거나 압축이 오랫동안 실행되지 않아 Milvus가 전역 압축을 요청하는 경우, 자동 압축을 트리거하려면 다음 조건을 충족해야 합니다:</p>
<ul>
<li>0.5보다 작은 세그먼트 * <code translate="no">MaxSegmentSize</code> 가 10개 이상입니다.</li>
</ul>
<h2 id="Whats-next" class="common-anchor-header">다음 단계는 무엇인가요?<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus에서 압축의 기본 사항을 학습한 다음에는 어떻게 해야 하나요? 현재 압축 구성을 위한 모든 매개변수가 <code translate="no">milvus.yaml</code> 파일에 있는 것은 아니며, 계획 생성 전략은 비교적 기본적인 수준입니다. 관심이 있으시다면 <a href="https://github.com/milvus-io">오픈 소스 프로젝트인</a> Milvus에 참여해 보세요!</p>
<p>또한 2.0의 새로운 기능 시리즈 블로그에서는 새로운 기능의 설계에 대해 설명하고자 합니다. 이 블로그 시리즈에서 자세히 읽어보세요!</p>
<ul>
<li><a href="https://milvus.io/blog/2022-02-07-how-milvus-deletes-streaming-data-in-distributed-cluster.md">Milvus가 분산 클러스터에서 스트리밍 데이터를 삭제하는 방법</a></li>
<li><a href="https://milvus.io/blog/2022-2-21-compact.md">Milvus에서 데이터를 압축하는 방법</a></li>
<li><a href="https://milvus.io/blog/2022-02-28-how-milvus-balances-query-load-across-nodes.md">Milvus는 노드 간 쿼리 부하를 어떻게 분산하나요?</a></li>
<li><a href="https://milvus.io/blog/2022-2-14-bitset.md">비트셋으로 벡터 유사도 검색의 다양성을 구현하는 방법</a></li>
</ul>
<h2 id="About-the-author" class="common-anchor-header">저자 소개<button data-href="#About-the-author" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 프로젝트의 수석 소프트웨어 엔지니어인 빙이 선은 상하이 자오통 대학교에서 소프트웨어 공학 석사 학위를 취득했습니다. 그는 주로 Milvus 2.0에서 스토리지 관련 컴포넌트 개발을 담당하고 있습니다. 그의 관심 분야는 데이터베이스와 분산 시스템입니다. 오픈 소스 프로젝트의 열렬한 팬이며 여가 시간에는 비디오 게임과 독서를 즐기는 미식가입니다.</p>


Milvus에서 데이터를 압축하는 방법?

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Bitset_cd54487e7b.png" alt="Bitset Cover Image" class="doc-image" id="bitset-cover-image" />
   </span> <span class="img-wrapper"> <span>비트셋 표지 이미지</span> </span></p>
<p><a href="https://github.com/cydrain">유동 카이와</a> <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">안젤라 니</a>.</p>
<p>Milvus 2.0의 <a href="https://milvus.io/blog/2022-1-25-annoucing-general-availability-of-milvus-2-0.md">출시와</a> 함께 벡터 데이터베이스의 다양한 <a href="https://milvus.io/blog/2022-1-27-milvus-2-0-a-glimpse-at-new-features.md">필수 기능들이 새롭게</a> 제공됩니다. 새로운 기능 중 <a href="https://milvus.io/docs/v2.0.x/timetravel_ref.md">시간 이동</a>, 속성 필터링, <a href="https://milvus.io/blog/2022-02-07-how-milvus-deletes-streaming-data-in-distributed-cluster.md">삭제 작업은</a> 이 세 가지 기능이 하나의 공통 메커니즘인 비트셋으로 이루어지기 때문에 서로 연관성이 있습니다.</p>
<p>따라서 이 글에서는 Milvus에서 비트셋의 개념을 명확히 하고 삭제 작업, 시간 이동, 속성 필터링을 지원하기 위해 어떻게 작동하는지 세 가지 예를 통해 설명하고자 합니다.</p>
<h2 id="What-is-bitset" class="common-anchor-header">비트셋이란 무엇인가요?<button data-href="#What-is-bitset" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>비트셋은 특정 데이터 정보를 표현하는 데 사용할 수 있는 비트 숫자("0"과 "1")의 배열입니다. 비트셋을 사용하면 특정 유형의 데이터를 정수, 부동 소수점 또는 문자로 저장하는 것과 달리 간결하고 효율적으로 저장할 수 있습니다. 비트셋은 <a href="https://milvus.io/docs/v2.0.x/boolean.md">부울 논리에서</a> 작동하며, 출력 값이 유효하거나 유효하지 않은지 여부에 따라 각각 "1"과 "0"으로 표시됩니다. "1"은 유효를, "0"은 무효를 나타냅니다. 비트셋은 매우 효율적이고 저장 공간을 절약할 수 있으므로 속성 필터링, 삭제 작업, 시간 여행 등 다양한 기능을 구현하는 데 사용할 수 있습니다.</p>
<p>0.7.0 버전부터 Milvus에 비트셋 개념이 도입되어 <a href="https://milvus.io/blog/deleting-data-in-milvus.md">삭제 기능을</a> 사용할 수 있게 되었습니다. 보다 구체적으로, 비트셋은 세그먼트의 각 행이 삭제되었는지 여부를 표시하는 데 사용됩니다. 삭제된 엔티티는 해당 비트셋에 "1"로 표시되며, 결과적으로 삭제된 엔티티는 검색 또는 쿼리 중에 계산되지 않습니다.</p>
<p>Milvus 2.0 버전에서는 속성 필터링 및 시간 여행과 같은 더 많은 기능을 사용할 수 있도록 비트셋의 적용 범위가 확장되었습니다. 비트셋의 일반적인 원리는 동일하게 유지됩니다. 즉, 엔티티가 해당 비트셋에서 "1"로 표시되면 검색 또는 쿼리 중에 해당 엔티티는 무시됩니다. 비트셋은 Milvus에서 3가지 기능을 활성화하는 데 사용됩니다:</p>
<ul>
<li>속성 필터링</li>
<li>데이터 삭제</li>
<li>시간 여행을 통한 쿼리</li>
</ul>
<h2 id="How-does-bitset-work-in-Milvus" class="common-anchor-header">Milvus에서 비트셋은 어떻게 작동하나요?<button data-href="#How-does-bitset-work-in-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>아래 예시는 Milvus에서 비트셋이 어떻게 작동하는지 설명하기 위해 사용되었습니다.</p>
<h3 id="Prerequisites" class="common-anchor-header">전제 조건</h3><p>8개의 엔티티가 있는 세그먼트가 있고 아래 그림에 표시된 순서대로 일련의 데이터 조작 언어(DML) 이벤트가 발생한다고 가정해 보겠습니다.</p>
<ul>
<li>타임스탬프 <code translate="no">ts</code> 가 100일 때 각각 <code translate="no">primary_keys</code> 가 [1, 2, 3, 4]인 엔티티 4개가 삽입됩니다.</li>
<li><code translate="no">primary_keys</code> 이 [5, 6, 7, 8]인 나머지 4개 엔티티는 타임스탬프 <code translate="no">ts</code> 가 200일 때 삽입됩니다.</li>
<li><code translate="no">primary_keys</code> 이 [7, 8]인 엔티티는 타임스탬프 <code translate="no">ts</code> 가 300일 때 삭제됩니다.</li>
<li><code translate="no">primary_keys</code> 이 [1, 3, 5, 7]인 엔티티만 속성 필터링 조건을 충족합니다.</li>
</ul>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/UML_1_0a3605808c.jpg" alt="DML events" class="doc-image" id="dml-events" />
   </span> <span class="img-wrapper"> <span>DML 이벤트</span> </span></p>
<h3 id="Case-one" class="common-anchor-header">사례 1</h3><p>사용자가 <code translate="no">time_travel</code> 에 설정한 값이 150이라고 가정해 보겠습니다. 즉, 사용자는 <code translate="no">ts</code> = 150일 때 Milvus에 저장된 데이터에 대한 쿼리를 수행합니다. 비트셋 생성 프로세스는 그림 1에 설명되어 있습니다.</p>
<p>초기 필터링 단계에서 <code translate="no">filter_bitset</code> 의 결과는 [1, 0, 1, 0, 1, 0, 1, 0, 1, 0]이므로 엔티티 [1, 3, 5, 7]은 유효한 필터링 결과이며 비트셋에 "1"로 표시되어야 합니다. 그러나 엔티티 [4, 5, 6, 7]은 <code translate="no">ts</code> 이 150일 때 벡터 데이터베이스에 삽입되지도 않았습니다. 따라서 이 네 개의 엔티티는 필터링 조건에 관계없이 "0"으로 표시되어야 합니다. 이제 비트셋 결과는 [1, 0, 1, 0, 0, 0, 0, 0, 0]이 되어야 합니다. Milvus에서 비트셋 계산의 일반적인 원칙은 비트셋에서 "1"로 표시된 엔티티는 검색 또는 쿼리 중에 무시되는 것이므로, 시간 여행 및 속성 필터링 후의 비트셋 결과를 삭제 비트맵과 결합하기 위해서는 비트셋 결과를 반전시켜야 합니다. <code translate="no">filter_bitset</code> 의 반전된 결과는 [0, 1, 0, 1, 1, 1, 1, 1, 1]이 되어야 합니다.</p>
<p>삭제 비트셋 <code translate="no">del_bitset</code> 의 경우 초기값은 [0, 0, 0, 0, 0, 0, 0, 1, 1]이어야 합니다. 그러나 엔티티 7과 8은 <code translate="no">ts</code> 이 300이 될 때까지 삭제되지 않습니다. 따라서 <code translate="no">ts</code> 이 150일 때 엔티티 7과 8은 여전히 유효합니다. 결과적으로 시간 여행 후 <code translate="no">del_bitset</code> 값은 [0, 0, 0, 0, 0, 0, 0, 0, 0]이 되어야 합니다.</p>
<p>이제 시간 여행과 속성 필터링 후에 두 개의 비트셋이 생겼습니다: <code translate="no">filter_bitset</code> [0, 1, 0, 1, 1, 1, 1, 1, 1] 및 <code translate="no">del_bitset</code> [0, 0, 0, 0, 0, 0, 0].  이 두 비트셋을 "OR" 이진 논리 연산자와 결합합니다. <code translate="no">result_bitset</code> 의 최종 값은 [0, 1, 0, 1, 1, 1, 1, 1, 1]입니다. 즉, 다음 검색 또는 쿼리 단계에서는 엔티티 1과 3만 계산됩니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/bitset_figure1_1b5852f7a7.jpeg" alt="Figure 1" class="doc-image" id="figure-1" />
   </span> <span class="img-wrapper"> <span>그림 1</span> </span></p>
<h3 id="Case-two" class="common-anchor-header">사례 2</h3><p>사용자가 <code translate="no">time_travel</code> 에 설정한 값이 250이라고 가정해 보겠습니다. 즉, 사용자는 <code translate="no">ts</code> = 250일 때 Milvus에 저장된 데이터에 대해 쿼리를 수행합니다. 비트셋 생성 과정은 그림 2에 설명되어 있습니다.</p>
<p>사례 1과 마찬가지로 초기 속성 필터링 단계의 결과 <code translate="no">filter_bitset</code> 는 [1, 0, 1, 0, 1, 0, 0, 1, 0]이 되어야 합니다.</p>
<p><code translate="no">ts</code>= 250일 때 모든 엔티티 [1, 2, 3, 4, 5, 6, 7, 8]이 벡터 데이터베이스에 삽입됩니다. 따라서 <code translate="no">filter_bitset</code> 의 이전 결과는 동일하게 유지됩니다. 다시 <code translate="no">filter_bitset</code> 의 결과를 뒤집으면 [0, 1, 0, 1, 0, 1, 0, 1, 0, 1]이 됩니다.</p>
<p>삭제 비트셋 <code translate="no">del_bitset</code> 의 경우 초기값은 [0, 0, 0, 0, 0, 0, 0, 1, 1]이 되어야 합니다. 그러나 엔티티 7과 8은 <code translate="no">ts</code> 이 300이 될 때까지 삭제되지 않았습니다. 따라서 <code translate="no">ts</code> 이 250일 때 엔티티 7과 8은 여전히 유효합니다. 결과적으로 시간 여행 후 <code translate="no">del_bitset</code> 값은 [0, 0, 0, 0, 0, 0, 0, 0, 0]이 되어야 합니다.</p>
<p>이제 시간 여행과 속성 필터링 후에 두 개의 비트셋이 생겼습니다: <code translate="no">filter_bitset</code> [0, 1, 0, 1, 0, 1, 0, 1] 및 <code translate="no">del_bitset</code> [0, 0, 0, 0, 0, 0, 0].  이 두 비트셋을 "OR" 이진 논리 연산자와 결합합니다. <code translate="no">result_bitset</code> 의 최종 값은 [0, 1, 0, 1, 0, 1, 0, 1, 0, 1]입니다. 즉, 다음 검색 또는 쿼리 단계에서는 [1, 3, 5, 7] 엔티티만 계산됩니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/bitset_figure2_7cbaa7c719.jpeg" alt="Figure 2" class="doc-image" id="figure-2" />
   </span> <span class="img-wrapper"> <span>그림 2</span> </span></p>
<h3 id="Case-three" class="common-anchor-header">사례 3</h3><p>사용자가 <code translate="no">time_travel</code> 에 설정한 값이 350이라고 가정해 보겠습니다. 즉, 사용자는 <code translate="no">ts</code> = 350일 때 Milvus에 저장된 데이터에 대한 쿼리를 수행합니다. 비트셋 생성 과정은 그림 3에 설명되어 있습니다.</p>
<p>사례 1, 2와 마찬가지로 초기 속성 필터링 단계의 결과 <code translate="no">filter_bitset</code> 는 [0, 1, 0, 1, 0, 1, 0, 0, 1]입니다.</p>
<p><code translate="no">ts</code>= 350일 때 모든 엔티티 [1, 2, 3, 4, 5, 6, 7, 8]이 벡터 데이터베이스에 삽입됩니다. 따라서 <code translate="no">filter_bitset</code> 의 최종 반전 결과는 [0, 1, 0, 1, 0, 1, 0, 0, 1]로 사례 2와 동일합니다.</p>
<p>삭제 비트셋 <code translate="no">del_bitset</code> 의 경우 <code translate="no">ts</code>= 350일 때 엔티티 7과 8이 이미 삭제되었으므로 <code translate="no">del_bitset</code> 의 결과는 [0, 0, 0, 0, 0, 0, 1, 1]이 되어야 합니다.</p>
<p>이제 시간 여행과 속성 필터링 후 두 개의 비트셋이 생겼습니다: <code translate="no">filter_bitset</code> [0, 1, 0, 1, 0, 1, 0, 1] 및 <code translate="no">del_bitset</code> [0, 0, 0, 0, 0, 0, 1, 1].  이 두 비트셋을 "OR" 이진 논리 연산자와 결합합니다. <code translate="no">result_bitset</code> 의 최종 값은 [0, 1, 0, 0, 1, 0, 1, 1, 1]입니다. 즉, 다음 검색 또는 쿼리 단계에서는 [1, 3, 5] 엔티티만 계산됩니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/bitset_figure3_dd46a6aecf.jpeg" alt="Figure 3" class="doc-image" id="figure-3" />
   </span> <span class="img-wrapper"> <span>그림 3</span> </span></p>
<h2 id="Whats-next" class="common-anchor-header">다음 단계는 무엇인가요?<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>2.0의 새로운 기능 시리즈 블로그에서는 새로운 기능의 설계에 대해 설명하고자 합니다. 이 블로그 시리즈에서 자세히 읽어보세요!</p>
<ul>
<li><a href="https://milvus.io/blog/2022-02-07-how-milvus-deletes-streaming-data-in-distributed-cluster.md">Milvus가 분산 클러스터에서 스트리밍 데이터를 삭제하는 방법</a></li>
<li><a href="https://milvus.io/blog/2022-2-21-compact.md">Milvus에서 데이터를 압축하는 방법은 무엇인가요?</a></li>
<li><a href="https://milvus.io/blog/2022-02-28-how-milvus-balances-query-load-across-nodes.md">Milvus는 노드 간 쿼리 부하를 어떻게 분산하나요?</a></li>
<li><a href="https://milvus.io/blog/2022-2-14-bitset.md">비트셋으로 벡터 유사도 검색의 다양성을 구현하는 방법</a></li>
</ul>


비트셋으로 벡터 유사도 검색의 다양성을 구현하는 방법

<custom-h1>Milvus가 분산 클러스터에서 스트리밍 데이터를 삭제하는 방법</custom-h1><p>통합 배치 및 스트림 처리와 클라우드 네이티브 아키텍처를 특징으로 하는 Milvus 2.0은 삭제 기능을 개발하는 과정에서 이전 버전보다 더 큰 도전에 직면하게 됩니다. 하지만 고급 스토리지-컴퓨팅 분리 설계와 유연한 게시/구독 메커니즘 덕분에 이를 달성할 수 있었음을 발표하게 되어 자랑스럽게 생각합니다. Milvus 2.0에서는 기본 키로 특정 컬렉션의 엔터티를 삭제할 수 있으며, 삭제된 엔터티는 더 이상 검색 또는 쿼리 결과에 나열되지 않습니다.</p>
<p>Milvus의 삭제 작업은 논리적 삭제를 의미하며, 물리적 데이터 정리는 데이터 압축 중에 수행된다는 점에 유의하세요. 논리적 삭제는 I/O 속도에 제약을 받는 검색 성능을 크게 향상시킬 뿐만 아니라 데이터 복구도 용이하게 해줍니다. 논리적으로 삭제된 데이터는 시간 이동 기능을 사용해 복구할 수 있습니다.</p>
<h2 id="Usage" class="common-anchor-header">사용 방법<button data-href="#Usage" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>먼저 Milvus 2.0에서 DELETE 함수를 사용해 보겠습니다. (다음 예제는 Milvus 2.0.0에서 PyMilvus 2.0.0을 사용합니다).</p>
<pre><code translate="no" class="language-python"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> connections, utility, Collection, DataType, FieldSchema, CollectionSchema
<span class="hljs-comment"># Connect to Milvus</span>
connections.connect(
    alias=<span class="hljs-string">&quot;default&quot;</span>, 
    host=<span class="hljs-string">&#x27;x.x.x.x&#x27;</span>, 
    port=<span class="hljs-string">&#x27;19530&#x27;</span>
)
<span class="hljs-comment"># Create a collection with Strong Consistency level</span>
pk_field = FieldSchema(
    name=<span class="hljs-string">&quot;id&quot;</span>, 
    dtype=DataType.INT64, 
    is_primary=<span class="hljs-literal">True</span>, 
)
vector_field = FieldSchema(
    name=<span class="hljs-string">&quot;vector&quot;</span>, 
    dtype=DataType.FLOAT_VECTOR, 
    dim=<span class="hljs-number">2</span>
)
schema = CollectionSchema(
    fields=[pk_field, vector_field], 
    description=<span class="hljs-string">&quot;Test delete&quot;</span>
)
collection_name = <span class="hljs-string">&quot;test_delete&quot;</span>
collection = Collection(
    name=collection_name, 
    schema=schema, 
    using=<span class="hljs-string">&#x27;default&#x27;</span>, 
    shards_num=<span class="hljs-number">2</span>,
    consistency_level=<span class="hljs-string">&quot;Strong&quot;</span>
)
<span class="hljs-comment"># Insert randomly generated vectors</span>
<span class="hljs-keyword">import</span> random
data = [
    [i <span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-number">100</span>)],
    [[random.random() <span class="hljs-keyword">for</span> _ <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-number">2</span>)] <span class="hljs-keyword">for</span> _ <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-number">100</span>)],
]
collection.insert(data)
<span class="hljs-comment"># Query to make sure the entities to delete exist</span>
collection.load()
expr = <span class="hljs-string">&quot;id in [2,4,6,8,10]&quot;</span>
pre_del_res = collection.query(
    expr,
    output_fields = [<span class="hljs-string">&quot;id&quot;</span>, <span class="hljs-string">&quot;vector&quot;</span>]
)
<span class="hljs-built_in">print</span>(pre_del_res)
<span class="hljs-comment"># Delete the entities with the previous expression</span>
collection.delete(expr)
<span class="hljs-comment"># Query again to check if the deleted entities exist</span>
post_del_res = collection.query(
    expr,
    output_fields = [<span class="hljs-string">&quot;id&quot;</span>, <span class="hljs-string">&quot;vector&quot;</span>]
)
<span class="hljs-built_in">print</span>(post_del_res)
<button class="copy-code-btn"></button></code></pre>
<h2 id="Implementation" class="common-anchor-header">구현<button data-href="#Implementation" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 인스턴스에서 데이터 노드는 주로 스트리밍 데이터(로그 브로커의 로그)를 기록 데이터(로그 스냅샷)로 패킹하고 자동으로 객체 스토리지로 플러시하는 역할을 담당합니다. 쿼리 노드는 전체 데이터, 즉 스트리밍 데이터와 기록 데이터 모두에 대한 검색 요청을 실행합니다.</p>
<p>클러스터 내 병렬 노드의 데이터 쓰기 용량을 최대한 활용하기 위해 Milvus는 기본 키 해싱을 기반으로 하는 샤딩 전략을 채택하여 쓰기 작업을 여러 작업자 노드에 균등하게 분산시킵니다. 즉, 프록시는 엔티티의 DML(데이터 조작 언어) 메시지(즉, 요청)를 동일한 데이터 노드와 쿼리 노드로 라우팅합니다. 이러한 메시지는 DML 채널을 통해 게시되고 데이터 노드와 쿼리 노드에서 별도로 소비되어 검색 및 쿼리 서비스를 함께 제공합니다.</p>
<h3 id="Data-node" class="common-anchor-header">데이터 노드</h3><p>데이터 노드는 데이터 INSERT 메시지를 수신하면 메모리에서 스트리밍 데이터를 수신하기 위해 생성된 새로운 세그먼트인 증가하는 세그먼트에 데이터를 삽입합니다. 데이터 행 수 또는 증가하는 세그먼트의 지속 시간이 임계값에 도달하면 데이터 노드는 세그먼트를 봉인하여 더 이상 데이터가 들어오는 것을 방지합니다. 그런 다음 데이터 노드는 기록 데이터가 포함된 봉인된 세그먼트를 오브젝트 스토리지로 플러시합니다. 한편, 데이터 노드는 새로운 데이터의 기본 키를 기반으로 블룸 필터를 생성하여 봉인된 세그먼트와 함께 오브젝트 스토리지에 플러시하고, 블룸 필터를 세그먼트의 통계 정보가 포함된 통계 바이너리 로그(binlog)의 일부로 저장합니다.</p>
<blockquote>
<p>블룸 필터는 긴 이진 벡터와 일련의 무작위 매핑 함수로 구성된 확률적 데이터 구조입니다. 어떤 요소가 집합의 멤버인지 여부를 테스트하는 데 사용할 수 있지만 오탐을 반환할 수 있습니다.           -- 위키백과</p>
</blockquote>
<p>데이터 삭제 메시지가 들어오면 데이터 노드는 해당 샤드의 모든 블룸 필터를 버퍼링하고 메시지에 제공된 기본 키와 일치시켜 삭제할 엔티티를 포함할 가능성이 있는 모든 세그먼트(성장 중인 세그먼트와 봉인된 세그먼트 모두에서)를 검색합니다. 해당 세그먼트를 정확히 찾아낸 데이터 노드는 메모리에 버퍼링하여 삭제 작업을 기록하는 델타 빈로그를 생성한 다음 해당 빈로그를 세그먼트와 함께 오브젝트 스토리지로 다시 플러시합니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/data_node_2397ad70c3.png" alt="Data Node" class="doc-image" id="data-node" />
   </span> <span class="img-wrapper"> <span>데이터 노드</span> </span></p>
<p>하나의 샤드에는 하나의 DML 채널만 할당되므로 클러스터에 추가된 추가 쿼리 노드는 DML 채널에 가입할 수 없습니다. 모든 쿼리 노드가 DELETE 메시지를 수신할 수 있도록 하기 위해, 데이터 노드는 DML-Channel에서 DELETE 메시지를 필터링하고 이를 Delta-Channel로 전달하여 모든 쿼리 노드에 삭제 작업을 알립니다.</p>
<h3 id="Query-node" class="common-anchor-header">쿼리 노드</h3><p>오브젝트 스토리지에서 컬렉션을 로드할 때 쿼리 노드는 먼저 각 샤드의 체크포인트를 가져와 마지막 플러시 작업 이후의 DML 작업을 표시합니다. 이 체크포인트를 기반으로 쿼리 노드는 모든 봉인된 세그먼트와 해당 델타 빈로그 및 블룸 필터를 함께 로드합니다. 모든 데이터가 로드되면 쿼리 노드는 DML 채널, 델타 채널, 쿼리 채널에 가입합니다.</p>
<p>컬렉션이 메모리에 로드된 후 더 많은 데이터 INSERT 메시지가 오면 쿼리 노드는 먼저 메시지에 따라 증가하는 세그먼트를 찾아내고 쿼리 전용으로 메모리에 있는 해당 블룸 필터를 업데이트합니다. 이러한 쿼리 전용 블룸 필터는 쿼리가 완료된 후에도 오브젝트 스토리지로 플러시되지 않습니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/query_node_a78b1d664f.png" alt="Query Node" class="doc-image" id="query-node" />
   </span> <span class="img-wrapper"> <span>쿼리 노드</span> </span></p>
<p>위에서 언급했듯이, 특정 수의 쿼리 노드만 DML-Channel로부터 DELETE 메시지를 수신할 수 있으며, 이는 증가하는 세그먼트에서 해당 노드만 DELETE 요청을 실행할 수 있음을 의미합니다. DML-Channel에 가입한 쿼리 노드의 경우, 먼저 성장하는 세그먼트에서 DELETE 메시지를 필터링하고, 제공된 기본 키를 성장하는 세그먼트의 쿼리 전용 블룸 필터와 일치시켜 엔터티를 찾은 다음, 해당 세그먼트에서 삭제 작업을 기록합니다.</p>
<p>DML 채널에 가입할 수 없는 쿼리 노드는 델타 채널에만 가입할 수 있기 때문에 봉인된 세그먼트에 대한 검색 또는 쿼리 요청만 처리하고 데이터 노드가 전달한 DELETE 메시지를 수신할 수 있습니다. 델타 채널에서 봉인된 세그먼트의 모든 DELETE 메시지를 수집한 쿼리 노드는 제공된 기본 키를 봉인된 세그먼트의 블룸 필터와 일치시켜 엔티티를 찾은 다음 해당 세그먼트에서 삭제 작업을 기록합니다.</p>
<p>결국 검색 또는 쿼리에서 쿼리 노드는 삭제 레코드를 기반으로 비트셋을 생성하여 삭제된 엔티티를 생략하고 세그먼트 상태에 관계없이 모든 세그먼트의 나머지 엔티티 중에서 검색합니다. 마지막으로 일관성 수준은 삭제된 데이터의 가시성에 영향을 미칩니다. 이전 코드 샘플에 표시된 것처럼 강력한 일관성 수준에서는 삭제된 엔티티가 삭제 후 즉시 보이지 않습니다. 경계 일관성 수준을 적용하면 삭제된 엔터티가 보이지 않게 되기까지 몇 초의 지연 시간이 발생합니다.</p>
<h2 id="Whats-next" class="common-anchor-header">다음 단계는 무엇인가요?<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>2.0의 새로운 기능 시리즈 블로그에서는 새로운 기능의 설계에 대해 설명할 예정입니다. 이 블로그 시리즈에서 자세히 읽어보세요!</p>
<ul>
<li><a href="https://milvus.io/blog/2022-02-07-how-milvus-deletes-streaming-data-in-distributed-cluster.md">Milvus가 분산 클러스터에서 스트리밍 데이터를 삭제하는 방법</a></li>
<li><a href="https://milvus.io/blog/2022-2-21-compact.md">Milvus에서 데이터를 압축하는 방법은 무엇인가요?</a></li>
<li><a href="https://milvus.io/blog/2022-02-28-how-milvus-balances-query-load-across-nodes.md">Milvus는 노드 간 쿼리 부하를 어떻게 분산하나요?</a></li>
<li><a href="https://milvus.io/blog/2022-2-14-bitset.md">비트셋으로 벡터 유사도 검색의 다양성을 구현하는 방법</a></li>
</ul>


사용 방법

Milvus 2.0 - 새로운 기능 살펴보기

<p>Milvus 커뮤니티의 회원과 친구 여러분:</p>
<p>첫 번째 릴리즈 후보(RC)가 공개된 지 6개월이 지난 오늘, Milvus 2.0이 정식 버전 <a href="https://milvus.io/docs/v2.0.x/release_notes.md#v200">(GA)</a> 으로 출시되었음을 알려드리게 되어 매우 기쁩니다! 긴 여정이었으며, 이 모든 과정을 도와주신 커뮤니티 기여자, 사용자, LF AI 및 데이터 재단 등 모든 분들께 감사드립니다.</p>
<p>수십억 개의 고차원 데이터를 처리할 수 있는 능력은 오늘날 AI 시스템에서 매우 중요한 문제이며, 그럴 만한 이유가 있습니다:</p>
<ol>
<li>기존의 정형 데이터에 비해 비정형 데이터가 압도적으로 많은 양을 차지하고 있기 때문입니다.</li>
<li>데이터의 최신성이 그 어느 때보다 중요해졌습니다. 데이터 과학자들은 기존의 T+1 타협이 아닌 시기적절한 데이터 솔루션을 원하고 있습니다.</li>
<li>비용과 성능이 더욱 중요해졌지만, 현재 솔루션과 실제 사용 사례 사이에는 여전히 큰 격차가 존재합니다. 따라서 Milvus 2.0이 탄생했습니다. Milvus는 고차원 데이터를 대규모로 처리하는 데 도움이 되는 데이터베이스입니다. 어디서나 실행할 수 있는 클라우드용으로 설계되었습니다. Milvus의 RC 릴리스를 계속 지켜보셨다면, Milvus를 더욱 안정적이고 배포 및 유지 관리가 용이하도록 만드는 데 많은 노력을 기울여 왔다는 것을 알고 계실 것입니다.</li>
</ol>
<h2 id="Milvus-20-GA-now-offers" class="common-anchor-header">Milvus 2.0 GA는 이제 다음을 제공합니다.<button data-href="#Milvus-20-GA-now-offers" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><strong>엔티티 삭제</strong></p>
<p>데이터베이스로서 Milvus는 이제 <a href="https://milvus.io/docs/v2.0.x/delete_data.md">기본 키별 엔티티 삭제를</a> 지원하며, 추후 표현식별 엔티티 삭제도 지원할 예정입니다.</p>
<p><strong>자동 로드 밸런스</strong></p>
<p>Milvus는 이제 각 쿼리 노드와 데이터 노드의 부하를 분산시키는 플러그인 부하 분산 정책을 지원합니다. 계산과 스토리지의 분리 덕분에 단 몇 분 만에 부하 분산이 완료됩니다.</p>
<p><strong>핸드오프</strong></p>
<p>플러시를 통해 증가하는 세그먼트가 봉인되면 핸드오프 작업은 증가하는 세그먼트를 색인된 기록 세그먼트로 대체하여 검색 성능을 개선합니다.</p>
<p><strong>데이터 압축</strong></p>
<p>데이터 압축은 작은 세그먼트를 큰 세그먼트로 병합하고 논리적으로 삭제된 데이터를 정리하는 백그라운드 작업입니다.</p>
<p><strong>임베디드 등데이터 및 로컬 데이터 저장소 지원</strong></p>
<p>Milvus 독립형 모드에서는 몇 가지 설정만으로 etcd/MinIO 종속성을 제거할 수 있습니다. 또한 로컬 데이터 스토리지를 로컬 캐시로 사용하여 모든 데이터를 메인 메모리로 로드하지 않아도 됩니다.</p>
<p><strong>다국어 SDK</strong></p>
<p>이제 <a href="https://github.com/milvus-io/pymilvus">PyMilvus</a> 외에도 <a href="https://github.com/milvus-io/milvus-sdk-node">Node.js</a>, <a href="https://github.com/milvus-io/milvus-sdk-java">Java</a>, <a href="https://github.com/milvus-io/milvus-sdk-go">Go</a> SDK를 바로 사용할 수 있습니다.</p>
<p><strong>Milvus K8s 오퍼레이터</strong></p>
<p>Milvus<a href="https://milvus.io/docs/v2.0.x/install_cluster-milvusoperator.md">Operator는</a> Milvus 구성 요소와 관련 종속 요소(예: etcd, Pulsar 및 MinIO)를 포함한 전체 Milvus 서비스 스택을 확장 가능하고 가용성이 높은 방식으로 대상 <a href="https://kubernetes.io/">Kubernetes</a> 클러스터에 배포 및 관리할 수 있는 간편한 솔루션을 제공합니다.</p>
<p><strong>Milvus를 관리하는 데 도움이 되는 도구</strong></p>
<p>관리 도구의 환상적인 기여에 대해 감사해야 할 <a href="https://zilliz.com/">Zilliz가</a> 있습니다. 이제 직관적인 GUI를 통해 Milvus와 상호 작용할 수 있는 <a href="https://milvus.io/docs/v2.0.x/attu.md">Attu와</a> Milvus를 관리하기 위한 명령줄 도구인 <a href="https://milvus.io/docs/v2.0.x/cli_overview.md">Milvus_CLI가</a> 있습니다.</p>
<p>212명의 모든 기여자 덕분에 커뮤니티는 지난 6개월 동안 6718개의 커밋을 완료했으며 수많은 안정성 및 성능 문제가 해결되었습니다. 2.0 GA 릴리스 직후 안정성 및 성능 벤치마크 보고서를 공개할 예정입니다.</p>
<h2 id="Whats-next" class="common-anchor-header">다음 단계는 무엇인가요?<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><strong>기능</strong></p>
<p>문자열 유형 지원은 Milvus 2.1의 다음 킬러 기능이 될 것입니다. 또한 사용자 요구를 더 잘 충족시키기 위해 TTL(Time to Live) 메커니즘과 기본 ACL 관리 기능을 도입할 예정입니다.</p>
<p><strong>가용성</strong></p>
<p>각 세그먼트에 대한 다중 메모리 복제본을 지원하기 위해 쿼리 코디 스케줄링 메커니즘을 리팩토링하는 작업을 진행 중입니다. 여러 개의 활성 복제본을 통해 Milvus는 더 빠른 페일오버와 추측 실행을 지원하여 가동 중단 시간을 몇 초 이내로 단축할 수 있습니다.</p>
<p><strong>성능</strong></p>
<p>성능 벤치마크 결과는 곧 웹사이트를 통해 제공될 예정입니다. 다음 릴리스에서는 성능이 크게 향상될 것으로 예상됩니다. 저희의 목표는 더 작은 데이터 세트에서 검색 지연 시간을 절반으로 줄이고 시스템 처리량을 두 배로 늘리는 것입니다.</p>
<p><strong>사용 편의성</strong></p>
<p>Milvus는 어디서나 실행되도록 설계되었습니다. 향후 몇 차례의 소규모 릴리즈에서 MacOS(M1 및 X86 모두)와 ARM 서버에서 Milvus를 지원할 예정입니다. 또한 복잡한 환경 설정 없이 간단히 <code translate="no">pip install</code> Milvus를 사용할 수 있도록 임베디드 PyMilvus를 제공할 예정입니다.</p>
<p><strong>커뮤니티 거버넌스</strong></p>
<p>멤버십 규칙을 개선하고 기여자 역할의 요구 사항과 책임을 명확히 할 것입니다. 멘토링 프로그램도 개발 중이므로 클라우드 네이티브 데이터베이스, 벡터 검색 및/또는 커뮤니티 거버넌스에 관심이 있는 분이라면 언제든지 문의해 주세요.</p>
<p>최신 Milvus GA 릴리스가 정말 기대됩니다! 언제나 그렇듯이 여러분의 피드백을 기다리겠습니다. 문제가 발생하면 주저하지 마시고 <a href="https://github.com/milvus-io/milvus">GitHub</a> 또는 <a href="http://milvusio.slack.com/">Slack을</a> 통해 문의해 주세요.</p>
<p><br/></p>
<p>감사합니다,</p>
<p>샤오판 루안</p>
<p>Milvus 프로젝트 관리자</p>
<p><br/></p>
<blockquote>
<p><em> <a href="https://github.com/claireyuw">클레어 유</a> 편집.</em></p>
</blockquote>


Milvus 2.0 정식 출시 발표

<p>이 글은 <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">안젤라 니가</a> 번역했습니다.</p>
<p>정보는 우리 생활의 모든 곳에 존재합니다. 메타(이전의 페이스북), 인스타그램, 트위터 및 기타 소셜 미디어 플랫폼은 정보 스트림을 더욱 보편적으로 만듭니다. 따라서 이러한 정보 스트림을 처리하는 엔진은 대부분의 시스템 아키텍처에서 필수 요소가 되었습니다. 하지만 소셜 미디어 플랫폼과 관련 앱의 사용자라면 중복된 기사, 뉴스, 밈 등으로 인해 귀찮았던 경험이 있을 것입니다. 중복 콘텐츠에 노출되면 정보 검색 과정을 방해하고 사용자 경험에 좋지 않은 영향을 미칩니다.</p>
<p>정보 스트림을 다루는 제품의 경우, 개발자는 시스템 아키텍처에 원활하게 통합되어 동일한 뉴스나 광고를 중복 제거할 수 있는 유연한 데이터 프로세서를 찾는 것이 최우선 과제입니다.</p>
<p>기업 가치가 <a href="https://techcrunch.com/2021/09/15/news-aggregator-smartnews-raises-230-million-valuing-its-business-at-2-billion/">20억 달러에</a> 달하는<a href="https://www.smartnews.com/en/">SmartNews는</a> 미국에서 가장 기업 가치가 높은 뉴스 앱 회사입니다. 주목할 만한 점은 오픈소스 벡터 데이터베이스인 Milvus의 사용자였다가 이후 Milvus 프로젝트에 적극적으로 기여하는 기업으로 변모했다는 점입니다.</p>
<p>이 글에서는 SmartNews의 이야기를 공유하고 Milvus 프로젝트에 기여하기로 결정한 이유를 설명합니다.</p>
<h2 id="An-overview-of-SmartNews" class="common-anchor-header">SmartNews 개요<button data-href="#An-overview-of-SmartNews" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>2012년에 설립된 SmartNews는 일본 도쿄에 본사를 두고 있습니다. SmartNews가 개발한 뉴스 앱은 일본 시장에서 항상 <a href="https://www.businessinsider.com/guides/smartnews-free-news-app-2018-9">최고의 평가를</a> 받고 있습니다. 스마트뉴스는 <a href="https://about.smartnews.com/en/2019/06/12/smartnews-builds-global-momentum-with-over-500-us-growth-new-executives-and-three-new-offices/">가장 빠르게 성장하는</a> 뉴스 앱이며 미국 시장에서도 <a href="https://about.smartnews.com/en/2018/07/21/smartnews-reaches-more-than-10-million-monthly-active-users-in-the-united-states-and-japan/">높은 사용자 점유율을</a> 자랑합니다. <a href="https://www.appannie.com/en/">앱애니의</a> 통계에 따르면 스마트뉴스의 월평균 세션 지속 시간은 2021년 7월 말까지 전체 뉴스 앱 중 1위를 차지했으며, 이는 애플뉴스와 구글뉴스의 누적 세션 지속 시간보다 더 많은 수치입니다.</p>
<p>사용자 기반과 점도가 급격히 증가함에 따라 스마트뉴스는 추천 메커니즘과 AI 알고리즘 측면에서 더 많은 과제에 직면하게 되었습니다. 이러한 과제에는 대규모 머신러닝(ML)에서 대규모 불연속 피처 활용, 벡터 유사성 검색을 통한 비정형 데이터 쿼리 가속화 등이 포함됩니다.</p>
<p>2021년 초, 스마트뉴스의 다이내믹 광고 알고리즘 팀은 광고 리콜 및 쿼리 기능을 최적화해야 한다는 요청을 AI 인프라 팀에 보냈습니다. 두 달간의 연구 끝에 AI 인프라 엔지니어 슈는 여러 인덱스와 유사성 메트릭, 온라인 데이터 업데이트를 지원하는 오픈 소스 벡터 데이터베이스인 Milvus를 사용하기로 결정했습니다. Milvus는 전 세계 1,000개 이상의 조직에서 신뢰하고 있습니다.</p>
<h2 id="Advertisement-recommendation-powered-by-vector-similarity-search" class="common-anchor-header">벡터 유사도 검색을 통한 광고 추천<button data-href="#Advertisement-recommendation-powered-by-vector-similarity-search" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>오픈 소스 벡터 데이터베이스인 Milvus는 스마트뉴스 광고 시스템에 채택되어 천만 개 규모의 데이터 세트에서 사용자에게 동적 광고를 매칭하고 추천합니다. 이를 통해 스마트뉴스는 이전에는 매칭할 수 없었던 두 데이터 세트, 즉 사용자 데이터와 광고 데이터 간에 매핑 관계를 생성할 수 있습니다. 2021년 2분기에 Shu는 Kubernetes에 Milvus 1.0을 배포했습니다. <a href="https://milvus.io/docs">Milvus를 배포하는</a> 방법에 대해 자세히 알아보세요.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/image1_2a88ed162f.png" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<p>Milvus 1.0을 성공적으로 배포한 후, Milvus를 사용한 첫 번째 프로젝트는 스마트뉴스의 광고팀에서 시작한 광고 리콜 프로젝트였습니다. 초기 단계에서 광고 데이터 세트는 백만 개 규모였습니다. 한편, P99 지연 시간은 10밀리초 이내로 엄격하게 제어되었습니다.</p>
<p>2021년 6월, 슈와 알고리즘 팀의 동료들은 더 많은 비즈니스 시나리오에 Milvus를 적용하고 데이터 집계와 온라인 데이터/인덱스 업데이트를 실시간으로 시도했습니다.</p>
<p>현재 오픈소스 벡터 데이터베이스인 Milvus는 광고 추천을 비롯한 스마트뉴스의 다양한 비즈니스 시나리오에 사용되고 있습니다.</p>
<h2 id="From-a-user-to-an-active-contributor" class="common-anchor-header"><strong>사용자에서 적극적인 기여자로</strong><button data-href="#From-a-user-to-an-active-contributor" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>밀버스를 스마트뉴스 제품 아키텍처에 통합하는 과정에서 슈를 비롯한 개발자들은 핫 리로드, 아이템 TTL(타임투라이프), 아이템 업데이트/교체 등의 기능에 대한 요청을 하게 되었습니다. 이러한 기능들은 밀버스 커뮤니티의 많은 사용자들이 원하는 기능이기도 합니다. 그래서 스마트뉴스의 AI 인프라 팀장인 데니스 자오는 핫 리로드 기능을 개발하여 커뮤니티에 기여하기로 결정했습니다. Dennis는 "스마트뉴스 팀도 Milvus 커뮤니티의 혜택을 받고 있기 때문에 커뮤니티와 공유할 것이 있다면 기꺼이 기여할 의향이 있습니다."라고 말했습니다.</p>
<p>데이터 다시 로드는 코드를 실행하는 동안 코드 편집을 지원합니다. 데이터 다시 로드의 도움으로 개발자는 더 이상 중단점에서 멈추거나 애플리케이션을 다시 시작할 필요가 없습니다. 대신 코드를 직접 편집하고 실시간으로 결과를 확인할 수 있습니다.</p>
<p>7월 말, 스마트뉴스의 유섭 엔지니어는 핫 리로드를 위해 <a href="https://milvus.io/docs/v2.0.x/collection_alias.md#Collection-Alias">컬렉션 별칭을</a> 사용하는 아이디어를 제안했습니다.</p>
<p>컬렉션 별칭을 만든다는 것은 컬렉션의 별칭 이름을 지정하는 것을 말합니다. 컬렉션에는 여러 개의 별칭을 가질 수 있습니다. 그러나 별칭은 최대 하나의 컬렉션에 해당합니다. 컬렉션과 락커를 비유하면 간단합니다. 사물함에는 컬렉션과 마찬가지로 고유 번호와 위치가 있으며, 이는 항상 변경되지 않습니다. 하지만 사물함에서 언제든지 다른 물건을 넣고 꺼낼 수 있습니다. 마찬가지로 컬렉션의 이름은 고정되어 있지만 컬렉션의 데이터는 동적입니다. Milvus <a href="https://milvus.io/docs/v2.0.x/release_notes.md#v200-PreGA">pre-GA 버전에서는</a> 데이터 삭제가 지원되므로 언제든지 컬렉션에 벡터를 삽입하거나 삭제할 수 있습니다.</p>
<p>스마트뉴스 광고 비즈니스의 경우, 새로운 동적 광고 벡터가 생성될 때마다 약 1억 개의 벡터가 삽입되거나 업데이트됩니다. 이에 대한 해결책은 몇 가지가 있습니다:</p>
<ul>
<li>해결 방법 1: 오래된 데이터를 먼저 삭제하고 새로운 데이터를 삽입합니다.</li>
<li>해결 방법 2: 새 데이터를 위한 새 컬렉션을 생성합니다.</li>
<li>해결 방법 3: 컬렉션 별칭 사용.</li>
</ul>
<p>해결 방법 1의 경우, 가장 직접적인 단점 중 하나는 특히 업데이트할 데이터 집합이 엄청나게 많은 경우 시간이 많이 걸린다는 것입니다. 일반적으로 1억 개 규모의 데이터 집합을 업데이트하는 데 몇 시간이 걸립니다.</p>
<p>해결 방법 2의 경우, 새 컬렉션을 즉시 검색에 사용할 수 없다는 문제가 있습니다. 즉, 로드 중에는 컬렉션을 검색할 수 없습니다. 또한 Milvus는 두 컬렉션이 동일한 컬렉션 이름을 사용하는 것을 허용하지 않습니다. 새 컬렉션으로 전환하려면 항상 사용자가 클라이언트 측 코드를 수동으로 수정해야 합니다. 즉, 사용자는 컬렉션 간에 전환해야 할 때마다 <code translate="no">collection_name</code> 매개변수의 값을 수정해야 합니다.</p>
<p>솔루션 3이 가장 좋은 해결책입니다. 새 컬렉션에 새 데이터를 삽입하고 컬렉션 별칭을 사용하기만 하면 됩니다. 이렇게 하면 컬렉션을 전환하여 검색을 수행해야 할 때마다 컬렉션 별칭만 바꾸면 됩니다. 코드를 수정하는 데 별도의 노력이 필요하지 않습니다. 이 솔루션은 앞의 두 가지 솔루션에서 언급된 문제를 해결해 줍니다.</p>
<p>유섭은 이 요청에서 시작하여 스마트뉴스 팀 전체가 Milvus 아키텍처를 이해하는 데 도움을 주었습니다. 한 달 반 후, Milvus 프로젝트는 Yusup으로부터 핫 리로드에 대한 홍보를 받았습니다. 그리고 이 기능은 Milvus 2.0.0-RC7 출시와 함께 정식으로 제공되었습니다.</p>
<p>현재 AI 인프라 팀이 주축이 되어 Milvus 2.0을 배포하고 모든 데이터를 Milvus 1.0에서 2.0으로 점진적으로 마이그레이션하고 있습니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/image2_96c064a627.png" alt="img_collection alias" class="doc-image" id="img_collection-alias" />
   </span> <span class="img-wrapper"> <span>img_collection 별칭</span> </span></p>
<p>수집 별칭 지원은 특히 사용자 요청이 많은 대규모 인터넷 기업의 경우 사용자 경험을 크게 향상시킬 수 있습니다. Milvus와 Smartnews 간의 연결 고리를 구축하는 데 도움을 준 Milvus 커뮤니티의 데이터 엔지니어인 Chenglong Li는 "수집 별칭 기능은 Milvus 사용자인 SmartNews의 실제 비즈니스 요청에서 비롯된 것입니다. 그리고 스마트뉴스는 해당 코드를 밀버스 커뮤니티에 기여했습니다. 이러한 호혜적 행위는 커뮤니티에 의한, 커뮤니티를 위한 오픈소스 정신의 좋은 예입니다. 앞으로도 스마트뉴스와 같은 기여자들이 더 많이 참여하여 더욱 번영하는 Milvus 커뮤니티를 함께 구축해 나가기를 바랍니다."</p>
<p>"현재 일부 광고 업계에서 오프라인 벡터 데이터베이스로 밀버스를 채택하고 있습니다. 밀버스 2.0의 정식 출시가 다가오고 있으며, 밀버스를 통해 보다 안정적인 시스템을 구축하고 더 많은 비즈니스 시나리오에 실시간 서비스를 제공할 수 있기를 바랍니다." 라고 말했습니다.</p>
<blockquote>
<p>업데이트: Milvus 2.0이 정식 출시되었습니다! <a href="/blog/ko/2022-1-25-annoucing-general-availability-of-milvus-2-0.md">자세히 알아보기</a></p>
</blockquote>


스마트뉴스 이야기 - 밀버스 사용자에서 적극적인 기여자가 되기까지

<p>2021년은 오픈소스 프로젝트인 Milvus에게 놀라운 한 해였습니다. 이렇게 뛰어난 한 해를 보낼 수 있도록 기여해주신 모든 기여자와 Milvus 사용자, 그리고 파트너 여러분께 감사의 말씀을 전하고 싶습니다.</p>
<p><strong>올해 저에게 가장 인상적인 순간 중 하나는 Milvus 2.0의 출시입니다. 이 프로젝트를 시작하기 전에는 소수의 커뮤니티 구성원만이 우리가 세계에서 가장 진보된 벡터 데이터베이스를 제공할 수 있다고 믿었지만, 이제 Milvus 2.0 GA가 생산 준비가 되었다고 말할 수 있게 되어 자랑스럽습니다.</strong></p>
<p>우리는 이미 2022년을 위한 새롭고 흥미로운 도전 과제들을 준비하고 있지만, 작년에 우리가 취한 몇 가지 큰 발걸음을 축하하는 것도 재미있을 것 같았습니다. 다음은 몇 가지입니다:</p>
<h2 id="Community-Growth" class="common-anchor-header">커뮤니티 성장<button data-href="#Community-Growth" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>먼저, GitHub와 Slack의 커뮤니티 통계를 요약해 보겠습니다. 2021년 12월 말 기준:</p>
<ul>
<li><p><strong>기여자</strong> 수 2020년 12월 121명에서 2021년 12월 209명으로 증가(172% 증가)</p></li>
<li><p><strong>별은</strong> 2020년 12월 4828개에서 2021년 12월 9090개로 증가했습니다(188% 증가).</p></li>
<li><p><strong>포크는</strong> 2020년 12월 756개에서 2021년 12월 1383개로 증가했습니다(182% 증가).</p></li>
<li><p><strong>슬랙 멤버는</strong> 2020년 12월 541명에서 2021년 12월 1233명으로 증가했습니다(227% 증가).</p></li>
</ul>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_1_e94deb087f.png" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<h2 id="Community-Governance-and-Advocacy" class="common-anchor-header">커뮤니티 거버넌스 및 옹호<button data-href="#Community-Governance-and-Advocacy" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>2019년 10월 Milvus가 처음 오픈소스로 전환되었을 때는 비교적 소규모의 팀과 소규모 커뮤니티가 있었기 때문에 자연스럽게 소수의 핵심 팀원이 프로젝트를 주로 관리했습니다. 하지만 그 이후 커뮤니티가 크게 성장하면서 새로운 기여자를 더 효율적으로 맞이하기 위해 프로젝트를 운영할 더 나은 시스템이 필요하다는 것을 깨달았습니다.</p>
<p>그 결과, 2021년에 5명의 새로운 관리자를 임명하여 진행 중인 작업과 보고된 문제를 추적하여 적시에 검토하고 병합할 수 있도록 했습니다. 5명의 관리자의 GitHub ID는 @xiaofan-luan, @congqixia, @scsven, @czs007, @yanliang567입니다. PR과 관련하여 도움이 필요하시면 언제든지 이 관리자에게 연락해 주세요.</p>
<p>또한 <a href="https://milvus.io/community/milvus_advocate.md">Milvus 옹호자 프로그램을</a> 시작했으며, 더 많은 분들이 참여하여 경험을 공유하고 커뮤니티 구성원에게 도움을 주며 그 대가로 인정을 받을 수 있기를 바랍니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_2_835f379fb0.png" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<p>(이미지: Milvus GitHub 기여자, 역동적인 웹페이지의 <a href="https://github.com/dynamicwebpaige/nanowrimo-2021/blob/main/15_VS_Code_contributors.ipynb">프로젝트로</a> 제작 )</p>
<h2 id="Milvus-Project-Announcements-and-Milestones" class="common-anchor-header">Milvus 프로젝트 공지 및 마일스톤<button data-href="#Milvus-Project-Announcements-and-Milestones" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ol>
<li><strong>버전 릴리스 수: 14</strong></li>
</ol>
<ul>
<li><a href="https://milvus.io/blog/Whats-Inside-Milvus-1.0.md">Milvus 1.0 릴리스</a></li>
<li><a href="https://milvus.io/blog/milvus2.0-redefining-vector-database.md">Milvus 2.0 릴리스 RC</a></li>
<li><a href="https://milvus.io/docs/v2.0.x/release_notes.md#v200-PreGA">Milvus 2.0 릴리스 PreGA</a></li>
</ul>
<ol>
<li><strong>Milvus v2.0.0 GA 지원 SDK</strong></li>
</ol>
<ul>
<li><p>PyMilvus(사용 가능)</p></li>
<li><p>Go SDK(사용 가능)</p></li>
<li><p>Java SDK(사용 가능)</p></li>
<li><p>Node.js SDK(사용 가능)</p></li>
<li><p>C++ SDK(개발 중)</p></li>
</ul>
<ol start="3">
<li><strong>새로운 Milvus 도구 출시:</strong></li>
</ol>
<ul>
<li><a href="https://github.com/zilliztech/milvus_cli#community">Milvus_CLI</a> (Milvus 명령줄)</li>
<li><a href="https://github.com/zilliztech/attu">Attu</a> (Milvus 관리 GUI)</li>
<li><a href="https://github.com/milvus-io/milvus-operator">Milvus K8s 오퍼레이터</a></li>
</ul>
<ol start="4">
<li><p><strong><a href="https://lfaidata.foundation/blog/2021/06/23/lf-ai-data-foundation-announces-graduation-of-milvus-project/">Milvus가 LF AI &amp; Data Foundation의 졸업 프로젝트가 되었습니다.</a></strong></p></li>
<li><p><strong><a href="https://www.cs.purdue.edu/homes/csjgwang/pubs/SIGMOD21_Milvus.pdf">Milvus: 특수 목적의 벡터 데이터 관리 시스템, SIGMOD'2021에 발표</a>).</strong></p></li>
<li><p><strong><a href="https://discuss.milvus.io/">Milvus 커뮤니티 포럼 출범.</a></strong></p></li>
</ol>
<h2 id="Community-Events" class="common-anchor-header">커뮤니티 이벤트<button data-href="#Community-Events" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>올해에는 코로나19 상황에도 불구하고 전 세계 커뮤니티 구성원들이 (대부분 온라인으로) 만날 수 있도록 다양한 행사를 주최하고 참여했습니다. 총 21개의 컨퍼런스에 참석하고 주최했습니다:</p>
<ul>
<li>6회의 기술 회의</li>
<li>7회의 밀버스 오피스 아워</li>
<li>웨비나 34회</li>
<li>오프라인 밋업 3회</li>
</ul>
<p>2022년에는 더 많은 행사를 계획하고 있습니다. 가까운 이벤트에 참여하고 싶으시다면 커뮤니티 포럼의 <a href="https://discuss.milvus.io/c/events-and-meetups/13">이벤트 및 밋업</a> 카테고리에서 예정된 이벤트와 장소를 확인하시기 바랍니다. 향후 이벤트의 연사 또는 호스트가 되고 싶으시다면 <a href="mailto:community@milvus.io">community@milvus.io</a> 으로 문의해 주세요.</p>
<h2 id="Looking-Ahead-to-2022--Roadmap--Announcement" class="common-anchor-header">2022년 전망 - 로드맵 및 공지사항<button data-href="#Looking-Ahead-to-2022--Roadmap--Announcement" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><strong>커뮤니티:</strong></p>
<ol>
<li>Milvus 프로젝트 멤버십을 개선하여 더 많은 관리자와 커미터를 유치/선출하여 커뮤니티를 함께 구축합니다.</li>
<li>멘토링 프로그램을 시작하여 커뮤니티에 합류하고 기여하고자 하는 신규 사용자에게 더 많은 도움을 제공합니다.</li>
<li><strong>기술 문서, 사용자 가이드, 커뮤니티 문서</strong> 등 커뮤니티 문서 거버넌스를 개선합니다. 2022년에는 커뮤니티 구성원들이 함께 Milvus 핸드북을 완성하여 사람들이 Milvus 사용법을 더 잘 배울 수 있기를 바랍니다.</li>
<li>업스트림 AI 커뮤니티와 Milvus가 의존하고 있는 Kubernetes, MinIO 등d 및 Pulsar와 같은 커뮤니티를 포함한 다른 오픈 소스 커뮤니티와의 협력 및 상호 작용을 강화합니다.</li>
<li>더 많은 정기적인 SIG 회의를 통해 커뮤니티 주도성을 강화하세요. 현재 운영 중인 sig-pymilvus 외에도 2022년에는 더 많은 SIG를 만들 계획입니다.</li>
</ol>
<p><strong>밀버스 프로젝트:</strong></p>
<ol>
<li>성능 튜닝</li>
</ol>
<p>뛰어난 성능은 항상 사용자들이 Milvus를 선택하는 중요한 이유였습니다. 2022년에는 성능 최적화 프로젝트를 시작하여 처리량과 지연 시간을 최소 2배 이상 향상시킬 계획입니다. 또한 작은 데이터 세트에서 처리량과 시스템 안정성을 개선하기 위해 메모리 복제본을 도입하고, 인덱스 구축과 온라인 서비스를 가속화하기 위해 GPU를 지원할 계획입니다.</p>
<ol start="2">
<li>기능</li>
</ol>
<p>Milvus 2.0은 이미 벡터/스칼라 하이브리드 검색, 엔티티 삭제, 시간 여행과 같은 기능을 지원하고 있습니다. 다음 두 가지 주요 릴리스에서는 다음과 같은 기능을 지원할 계획입니다:</p>
<ul>
<li>더 풍부한 데이터 유형 지원: 문자열, 블롭, 지리공간 등 더 풍부한 데이터 유형 지원</li>
<li>역할 기반 액세스 제어</li>
<li>기본 키 중복 제거</li>
<li>벡터에서 범위 검색 지원(거리가 0.8 미만인 경우 검색)</li>
<li>Restful API 지원 및 기타 언어 SDK</li>
</ul>
<ol start="3">
<li>사용 편의성</li>
</ol>
<p>내년에는 Milvus를 더 잘 배포하고 관리할 수 있는 몇 가지 도구를 개발할 계획입니다.</p>
<ul>
<li><p>Milvus 업:  사용자가 K8 클러스터 없이 오프라인 환경에서 Milvus를 실행할 수 있도록 도와주는 배포 구성 요소입니다. 또한 모니터링, 추적 및 기타 Milvus 개발을 배포하는 데 도움이 됩니다.</p></li>
<li><p>Attu - 클러스터 관리 시스템으로서 Attu를 계속 개선해 나갈 것입니다. 상태 진단 및 인덱스 최적화와 같은 기능을 추가할 계획입니다.</p></li>
<li><p>Milvus DM: 다른 데이터베이스나 파일에서 Milvus로 벡터를 마이그레이션하기 위한 데이터 마이그레이션 도구입니다. 우선 FAISS, HNSW, Milvus 1.0/2.0을 지원한 후 MySQL, Elasticsearch 등 다른 데이터베이스를 지원할 예정입니다.</p></li>
</ul>
<h2 id="About-the-author" class="common-anchor-header">저자 소개<button data-href="#About-the-author" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>샤오판 루안, Zilliz의 파트너 겸 엔지니어링 디렉터이자 LF AI &amp; Data Foundation의 기술 자문 위원. 오라클 미국 본사와 소프트웨어 정의 스토리지 스타트업인 Hedvig에서 연이어 근무했습니다. 알리바바 클라우드 데이터베이스 팀에 합류하여 NoSQL 데이터베이스 HBase와 Lindorm의 개발을 담당했습니다. 코넬대학교에서 전자 컴퓨터 공학 석사 학위를 취득했습니다.</p>


2021년 밀버스 - 한 해를 돌아보며

<p>정보 폭증의 시대에 우리는 음성, 이미지, 동영상 및 기타 비정형 데이터를 끊임없이 생산하고 있습니다. 이 방대한 양의 데이터를 어떻게 효율적으로 분석할 수 있을까요? 신경망의 등장으로 비정형 데이터도 벡터로 담을 수 있게 되었고, Milvus 데이터베이스는 벡터 데이터의 저장, 검색, 분석을 완성하는 데 도움을 주는 기본적인 데이터 서비스 소프트웨어입니다.</p>
<p>그렇다면 어떻게 하면 Milvus 벡터 데이터베이스를 빠르게 사용할 수 있을까요?</p>
<p>일부 사용자들은 API를 외우기 어렵다고 불평하며 Milvus 데이터베이스를 조작할 수 있는 간단한 명령줄이 있었으면 좋겠다는 의견을 제시해 왔습니다.</p>
<p>이에 Milvus 벡터 데이터베이스 전용 커맨드 라인 도구인 Milvus_CLI를 소개하게 되어 기쁘게 생각합니다.</p>
<p>Milvus_CLI는 Milvus를 위한 편리한 데이터베이스 CLI로, 셸에서 대화형 명령을 사용하여 데이터베이스 연결, 데이터 가져오기, 데이터 내보내기, 벡터 계산을 지원합니다. 최신 버전의 Milvus_CLI에는 다음과 같은 기능이 있습니다.</p>
<ul>
<li><p>Windows, Mac, Linux를 포함한 모든 플랫폼 지원</p></li>
<li><p>pip를 통한 온라인 및 오프라인 설치 지원</p></li>
<li><p>휴대성이 뛰어나 어디서나 사용 가능</p></li>
<li><p>Python용 Milvus SDK를 기반으로 구축됨</p></li>
<li><p>도움말 문서 포함</p></li>
<li><p>자동 완성 지원</p></li>
</ul>
<h2 id="Installation" class="common-anchor-header">설치<button data-href="#Installation" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus_CLI는 온라인 또는 오프라인으로 설치할 수 있습니다.</p>
<h3 id="Install-MilvusCLI-online" class="common-anchor-header">Milvus_CLI 온라인 설치</h3><p>다음 명령을 실행하여 pip로 Milvus_CLI를 온라인으로 설치합니다. Python 3.8 이상이 필요합니다.</p>
<pre><code translate="no">pip install milvus-cli
<button class="copy-code-btn"></button></code></pre>
<h3 id="Install-MilvusCLI-offline" class="common-anchor-header">Milvus_CLI 오프라인 설치</h3><p>Milvus_CLI를 오프라인으로 설치하려면 먼저 릴리스 페이지에서 최신 타르볼을 <a href="https://github.com/milvus-io/milvus_cli/releases">다운로드하세요</a>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_af0e832119.png" alt="1.png" class="doc-image" id="1.png" />
   </span> <span class="img-wrapper"> <span>1.png</span> </span></p>
<p>타르볼을 다운로드한 후 다음 명령어를 실행하여 Milvus_CLI를 설치합니다.</p>
<pre><code translate="no">pip install milvus_cli-&lt;version&gt;.tar.gz
<button class="copy-code-btn"></button></code></pre>
<p>Milvus_CLI가 설치된 후 <code translate="no">milvus_cli</code> 을 실행합니다. <code translate="no">milvus_cli &gt;</code> 프롬프트가 나타나면 명령줄이 준비되었음을 나타냅니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/2_b50f5d2a5a.png" alt="2.png" class="doc-image" id="2.png" />
   </span> <span class="img-wrapper"> <span>2.png</span> </span></p>
<p>M1 칩이 탑재된 Mac 또는 Python 환경이 없는 PC를 사용하는 경우 휴대용 애플리케이션을 대신 사용하도록 선택할 수 있습니다. 이렇게 하려면 사용 중인 OS에 해당하는 릴리스 페이지에서 파일을 <a href="https://github.com/milvus-io/milvus_cli/releases">다운로드하고</a> <code translate="no">chmod +x</code> 을 실행하여 실행 가능한 파일로 만든 다음 <code translate="no">./</code> 을 실행하여 실행합니다.</p>
<h4 id="Example" class="common-anchor-header"><strong>예제</strong></h4><p>다음 예는 <code translate="no">milvus_cli-v0.1.8-fix2-macOS</code> 을 실행 가능한 파일로 만들어 실행합니다.</p>
<pre><code translate="no"><span class="hljs-built_in">sudo</span> <span class="hljs-built_in">chmod</span> +x milvus_cli-v0.1.8-fix2-macOS
./milvus_cli-v0.1.8-fix2-macOS
<button class="copy-code-btn"></button></code></pre>
<h2 id="Usage" class="common-anchor-header">사용법<button data-href="#Usage" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="Connect-to-Milvus" class="common-anchor-header">Milvus에 연결하기</h3><p>Milvus에 연결하기 전에 서버에 Milvus가 설치되어 있는지 확인하세요. 자세한 내용은 <a href="https://milvus.io/docs/v2.0.x/install_standalone-docker.md">Milvus 독립형 설치</a> 또는 <a href="https://milvus.io/docs/v2.0.x/install_cluster-docker.md">Milvus 클러스터 설치를</a> 참조하세요.</p>
<p>Milvus가 로컬 호스트에 기본 포트로 설치된 경우 <code translate="no">connect</code> 을 실행합니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/3_f950d3739a.png" alt="3.png" class="doc-image" id="3.png" />
   </span> <span class="img-wrapper"> <span>3.png</span> </span></p>
<p>그렇지 않은 경우 Milvus 서버의 IP 주소로 다음 명령을 실행합니다. 다음 예에서는 <code translate="no">172.16.20.3</code> 을 IP 주소로, <code translate="no">19530</code> 을 포트 번호로 사용합니다.</p>
<pre><code translate="no">connect -h 172.16.20.3
<button class="copy-code-btn"></button></code></pre>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/4_9ff2db9855.png" alt="4.png" class="doc-image" id="4.png" />
   </span> <span class="img-wrapper"> <span>4.png</span> </span></p>
<h3 id="Create-a-collection" class="common-anchor-header">컬렉션 만들기</h3><p>이 섹션에서는 컬렉션을 만드는 방법을 소개합니다.</p>
<p>컬렉션은 엔티티로 구성되며 RDBMS의 테이블과 유사합니다. 자세한 내용은 <a href="https://milvus.io/docs/v2.0.x/glossary.md">용어집을</a> 참조하세요.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/5_95a88c1cbf.png" alt="5.png" class="doc-image" id="5.png" />
   </span> <span class="img-wrapper"> <span>5.png</span> </span></p>
<h4 id="Example" class="common-anchor-header">예제</h4><p>다음 예제에서는 <code translate="no">car</code> 라는 컬렉션을 만듭니다. <code translate="no">car</code> 컬렉션에는 <code translate="no">id</code>, <code translate="no">vector</code>, <code translate="no">color</code>, <code translate="no">brand</code> 의 네 개의 필드가 있습니다. 기본 키 필드는 <code translate="no">id</code> 입니다. 자세한 내용은 <a href="https://milvus.io/docs/v2.0.x/cli_commands.md#create-collection">컬렉션 만들기를</a> 참조하세요.</p>
<pre><code translate="no">create collection -c car -f <span class="hljs-built_in">id</span>:INT64:primary_field -f vector:FLOAT_VECTOR:<span class="hljs-number">128</span> -f color:INT64:color -f brand:INT64:brand -p <span class="hljs-built_in">id</span> -a -d <span class="hljs-string">&#x27;car_collection&#x27;</span>
<button class="copy-code-btn"></button></code></pre>
<h3 id="List-collections" class="common-anchor-header">컬렉션 나열하기</h3><p>다음 명령을 실행하여 이 Milvus 인스턴스의 모든 컬렉션을 나열합니다.</p>
<pre><code translate="no">list collections
<button class="copy-code-btn"></button></code></pre>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/6_1331f4c8bc.png" alt="6.png" class="doc-image" id="6.png" />
   </span> <span class="img-wrapper"> <span>6.png</span> </span></p>
<p>다음 명령을 실행하여 <code translate="no">car</code> 컬렉션의 세부 정보를 확인합니다.</p>
<pre><code translate="no">describe collection -c car 
<button class="copy-code-btn"></button></code></pre>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/7_1d70beee54.png" alt="7.png" class="doc-image" id="7.png" />
   </span> <span class="img-wrapper"> <span>7.png</span> </span></p>
<h3 id="Calculate-the-distance-between-two-vectors" class="common-anchor-header">두 벡터 사이의 거리 계산하기</h3><p>다음 명령을 실행하여 <code translate="no">car</code> 컬렉션으로 데이터를 가져옵니다.</p>
<pre><code translate="no"><span class="hljs-keyword">import</span> -c car <span class="hljs-string">&#x27;https://raw.githubusercontent.com/zilliztech/milvus_cli/main/examples/import_csv/vectors.csv&#x27;</span>
<button class="copy-code-btn"></button></code></pre>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/8_7609a4359a.png" alt="8.png" class="doc-image" id="8.png" />
   </span> <span class="img-wrapper"> <span>8.png</span> </span></p>
<p><code translate="no">query</code> 을 실행하고 메시지가 표시되면 컬렉션 이름으로 <code translate="no">car</code> 을, 쿼리 표현식으로 <code translate="no">id&gt;0</code> 을 입력합니다. 다음 그림과 같이 기준을 충족하는 엔티티의 ID가 반환됩니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/9_f0755589f6.png" alt="9.png" class="doc-image" id="9.png" />
   </span> <span class="img-wrapper"> <span>9.png</span> </span></p>
<p><code translate="no">calc</code> 을 실행하고 벡터 배열 간의 거리를 계산하라는 메시지가 표시되면 적절한 값을 입력합니다.</p>
<h3 id="Delete-a-collection" class="common-anchor-header">컬렉션 삭제하기</h3><p>다음 명령을 실행하여 <code translate="no">car</code> 컬렉션을 삭제합니다.</p>
<pre><code translate="no"><span class="hljs-keyword">delete</span> collection -c car
<button class="copy-code-btn"></button></code></pre>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/10_16b2b01935.png" alt="10.png" class="doc-image" id="10.png" />
   </span> <span class="img-wrapper"> <span>10.png</span> </span></p>
<h2 id="More" class="common-anchor-header">더 보기<button data-href="#More" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus_CLI는 앞의 함수에 국한되지 않습니다. <code translate="no">help</code> 을 실행하면 Milvus_CLI에 포함된 모든 명령과 각 설명을 볼 수 있습니다. <code translate="no">&lt;command&gt; --help</code> 을 실행하면 지정된 명령의 세부 정보를 볼 수 있습니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/11_5f31ccb1e8.png" alt="11.png" class="doc-image" id="11.png" />
   </span> <span class="img-wrapper"> <span>11.png</span> </span></p>
<p><strong>또한 참조하세요:</strong></p>
<p>Milvus 문서 아래의<a href="https://milvus.io/docs/v2.0.x/cli_commands.md">Milvus_CLI 명령 참조</a> </p>
<p>Milvus_CLI가 Milvus 벡터 데이터베이스를 쉽게 사용하는 데 도움이 되기를 바랍니다. Milvus_CLI는 계속 최적화될 것이며, 여러분의 의견을 환영합니다.</p>
<p>궁금한 점이 있으시면 언제든지 GitHub에 <a href="https://github.com/zilliztech/milvus_cli/issues">이슈를 제출해</a> 주세요.</p>


Milvus_CLI 시작하기

Milvus 클라우드 확장형 벡터 데이터베이스의 진화

<p>최근 지식재산권 침해에 대한 사람들의 인식이 높아짐에 따라 지식재산권 보호 문제가 각광받고 있습니다. 특히 다국적 기술 대기업인 Apple은 상표권, 특허권, 디자인 침해 등 <a href="https://en.wikipedia.org/wiki/Apple_Inc._litigation">다양한 기업을 상대로 IP 침해 소송을</a> 활발히 <a href="https://en.wikipedia.org/wiki/Apple_Inc._litigation">제기하고</a> 있습니다. 가장 악명 높은 사례 외에도 Apple Inc.는 2009년 호주 슈퍼마켓 체인인 <a href="https://www.smh.com.au/business/apple-bites-over-woolworths-logo-20091005-ghzr.html">울워스(Woolworths Limited)의 상표권 출원에</a> 대해 상표권 침해를 이유로 <a href="https://www.smh.com.au/business/apple-bites-over-woolworths-logo-20091005-ghzr.html">이의를</a> 제기하기도 했습니다.  Apple. Inc는 호주 브랜드의 로고인 양식화된 &quot;w&quot;가 자사의 사과 로고와 유사하다고 주장했습니다. 따라서 Apple Inc는 울워스가 해당 로고로 판매하기 위해 신청한 전자 기기를 포함한 다양한 제품에 대해 이의를 제기했습니다. 이 이야기는 울워스가 로고를 수정하고 Apple이 반대를 철회하는 것으로 끝납니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Logo_of_Woolworths_b04ece5b20.png" alt="Logo of Woolworths.png" class="doc-image" id="logo-of-woolworths.png" />
   </span> <span class="img-wrapper"> <span>울워스 로고.png</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Logo_of_Apple_Inc_181e5bd5f8.png" alt="Logo of Apple Inc.png" class="doc-image" id="logo-of-apple-inc.png" />
   </span> <span class="img-wrapper"> <span>애플 로고.png</span> </span></p>
<p>브랜드 문화에 대한 인식이 날로 높아짐에 따라 기업들은 지적 재산(IP) 권리를 해칠 수 있는 모든 위협을 면밀히 주시하고 있습니다. IP 침해에는 다음이 포함됩니다:</p>
<ul>
<li>저작권 침해</li>
<li>특허 침해</li>
<li>상표권 침해</li>
<li>디자인 침해</li>
<li>사이버 스쿼팅</li>
</ul>
<p>앞서 언급한 애플과 울워스 간의 분쟁은 주로 상표권 침해, 즉 두 기업의 상표 이미지가 유사하다는 점에 관한 것입니다. 또 다른 울워스가 되지 않으려면 상표 출원 전과 상표 출원 검토 과정에서 철저한 상표 유사성 검색이 신청자에게 매우 중요한 단계입니다. 가장 일반적인 방법은 활성 및 비활성 상표 등록 및 출원이 모두 포함된 <a href="https://tmsearch.uspto.gov/search/search-information">미국 특허청(USPTO) 데이터베이스에서</a> 검색하는 것입니다. 이 검색 프로세스는 그다지 매력적이지는 않지만, 이미지를 검색하기 위해 단어와 상표 디자인 코드(디자인 특징의 수작업 주석 레이블)에 의존하기 때문에 텍스트 기반이라는 점에서 심각한 결함이 있습니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/image_8_b2fff6ca11.png" alt="8.png" class="doc-image" id="8.png" />
   </span> <span class="img-wrapper"> <span>8.png</span> </span></p>
<p>따라서 이 글에서는 오픈 소스 벡터 데이터베이스인 <a href="https://milvus.io">Milvus를</a> 사용하여 효율적인 이미지 기반 상표 유사도 검색 시스템을 구축하는 방법을 소개하고자 합니다.</p>
<h2 id="A-vector-similarity-search-system-for-trademarks" class="common-anchor-header">상표를 위한 벡터 유사도 검색 시스템 구축하기<button data-href="#A-vector-similarity-search-system-for-trademarks" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>상표에 대한 벡터 유사도 검색 시스템을 구축하려면 다음 단계를 거쳐야 합니다:</p>
<ol>
<li>방대한 로고 데이터 세트를 준비합니다. 시스템에서 <a href="https://developer.uspto.gov/product/trademark-24-hour-box-and-supplemental">이와</a> 같은 데이터 세트를 사용할 수 있습니다.)</li>
<li>데이터 세트와 데이터 기반 모델 또는 AI 알고리즘을 사용하여 이미지 특징 추출 모델을 훈련합니다.</li>
<li>2단계에서 학습된 모델 또는 알고리즘을 사용하여 로고를 벡터로 변환합니다.</li>
<li>벡터를 저장하고 오픈 소스 벡터 데이터베이스인 Milvus에서 벡터 유사도 검색을 수행합니다.</li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/trademark_system_e9700df555.png" alt="Nike.png" class="doc-image" id="nike.png" />
   </span> <span class="img-wrapper"> <span>Nike.png</span> </span></p>
<p>다음 섹션에서는 상표에 대한 벡터 유사도 검색 시스템을 구축하는 두 가지 주요 단계, 즉 이미지 특징 추출을 위한 AI 모델 사용과 벡터 유사도 검색을 위한 Milvus 사용에 대해 자세히 살펴보겠습니다. 저희의 경우 이미지 특징을 추출하고 이를 임베딩 벡터로 변환하기 위해 컨볼루션 신경망(CNN)인 VGG16을 사용했습니다.</p>
<h3 id="Using-VGG16-for-image-feature-extraction" class="common-anchor-header">이미지 특징 추출에 VGG16 사용</h3><p><a href="https://medium.com/@mygreatlearning/what-is-vgg16-introduction-to-vgg16-f2d63849f615">VGG16은</a> 대규모 이미지 인식을 위해 설계된 CNN입니다. 이 모델은 이미지 인식이 빠르고 정확하며 모든 크기의 이미지에 적용할 수 있습니다. 다음은 VGG16 아키텍처의 두 가지 그림입니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/vgg16_layers_9e621f62cc.png" alt="9.png" class="doc-image" id="9.png" />
   </span> <span class="img-wrapper"> <span>9.png</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/vgg16_architecture_992614e882.png" alt="10.png" class="doc-image" id="10.png" />
   </span> <span class="img-wrapper"> <span>10.png</span> </span></p>
<p>VGG16 모델은 이름에서 알 수 있듯이 16개의 레이어를 가진 CNN입니다. VGG16과 VGG19를 포함한 모든 VGG 모델은 5개의 VGG 블록을 포함하며, 각 VGG 블록에는 하나 이상의 컨볼루션 레이어가 있습니다. 그리고 각 블록의 끝에는 입력 이미지의 크기를 줄이기 위해 최대 풀링 레이어가 연결됩니다. 커널의 수는 각 컨볼루션 레이어 내에서 동일하지만 각 VGG 블록에서는 두 배가 됩니다. 따라서 모델의 커널 수는 첫 번째 블록에서 64개에서 네 번째와 다섯 번째 블록에서 512개로 증가합니다. 모든 컨볼루션 커널은<em>33개 크기인 반면 풀링 커널은 모두 22개 크기입니다</em>. 이는 입력 이미지에 대한 더 많은 정보를 보존하는 데 도움이 됩니다.</p>
<p>따라서 VGG16은 이 경우 대규모 데이터 세트의 이미지 인식에 적합한 모델입니다. 파이썬, 텐서플로우, Keras를 사용하여 VGG16을 기반으로 이미지 특징 추출 모델을 훈련할 수 있습니다.</p>
<h3 id="Using-Milvus-for-vector-similarity-search" class="common-anchor-header">벡터 유사도 검색에 Milvus 사용</h3><p>VGG16 모델을 사용하여 이미지 특징을 추출하고 로고 이미지를 임베딩 벡터로 변환한 후에는 방대한 데이터 세트에서 유사한 벡터를 검색해야 합니다.</p>
<p>Milvus는 높은 확장성과 탄력성을 갖춘 클라우드 네이티브 데이터베이스입니다. 또한 데이터베이스로서 데이터 일관성을 보장할 수 있습니다. 이와 같은 상표 유사도 검색 시스템의 경우, 최신 상표 등록과 같은 새로운 데이터가 실시간으로 시스템에 업로드됩니다. 그리고 이렇게 새로 업로드된 데이터는 즉시 검색에 사용할 수 있어야 합니다. 따라서 이 글에서는 오픈소스 벡터 데이터베이스인 Milvus를 사용하여 벡터 유사도 검색을 수행합니다.</p>
<p>로고 벡터를 삽입할 때 상표 등록을 위한 상품 및 서비스 분류 체계인 <a href="https://en.wikipedia.org/wiki/International_(Nice)_Classification_of_Goods_and_Services">국제(니스) 상품 및 서비스 분류에</a> 따라 로고 벡터의 종류별로 Milvus에서 컬렉션을 만들 수 있습니다. 예를 들어 Milvus에서 의류 브랜드 로고 벡터 그룹을 &quot;의류&quot;라는 컬렉션에 삽입하고 다른 기술 브랜드 로고 벡터 그룹을 &quot;기술&quot;이라는 다른 컬렉션에 삽입할 수 있습니다. 이렇게 하면 벡터 유사도 검색의 효율성과 속도를 크게 높일 수 있습니다.</p>
<p>Milvus는 벡터 유사도 검색을 위한 여러 인덱스를 지원할 뿐만 아니라 DevOps를 용이하게 하는 풍부한 API와 도구도 제공합니다. 다음 다이어그램은 <a href="https://milvus.io/docs/v2.0.x/architecture_overview.md">Milvus 아키텍처를</a> 설명하는 그림입니다. Milvus에 대한 자세한 내용은 <a href="https://milvus.io/docs/v2.0.x/overview.md">소개글에서</a> 확인할 수 있습니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/milvus_architecture_ea45a5ab53.png" alt="11.png" class="doc-image" id="11.png" />
   </span> <span class="img-wrapper"> <span>11.png</span> </span></p>
<h2 id="Looking-for-more-resources" class="common-anchor-header">더 많은 리소스를 찾고 계신가요?<button data-href="#Looking-for-more-resources" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p>Milvus로 다른 애플리케이션 시나리오를 위한 더 많은 벡터 유사도 검색 시스템을 구축하세요:</p>
<ul>
<li><a href="https://milvus.io/blog/dna-sequence-classification-based-on-milvus.md">Milvus 기반 DNA 서열 분류</a></li>
<li><a href="https://milvus.io/blog/audio-retrieval-based-on-milvus.md">Milvus 기반 오디오 검색</a></li>
<li><a href="https://milvus.io/blog/building-video-search-system-with-milvus.md">비디오 검색 시스템을 구축하는 4단계</a></li>
<li><a href="https://milvus.io/blog/building-intelligent-chatbot-with-nlp-and-milvus.md">NLP와 Milvus로 지능형 QA 시스템 구축하기</a></li>
<li><a href="https://milvus.io/blog/molecular-structure-similarity-with-milvus.md">신약 개발 가속화</a></li>
</ul></li>
<li><p>오픈 소스 커뮤니티에 참여하세요:</p>
<ul>
<li><a href="https://bit.ly/307b7jC">GitHub에서</a> Milvus를 찾거나 기여하세요.</li>
<li><a href="https://bit.ly/3qiyTEk">포럼을</a> 통해 커뮤니티와 소통하세요.</li>
<li><a href="https://bit.ly/3ob7kd8">트위터에서</a> 소통하세요.</li>
</ul></li>
</ul>


IP 보호의 Milvus: Milvus로 상표 유사성 검색 시스템 구축하기

<p>오픈 소스 벡터 데이터베이스인 Milvus를 빠르게 시작할 수 있도록, 또 다른 제휴 오픈 소스 프로젝트인 <a href="https://github.com/milvus-io/bootcamp">Milvus Bootcamp를</a> GitHub에 공개했습니다. Milvus 부트캠프는 벤치마크 테스트를 위한 스크립트와 데이터를 제공할 뿐만 아니라 역 이미지 검색 시스템, 동영상 분석 시스템, QA 챗봇 또는 추천 시스템과 같은 일부 MVP(최소기능제품)를 구축하는 데 Milvus를 사용하는 프로젝트도 포함되어 있습니다. 비정형 데이터로 가득한 세상에서 벡터 유사도 검색을 적용하는 방법을 배우고 Milvus 부트캠프에서 실습 경험을 쌓을 수 있습니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/2_5b60157b4d.png" alt="2.png" class="doc-image" id="2.png" />
   </span> <span class="img-wrapper"> <span>2.png</span> </span></p>
<p>저희는 밀버스 부트캠프의 프로젝트를 위한 프론트엔드 및 백엔드 서비스를 모두 제공하고 있습니다. 그러나 최근 채택된 웹 프레임워크를 Flask에서 FastAPI로 변경하기로 결정했습니다.</p>
<p>이 글에서는 Milvus Bootcamp에 채택된 웹 프레임워크를 변경하게 된 동기를 설명하고 Flask 대신 FastAPI를 선택한 이유를 설명하고자 합니다.</p>
<h2 id="Web-frameworks-for-Python" class="common-anchor-header">파이썬용 웹 프레임워크<button data-href="#Web-frameworks-for-Python" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>웹 프레임워크는 패키지 또는 모듈의 집합을 의미합니다. 웹 애플리케이션이나 서비스를 작성하고 프로토콜, 소켓 또는 프로세스/스레드 관리와 같은 낮은 수준의 세부 사항을 처리하는 수고를 덜어주는 웹 개발용 소프트웨어 아키텍처 집합입니다. 웹 프레임워크를 사용하면 데이터 캐싱, 데이터베이스 액세스 및 데이터 보안 확인을 처리할 때 별도의 주의가 필요 없이 코드를 프레임워크에 '플러그인'하기만 하면 되므로 웹 애플리케이션 개발의 작업량을 크게 줄일 수 있습니다. Python용 웹 프레임워크가 무엇인지에 대한 자세한 내용은 <a href="https://wiki.python.org/moin/WebFrameworks">웹 프레임워크를</a> 참조하세요.</p>
<p>다양한 유형의 Python 웹 프레임워크가 있습니다. 주요 프레임워크에는 Django, Flask, Tornado, FastAPI 등이 있습니다.</p>
<h3 id="Flask" class="common-anchor-header">Flask</h3><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/3_1abd170939.png" alt="3.png" class="doc-image" id="3.png" />
   </span> <span class="img-wrapper"> <span>3.png</span> </span></p>
<p><a href="https://flask.palletsprojects.com/en/2.0.x/">Flask는</a> 파이썬용으로 설계된 경량 마이크로프레임워크로, 간단하고 사용하기 쉬운 코어를 통해 자신만의 웹 애플리케이션을 개발할 수 있습니다. 또한 플라스크 코어는 확장도 가능합니다. 따라서 Flask는 웹 애플리케이션 개발 중 개인화된 요구 사항을 충족하기 위해 다양한 기능의 온디맨드 확장을 지원합니다. 즉, Flask의 다양한 플러그인 라이브러리를 통해 강력한 웹사이트를 개발할 수 있습니다.</p>
<p>플라스크의 특징은 다음과 같습니다:</p>
<ol>
<li>Flask는 공유 기능을 제공하기 위해 타사 라이브러리의 다른 특정 도구나 구성 요소에 의존하지 않는 마이크로프레임워크입니다. Flask에는 데이터베이스 추상화 계층이 없으며 양식 유효성 검사가 필요하지 않습니다. 그러나 Flask는 확장성이 매우 뛰어나며 Flask 자체의 구현과 유사한 방식으로 애플리케이션 기능을 추가할 수 있도록 지원합니다. 관련 확장 기능으로는 객체 관계형 매퍼, 양식 유효성 검사, 업로드 처리, 개방형 인증 기술, 웹 프레임워크용으로 설계된 몇 가지 일반적인 도구 등이 있습니다.</li>
<li>Flask는 <a href="https://wsgi.readthedocs.io/">WSGI</a> (웹 서버 게이트웨이 인터페이스)를 기반으로 하는 웹 애플리케이션 프레임워크입니다. WSGI는 웹 서버와 Python 언어용으로 정의된 웹 애플리케이션 또는 프레임워크를 연결하는 간단한 인터페이스입니다.</li>
<li>Flask에는 두 가지 핵심 함수 라이브러리인 <a href="https://www.palletsprojects.com/p/werkzeug">Werkzeug와</a> <a href="https://www.palletsprojects.com/p/jinja">Jinja2가</a> 포함되어 있습니다. Werkzeug는 요청, 응답 객체 및 실용적인 함수를 구현하는 WSGI 툴킷으로, 그 위에 웹 프레임워크를 구축할 수 있습니다. Jinja2는 모든 기능을 갖춘 인기 있는 Python용 템플릿 엔진입니다. 유니코드를 완벽하게 지원하며, 선택 사항이지만 널리 채택된 통합 샌드박스 실행 환경을 제공합니다.</li>
</ol>
<h3 id="FastAPI" class="common-anchor-header">FastAPI</h3><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/4_05cb0dac4e.png" alt="4.png" class="doc-image" id="4.png" />
   </span> <span class="img-wrapper"> <span>4.png</span> </span></p>
<p><a href="https://fastapi.tiangolo.com/">FastAPI는</a> Go 및 NodeJS와 동일한 수준의 고성능을 제공하는 최신 Python 웹 애플리케이션 프레임워크입니다. FastAPI의 핵심은 <a href="https://www.starlette.io/">Starlette과</a> <a href="https://pydantic-docs.helpmanual.io/">Pydantic을</a> 기반으로 합니다. Starlette는 고성능 <a href="https://docs.python.org/3/library/asyncio.html">비동기</a> 서비스를 구축하기 위한 경량 <a href="https://asgi.readthedocs.io/">ASGI</a>(비동기 서버 게이트웨이 인터페이스) 프레임워크 툴킷입니다. Pydantic은 파이썬 타입 힌트를 기반으로 데이터 유효성 검사, 직렬화, 문서화를 정의하는 라이브러리입니다.</p>
<p>FastAPI는 다음과 같은 특징이 있습니다:</p>
<ol>
<li>FastAPI는 네트워크 프로토콜 서비스와 Python 애플리케이션을 연결하는 비동기 게이트웨이 프로토콜 인터페이스인 ASGI를 기반으로 하는 웹 애플리케이션 프레임워크입니다. FastAPI는 HTTP, HTTP2, WebSocket 등 다양한 일반 프로토콜 유형을 처리할 수 있습니다.</li>
<li>FastAPI는 인터페이스 데이터 유형을 확인하는 기능을 제공하는 Pydantic을 기반으로 합니다. 인터페이스 매개변수를 추가로 확인하거나 매개변수가 비어 있는지 또는 데이터 유형이 올바른지 확인하기 위해 추가 코드를 작성할 필요가 없습니다. FastAPI를 사용하면 코드의 인적 오류를 효과적으로 방지하고 개발 효율성을 향상시킬 수 있습니다.</li>
<li>FastAPI는 <a href="https://swagger.io/specification/">OpenAPI</a> (이전의 Swagger)와 <a href="https://www.redoc.com/">Redoc의</a> 두 가지 형식의 문서를 지원합니다. 따라서 사용자는 추가 인터페이스 문서를 작성하는 데 추가 시간을 들일 필요가 없습니다. FastAPI에서 제공하는 OpenAPI 문서는 아래 스크린샷에 나와 있습니다.</li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/5_d91d34cb0f.png" alt="5.png" class="doc-image" id="5.png" />
   </span> <span class="img-wrapper"> <span>5.png</span> </span></p>
<h3 id="Flask-Vs-FastAPI" class="common-anchor-header">플라스크 대 FastAPI</h3><p>아래 표는 여러 측면에서 Flask와 FastAPI의 차이점을 보여줍니다.</p>
<table>
<thead>
<tr><th></th><th><strong>FastAPI</strong></th><th><strong>플라스크</strong></th></tr>
</thead>
<tbody>
<tr><td><strong>인터페이스 게이트웨이</strong></td><td>ASGI</td><td>WSGI</td></tr>
<tr><td><strong>비동기 프레임워크</strong></td><td>✅</td><td>❌</td></tr>
<tr><td><strong>성능</strong></td><td>더 빠름</td><td>느림</td></tr>
<tr><td><strong>대화형 문서</strong></td><td>OpenAPI, Redoc</td><td>없음</td></tr>
<tr><td><strong>데이터 검증</strong></td><td>✅</td><td>❌</td></tr>
<tr><td><strong>개발 비용</strong></td><td>더 낮음</td><td>더 높음</td></tr>
<tr><td><strong>사용 편의성</strong></td><td>낮음</td><td>높음</td></tr>
<tr><td><strong>유연성</strong></td><td>덜 유연함</td><td>더 유연함</td></tr>
<tr><td><strong>커뮤니티</strong></td><td>더 작음</td><td>더 활동적</td></tr>
</tbody>
</table>
<h2 id="Why-FastAPI" class="common-anchor-header">왜 FastAPI인가?<button data-href="#Why-FastAPI" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus Bootcamp의 프로젝트에 어떤 Python 웹 애플리케이션 프레임워크를 선택할지 결정하기 전에 저희는 장고, 플라스크, FastAPI, 토네이도 등 몇 가지 주요 프레임워크에 대해 조사했습니다. 밀버스 부트캠프의 프로젝트는 여러분을 위한 레퍼런스 역할을 하기 때문에 최대한 가볍고 손쉬운 외부 프레임워크를 채택하는 것을 우선순위로 삼았습니다. 이 원칙에 따라 선택의 폭을 Flask와 FastAPI로 좁혔습니다.</p>
<p>두 웹 프레임워크의 비교는 이전 섹션에서 확인할 수 있습니다. 다음은 밀버스 부트캠프의 프로젝트에 Flask 대신 FastAPI를 선택한 동기에 대한 자세한 설명입니다. 몇 가지 이유가 있습니다:</p>
<h3 id="1-Performance" class="common-anchor-header">1. 성능</h3><p>밀버스 부트캠프의 대부분의 프로젝트는 실시간 데이터 처리에 대한 요구가 높은 역 이미지 검색 시스템, QA 챗봇, 텍스트 검색 엔진을 중심으로 구축되었습니다. 따라서 뛰어난 성능을 갖춘 프레임워크가 필요하며, 바로 이것이 FastAPI의 핵심입니다. 따라서 시스템 성능의 관점에서 FastAPI를 선택하기로 결정했습니다.</p>
<h3 id="2-Efficiency" class="common-anchor-header">2. 효율성</h3><p>플라스크를 사용할 때는 시스템에서 입력 데이터가 비어 있는지 여부를 판단할 수 있도록 각 인터페이스에서 데이터 타입 검증을 위한 코드를 작성해야 합니다. 그러나 FastAPI는 자동 데이터 유형 검증을 지원함으로써 시스템 개발 중 코딩 시 인적 오류를 방지하고 개발 효율성을 크게 높일 수 있습니다. 부트캠프는 일종의 교육 리소스로 자리매김하고 있습니다. 즉, 우리가 사용하는 코드와 구성 요소는 직관적이고 효율성이 높아야 합니다. 이러한 점에서 시스템 효율성을 개선하고 사용자 경험을 향상시키기 위해 FastAPI를 선택했습니다.</p>
<h3 id="3-Asynchronous-framework" class="common-anchor-header">3. 비동기 프레임워크</h3><p>FastAPI는 본질적으로 비동기 프레임워크입니다. 원래는 역 이미지 검색, 동영상 분석, QA 챗봇, 분자 유사도 검색의 네 가지 <a href="https://zilliz.com/milvus-demos?isZilliz=true">데모를</a> 공개했습니다. 이 데모에서는 데이터 세트를 업로드하면 즉시 &quot;요청이 수신되었습니다&quot;라는 메시지가 표시됩니다. 그리고 데이터가 데모 시스템에 업로드되면 &quot;데이터 업로드 성공&quot;이라는 메시지가 다시 표시됩니다. 이는 비동기 프로세스이므로 이 기능을 지원하는 프레임워크가 필요합니다. FastAPI는 그 자체로 비동기 프레임워크입니다. 모든 Milvus 리소스를 조정하기 위해 Milvus Bootcamp와 Milvus 데모 모두에 단일 개발 도구 및 소프트웨어 세트를 채택하기로 결정했습니다. 그 결과 프레임워크를 Flask에서 FastAPI로 변경했습니다.</p>
<h3 id="4-Automatic-interactive-documents" class="common-anchor-header">4. 자동 대화형 문서</h3><p>기존 방식에서는 서버 측 코드 작성을 마치면 인터페이스를 만들기 위해 별도의 문서를 작성한 다음, API 테스트 및 디버깅을 위해 <a href="https://www.postman.com/">Postman과</a> 같은 도구를 사용해야 합니다. 그렇다면 인터페이스를 만들기 위한 추가 코드를 작성하지 않고 Milvus Bootcamp에서 프로젝트의 웹 서버 측 개발 부분만 빠르게 시작하고 싶다면 어떻게 해야 할까요? FastAPI가 해결책입니다. FastAPI는 OpenAPI 문서를 제공함으로써 API를 테스트하거나 디버깅하고 프론트엔드 팀과 협업하여 사용자 인터페이스를 개발하는 수고를 덜어줍니다. FastAPI를 사용하면 별도의 코딩 작업 없이도 자동화된 직관적인 인터페이스를 통해 구축된 애플리케이션을 빠르게 사용해 볼 수 있습니다.</p>
<h3 id="5-User-friendliness" class="common-anchor-header">5. 사용자 친화성</h3><p>FastAPI는 사용과 개발이 더 쉽기 때문에 프로젝트 자체의 구체적인 구현에 더 많은 관심을 기울일 수 있습니다. 웹 프레임워크 개발에 너무 많은 시간을 할애하지 않고 Milvus Bootcamp에서 프로젝트를 이해하는 데 더 집중할 수 있습니다.</p>
<h2 id="Recap" class="common-anchor-header">요약<button data-href="#Recap" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>플라스크와 FlastAPI는 각각의 장단점이 있습니다. 새롭게 떠오르는 웹 애플리케이션 프레임워크인 FlastAPI는 그 핵심이 성숙한 툴킷과 라이브러리인 Starlette 및 Pydantic을 기반으로 구축되었습니다. FastAPI는 고성능을 갖춘 비동기 프레임워크입니다. 이 프레임워크의 손재주, 확장성, 자동 데이터 유형 검증 지원 등 여러 가지 강력한 기능 덕분에 Milvus Bootcamp 프로젝트의 프레임워크로 FastAPI를 채택하게 되었습니다.</p>
<p>프로덕션 환경에서 벡터 유사도 검색 시스템을 구축하려면 애플리케이션 시나리오에 따라 적절한 프레임워크를 선택해야 한다는 점에 유의하시기 바랍니다.</p>
<h2 id="About-the-author" class="common-anchor-header">저자 소개<button data-href="#About-the-author" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>질리즈 데이터 엔지니어인 리윤메이는 화중과학기술대학교에서 컴퓨터 공학을 전공하고 졸업했습니다. Zilliz에 입사한 이후 오픈 소스 프로젝트 Milvus의 솔루션을 탐색하고 사용자가 실제 시나리오에서 Milvus를 적용할 수 있도록 지원하는 일을 하고 있습니다. 그녀의 주요 관심 분야는 자연어 처리와 추천 시스템이며, 앞으로 이 두 분야에 더욱 집중하고 싶습니다. 혼자 시간을 보내는 것과 독서를 좋아합니다.</p>
<h2 id="Looking-for-more-resources" class="common-anchor-header">더 많은 리소스를 찾고 계신가요?<button data-href="#Looking-for-more-resources" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p>Milvus로 AI 시스템 구축을 시작하고 튜토리얼을 통해 더 많은 실무 경험을 쌓으세요!</p>
<ul>
<li><a href="https://milvus.io/blog/2021-10-10-milvus-helps-analys-vedios.md">밀버스란 무엇인가요? 그녀는 누구인가요? 지능적인 동영상 분석을 돕는 Milvus</a></li>
<li><a href="https://milvus.io/blog/2021-09-26-onnx.md">ONNX와 Milvus를 사용해 이미지 검색을 위한 AI 모델 결합하기</a></li>
<li><a href="https://milvus.io/blog/dna-sequence-classification-based-on-milvus.md">Milvus 기반 DNA 서열 분류</a></li>
<li><a href="https://milvus.io/blog/audio-retrieval-based-on-milvus.md">Milvus 기반 오디오 검색</a></li>
<li><a href="https://milvus.io/blog/building-video-search-system-with-milvus.md">비디오 검색 시스템을 구축하는 4단계</a></li>
<li><a href="https://milvus.io/blog/building-intelligent-chatbot-with-nlp-and-milvus.md">NLP와 Milvus로 지능형 QA 시스템 구축하기</a></li>
<li><a href="https://milvus.io/blog/molecular-structure-similarity-with-milvus.md">신약 개발 가속화</a></li>
</ul></li>
<li><p>오픈 소스 커뮤니티에 참여하세요:</p>
<ul>
<li><a href="https://bit.ly/307b7jC">GitHub에서</a> Milvus를 찾거나 기여하세요.</li>
<li><a href="https://bit.ly/3qiyTEk">포럼을</a> 통해 커뮤니티와 소통하세요.</li>
<li><a href="https://bit.ly/3ob7kd8">트위터에서</a> 소통하세요.</li>
</ul></li>
</ul>


Flask 대신 FastAPI를 선택해야 하는 이유는 무엇인가요?

밀버스와 패들패들을 결합하여 추천 시스템에서 후보 생성 가속화하기

<p>이 튜토리얼에서는 Windows에서 Milvus 2.0을 실행하는 방법을 소개합니다. Windows를 사용하여 Milvus 2.0을 시작하고 싶거나 환경 제한으로 인해 Windows에서 Milvus를 실행해야 하는 경우 이 튜토리얼이 좋은 참고 자료가 될 수 있습니다. 이 문서는 원래 <a href="https://github.com/matrixji">@matrixji가</a> 작성했습니다.</p>
<p>Windows에서 Milvus 2.0을 실행하는 방법은 두 가지가 있습니다:</p>
<ul>
<li><a href="#Compile-from-source-code">소스 코드에서 컴파일</a></li>
<li><a href="#Install-from-the-binary-package">바이너리 패키지에서 설치</a></li>
</ul>
<h2 id="Compile-from-source-code" class="common-anchor-header">소스 코드에서 컴파일<button data-href="#Compile-from-source-code" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="Prerequisites" class="common-anchor-header">전제 조건</h3><p>Windows에서 Milvus 2.0을 컴파일하기 전에 MinGW64/MSYS 툴체인을 설치해야 합니다. 설치 가이드는 <a href="https://www.msys2.org/">MSYS2를</a> 참조하세요. 이 튜토리얼의 컴파일은 MSYS2 MinGW 64비트 셸에서 완료됩니다. <code translate="no">$ pacman -Su</code> 을 실행하여 툴체인을 업데이트할 수 있습니다.</p>
<p>또한 <code translate="no">$ pacman -S git</code> 을 실행하여 git을 설치하는 것이 좋습니다.</p>
<h3 id="Step-1-Clone-code" class="common-anchor-header">1단계. 코드 복제</h3><p>다음 명령을 실행하여 <strong>matrixji/milvus</strong> 리포지토리의 <strong>windows-dev</strong> 브랜치에서 코드를 복제합니다. 현재 모든 커밋은 주간 단위로 업스트림 메인 브랜치인 <a href="https://github.com/milvus-io/milvus"><strong>milvus-io/milvus의</strong></a> 커밋을 리베이스하는 <strong>windows-dev에서</strong> 추적할 수 있습니다.</p>
<pre><code translate="no" class="language-python">$ git <span class="hljs-built_in">clone</span> git@github.com:matrixji/milvus.git -b windows-dev
<button class="copy-code-btn"></button></code></pre>
<h3 id="Step-2-Compile-Milvus" class="common-anchor-header">2단계. Milvus 컴파일</h3><h4 id="1-Install-dependencies-and-toolchain" class="common-anchor-header">1. 종속성 및 툴체인 설치</h4><p>다음 명령어를 실행하여 필요한 종속 요소와 툴체인을 설치합니다. 설치 후 일부 도구의 설정이 제대로 적용되었는지 확인하기 위해 MinGW/MYSY 셸을 재시작해야 합니다.</p>
<pre><code translate="no" class="language-python">$ <span class="hljs-built_in">cd</span> milvus
$ scripts/install_deps_msys.sh
<button class="copy-code-btn"></button></code></pre>
<h4 id="2-Compile-Milvus" class="common-anchor-header">2. 밀버스 컴파일</h4><p>다음 명령을 실행하여 Milvus를 컴파일하고 패키징합니다.</p>
<pre><code translate="no" class="language-python">$ make
$ sh scripts/package_windows.sh
<button class="copy-code-btn"></button></code></pre>
<p>성공하면 <code translate="no">windows_package</code> 의 하위 디렉토리에 zip 파일이 생성됩니다. zip 파일에는 <code translate="no">minio.exe</code> 및 <code translate="no">etcd.exe</code> 을 포함하여 <code translate="no">milvus.exe</code> 을 실행하기 위한 모든 파일이 포함되어 있습니다.</p>
<div class="alert note">
Milvus 2.0은 Go로 개발되었습니다. 타사 모듈을 설치하려면 <a href='https://goproxy.cn/'>Goproxy를</a> 구성해야 할 수도 있습니다.</div>
<h2 id="Install-from-the-binary-package" class="common-anchor-header">바이너리 패키지에서 설치<button data-href="#Install-from-the-binary-package" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>이미 컴파일된 바이너리 패키지를 <a href="https://github.com/matrixji/milvus/releases">릴리즈 - matrixji/milvus에서</a> 다운로드할 수도 있습니다. 각 릴리스에는 <strong>windows-test-가</strong> 접두사로 붙습니다(예: <strong>windows-test-v8</strong>). 원하는 릴리스를 찾아 해당 zip 패키지를 다운로드하세요.</p>
<h3 id="Step-1-Start-Milvus" class="common-anchor-header">1단계. Milvus 시작</h3><h4 id="1-Unzip-the-package" class="common-anchor-header">1. 패키지 압축 풀기</h4><p>패키지의 압축을 풀면 필요한 모든 파일이 포함된 <code translate="no">milvus</code> 디렉터리가 있습니다.</p>
<h4 id="2-Start-a-MinIO-service" class="common-anchor-header">2. MinIO 서비스 시작하기</h4><p><code translate="no">run_minio.bat</code> 파일을 더블클릭하여 기본 구성으로 MinIO 서비스를 시작합니다. 데이터는 <code translate="no">s3data</code> 하위 디렉터리에 저장됩니다.</p>
<h4 id="3-Start-an-etcd-service" class="common-anchor-header">3. etcd 서비스 시작</h4><p><code translate="no">run_etcd.bat</code> 파일을 두 번 클릭하여 기본 구성으로 etcd 서비스를 시작합니다.</p>
<h4 id="4-Start-Milvus-service" class="common-anchor-header">4. Milvus 서비스 시작</h4><p><code translate="no">run_milvus.bat</code> 파일을 더블클릭하여 Milvus 서비스를 시작합니다.</p>
<h3 id="Step-2-Run-hellomilvuspy" class="common-anchor-header">2단계 실행 <code translate="no">hello_milvus.py</code></h3><p>Milvus 서비스를 시작한 후 <code translate="no">hello_milvus.py</code> 을 실행하여 테스트할 수 있습니다. 자세한 내용은 <a href="https://milvus.io/docs/v2.0.x/example_code.md">안녕하세요 Milvus를</a> 참조하세요.</p>
<h2 id="Engage-with-our-open-source-community" class="common-anchor-header">오픈 소스 커뮤니티에 참여하세요:<button data-href="#Engage-with-our-open-source-community" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><a href="https://bit.ly/3khejQB">GitHub에서</a> Milvus를 찾거나 기여하세요.</li>
<li><a href="https://bit.ly/307HVsY">포럼을</a> 통해 커뮤니티와 소통하세요.</li>
<li><a href="https://bit.ly/3wn5aek">트위터에서</a> 소통하세요.</li>
</ul>


Windows에서 Milvus 2.0 실행

<custom-h1>마무리 - 밀버스 핵토버페스트 2021</custom-h1><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Blog_cover_a6ce8748d7.jpeg" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<p>핵토버페스트는 끝났지만 오픈소스 프로젝트에 기여하는 일은 끝이 없습니다!</p>
<p>10월 한 달 동안 <strong>36명의 기여자</strong> (핵심 팀 제외)로부터 총 <strong>44개의 풀 리퀘스트</strong> (PR)가 리포지토리에 접수되었습니다. Milvus 커뮤니티가 핵토버페스트에 참여한 첫 해임에도 불구하고 기대 이상으로 많은 분들이 참여해주셔서 오픈소스 정신에 대한 인식이 높아지고 있다는 것을 알 수 있었습니다.</p>
<p>이번 행사에 참여한 모든 분들이 오픈소스, 커뮤니티, 유용한 기술에 대한 실무 경험이나 지식을 얻으셨기를 바랍니다.️️️</p>
<p>이 포스팅에서는 핵토버페스트 이후에도 Milvus에 지속적으로 기여할 수 있는 방법과 그 성과를 함께 축하하는 시간을 갖고자 합니다.</p>
<h2 id="📣-Shout-out-to-our-contributors" class="common-anchor-header"><strong>기여자 여러분께 감사의 인사를 전합니다:</strong><button data-href="#📣-Shout-out-to-our-contributors" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>올해 핵토버페스트 기간 동안 Milvus 프로젝트 리포지토리에서 <strong>44개의 풀리퀘스트가 병합되었습니다</strong>! 이는 모든 면에서 큰 성과입니다. 모두 수고하셨습니다! 🎉</p>
<p><a href="https://github.com/parthiv11">parthiv11</a>, <a href="https://github.com/joremysh">joremysh</a>, <a href="https://github.com/noviicee">noviicee</a>, <a href="https://github.com/Biki-das">Biki-das</a>, <a href="https://github.com/Nadyamilona">Nadyamilona</a>, <a href="https://github.com/ashish4arora">ashish4arora</a>, <a href="https://github.com/Dhruvacube">Dhruvacube</a>, <a href="https://github.com/iamartyaa">iamartyaa</a>, <a href="https://github.com/RafaelDSS">RafaelDSS</a>, <a href="https://github.com/kartikcho">kartikcho</a>, <a href="https://github.com/GuyKh">GuyKh</a>, <a href="https://github.com/Deep1Shikha">Deep1Shikha</a>, <a href="https://github.com/shreemaan-abhishek">shreemaan-abhishek</a>, <a href="https://github.com/daniel-shuy">daniel-shuy</a>, <a href="https://github.com/Hard-Coder05">Hard-Coder05</a>, <a href="https://github.com/sapora1">sapora1</a>, <a href="https://github.com/Rutam21">Rutam21</a>, <a href="https://github.com/idivyanshbansal">idivyanshbansal</a>, <a href="https://github.com/Mihir501">Mihir501</a>, <a href="https://github.com/Ayushchaudhary-Github">YushChaudhary</a>, <a href="https://github.com/sreyan-ghosh">sreyan-ghosh</a>, <a href="https://github.com/chiaramistro">chiaramistro</a>, <a href="https://github.com/appledora">appledora</a>, <a href="https://github.com/luisAzcuaga">luisAzcuaga</a>, <a href="https://github.com/matteomessmer">matteomessmer</a>, <a href="https://github.com/Nadyamilona">Nadyamilona</a>, <a href="https://github.com/Tititesouris">Tititesouris</a>, <a href="https://github.com/amusfq">amusfq</a>, <a href="https://github.com/matrixji">matrixji</a> &amp; <a href="https://github.com/zamanmub">generalZman</a></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/_80b0d87746.png" alt="image-20211110180357460" class="doc-image" id="image-20211110180357460" />
   </span> <span class="img-wrapper"> <span>image-20211110180357460</span> </span></p>
<h3 id="Here-are-some-extraordinary-Milvus-Hacktoberfest-2021-contributions" class="common-anchor-header">밀버스 핵토버페스트 2021의 특별한 공헌을 소개합니다:</h3><p><strong>⚙️ 새로운 기능</strong></p>
<p><a href="https://github.com/matrixji">matrixji로</a><a href="https://github.com/milvus-io/milvus/issues/7706">여러 플랫폼에서 Milvus 컴파일 및 실행</a> </p>
<p><strong>(🏆 최고 기여자 🏆 )</strong></p>
<p><strong>📝 문서</strong></p>
<ul>
<li><a href="https://github.com/milvus-io/bootcamp/issues/720">안녕하세요 밀버스(example_code.md)를 모든 언어로 번역하는</a> <a href="https://github.com/chiaramistro">chiaramistro</a>, <a href="https://github.com/appledora">appledora</a>, <a href="https://github.com/luisAzcuaga">luisAzcuaga</a>, <a href="https://github.com/matteomessmer">matteomessmer</a>, <a href="https://github.com/Nadyamilona">Nadyamilona</a>, <a href="https://github.com/Tititesouris">Tititesouris</a> &amp; <a href="https://github.com/amusfq">amusfq</a></li>
<li><a href="https://github.com/GuyKh">GuyKh의</a><a href="https://github.com/milvus-io/bootcamp/issues/720">example_code.md에 NodeJS 예제 추가</a> </li>
<li><a href="https://github.com/milvus-io/milvus-docs/pull/921/files">업그레이드.md 번역</a> 및 <a href="https://github.com/milvus-io/milvus-docs/pull/892">사용자 가이드의 매개변수 추가 및 번역</a> <a href="https://github.com/joremysh">joremysh의</a> <a href="https://github.com/milvus-io/milvus-docs/pull/892">CN에 번역</a> </li>
<li><a href="https://github.com/milvus-io/milvus-docs/pull/753">튜토리얼/dna_sequence_classification.md를 CN으로 번역</a> &amp; <a href="https://github.com/milvus-io/milvus-docs/pull/752">참조/schema/collection_schema.md를 CN으로 번역</a> by <a href="https://github.com/daniel-shuy">daniel-shuy</a></li>
</ul>
<p><strong>🚀 부트캠프</strong></p>
<ul>
<li><a href="https://github.com/zamanmub">일반Zman의</a><a href="https://github.com/milvus-io/bootcamp/pull/858">이미지 해시 검색을 위한 Jupyter 노트북 튜토리얼 개선 </a></li>
<li><a href="https://github.com/RafaelDSS">RafaelDSS의</a><a href="https://github.com/milvus-io/bootcamp/pull/792">reverse_image_search의 TOPK 버그 수정</a> </li>
</ul>
<p><strong>🐍 PyMilvus</strong></p>
<ul>
<li><a href="https://github.com/Hard-Coder05">Hard-Coder05의</a><a href="https://github.com/milvus-io/pymilvus/issues/741">깃허브 이슈 양식 </a>(여러 리포지토리)<a href="https://github.com/milvus-io/pymilvus/issues/741">업데이트 </a></li>
</ul>
<h3 id="Share-your-feedback-with-us" class="common-anchor-header">여러분의 피드백을 공유해주세요!</h3><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/h3_412b0f649b.png" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<p>밀버스 핵토버페스트 2021에 대한 여러분의 경험을 저희와 공유해 주세요! 블로그 게시물, 트위터(@milvusio) 또는 <a href="https://discuss.milvus.io/c/hacktoberfest/9">포럼의</a> 게시물 등 어떤 것이든 대단히 감사하겠습니다!</p>
<h2 id="Whats-Next" class="common-anchor-header">다음 단계는 무엇인가요?<button data-href="#Whats-Next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="👩‍💻-Code--Documentation" class="common-anchor-header"><strong>👩‍💻</strong> <strong>코드 및 문서</strong></h3><p>Milvus에 대한 지식이 부족하다면 먼저 <a href="https://github.com/milvus-io/pymilvus">pymilvus</a> 또는 <a href="https://github.com/milvus-io/milvus-docs">문서</a> 리포지토리에 기여하여 커뮤니티의 작동 방식에 익숙해질 수 있습니다. 또한 <strong>#goodfirstissue</strong> 또는 <strong>#helpwanted와</strong> 같은 태그를 찾아볼 수도 있습니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/h4_f18c9b6c2c.png" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/h5_a4f90c24a8.png" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<p>기여에 대해 궁금한 점이 있으면 언제든지 포럼의 <strong>기여자</strong> 카테고리(https://discuss.milvus.io/t/things-you-need-to-know-before-you-get-started/64)에서 커뮤니티에 질문할 수 있습니다.</p>
<h3 id="🏆-Be-a-Milvus-Advocate" class="common-anchor-header">Milvus 옹호자 되기</h3><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/advocate_1052d8249a.jpg" alt="image-20211110180730866" class="doc-image" id="image-20211110180730866" />
   </span> <span class="img-wrapper"> <span>image-20211110180730866</span> </span></p>
<p>여러분의 경험과 배운 것을 커뮤니티와 공유하고, 개선 방법에 대한 아이디어를 제안하고, 질문에 답하고, Milvus 포럼에서 다른 사람들을 도와주세요. 커뮤니티에 참여할 수 있는 방법은 여러 가지가 있으며, 아래에 몇 가지 예를 나열했지만 모든 형태의 기여를 환영합니다:</p>
<ul>
<li><p><strong>데모 및 솔루션 제공:</strong> Milvus 사용자에게 특정 시나리오(예: 음악 추천 시스템)에서 플랫폼을 활용하는 방법을 보여주세요. 예시는 <a href="https://github.com/milvus-io/bootcamp">Milvus 부트캠프에서</a> 확인할 수 있습니다.</p></li>
<li><p><strong>블로그 기사, 사용자 스토리 또는 백서:</strong> Milvus에 대한 기술적 세부 사항을 명확하고 정확하게 설명하는 고품질 콘텐츠를 작성하세요.</p></li>
<li><p><strong>기술 강연/라이브 방송:</strong> Milvus에 대한 인지도를 높이는 데 도움이 되는 강연을 진행하거나 라이브 방송을 진행하세요.</p></li>
<li><p><strong>기타:</strong> Milvus와 오픈소스 커뮤니티의 발전에 긍정적인 역할을 하는 모든 콘텐츠는 자격이 있는 것으로 간주됩니다.</p></li>
</ul>
<p>자세한 내용은 https://milvus.io/community/milvus_advocate.md 을 참조하세요.</p>
<p>마지막으로, 올해 핵토버페스트에 참여하여 멘토와 학생이 되어주신 여러분께 다시 한 번 감사드립니다. 올해도 이 멋진 행사를 주최해 주신 <a href="https://hacktoberfest.digitalocean.com/">Digital Ocean에</a> 감사드립니다. 다음에 또 뵙겠습니다!</p>
<p>행복한 코딩!</p>
<p>Milvus 커뮤니티 팀</p>


랩입니다! 밀버스 핵토버페스트 2021

<p><em>질리즈 테스트 개발 엔지니어인 유펜 종은 화중과학기술대학교에서 컴퓨터 기술 석사 학위를 취득했습니다. 현재 인터페이스 통합 테스트, SDK 테스트, 벤치마크 테스트 등 Milvus 벡터 데이터베이스의 품질 보증에 종사하고 있습니다. 유펜은 Milvus의 테스트 및 개발 분야에서 열정적인 문제 해결사이며 카오스 엔지니어링 이론과 결함 훈련 실습의 열렬한 팬입니다.</em></p>
<h2 id="Background" class="common-anchor-header">배경<button data-href="#Background" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 벡터 데이터베이스를 사용하는 동안 다양한 시나리오의 요구 사항을 충족하기 위해 기본 구성을 수정해야 합니다. 이전에 Milvus 사용자가 <a href="/blog/ko/2021-10-22-apply-configuration-changes-on-milvus-2.md">Docker Compose를 사용하여 배포된 Milvus의 구성을 수정하는 방법에</a> 대해 공유한 적이 있습니다. 이번 글에서는 Kubernetes에 배포된 Milvus의 구성을 수정하는 방법에 대해 공유하고자 합니다.</p>
<h2 id="Modify-configuration-of-Milvus-on-Kubernetes" class="common-anchor-header">쿠버네티스에서 Milvus 설정 수정하기<button data-href="#Modify-configuration-of-Milvus-on-Kubernetes" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>수정하고자 하는 구성 파라미터에 따라 다른 수정 방법을 선택할 수 있습니다. 모든 Milvus 설정 파일은 <strong>milvus/configs</strong> 아래에 저장됩니다. 쿠버네티스에 밀버스를 설치하는 동안, 밀버스 헬름 차트 리포지토리가 로컬에 추가됩니다. <code translate="no">helm show values milvus/milvus</code> 를 실행하면 Chart로 직접 수정할 수 있는 파라미터를 확인할 수 있습니다. 차트로 수정 가능한 파라미터의 경우, <code translate="no">--values</code> 또는 <code translate="no">--set</code> 을 사용하여 파라미터를 전달할 수 있다. 자세한 내용은 <a href="https://artifacthub.io/packages/helm/milvus/milvus">밀버스 헬름 차트</a> 및 <a href="https://helm.sh/docs/">헬름을</a> 참조하세요.</p>
<p>수정하려는 매개변수가 목록에 없는 경우 아래 지침을 따를 수 있습니다.</p>
<p>다음 단계에서는 데모 목적으로 <strong>/milvus/configs/advanced/root_coord.yaml의</strong> <code translate="no">rootcoord.dmlChannelNum</code> 파라미터를 수정할 것입니다. 쿠버네티스에서 Milvus의 구성 파일 관리는 컨피그맵 리소스 오브젝트를 통해 구현됩니다. 파라미터를 변경하려면 먼저 해당 차트 릴리즈의 컨피그맵 오브젝트를 업데이트한 다음 해당 파드의 배포 리소스 파일을 수정해야 합니다.</p>
<p>이 방법은 배포된 Milvus 애플리케이션의 파라미터 수정에만 적용된다는 점에 유의하세요. 배포 전에 <strong>/milvus/configs/advanced/*.yaml의</strong> 파라미터를 수정하려면, 밀버스 헬름 차트를 다시 개발해야 한다.</p>
<h3 id="Modify-ConfigMap-YAML" class="common-anchor-header">컨피그맵 YAML 수정</h3><p>아래와 같이, 쿠버네티스에서 실행 중인 밀버스 릴리스는 릴리스와 동일한 이름을 가진 컨피그맵 오브젝트에 해당한다. 컨피그맵 오브젝트의 <code translate="no">data</code> 섹션에는 <strong>milvus.yaml의</strong> 구성만 포함되어 있다. <strong>root_coord.yaml의</strong> <code translate="no">rootcoord.dmlChannelNum</code> 을 변경하려면, <strong>root_coord.yaml의</strong> 파라미터를 컨피그맵 YAML의 <code translate="no">data</code> 섹션에 추가하고 특정 파라미터를 변경해야 한다.</p>
<pre><code translate="no">kind: ConfigMap
apiVersion: v1
metadata:
  name: milvus-chaos
  ...
data:
  milvus.yaml: &gt;
    ......
  root_coord.yaml: |
    rootcoord:
      dmlChannelNum: 128
      maxPartitionNum: 4096
      minSegmentSizeToEnableIndex: 1024
      <span class="hljs-built_in">timeout</span>: 3600 <span class="hljs-comment"># time out, 5 seconds</span>
      timeTickInterval: 200 <span class="hljs-comment"># ms</span>
<button class="copy-code-btn"></button></code></pre>
<h3 id="Modify-Deployment-YAML" class="common-anchor-header">배포 YAML 수정</h3><p>컨피그맵에 저장된 데이터는 configMap 유형의 볼륨에서 참조된 다음 파드에서 실행되는 컨테이너화된 애플리케이션에서 사용할 수 있다. 파드를 새 구성 파일로 안내하려면, <strong>root_coord.yaml에서</strong> 구성을 로드해야 하는 파드 템플릿을 수정해야 한다. 구체적으로, 배포 YAML의 <code translate="no">spec.template.spec.containers.volumeMounts</code> 섹션 아래에 마운트 선언을 추가해야 한다.</p>
<p>rootcoord 파드의 배포 YAML을 예로 들어보면, <code translate="no">.spec.volumes</code> 섹션에 <strong>milvus-config라는</strong> <code translate="no">configMap</code> 타입의 볼륨이 지정되어 있습니다. 그리고 <code translate="no">spec.template.spec.containers.volumeMounts</code> 섹션에서, 이 볼륨은 <strong>/milvus/configs/milvus.yaml에</strong> Milvus 릴리즈의 <strong>milvus.y</strong> aml을 마운트하도록 선언되어 있습니다. 마찬가지로 루트코드 컨테이너에 대한 마운트 선언만 추가하면 <strong>/milvus/configs/advanced/root_coord</strong> <strong>.yaml에 root</strong> _coord <strong>.</strong> yaml을 마운트할 수 있으므로 컨테이너가 새 구성 파일에 액세스할 수 있습니다.</p>
<pre><code translate="no" class="language-yaml">spec:
  replicas: 1
  selector:
    ......
  template:
    metadata:
      ...
    spec:
      volumes:
        - name: milvus-config
          configMap:
            name: milvus-chaos
            defaultMode: 420
      containers:
        - name: rootcoord
          image: <span class="hljs-string">&#x27;milvusdb/milvus-dev:master-20210906-86afde4&#x27;</span>
          args:
            ...
          ports:
            ...
          resources: {}
          volumeMounts:
            - name: milvus-config
              readOnly: <span class="hljs-literal">true</span>
              mountPath: /milvus/configs/milvus.yaml
              subPath: milvus.yaml
            - name: milvus-config
              readOnly: <span class="hljs-literal">true</span>
              mountPath: /milvus/configs/advanced/`root_coord.yaml
              subPath: root_coord.yaml
          terminationMessagePath: /dev/termination-log
          terminationMessagePolicy: File
          imagePullPolicy: IfNotPresent
      restartPolicy: Always
      terminationGracePeriodSeconds: 30
      dnsPolicy: ClusterFirst
      securityContext: {}
      schedulerName: default-scheduler
<button class="copy-code-btn"></button></code></pre>
<h3 id="Verify-the-result" class="common-anchor-header">결과 확인</h3><p>kubelet은 주기적으로 동기화할 때마다 마운트된 컨피그맵이 최신인지 확인합니다. 볼륨에서 소비되는 컨피그맵이 업데이트되면, 투영된 키도 자동으로 업데이트됩니다. 새 파드가 다시 실행되면 파드에서 수정이 성공했는지 확인할 수 있다. <code translate="no">rootcoord.dmlChannelNum</code> 파라미터를 확인하는 명령어는 아래에 나와 있습니다.</p>
<pre><code translate="no" class="language-bash">$ kctl <span class="hljs-built_in">exec</span> -ti milvus-chaos-rootcoord-6f56794f5b-xp2zs -- sh
<span class="hljs-comment"># cd configs/advanced</span>
<span class="hljs-comment"># pwd</span>
/milvus/configs/advanced
<span class="hljs-comment"># ls</span>
channel.yaml  common.yaml  data_coord.yaml  data_node.yaml  etcd.yaml  proxy.yaml  query_node.yaml  root_coord.yaml
<span class="hljs-comment"># cat root_coord.yaml</span>
rootcoord:
  dmlChannelNum: 128
  maxPartitionNum: 4096
  minSegmentSizeToEnableIndex: 1024
  <span class="hljs-built_in">timeout</span>: 3600 <span class="hljs-comment"># time out, 5 seconds</span>
  timeTickInterval: 200 <span class="hljs-comment"># ms</span>
<span class="hljs-comment"># exit</span>
<button class="copy-code-btn"></button></code></pre>
<p>위는 쿠버네티스에 배포된 Milvus에서 고급 구성을 수정하는 방법입니다. 향후 Milvus 릴리즈에서는 모든 설정을 하나의 파일에 통합하고 헬름 차트를 통해 설정을 업데이트할 수 있도록 지원할 예정입니다. 하지만 그 전까지는 이 글이 임시 해결책으로 도움이 되길 바랍니다.</p>
<h2 id="Engage-with-our-open-source-community" class="common-anchor-header">오픈 소스 커뮤니티에 참여하세요:<button data-href="#Engage-with-our-open-source-community" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p><a href="https://bit.ly/307b7jC">GitHub에서</a> Milvus를 찾거나 기여하세요.</p></li>
<li><p><a href="https://bit.ly/3qiyTEk">포럼을</a> 통해 커뮤니티와 소통하세요.</p></li>
<li><p><a href="https://bit.ly/3ob7kd8">트위터에서</a> 소통하세요.</p></li>
</ul>


Milvus 고급 구성을 수정하는 방법

소개

<custom-h1>기술 공유: Docker Compose를 사용하여 Milvus 2.0에 구성 변경 사항 적용하기</custom-h1><p><em>징징 지아 질리즈 데이터 엔지니어는 서안교통대학교에서 컴퓨터 공학을 전공하고 졸업했습니다. Zilliz에 입사한 후 주로 데이터 전처리, AI 모델 배포, Milvus 관련 기술 연구, 커뮤니티 사용자의 애플리케이션 시나리오 구현 지원 업무를 담당하고 있습니다. 인내심이 강하고 커뮤니티 파트너들과 소통하는 것을 좋아하며 음악 감상과 애니메이션 시청을 즐깁니다.</em></p>
<p>밀버스를 자주 사용하는 사람으로서 새로 출시된 밀버스 2.0 RC에 대해 매우 기대가 컸습니다. 공식 웹사이트의 소개에 따르면 Milvus 2.0은 이전 버전보다 큰 폭으로 성능이 향상되었다고 합니다. 그래서 직접 사용해보고 싶었습니다.</p>
<p>그리고 실제로 사용해 보았습니다.  하지만 실제로 Milvus 2.0을 사용해보니 Milvus 1.1.1에서처럼 Milvus 2.0의 구성 파일을 쉽게 수정할 수 없다는 것을 깨달았습니다. 도커 컴포즈로 시작한 Milvus 2.0의 도커 컨테이너 내부의 설정 파일을 변경할 수 없었고, 심지어 강제 변경도 적용되지 않았습니다. 나중에 Milvus 2.0 RC가 설치 후 구성 파일 변경을 감지하지 못한다는 사실을 알게 되었습니다. 향후 안정 버전에서는 이 문제가 해결될 예정입니다.</p>
<p>여러 가지 방법을 시도한 끝에 Milvus 2.0 스탠드얼론 및 클러스터의 구성 파일에 변경 사항을 적용하는 안정적인 방법을 찾았으며, 그 방법은 다음과 같습니다.</p>
<p>모든 구성 변경은 Docker Compose를 사용하여 Milvus를 다시 시작하기 전에 수행해야 한다는 점에 유의하세요.</p>
<h2 id="Modify-configuration-file-in-Milvus-standalone" class="common-anchor-header">Milvus 스탠드얼론에서 구성 파일 수정하기<button data-href="#Modify-configuration-file-in-Milvus-standalone" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>먼저 <strong>milvus.yaml</strong> 파일의 사본을 로컬 장치에 <a href="https://github.com/milvus-io/milvus/blob/master/configs/milvus.yaml">다운로드해야</a> 합니다.</p>
<p>그런 다음 파일에서 구성을 변경할 수 있습니다. 예를 들어 로그 형식을 <code translate="no">.json</code> 로 변경할 수 있습니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_1_ee4a16a3ee.png" alt="1.1.png" class="doc-image" id="1.1.png" />
   </span> <span class="img-wrapper"> <span>1.1.png</span> </span></p>
<p>milvus <strong>.yaml</strong> 파일을 수정한 후에는 독립 실행형용 <strong>docker-compose.yaml</strong> 파일도 <a href="https://github.com/milvus-io/milvus/blob/master/deployments/docker/standalone/docker-compose.yml">다운로드하여</a> 수정해야 합니다( <code translate="no">volumes</code> 섹션의 구성 파일 <code translate="no">/milvus/configs/milvus.yaml</code> 에 해당하는 docker 컨테이너 경로에 milvus.yaml의 로컬 경로를 매핑하여 수정하세요).</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_2_5e7c73708c.png" alt="1.2.png" class="doc-image" id="1.2.png" />
   </span> <span class="img-wrapper"> <span>1.2.png</span> </span></p>
<p>마지막으로 <code translate="no">docker-compose up -d</code> 을 사용하여 Milvus 스탠드얼론을 시작하고 수정이 성공했는지 확인합니다. 예를 들어 <code translate="no">docker logs</code> 을 실행하여 로그 형식을 확인합니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_3_a0406df3ab.png" alt="1.3.png" class="doc-image" id="1.3.png" />
   </span> <span class="img-wrapper"> <span>1.3.png</span> </span></p>
<h2 id="Modify-configuration-file-in-Milvus-cluster" class="common-anchor-header">Milvus 클러스터에서 구성 파일 수정하기<button data-href="#Modify-configuration-file-in-Milvus-cluster" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>먼저 <strong>milvus.yaml</strong> 파일을 <a href="https://github.com/milvus-io/milvus/blob/master/configs/milvus.yaml">다운로드하여</a> 필요에 맞게 수정합니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_4_758b182846.png" alt="1.4.png" class="doc-image" id="1.4.png" />
   </span> <span class="img-wrapper"> <span>1.4.png</span> </span></p>
<p>그런 다음 모든 구성 요소의 구성 파일(예: 루트 좌표, 데이터 좌표, 데이터 노드, 쿼리 좌표, 쿼리 노드, 인덱스 좌표, 인덱스 노드 및 프록시)의 해당 경로에 <strong>milvus.yaml의</strong> 로컬 경로를 매핑하여 클러스터 <strong>docker-compose.yml</strong> 파일을 <a href="https://github.com/milvus-io/milvus/blob/master/deployments/docker/cluster/docker-compose.yml">다운로드</a> 및 수정해야 합니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_5_80e15811b8.png" alt="1.5.png" class="doc-image" id="1.5.png" />
   </span> <span class="img-wrapper"> <span>1.5.png</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_6_b2f3e4e47f.png" alt="1.6.png" class="doc-image" id="1.6.png" />
   </span> <span class="img-wrapper"> <span>1.6.png</span> </span> <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_7_4d1eb5e1e5.png" alt="1.7.png" class="doc-image" id="1.7.png" /></span> <span class="img-wrapper">1. </span> <span class="img-wrapper">7 <span>.png</span> </span></p>
<p>마지막으로 <code translate="no">docker-compose up -d</code> 을 사용하여 Milvus 클러스터를 시작하고 수정이 성공했는지 확인할 수 있습니다.</p>
<h2 id="Change-log-file-path-in-configuration-file" class="common-anchor-header">구성 파일에서 로그 파일 경로 변경<button data-href="#Change-log-file-path-in-configuration-file" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>먼저 <strong>milvus.yaml</strong> 파일을 <a href="https://github.com/milvus-io/milvus/blob/master/configs/milvus.yaml">다운로드하고</a>, <code translate="no">rootPath</code> 섹션을 Docker 컨테이너에서 로그 파일을 저장할 디렉토리로 변경합니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_8_e3bdc4843f.png" alt="1.8.png" class="doc-image" id="1.8.png" />
   </span> <span class="img-wrapper"> <span>1.8.png</span> </span></p>
<p>그런 다음 Milvus <a href="https://github.com/milvus-io/milvus/blob/master/deployments/docker/standalone/docker-compose.yml">독립형</a> 또는 <a href="https://github.com/milvus-io/milvus/blob/master/deployments/docker/cluster/docker-compose.yml">클러스터에</a> 해당하는 <strong>docker-compose.yml</strong> 파일을 다운로드합니다.</p>
<p>스탠드얼론의 경우, <strong>milvus.yaml의</strong> 로컬 경로를 해당 도커 컨테이너 경로의 구성 파일 <code translate="no">/milvus/configs/milvus.yaml</code> 에 매핑하고 로컬 로그 파일 디렉터리를 이전에 생성한 도커 컨테이너 디렉터리에 매핑해야 합니다.</p>
<p>클러스터의 경우 모든 구성 요소에서 두 경로를 모두 매핑해야 합니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_9_22d8929d92.png" alt="1.9.png" class="doc-image" id="1.9.png" />
   </span> <span class="img-wrapper"> <span>1.9.png</span> </span></p>
<p>마지막으로 <code translate="no">docker-compose up -d</code> 을 사용하여 Milvus 스탠드얼론 또는 클러스터를 시작하고 로그 파일을 확인하여 수정이 성공했는지 확인합니다.</p>


기술 공유: Docker Compose를 사용하여 Milvus 2.0에 구성 변경 사항 적용하기

<custom-h1>Milvus 벡터 데이터베이스로 비디오 분석 시스템 구축하기</custom-h1><p><em>질리츠의 데이터 엔지니어인 시유 첸은 시디안 대학교에서 컴퓨터 공학을 전공했습니다. 그녀는 질리즈에 입사한 이후 오디오 및 비디오 분석, 분자식 검색 등 다양한 분야에서 Milvus의 솔루션을 탐색해 왔으며, 이를 통해 커뮤니티의 응용 시나리오를 크게 풍부하게 만들었습니다. 그녀는 현재 더 흥미로운 솔루션을 모색하고 있습니다. 여가 시간에는 스포츠와 독서를 좋아합니다.</em></p>
<p>지난 주말에 <em>영화 '프리 가이</em> '를 보다가 경비원 버디 역을 맡은 배우를 어디선가 본 것 같았지만, 그의 작품이 전혀 생각나지 않았습니다. "이 사람이 누구지?"라는 생각이 머릿속을 가득 채웠습니다. 그 얼굴을 본 적이 있다는 확신이 들었고 이름을 기억하려고 애를 썼습니다. 비슷한 경우로 평소 좋아하던 음료수를 마시는 영상 속 주연 배우를 본 적이 있는데 결국 브랜드 이름을 기억하지 못한 적도 있습니다.</p>
<p>답은 혀끝에 있었지만 뇌가 완전히 막힌 느낌이 들었습니다.</p>
<p>혀끝(TOT) 현상은 영화를 볼 때 저를 미치게 만듭니다. 동영상을 찾고 동영상 콘텐츠를 분석할 수 있는 동영상 리버스 이미지 검색 엔진이 있다면 얼마나 좋을까요? 예전에 <a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/reverse_image_search/quick_deploy">Milvus를 이용해 역이미지 검색 엔진을</a> 구축한 적이 있습니다. 동영상 콘텐츠 분석이 왠지 이미지 분석과 닮았다는 생각에 밀버스를 기반으로 동영상 콘텐츠 분석 엔진을 구축하기로 했습니다.</p>
<h2 id="Object-detection" class="common-anchor-header">객체 감지<button data-href="#Object-detection" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="Overview" class="common-anchor-header">개요</h3><p>영상 분석에 앞서 영상 속 객체를 먼저 검출해야 합니다. 영상 속 객체를 효과적이고 정확하게 검출하는 것이 이 작업의 주요 과제입니다. 또한 오토파일럿, 웨어러블 디바이스, IoT와 같은 애플리케이션에서 중요한 작업이기도 합니다.</p>
<p>기존의 이미지 처리 알고리즘에서 심층 신경망(DNN)으로 발전한 오늘날 객체 감지를 위한 주류 모델에는 R-CNN, FRCNN, SSD, YOLO 등이 있습니다. 이 주제에서 소개하는 Milvus 기반 딥러닝 비디오 분석 시스템은 객체를 지능적이고 빠르게 감지할 수 있습니다.</p>
<h3 id="Implementation" class="common-anchor-header">구현</h3><p>영상에서 객체를 검출하고 인식하기 위해서는 먼저 영상에서 프레임을 추출하고 객체 검출을 이용해 프레임 이미지에서 객체를 검출한 후, 검출된 객체에서 특징 벡터를 추출하고 마지막으로 특징 벡터를 기반으로 객체를 분석하는 과정을 거쳐야 합니다.</p>
<ul>
<li>프레임 추출</li>
</ul>
<p>비디오 분석은 프레임 추출을 통해 이미지 분석으로 변환됩니다. 현재 프레임 추출 기술은 매우 성숙해 있습니다. FFmpeg, OpenCV와 같은 프로그램은 지정된 간격으로 프레임을 추출하는 기능을 지원합니다. 이 문서에서는 OpenCV를 사용하여 비디오에서 매초마다 프레임을 추출하는 방법을 소개합니다.</p>
<ul>
<li>객체 감지</li>
</ul>
<p>객체 감지는 추출된 프레임에서 객체를 찾아 그 위치에 따라 객체의 스크린샷을 추출하는 것입니다. 다음 그림과 같이 자전거, 강아지, 자동차가 감지되었습니다. 이 항목에서는 객체 검출에 일반적으로 사용되는 YOLOv3를 사용하여 객체를 검출하는 방법을 소개합니다.</p>
<ul>
<li>특징 추출</li>
</ul>
<p>특징 추출은 기계가 인식하기 어려운 비정형 데이터를 특징 벡터로 변환하는 것을 말합니다. 예를 들어 딥러닝 모델을 사용하여 이미지를 다차원 특징 벡터로 변환할 수 있습니다. 현재 가장 많이 사용되는 이미지 인식 AI 모델로는 VGG, GNN, ResNet 등이 있습니다. 이 항목에서는 ResNet-50을 사용하여 감지된 객체에서 특징을 추출하는 방법을 소개합니다.</p>
<ul>
<li>벡터 분석</li>
</ul>
<p>추출된 특징 벡터를 라이브러리 벡터와 비교하여 가장 유사한 벡터에 해당하는 정보를 반환합니다. 대규모 특징 벡터 데이터 세트의 경우 계산이 매우 어렵습니다. 이 항목에서는 Milvus를 사용해 특징 벡터를 분석하는 방법을 소개합니다.</p>
<h2 id="Key-technologies" class="common-anchor-header">주요 기술<button data-href="#Key-technologies" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="OpenCV" class="common-anchor-header">OpenCV</h3><p>오픈 소스 컴퓨터 비전 라이브러리(OpenCV)는 이미지 처리 및 컴퓨터 비전을 위한 많은 범용 알고리즘을 제공하는 크로스 플랫폼 컴퓨터 비전 라이브러리입니다. OpenCV는 컴퓨터 비전 분야에서 일반적으로 사용됩니다.</p>
<p>다음 예제는 Python에서 OpenCV를 사용하여 지정된 간격으로 비디오 프레임을 캡처하고 이미지로 저장하는 방법을 보여줍니다.</p>
<pre><code translate="no" class="language-python"><span class="hljs-keyword">import</span> cv2 
<span class="hljs-built_in">cap</span> = cv2.VideoCapture(file_path)   
framerate = <span class="hljs-built_in">cap</span>.get(cv2.CAP_PROP_FPS)   
allframes = <span class="hljs-type">int</span>(cv2.VideoCapture.get(<span class="hljs-built_in">cap</span>, <span class="hljs-type">int</span>(cv2.CAP_PROP_FRAME_COUNT)))  
success, image = <span class="hljs-built_in">cap</span>.read() 
cv2.imwrite(file_name, image)
<button class="copy-code-btn"></button></code></pre>
<h3 id="YOLOv3" class="common-anchor-header">YOLOv3</h3><p>You Only Look Once, Version 3(YOLOv3 [5])은 최근 제안된 1단계 객체 감지 알고리즘입니다. 동일한 정확도를 가진 기존의 객체 감지 알고리즘과 비교했을 때, YOLOv3는 두 배 더 빠릅니다. 이 주제에서 언급된 YOLOv3는 패들패들[6]의 개선된 버전입니다. 추론 속도가 더 빠른 여러 최적화 방법을 사용합니다.</p>
<h3 id="ResNet-50" class="common-anchor-header">ResNet-50</h3><p>ResNet [7]은 단순성과 실용성으로 인해 이미지 분류 부문에서 ILSVRC 2015의 우승자입니다. 많은 이미지 분석 방법의 기초가 되는 ResNet은 이미지 감지, 분할 및 인식에 특화된 인기 모델입니다.</p>
<h3 id="Milvus" class="common-anchor-header">Milvus</h3><p><a href="https://milvus.io/">Milvus는</a> 머신 러닝 모델과 신경망에서 생성된 임베딩 벡터를 관리하기 위해 구축된 클라우드 네이티브 오픈 소스 벡터 데이터베이스입니다. 컴퓨터 비전, 자연어 처리, 계산 화학, 개인화된 추천 시스템 등과 같은 시나리오에서 널리 사용됩니다.</p>
<p>다음 절차는 Milvus의 작동 방식을 설명합니다.</p>
<ol>
<li>비정형 데이터는 딥 러닝 모델을 사용해 특징 벡터로 변환되어 Milvus로 가져옵니다.</li>
<li>Milvus는 특징 벡터를 저장하고 인덱싱합니다.</li>
<li>Milvus는 사용자가 쿼리한 벡터와 가장 유사한 벡터를 반환합니다.</li>
</ol>
<h2 id="Deployment" class="common-anchor-header">배포<button data-href="#Deployment" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>이제 Milvus 기반 영상 분석 시스템에 대해 어느 정도 이해하셨을 것입니다. 시스템은 다음 그림과 같이 크게 두 부분으로 구성됩니다.</p>
<ul>
<li><p>빨간색 화살표는 데이터 가져오기 프로세스를 나타냅니다. ResNet-50을 사용하여 이미지 데이터 세트에서 특징 벡터를 추출하고 특징 벡터를 Milvus로 가져옵니다.</p></li>
<li><p>검은색 화살표는 비디오 분석 프로세스를 나타냅니다. 먼저, 비디오에서 프레임을 추출하고 프레임을 이미지로 저장합니다. 둘째, YOLOv3를 사용해 이미지에서 객체를 감지하고 추출합니다. 그런 다음 ResNet-50을 사용해 이미지에서 특징 벡터를 추출합니다. 마지막으로 Milvus는 해당 특징 벡터가 있는 객체의 정보를 검색하여 반환합니다.</p></li>
</ul>
<p>자세한 내용은 <a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/video_similarity_search/object_detection">Milvus 부트캠프를</a> 참조하세요 <a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/video_similarity_search/object_detection">:</a> <a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/video_similarity_search/object_detection">비디오 객체 감지 시스템을</a> 참조하세요.</p>
<p><strong>데이터 가져오기</strong></p>
<p>데이터 가져오기 과정은 간단합니다. 데이터를 2,048차원 벡터로 변환하고 해당 벡터를 Milvus로 가져오기만 하면 됩니다.</p>
<pre><code translate="no" class="language-python">vector = image_encoder.execute(filename)
entities = [vector]
collection.insert(data=entities)
<button class="copy-code-btn"></button></code></pre>
<p><strong>영상 분석</strong></p>
<p>위에서 소개한 것처럼 비디오 분석 프로세스에는 비디오 프레임 캡처, 각 프레임에서 객체 감지, 객체에서 벡터 추출, 유클리드 거리(L2) 메트릭으로 벡터 유사도 계산, Milvus를 사용한 결과 검색이 포함됩니다.</p>
<pre><code translate="no" class="language-python">images = extract_frame(filename, 1, prefix)   
detector = Detector()   
run(detector, DATA_PATH)       
vectors = get_object_vector(image_encoder, DATA_PATH)
search_params = {<span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&quot;L2&quot;</span>, <span class="hljs-string">&quot;params&quot;</span>: {<span class="hljs-string">&quot;nprobe&quot;</span>: 10}}
results = collection.search(vectors, param=search_params, <span class="hljs-built_in">limit</span>=10)
<button class="copy-code-btn"></button></code></pre>
<h2 id="Conclusion" class="common-anchor-header">결론<button data-href="#Conclusion" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>현재 데이터의 80% 이상이 비정형 데이터입니다. AI의 급속한 발전과 함께 비정형 데이터를 분석하기 위한 딥러닝 모델도 점점 더 많이 개발되고 있습니다. 물체 감지 및 이미지 처리와 같은 기술은 학계와 산업계 모두에서 큰 발전을 이루었습니다. 이러한 기술에 힘입어 점점 더 많은 AI 플랫폼이 실용적인 요구 사항을 충족하고 있습니다.</p>
<p>이 주제에서 설명하는 동영상 분석 시스템은 동영상 콘텐츠를 빠르게 분석할 수 있는 Milvus를 기반으로 구축되었습니다.</p>
<p>오픈소스 벡터 데이터베이스인 Milvus는 다양한 딥러닝 모델을 사용해 추출한 특징 벡터를 지원합니다. Faiss, NMSLIB, Annoy와 같은 라이브러리와 통합된 Milvus는 직관적인 API 세트를 제공하여 시나리오에 따라 인덱스 유형 전환을 지원합니다. 또한, Milvus는 스칼라 필터링을 지원하여 리콜률과 검색 유연성을 높여줍니다. Milvus는 이미지 처리, 컴퓨터 비전, 자연어 처리, 음성 인식, 추천 시스템, 신약 개발 등 다양한 분야에 적용되고 있습니다.</p>
<h2 id="References" class="common-anchor-header">참고 문헌<button data-href="#References" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>[1] A. D. Bagdanov, L. Ballan, M. Bertini, A. Del Bimbo. "스포츠 비디오 데이터베이스에서 상표 매칭 및 검색." 멀티미디어 정보 검색에 관한 국제 워크숍, ACM, 2007. https://www.researchgate.net/publication/210113141_Trademark_matching_and_retrieval_in_sports_video_databases.</p>
<p>[2] J. Kleban, X. Xie, W.-Y. Ma. "자연 장면에서 로고 감지를 위한 공간 피라미드 마이닝." IEEE 국제 컨퍼런스, 2008. https://ieeexplore.ieee.org/document/4607625</p>
<p>[3] R. Boia, C. Florea, L. Florea, R. Dogaru. "호모그래픽 클래스 그래프를 이용한 자연 이미지에서의 로고 로컬라이제이션 및 인식." 머신 비전 및 애플리케이션 27 (2), 2016. https://link.springer.com/article/10.1007/s00138-015-0741-7</p>
<p>[4] R. Boia, C. Florea, L. Florea. "로고 감지를 위한 클래스 프로토타입의 타원형 어시프트 응집." BMVC, 2015. http://citeseerx.ist.psu.edu/viewdoc/download;jsessionid=5C87F52DE38AB0C90F8340DFEBB841F7?doi=10.1.1.707.9371&amp;rep=rep1&amp;type=pdf</p>
<p>[5] https://arxiv.org/abs/1804.02767</p>
<p>[6] https://paddlepaddle.org.cn/modelbasedetail/yolov3</p>
<p>[7] https://arxiv.org/abs/1512.03385</p>


객체 감지

<custom-h1>밀버스, 핵토버페스트 2021에 참가하다</custom-h1><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Hacktoberfest_89c929cace.png" alt="hacktoberfestCover" class="doc-image" id="hacktoberfestcover" />
   </span> <span class="img-wrapper"> <span>핵토버페스트커버</span> </span></p>
<p><strong>AI 애플리케이션을 지원하는 벡터 데이터베이스인 Milvus가 오늘 DigitalOcean이 후원하는 제8회 핵토버페스트 행사에 참여한다고 발표했습니다!</strong></p>
<p>2014년, DigitalOcean은 오픈 소스 소프트웨어 프로젝트를 기념하기 위해 <a href="https://hacktoberfest.digitalocean.com/">핵토버페스트를</a> 시작했습니다. 수년에 걸쳐 이 행사는 수십 명에서 수천 명으로 꾸준히 성장해 왔습니다.  한 달간 진행되는 이번 행사에는 20만 명 이상의 참가자가 참여할 것으로 예상됩니다!</p>
<p>10월 1일부터 시작되는 이번 행사에서는 숙련된 개발자부터 학생, 코드 초보자, 기술 작가, UX 디자이너에 이르기까지 누구나 오픈 소스 커뮤니티에 기여하고 자신의 기술을 개발하는 동시에 한정판 스웩 등을 받을 수 있는 특전을 누릴 수 있습니다.</p>
<h2 id="Everyone-is-welcome" class="common-anchor-header">누구나 참여 가능<button data-href="#Everyone-is-welcome" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 프로젝트에 기여할 수 있는 방법은 다양합니다. 코드 슈퍼스타가 아니어도 참여할 수 있습니다! 사실, 광범위한 배경 지식이나 긴 기술 목록이 없어도 도움을 줄 수 있습니다. 훌륭한 작가나 편집자이신가요?  그래픽이나 일러스트레이션을 만드는 것을 좋아하신다면 완벽합니다!  이벤트 기간 동안 기여할 수 있는 몇 가지 방법과 새로운 기여자가 해결해야 할 GitHub '이슈' 목록을 소개합니다!</p>
<p>자세한 내용은 <a href="https://discuss.milvus.io/t/join-hacktoberfest-2021-with-us/72#how-to-participate-1">여기에서</a> 확인하세요.</p>
<h2 id="Contribute-get-noticed--earn-swag" class="common-anchor-header">기여하고, 주목받고, 스웩을 받으세요<button data-href="#Contribute-get-noticed--earn-swag" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/swag_cae44023e8.png" alt="swag" class="doc-image" id="swag" />
   </span> <span class="img-wrapper"> <span>스웩</span> </span></p>
<p>오픈 소스 또는 오픈 소스라는 개념에 기여하는 것은 그 자체로 이타주의의 구현이지만, 멋진 스웩도 나쁘지 않죠. 한정판 스티커, 티셔츠, 키보드, 드론도 준비되어 있습니다! 자세한 내용은 <a href="https://discuss.milvus.io/t/join-hacktoberfest-2021-with-us/72#prizes-8">포럼 페이지에서</a> 확인하세요.</p>
<p>디지털오션은 또한 참가자들을 위한 스웩을 제공하며, 공식 핵토버페스트 웹사이트에서 규칙을 확인하세요.</p>
<h2 id="Whats-next" class="common-anchor-header">다음 일정<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p>저희는 최근 핵토버페스트에 대한 가상 Q&amp;A를 진행했습니다. <a href="https://www.youtube.com/watch?v=cHjSTEHoiF8">여기에서</a> 녹화본을 확인할 수 있습니다.</p></li>
<li><p>이벤트에 참여하려면 milvus.io 핵토버페스트 페이지에서 시작하여 <a href="https://hacktoberfest.com/">'빠른 시작' 가이드를</a> 확인하는 것이 좋습니다.</p></li>
<li><p><a href="https://github.com/milvus-io">깃허브</a> 리포지토리를 확인하고 별을 달아주세요!</p></li>
<li><p>록스타가 되는 데 도움이 될 수 있는 참가자를 위한 엄선된 <a href="https://github.com/milvus-io/milvus/issues?q=is%3Aopen+is%3Aissue+label%3AHacktoberfest">'이슈'</a> 목록을 확인하세요!</p></li>
</ul>
<h2 id="Helpful-links" class="common-anchor-header">유용한 링크<button data-href="#Helpful-links" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p><a href="https://hacktoberfest.com/"><strong>Milvus x 하토버페스트 이벤트 페이지</strong></a></p></li>
<li><p>밀버스<a href="https://discuss.milvus.io/c/hacktoberfest/9"><strong>토론 포럼</strong></a> - 밀버스 포럼에 참여하여 밀버스 출시에 대한 최신 정보를 얻고, 다른 사용자와 소통하고, 이벤트 기간 동안 질문할 수 있습니다.</p></li>
<li><p><strong> <a href="https://twitter.com/milvusio">트위터를</a> 팔로우하고</strong> 이벤트 기간 동안 여러분의 기여가 강조되면 특별한 기념품을 받을 수 있습니다!</p></li>
</ul>


누구나 참여 가능

<custom-h1>ONNX와 Milvus를 사용해 이미지 검색을 위한 AI 모델 결합하기</custom-h1><p>오픈 신경망 교환(ONNX)은 머신러닝 모델을 표현하기 위해 만들어진 개방형 형식입니다. 2017년 오픈 소스화된 이후, ONNX는 머신 러닝과 딥 러닝 모델을 위한 빌딩 블록을 제공하는 AI 표준으로 발전해 왔습니다. ONNX는 AI 개발자가 다양한 프레임워크, 도구, 런타임, 컴파일러에서 모델을 사용할 수 있도록 공통 파일 형식을 정의하며, 인공지능 커뮤니티의 혁신 속도를 높이는 데 도움을 줍니다.</p>
<p>Milvus는 유연성과 안정성이 뛰어나고 속도가 매우 빠른 오픈 소스 벡터 데이터베이스입니다. 벡터의 추가, 삭제, 업데이트 및 거의 실시간에 가까운 검색을 지원합니다. Milvus는 포괄적인 직관적인 API 세트와 널리 채택된 여러 인덱스 라이브러리(예: Faiss, NMSLIB, Annoy)를 지원하여 주어진 시나리오에 대한 인덱스 선택을 간소화합니다. Milvus는 사용이 간편하여 이미지, 오디오 및 비디오 검색, 추천, 챗봇, 신약 검색 등 전 세계 수백 개의 조직과 기관에서 사용되고 있습니다.</p>
<p>이 글에서는 ONNX와 Milvus를 기반으로 이미지 검색에 여러 모델을 사용하는 방법을 소개합니다. VGG16과 ResNet50 모델을 예로 들어, ONNX를 사용하여 다양한 AI 모델을 실행하여 특징 벡터를 생성하고 마지막으로 Milvus에서 특징 벡터 검색을 수행하여 유사한 이미지를 반환하는 방법을 설명합니다.</p>
<h2 id="Process-Models-with-ONNX" class="common-anchor-header">ONNX로 모델 처리<button data-href="#Process-Models-with-ONNX" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>ONNX 형식은 AI 모델 간에 쉽게 교환할 수 있습니다. 예를 들어, TensorFlow 모델을 ONNX 형식으로 변환하여 Caffe 환경에서 실행할 수 있습니다. 이 예에서는 Keras 프레임워크에서 사전 학습된 ResNet50 모델을 ONNX 형식으로 변환한 다음, VGG16 모델을 ONNX 형식으로 호출하여 다른 모델을 분석합니다.</p>
<pre><code translate="no" class="language-python"><span class="hljs-keyword">from</span> keras.applications.resnet50 <span class="hljs-keyword">import</span> ResNet50
<span class="hljs-keyword">import</span> tensorflow <span class="hljs-keyword">as</span> tf

<span class="hljs-comment"># load keras-resnet50 model and save as a floder</span>
model_resnet50 = ResNet50(include_top=<span class="hljs-literal">False</span>, pooling=<span class="hljs-string">&#x27;max&#x27;</span>, weights=<span class="hljs-string">&#x27;imagenet&#x27;</span>)
tf.saved_model.save(model_resnet50, <span class="hljs-string">&quot;keras_resnet50_model&quot;</span>)

<span class="hljs-comment"># convert resnet50 model to onnx</span>
! python -m tf2onnx.convert --saved-model <span class="hljs-string">&quot;keras_resnet50_model&quot;</span> --output <span class="hljs-string">&quot;onnx_resnet50.onnx&quot;</span>
<button class="copy-code-btn"></button></code></pre>
<p>참고: <code translate="no">keras2onnx.convert_keras(model, model.name)</code> 인터페이스를 사용하여 모델을 변환하면 <code translate="no">AttributeError:'KerasTensor' object has no attribute'graph'</code> 오류가 반환됩니다. 그런 다음 Python의 Bash 명령을 사용하여 스택 오버플로의 솔루션에 따라 변환할 수 있습니다.</p>
<h2 id="Extract-Feature-Vectors-using-Models" class="common-anchor-header">모델을 사용하여 특징 벡터 추출하기<button data-href="#Extract-Feature-Vectors-using-Models" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>ResNet50 모델을 ONNX 형식으로 변환한 후 추론을 통해 사진의 특징 벡터를 직접 추출할 수 있습니다. 참고: 특징 벡터는 추출 후 정규화해야 합니다.</p>
<pre><code translate="no" class="language-python"><span class="hljs-comment"># get the image vectors with onnx model</span>
<span class="hljs-keyword">def</span> <span class="hljs-title function_">get_onnx_vectors</span>(<span class="hljs-params">onnx_model, img_path</span>):
    img = image.load_img(img_path, target_size=(<span class="hljs-number">224</span>, <span class="hljs-number">224</span>))
    x = image.img_to_array(img)
    x = np.expand_dims(x, axis=<span class="hljs-number">0</span>)
    x = preprocess_input(x)
    
    sess = onnxruntime.InferenceSession(onnx_model)
    x = x <span class="hljs-keyword">if</span> <span class="hljs-built_in">isinstance</span>(x, <span class="hljs-built_in">list</span>) <span class="hljs-keyword">else</span> [x]
    feed = <span class="hljs-built_in">dict</span>([(<span class="hljs-built_in">input</span>.name, x[n]) <span class="hljs-keyword">for</span> n, <span class="hljs-built_in">input</span> <span class="hljs-keyword">in</span> <span class="hljs-built_in">enumerate</span>(sess.get_inputs())])
    feat = sess.run(<span class="hljs-literal">None</span>, feed)[<span class="hljs-number">0</span>]
    
    norm_feat = feat[<span class="hljs-number">0</span>] / LA.norm(feat[<span class="hljs-number">0</span>])
    norm_feat = [i.item() <span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> norm_feat]
    <span class="hljs-keyword">return</span> norm_feat
<button class="copy-code-btn"></button></code></pre>
<p>이미지 데이터를 처리하려면 ONNX 형식의 VGG16 모델을 사용합니다:</p>
<pre><code translate="no" class="language-python"><span class="hljs-comment"># generate vectors with ResNet50 and VGG16 ONNX model</span>
2vec_resnet = get_onnx_vectors(<span class="hljs-string">&quot;onnx_resnet50.onnx&quot;</span>, <span class="hljs-string">&quot;./pic/example.jpg&quot;</span>)
3vec_vgg = get_onnx_vectors(<span class="hljs-string">&quot;onnx_vgg16.onnx&quot;</span>, <span class="hljs-string">&quot;./pic/example.jpg&quot;</span>)
<button class="copy-code-btn"></button></code></pre>
<h2 id="Store-Vector-Data" class="common-anchor-header">벡터 데이터 저장<button data-href="#Store-Vector-Data" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>사진과 같은 비정형 데이터는 컴퓨터로 직접 처리할 수 없지만, AI 모델을 통해 벡터로 변환한 후 컴퓨터로 분석할 수 있습니다. 밀버스 벡터 데이터베이스는 대규모 비정형 데이터 분석이 가능하도록 설계되었습니다. 벡터 데이터를 저장하고 실시간에 가까운 분석을 수행할 수 있습니다. 먼저 Milvus에서 해당 모델의 컬렉션을 생성한 다음 이미지 벡터를 삽입합니다.</p>
<pre><code translate="no" class="language-python"><span class="hljs-keyword">from</span> milvus <span class="hljs-keyword">import</span> *

<span class="hljs-comment"># create collections in Milvus</span>
milvus.create_collection(resnet_collection_param)
milvus.create_collection(vgg_collection_param)

<span class="hljs-comment"># insert data to Milvus and return ids</span>
status, resnet_ids = milvus.insert(resnet_collection_name, resnet_vectors)
status, vgg_ids = milvus.insert(vgg_collection_name, vgg_vectors)
<button class="copy-code-btn"></button></code></pre>
<p>데이터를 성공적으로 삽입하면 Milvus는 벡터에 해당하는 ID를 반환하고, ID로 사진을 찾을 수 있습니다. 이 경우에 사용된 Milvus 1.1은 스칼라 필터링(현재 Milvus 2.0에서 지원)을 지원하지 않으므로 Redis를 사용하여 벡터 ID와 이미지 경로의 키값을 저장합니다.</p>
<pre><code translate="no" class="language-python"><span class="hljs-keyword">import</span> redis
<span class="hljs-keyword">def</span> <span class="hljs-title function_">img_ids_to_redis</span>(<span class="hljs-params">img_directory, res_ids</span>):
  <span class="hljs-keyword">for</span> img, ids <span class="hljs-keyword">in</span> <span class="hljs-built_in">zip</span>(images, res_ids):
    redis.<span class="hljs-built_in">set</span>(ids, img)
<button class="copy-code-btn"></button></code></pre>
<h2 id="Search-for-Similar-Images" class="common-anchor-header">유사한 이미지 검색<button data-href="#Search-for-Similar-Images" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>데이터를 저장한 후 벡터를 검색할 수 있습니다. Milvus는 유클리드, 내적 곱, 해밍 거리 등 다양한 거리 계산 방법을 지원합니다. 이 글의 이미지 유사도 검색은 Milvus에서 벡터 간의 유클리드 거리 계산을 채택하여 유사한 벡터 ID를 반환한 다음 Redis에서 해당 ID에 해당하는 이미지를 찾습니다.</p>
<pre><code translate="no" class="language-python"><span class="hljs-comment"># search in Milvus and return the similarly results with ids</span>
<span class="hljs-keyword">def</span> <span class="hljs-title function_">search_in_milvus</span>(<span class="hljs-params">collection_name, search_vector</span>):
    status, results = milvus.search(collection_name, TOP_K, [search_vector])
    <span class="hljs-built_in">print</span>(status)
    re_ids = [x.<span class="hljs-built_in">id</span> <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> results[<span class="hljs-number">0</span>]]
    re_distance = [x.distance <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> results[<span class="hljs-number">0</span>]]
    <span class="hljs-keyword">return</span> re_ids, re_distance
    
<span class="hljs-comment"># get the images according the result ids</span>
<span class="hljs-keyword">def</span> <span class="hljs-title function_">get_sim_imgs</span>(<span class="hljs-params">collection_name, search_vector</span>):
    ids, distance = search_in_milvus(collection_name, search_vector)
    img = [red.get(i).decode(<span class="hljs-string">&quot;utf-8&quot;</span>) <span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> ids]
    <span class="hljs-keyword">return</span> ids, distance, img
<button class="copy-code-btn"></button></code></pre>
<p>이 문서에서는 VGG16과 ResNet50 모델을 예로 들어, ONNX를 통해 여러 모델을 처리하고 유사한 벡터 검색을 위해 여러 모델을 Milvus와 결합하여 유사한 이미지를 얻는 방법을 보여줍니다. 위의 두 모델은 특징 벡터를 빠르게 추출할 수 있는 Keras 프레임워크를 기반으로 합니다. 노트북에서 이 두 모델을 기반으로 Milvus가 COCO 데이터 세트에서 사진을 검색한 결과는 비슷하지만 유클리드 거리는 같지 않다는 것을 알 수 있습니다. 다른 데이터 세트를 사용하여 두 모델의 검색 결과를 비교해 볼 수도 있습니다.</p>
<p>Milvus는 대규모 비정형 데이터에서 생성된 특징 벡터를 처리하는 데 사용할 수 있는 고성능, 고가용성 벡터 데이터베이스입니다. 더 많은 솔루션은 <a href="https://github.com/milvus-io/bootcamp">Milvus 부트캠프를</a> 참조하세요.</p>
<h2 id="References" class="common-anchor-header">참고 자료<button data-href="#References" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ol>
<li>https://github.com/onnx/onnx</li>
<li>https://onnx.ai/</li>
<li>https://milvus.io/cn/</li>
<li>https://github.com/milvus-io/bootcamp</li>
</ol>
<h3 id="About-author" class="common-anchor-header">저자 소개</h3><p>질리즈의 데이터 엔지니어인 시유 첸은 시디안 대학교에서 컴퓨터 공학을 전공했습니다. 질리즈에 입사한 이후 오디오 및 비디오 분석, 분자식 검색 등 다양한 분야에서 밀버스를 위한 솔루션을 모색해 왔으며, 이를 통해 커뮤니티의 응용 시나리오를 크게 풍부하게 만들었습니다. 그녀는 현재 더 흥미로운 솔루션을 모색하고 있습니다. 여가 시간에는 스포츠와 독서를 좋아합니다.</p>


ONNX로 모델 처리

DiskANN, 수십억 규모의 데이터 세트에서 높은 리콜률과 높은 QPS를 제공하는 디스크 기반 ANNS 솔루션

개요

<custom-h1>밀버스에 기반한 DNA 서열 분류</custom-h1><blockquote>
<p>저자: 질리즈의 데이터 엔지니어인 구멍지아는 맥길 대학교에서 정보학 석사 학위를 받았습니다. 그녀의 관심 분야는 AI 애플리케이션과 벡터 데이터베이스를 이용한 유사도 검색입니다. 오픈소스 프로젝트 Milvus의 커뮤니티 멤버로서 추천 시스템, DNA 서열 분류 모델 등 다양한 솔루션을 제공하고 개선해 왔습니다. 그녀는 도전을 즐기고 절대 포기하지 않습니다!</p>
</blockquote>
<custom-h1>소개</custom-h1><p>DNA 염기서열은 유전자 추적, 종 식별, 질병 진단 등 학술 연구와 실제 응용 분야에서 널리 사용되는 개념입니다. 모든 산업에서 보다 지능적이고 효율적인 연구 방법을 갈망하는 가운데, 특히 생물학 및 의학 분야에서 인공지능은 많은 주목을 받고 있습니다. 점점 더 많은 과학자와 연구자들이 생물정보학에서 머신러닝과 딥러닝에 기여하고 있습니다. 실험 결과를 보다 설득력 있게 만들기 위해 샘플 크기를 늘리는 것이 일반적인 방법 중 하나입니다. 유전체학 분야에서도 빅데이터와의 협업은 현실에서 더 많은 활용 가능성을 제공합니다. 하지만 기존의 염기서열 정렬에는 한계가 있어 <a href="https://www.frontiersin.org/articles/10.3389/fbioe.2020.01032/full#h5">대용량 데이터에는 적합하지</a> 않습니다. 현실적으로 절충점을 찾기 위해 대규모 DNA 서열 데이터 세트에는 벡터화가 좋은 선택입니다.</p>
<p>오픈 소스 벡터 데이터베이스인 <a href="https://milvus.io/docs/v2.0.x/overview.md">Milvus는</a> 대용량 데이터에 적합합니다. 핵산 서열의 벡터를 저장하고 고효율 검색을 수행할 수 있습니다. 또한 생산 또는 연구 비용을 절감하는 데 도움이 될 수 있습니다. Milvus를 기반으로 한 DNA 서열 분류 시스템은 유전자 분류를 수행하는 데 밀리초 밖에 걸리지 않습니다. 또한 머신 러닝의 다른 일반적인 분류기보다 높은 정확도를 보여줍니다.</p>
<custom-h1>데이터 처리</custom-h1><p>유전 정보를 암호화하는 유전자는 4개의 뉴클레오티드 염기[A, C, G, T]로 구성된 DNA 염기서열의 작은 부분으로 구성됩니다. 인간 게놈에는 약 30,000개의 유전자, 약 30억 개의 DNA 염기쌍이 있으며 각 염기쌍에는 2개의 대응하는 염기가 있습니다. 다양한 용도를 지원하기 위해 DNA 서열은 여러 범주로 분류할 수 있습니다. 긴 DNA 염기서열의 데이터를 보다 쉽게 활용하고 비용을 절감하기 위해 데이터 전처리에 <a href="https://en.wikipedia.org/wiki/K-mer#:~:text=Usually%2C%20the%20term%20k%2Dmer,total%20possible%20k%2Dmers%2C%20where">k-mer를 </a>도입했습니다. 이를 통해 DNA 염기서열 데이터를 일반 텍스트와 더 유사하게 만들 수 있습니다. 또한 벡터화된 데이터는 데이터 분석이나 머신 러닝에서 계산 속도를 높일 수 있습니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_a7469e9eac.png" alt="1.png" class="doc-image" id="1.png" />
   </span> <span class="img-wrapper"> <span>1.png</span> </span></p>
<p><strong>k-mer</strong></p>
<p>k-mer 방법은 일반적으로 DNA 서열 전처리에 사용됩니다. 이 방법은 원래 서열의 각 염기부터 시작하여 길이 k의 작은 부분을 추출하여 길이 s의 긴 서열을 (s-k+1) 길이 k의 짧은 서열로 변환합니다. k 값을 조정하면 모델 성능이 향상됩니다. 짧은 시퀀스 목록은 데이터 읽기, 특징 추출 및 벡터화에 더 쉽습니다.</p>
<p><strong>벡터화</strong></p>
<p>DNA 서열은 텍스트 형태로 벡터화됩니다. k-mer로 변환된 서열은 짧은 서열 목록이 되며, 이는 문장의 개별 단어 목록처럼 보입니다. 따라서 대부분의 자연어 처리 모델은 DNA 서열 데이터에서도 작동해야 합니다. 모델 훈련, 특징 추출, 인코딩에도 유사한 방법론을 적용할 수 있습니다. 각 모델마다 고유한 장단점이 있기 때문에 데이터의 특징과 연구 목적에 따라 모델을 선택해야 합니다. 예를 들어, Bag-of-Words 모델인 CountVectorizer는 간단한 토큰화를 통해 특징 추출을 구현합니다. 이 모델은 데이터 길이에 제한을 두지 않지만, 유사도 비교 측면에서 반환되는 결과가 명확하지 않습니다.</p>
<custom-h1>Milvus 데모</custom-h1><p>Milvus는 비정형 데이터를 쉽게 관리하고 수조 개의 벡터 중에서 가장 유사한 결과를 평균 밀리초 이내에 불러올 수 있습니다. 유사도 검색은 근사 최인접 이웃(ANN) 검색 알고리즘을 기반으로 합니다. 이러한 특징 덕분에 Milvus는 DNA 서열의 벡터를 관리할 수 있는 훌륭한 옵션이 되어 생물정보학의 개발과 응용을 촉진합니다.</p>
<p>다음은 Milvus로 DNA 서열 분류 시스템을 구축하는 방법을 보여주는 데모입니다. <a href="https://www.kaggle.com/nageshsingh/dna-sequence-dataset">실험 데이터 세트에는 </a>3개의 생물체와 7개의 유전자 계열이 포함되어 있습니다. 모든 데이터는 k-mers에 의해 짧은 염기서열 목록으로 변환됩니다. 그런 다음 시스템은 사전 훈련된 CountVectorizer 모델을 사용해 시퀀스 데이터를 벡터로 인코딩합니다. 아래 순서도는 시스템 구조와 삽입 및 검색 프로세스를 보여줍니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_ebd89660f6.png" alt="1.png" class="doc-image" id="1.png" />
   </span> <span class="img-wrapper"> <span>1.png</span> </span></p>
<p><a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/dna_sequence_classification">Milvus 부트캠프에서</a> 이 데모를 사용해 보세요.</p>
<p>Milvus에서는 시스템이 컬렉션을 생성하고 해당 DNA 시퀀스 벡터를 컬렉션(또는 파티션이 활성화된 경우 파티션)에 삽입합니다. 쿼리 요청을 받으면 Milvus는 입력 DNA 서열의 벡터와 데이터베이스에서 가장 유사한 결과 사이의 거리를 반환합니다. 입력 시퀀스의 클래스와 DNA 시퀀스 간의 유사성은 결과의 벡터 거리로 결정할 수 있습니다.</p>
<pre><code translate="no"><span class="hljs-comment"># Insert vectors to Milvus collection (partition &quot;human&quot;)</span>
DNA_human = collection.insert([human_ids, human_vectors], partition_name=<span class="hljs-string">&#x27;human&#x27;</span>)
<span class="hljs-comment"># Search topK results (in partition &quot;human&quot;) for test vectors</span>
res = collection.search(test_vectors, <span class="hljs-string">&quot;vector_field&quot;</span>, search_params, limit=topK, partition_names=[<span class="hljs-string">&#x27;human&#x27;</span>])
<span class="hljs-keyword">for</span> results <span class="hljs-keyword">in</span> res:
    res_ids = results.ids <span class="hljs-comment"># primary keys of topK results</span>
    res_distances = results.distances <span class="hljs-comment"># distances between topK results &amp; search input</span>
<button class="copy-code-btn"></button></code></pre>
<p><strong>DNA 서열 분류</strong>Milvus에서 가장 유사한 DNA 서열을 검색하면 알 수 없는 샘플의 유전자 계열을 암시하여 가능한 기능에 대해 알아볼 수 있습니다.<a href="https://www.nature.com/scitable/topicpage/gpcr-14047471/"> 염기서열이 GPCR로 분류되면 신체 기능에 영향을 미칠 가능성이 높습니다. </a>이 데모에서 Milvus는 시스템이 검색된 인간 DNA 서열의 유전자 계열을 식별하는 데 성공했습니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/3_1616da5bb0.png" alt="3.png" class="doc-image" id="3.png" />
   </span> <span class="img-wrapper"> <span>3.png</span> </span> <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/4_d719b22fc7.png" alt="4.png" class="doc-image" id="4.png" /><span>4.png</span> </span></p>
<p><strong>유전자 유사성</strong></p>
<p>유기체 간의 평균 DNA 서열 유사성은 게놈이 얼마나 가까운지를 보여줍니다. 이 데모는 인간 데이터에서 침팬지 및 개와 가장 유사한 DNA 서열을 각각 검색합니다. 그런 다음 평균 내적 곱 거리(침팬지 0.97, 개 0.70)를 계산하고 비교하여 침팬지가 개보다 인간과 더 유사한 유전자를 공유한다는 것을 증명합니다. 보다 복잡한 데이터와 시스템 설계를 통해 Milvus는 더 높은 수준의 유전자 연구를 지원할 수 있습니다.</p>
<pre><code translate="no">search_params = {<span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&quot;IP&quot;</span>, <span class="hljs-string">&quot;params&quot;</span>: {<span class="hljs-string">&quot;nprobe&quot;</span>: <span class="hljs-number">20</span>}}
<button class="copy-code-btn"></button></code></pre>
<p><strong>성능</strong></p>
<p>이 데모는 80%의 인간 샘플 데이터(총 3629개)로 분류 모델을 훈련하고 나머지는 테스트 데이터로 사용합니다. Milvus를 사용한 DNA 서열 분류 모델과 Mysql 및 5개의 인기 있는 머신 러닝 분류기 기반 모델의 성능을 비교합니다. Milvus를 기반으로 한 모델이 정확도 면에서 다른 모델을 능가합니다.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> sklearn.<span class="hljs-property">model_selection</span> <span class="hljs-keyword">import</span> train_test_split
X, y = human_sequence_kmers, human_labels
X_train, X_test, y_train, y_test = <span class="hljs-title function_">train_test_split</span>(X, y, test_size=<span class="hljs-number">0.2</span>, random_state=<span class="hljs-number">42</span>)
<button class="copy-code-btn"></button></code></pre>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_6541a7dec6.png" alt="1.png" class="doc-image" id="1.png" />
   </span> <span class="img-wrapper"> <span>1.png</span> </span></p>
<custom-h1>추가 탐색</custom-h1><p>빅데이터 기술의 발달로 DNA 염기서열의 벡터화는 유전자 연구와 실무에서 더욱 중요한 역할을 하게 될 것입니다. 생물 정보학에 대한 전문 지식과 결합하여 관련 연구는 DNA 서열 벡터화의 개입을 통해 더 많은 이점을 얻을 수 있습니다. 따라서 Milvus는 실제로 더 나은 결과를 제공할 수 있습니다. 다양한 시나리오와 사용자 요구에 따라 Milvus 기반 유사도 검색 및 거리 계산은 큰 잠재력과 많은 가능성을 보여줍니다.</p>
<ul>
<li><strong>미지의 서열을 연구하세요</strong>: <a href="https://iopscience.iop.org/article/10.1088/1742-6596/1453/1/012071/pdf">일부 연구자들에 따르면, 벡터화는 DNA 서열 데이터를 압축할 수 있다고 합니다.</a> 동시에 알려지지 않은 DNA 서열의 구조, 기능 및 진화를 연구하는 데 더 적은 노력이 필요합니다. Milvus는 정확성을 잃지 않고 엄청난 수의 DNA 서열 벡터를 저장하고 검색할 수 있습니다.</li>
<li><strong>장치 적응</strong>: 기존 서열 정렬 알고리즘의 한계로 인해 유사도 검색은 디바이스<a href="https://www.ncbi.nlm.nih.gov/pmc/articles/PMC7884812/">(</a><a href="https://mjeer.journals.ekb.eg/article_146090.html">CPU/GPU</a>) 개선의 이점을 거의 누릴 수 없습니다. 일반 CPU 연산과 GPU 가속을 모두 지원하는 Milvus는 근사 최인접 알고리즘으로 이 문제를 해결합니다.</li>
<li><strong>바이러스 탐지 및 출처 추적</strong>: <a href="https://www.nature.com/articles/s41586-020-2012-7?fbclid=IwAR2hxnXb9nLWgA8xexEoNrCNH8WHqvHhhbN38aSm48AaH6fTzGMB1BLljf4">과학자들은 게놈 서열을 비교한 결과 박쥐에서 유래한 것으로 추정되는 코로나19 바이러스가 SARS-COV에 속한다고 보고했습니다</a>. 이 결론을 바탕으로 연구자들은 더 많은 증거와 패턴을 찾기 위해 샘플 크기를 확장할 수 있습니다.</li>
<li><strong>질병 진단</strong>: 임상적으로 의사는 환자와 건강한 그룹 간의 DNA 서열을 비교하여 질병을 유발하는 변종 유전자를 식별할 수 있습니다. 적절한 알고리즘을 사용해 특징을 추출하고 이러한 데이터를 인코딩할 수 있습니다. 밀버스는 질병 데이터와 관련될 수 있는 벡터 간의 거리를 반환할 수 있습니다. 이 애플리케이션은 질병 진단을 지원할 뿐만 아니라 <a href="https://www.frontiersin.org/articles/10.3389/fgene.2021.680117/full">표적 치료</a> 연구에 영감을 줄 수 있습니다.</li>
</ul>
<custom-h1>Milvus에 대해 자세히 알아보기</custom-h1><p>Milvus는 방대한 인공 지능 및 벡터 유사성 검색 애플리케이션을 지원할 수 있는 강력한 도구입니다. 이 프로젝트에 대해 자세히 알아보려면 다음 리소스를 확인하세요:</p>
<ul>
<li><a href="https://milvus.io/blog">블로그</a> 읽기.</li>
<li><a href="https://milvusio.slack.com/join/shared_invite/zt-e0u4qu3k-bI2GDNys3ZqX1YCJ9OM~GQ#/shared-invite/email">Slack의</a> 오픈 소스 커뮤니티와 교류하세요.</li>
<li><a href="https://github.com/milvus-io/milvus/">GitHub에서</a> 세계에서 가장 인기 있는 벡터 데이터베이스를 사용하거나 기여하세요.</li>
<li>새로운 <a href="https://github.com/milvus-io/bootcamp">부트캠프를</a> 통해 AI 애플리케이션을 빠르게 테스트하고 배포하세요.</li>
</ul>


밀버스 기반 DNA 서열 분류

논문 읽기｜HM-ANN, ANNS가 이기종 메모리를 만났을 때

Milvus 2.0 벡터 데이터베이스 재정의

<custom-h1>Vipshop과 Milvus로 개인 맞춤형 상품 추천 시스템 구축하기</custom-h1><p>인터넷 데이터 규모가 폭발적으로 증가함에 따라 현재 주류 이커머스 플랫폼의 상품 수와 카테고리는 늘어나는 반면, 사용자가 필요한 상품을 찾는 어려움은 급증하고 있습니다.</p>
<p><a href="https://www.vip.com/">Vipshop은</a> 중국의 대표적인 브랜드 온라인 할인 소매업체입니다. 이 회사는 중국 전역의 소비자에게 고품질의 인기 브랜드 제품을 소매가보다 대폭 할인된 가격으로 제공합니다. 이 회사는 고객의 쇼핑 경험을 최적화하기 위해 사용자 검색 키워드와 사용자 초상화를 기반으로 개인화된 검색 추천 시스템을 구축하기로 결정했습니다.</p>
<p>이커머스 검색 추천 시스템의 핵심 기능은 수많은 상품 중에서 적합한 상품을 검색하여 사용자의 검색 의도와 선호도에 따라 사용자에게 표시하는 것입니다. 이 과정에서 시스템은 상품과 사용자의 검색 의도 및 선호도 간의 유사도를 계산하고, 유사도가 가장 높은 TopK 상품을 사용자에게 추천해야 합니다.</p>
<p>상품 정보, 사용자 검색 의도, 사용자 선호도 등의 데이터는 모두 비정형 데이터입니다. 이러한 데이터의 유사도를 계산하기 위해 검색 엔진 Elasticsearch(ES)의 CosineSimilarity(7.x)를 사용했지만, 이 방식에는 다음과 같은 단점이 있습니다.</p>
<ul>
<li><p>긴 계산 응답 시간 - 수백만 개의 항목에서 TopK 결과를 검색하는 데 걸리는 평균 지연 시간은 약 300ms입니다.</p></li>
<li><p>ES 인덱스의 높은 유지 관리 비용 - 상품 특징 벡터와 기타 관련 데이터 모두에 동일한 인덱스 세트가 사용되므로 인덱스 구성이 거의 용이하지 않지만 방대한 양의 데이터를 생성합니다.</p></li>
</ul>
<p>저희는 ES의 코사인 유사도 계산을 가속화하기 위해 자체적으로 로컬에 민감한 해시 플러그인을 개발하려고 했습니다. 가속 후 성능과 처리량은 크게 개선되었지만 100ms 이상의 지연 시간은 여전히 실제 온라인 제품 검색 요구 사항을 충족하기 어려웠습니다.</p>
<p>철저한 연구 끝에 일반적으로 사용되는 독립형 Faiss에 비해 분산 배포, 다국어 SDK, 읽기/쓰기 분리 등을 지원하는 오픈소스 벡터 데이터베이스인 Milvus를 사용하기로 결정했습니다.</p>
<p>다양한 딥러닝 모델을 사용해 방대한 비정형 데이터를 특징 벡터로 변환하고, 그 벡터를 Milvus로 가져옵니다. 밀버스의 뛰어난 성능을 통해 이커머스 검색 추천 시스템은 타깃 벡터와 유사한 TopK 벡터를 효율적으로 쿼리할 수 있습니다.</p>
<h2 id="Overall-Architecture" class="common-anchor-header">건축 전반<button data-href="#Overall-Architecture" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>아키텍처](https://assets.zilliz.com/1_01551e7b2b.jpg &quot;아키텍처&quot;) 다이어그램에서 볼 수 있듯이 시스템 전체 아키텍처는 크게 두 가지로 구성됩니다.</p>
<ul>
<li><p>쓰기 프로세스: 딥러닝 모델에서 생성된 항목 특징 벡터(이하 항목 벡터)를 정규화하여 MySQL에 기록합니다. 그런 다음 MySQL은 데이터 동기화 도구(ETL)를 사용하여 처리된 항목 특징 벡터를 읽고 이를 벡터 데이터베이스 Milvus로 가져옵니다.</p></li>
<li><p>읽기 프로세스: 검색 서비스는 사용자 쿼리 키워드와 사용자 초상화를 기반으로 사용자 선호도 특징 벡터(이하 사용자 벡터)를 얻고, Milvus에서 유사한 벡터를 쿼리하여 TopK 항목 벡터를 불러옵니다.</p></li>
</ul>
<p>Milvus는 증분 데이터 업데이트와 전체 데이터 업데이트를 모두 지원합니다. 증분 업데이트는 기존 항목 벡터를 삭제하고 새 항목 벡터를 삽입해야 하므로 새로 업데이트되는 모든 컬렉션이 다시 색인화됩니다. 이 방식은 읽기가 많고 쓰기가 적은 시나리오에 더 적합합니다. 따라서 전체 데이터 업데이트 방법을 선택합니다. 또한, 전체 데이터를 여러 파티션에 일괄적으로 쓰는 데 몇 분밖에 걸리지 않아 거의 실시간 업데이트에 해당합니다.</p>
<p>Milvus 쓰기 노드는 데이터 컬렉션 생성, 인덱스 구축, 벡터 삽입 등 모든 쓰기 작업을 수행하며 쓰기 도메인 네임으로 대중에게 서비스를 제공합니다. Milvus 읽기 노드는 모든 읽기 작업을 수행하며 읽기 전용 도메인 네임으로 대중에게 서비스를 제공합니다.</p>
<p>현재 버전의 Milvus는 컬렉션 별칭 전환을 지원하지 않지만, Redis를 도입하여 여러 개의 전체 데이터 컬렉션 간에 별칭을 원활하게 전환할 수 있습니다.</p>
<p>읽기 노드는 기존 메타데이터 정보와 벡터 데이터 또는 인덱스를 MySQL, Milvus, GlusterFS 분산 파일 시스템에서 읽기만 하면 되기 때문에 여러 인스턴스를 배포하여 읽기 기능을 수평적으로 확장할 수 있습니다.</p>
<h2 id="Implementation-Details" class="common-anchor-header">구현 세부 사항<button data-href="#Implementation-Details" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="Data-Update" class="common-anchor-header">데이터 업데이트</h3><p>데이터 업데이트 서비스에는 벡터 데이터 쓰기뿐만 아니라 벡터의 데이터 볼륨 감지, 인덱스 구성, 인덱스 사전 로딩, 별칭 제어 등이 포함됩니다. 전체 프로세스는 다음과 같습니다. <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/2_6052b01334.jpg" alt="Process" class="doc-image" id="process" /><span>프로세스</span> </span></p>
<ol>
<li><p>전체 데이터를 구축하기 전에 CollectionA가 대국민 데이터 서비스를 제공하고, 사용 중인 전체 데이터는 CollectionA(<code translate="no">redis key1 = CollectionA</code>)로 연결된다고 가정합니다. 전체 데이터 구축의 목적은 새로운 컬렉션 CollectionB를 생성하는 것입니다.</p></li>
<li><p>상품 데이터 확인 - MySQL 테이블에서 상품 데이터의 항목 번호를 확인하고, 해당 상품 데이터를 CollectionA의 기존 데이터와 비교합니다. 수량 또는 백분율에 따라 알림을 설정할 수 있습니다. 설정한 수량(백분율)에 도달하지 못하면 전체 데이터가 구축되지 않고 구축 작업 실패로 간주되어 알림이 트리거되며, 설정한 수량(백분율)에 도달하면 전체 데이터 구축 프로세스가 시작됩니다.</p></li>
<li><p>전체 데이터 구축 시작 - 구축 중인 전체 데이터의 별칭을 초기화하고 Redis를 업데이트합니다. 업데이트 후, 구축 중인 전체 데이터의 별칭은 CollectionB(<code translate="no">redis key2 = CollectionB</code>)로 지정됩니다.</p></li>
<li><p>새 전체 컬렉션 만들기 - CollectionB가 존재하는지 확인합니다. 존재하는 경우 새 컬렉션을 만들기 전에 삭제합니다.</p></li>
<li><p>데이터 일괄 쓰기 - 모듈로 연산을 사용하여 각 상품 데이터의 파티션 ID를 계산하고, 새로 생성된 컬렉션에 여러 파티션에 데이터를 일괄적으로 씁니다.</p></li>
<li><p>인덱스 생성 및 사전 로드 - 새 컬렉션에 대한 인덱스(<code translate="no">createIndex()</code>)를 생성합니다. 인덱스 파일은 분산 스토리지 서버인 GlusterFS에 저장됩니다. 시스템이 자동으로 새 컬렉션에 대한 쿼리를 시뮬레이션하고 쿼리 워밍업을 위해 인덱스를 미리 로드합니다.</p></li>
<li><p>컬렉션 데이터 확인 - 새 컬렉션의 데이터 항목 수를 확인하고, 기존 컬렉션과 데이터를 비교한 후 수량과 백분율에 따라 알람을 설정합니다. 설정한 수(백분율)에 도달하지 못하면 컬렉션이 전환되지 않고 구축 프로세스가 실패한 것으로 간주되어 알람이 트리거됩니다.</p></li>
<li><p>컬렉션 전환 - 별칭 제어. Redis 업데이트 후 사용 중인 전체 데이터 별칭이 CollectionB(<code translate="no">redis key1 = CollectionB</code>)로 이동하고, 원래 Redis 키2가 삭제된 후 빌드 프로세스가 완료됩니다.</p></li>
</ol>
<h3 id="Data-Recall" class="common-anchor-header">데이터 리콜</h3><p>사용자 쿼리 키워드와 사용자 초상화를 기반으로 얻은 사용자 벡터와 항목 벡터 간의 유사도를 계산하기 위해 Milvus 파티션 데이터를 여러 번 호출하고, 병합 후 TopK 항목 벡터를 반환합니다. 전체 워크플로우 도식은 다음과 같습니다: <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/3_93518602b1.jpg" alt="workflow" class="doc-image" id="workflow" /><span>워크플로우</span> </span>다음 표는 이 프로세스에 관련된 주요 서비스를 나열한 것입니다. TopK 벡터를 불러오는 데 걸리는 평균 지연 시간은 약 30ms임을 알 수 있습니다.</p>
<table>
<thead>
<tr><th><strong>서비스</strong></th><th><strong>Role</strong></th><th><strong>입력 매개변수</strong></th><th><strong>출력 매개변수</strong></th><th><strong>응답 지연 시간</strong></th></tr>
</thead>
<tbody>
<tr><td>사용자 벡터 획득</td><td>사용자 벡터 획득</td><td>사용자 정보 + 쿼리</td><td>사용자 벡터</td><td>10ms</td></tr>
<tr><td>밀버스 검색</td><td>벡터 유사도를 계산하고 TopK 결과를 반환합니다.</td><td>사용자 벡터</td><td>항목 벡터</td><td>10 ms</td></tr>
<tr><td>스케줄링 로직</td><td>동시 결과 리콜 및 병합</td><td>다중 채널 리콜 항목 벡터 및 유사도 점수</td><td>TopK 항목</td><td>10 ms</td></tr>
</tbody>
</table>
<p><strong>구현 프로세스:</strong></p>
<ol>
<li>사용자 쿼리 키워드와 사용자 초상화를 기반으로 딥러닝 모델에 의해 사용자 벡터를 계산합니다.</li>
<li>사용 중인 전체 데이터의 컬렉션 별칭을 Redis currentInUseKeyRef에서 가져와 Milvus CollectionName을 얻습니다. 이 과정은 데이터 동기화 서비스, 즉 전체 데이터 업데이트 후 별칭을 Redis로 전환하는 과정입니다.</li>
<li>Milvus는 사용자 벡터와 동시에 비동기적으로 호출되어 동일한 컬렉션의 다른 파티션에서 데이터를 가져오고, Milvus는 사용자 벡터와 항목 벡터 간의 유사도를 계산하여 각 파티션에서 유사한 항목 벡터를 TopK 개씩 반환합니다.</li>
<li>각 파티션에서 반환된 TopK 항목 벡터를 병합하고 IP 내부 곱을 사용하여 계산된 유사도 거리의 역순으로 결과의 순위를 매깁니다(벡터 사이의 거리가 클수록 더 유사함). 최종 TopK 항목 벡터가 반환됩니다.</li>
</ol>
<h2 id="Looking-Ahead" class="common-anchor-header">앞으로의 전망<button data-href="#Looking-Ahead" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>현재 Milvus 기반 벡터 검색은 추천 시나리오 검색에 꾸준히 사용될 수 있으며, 높은 성능 덕분에 모델과 알고리즘 선택의 차원을 넓힐 수 있는 여지가 더 많아졌습니다.</p>
<p>Milvus는 메인 사이트 검색의 리콜과 전체 시나리오 추천 등 더 많은 시나리오의 미들웨어로서 중요한 역할을 할 것입니다.</p>
<p>향후 Milvus에서 가장 기대되는 세 가지 기능은 다음과 같습니다.</p>
<ul>
<li>컬렉션 별칭 전환을 위한 로직 - 외부 구성 요소 없이 컬렉션 간 전환을 조정합니다.</li>
<li>필터링 메커니즘 - Milvus v0.11.0은 독립형 버전에서 ES DSL 필터링 메커니즘만 지원합니다. 새로 출시된 Milvus 2.0은 스칼라 필터링과 읽기/쓰기 분리를 지원합니다.</li>
<li>Hadoop 분산 파일 시스템(HDFS)에 대한 스토리지 지원 - 현재 사용 중인 Milvus v0.10.6은 POSIX 파일 인터페이스만 지원하며, 스토리지 백엔드로 FUSE가 지원되는 GlusterFS를 배포했습니다. 그러나 성능과 확장 용이성 측면에서 HDFS가 더 나은 선택입니다.</li>
</ul>
<h2 id="Lessons-Learned-and-Best-Practices" class="common-anchor-header">교훈 및 모범 사례<button data-href="#Lessons-Learned-and-Best-Practices" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ol>
<li>읽기 작업이 주를 이루는 애플리케이션의 경우, 읽기-쓰기 분리 배포를 통해 처리 능력을 크게 높이고 성능을 개선할 수 있습니다.</li>
<li>리콜 서비스에서 사용하는 Milvus 클라이언트는 메모리에 상주하기 때문에 Milvus Java 클라이언트에는 재연결 메커니즘이 없습니다. 따라서 하트비트 테스트를 통해 Java 클라이언트와 서버 간의 연결 가용성을 보장하기 위해 자체 연결 풀을 구축해야 합니다.</li>
<li>Milvus에서 때때로 느린 쿼리가 발생합니다. 이는 새 컬렉션의 워밍업이 충분하지 않기 때문입니다. 새 컬렉션에 대한 쿼리를 시뮬레이션하여 인덱스 파일을 메모리에 로드하여 인덱스 워밍업을 수행합니다.</li>
<li>nlist는 인덱스 구축 매개변수이고 nprobe는 쿼리 매개변수입니다. 검색 성능과 정확도의 균형을 맞추기 위해 압력 테스트 실험을 통해 비즈니스 시나리오에 따라 합리적인 임계값을 얻어야 합니다.</li>
<li>정적 데이터 시나리오의 경우 모든 데이터를 먼저 컬렉션으로 가져오고 나중에 인덱스를 구축하는 것이 더 효율적입니다.</li>
</ol>


건축 전반

<custom-h1>밀버스 기반 오디오 검색</custom-h1><p>소리는 정보 밀도가 높은 데이터 유형입니다. 비디오 콘텐츠 시대에 구식으로 느껴질 수도 있지만, 오디오는 여전히 많은 사람들에게 주요 정보 소스입니다. 청취자의 장기적인 감소에도 불구하고, 12세 이상 미국인의 83%가 2020년 한 주 동안 지상파(AM/FM) 라디오를 청취했습니다(2019년의 89%에서 감소). 반면, 온라인 오디오는 지난 20년 동안 청취자가 꾸준히 증가하여 동일한 <a href="https://www.journalism.org/fact-sheet/audio-and-podcasting/">퓨 리서치 센터의</a> 조사에 따르면 미국인의 62%가 매주 어떤 형태로든 오디오를 듣는 것으로 나타났습니다.</p>
<p>파동으로서 소리는 주파수, 진폭, 파형, 지속 시간이라는 네 가지 속성을 포함합니다. 음악 용어로는 이를 피치, 다이나믹, 톤, 지속 시간이라고 합니다. 또한 소리는 인간과 다른 동물이 주변 환경을 인식하고 이해하는 데 도움을 주며, 주변 사물의 위치와 움직임에 대한 맥락적 단서를 제공합니다.</p>
<p>정보 전달자로서 오디오는 세 가지 범주로 분류할 수 있습니다:</p>
<ol>
<li><strong>음성:</strong> 단어와 문법으로 구성된 커뮤니케이션 매체. 음성 인식 알고리즘을 사용하면 음성을 텍스트로 변환할 수 있습니다.</li>
<li><strong>음악:</strong> 음악: 멜로디, 화음, 리듬, 음색으로 구성된 구성을 만들기 위해 보컬 및/또는 악기 소리를 결합한 것입니다. 음악은 악보로 표현할 수 있습니다.</li>
<li><strong>파형:</strong> 아날로그 사운드를 디지털화하여 얻은 디지털 오디오 신호입니다. 파형은 음성, 음악, 자연음 또는 합성음을 나타낼 수 있습니다.</li>
</ol>
<p>오디오 검색은 온라인 미디어를 실시간으로 검색하고 모니터링하여 지적 재산권 침해를 단속하는 데 사용할 수 있습니다. 또한 오디오 데이터의 분류 및 통계 분석에서도 중요한 역할을 담당합니다.</p>
<h2 id="Processing-Technologies" class="common-anchor-header">처리 기술<button data-href="#Processing-Technologies" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>음성, 음악 및 기타 일반적인 소리는 각각 고유한 특성을 가지고 있으며 다양한 처리 방법이 필요합니다. 일반적으로 오디오는 음성이 포함된 그룹과 그렇지 않은 그룹으로 구분됩니다:</p>
<ul>
<li>음성 오디오는 자동 음성 인식을 통해 처리됩니다.</li>
<li>음악 오디오, 음향 효과 및 디지털화된 음성 신호를 포함한 비음성 오디오는 오디오 검색 시스템을 사용하여 처리됩니다.</li>
</ul>
<p>이 문서에서는 오디오 검색 시스템을 사용하여 비음성 오디오 데이터를 처리하는 방법에 대해 중점적으로 설명합니다. 음성 인식은 이 문서에서 다루지 않습니다.</p>
<h3 id="Audio-feature-extraction" class="common-anchor-header">오디오 특징 추출</h3><p>특징 추출은 오디오 유사성 검색을 가능하게 하는 오디오 검색 시스템에서 가장 중요한 기술입니다. 오디오 특징을 추출하는 방법은 크게 두 가지로 나뉩니다:</p>
<ul>
<li>가우스 혼합 모델(GMM)과 숨겨진 마르코프 모델(HMM)과 같은 전통적인 오디오 특징 추출 모델;</li>
<li>순환 신경망(RNN), 장단기 기억(LSTM) 네트워크, 인코딩-디코딩 프레임워크, 주의 메커니즘 등과 같은 딥러닝 기반 오디오 특징 추출 모델.</li>
</ul>
<p>딥러닝 기반 모델은 기존 모델보다 오류율이 훨씬 낮기 때문에 오디오 신호 처리 분야의 핵심 기술로 각광받고 있습니다.</p>
<p>오디오 데이터는 일반적으로 추출된 오디오 피처로 표현됩니다. 검색 프로세스는 오디오 데이터 자체보다는 이러한 특징과 속성을 검색하고 비교합니다. 따라서 오디오 유사도 검색의 효율성은 특징 추출 품질에 따라 크게 좌우됩니다.</p>
<p>이 기사에서는 <a href="https://github.com/qiuqiangkong/audioset_tagging_cnn">오디오 패턴 인식을 위해 사전 훈련된 대규모 오디오 신경망(PANN)</a> 을 사용하여 평균 평균 정확도(mAP)가 0.439인 특징 벡터를 추출합니다(Hershey et al., 2017).</p>
<p>오디오 데이터의 특징 벡터를 추출한 후 Milvus를 사용하여 고성능 특징 벡터 분석을 구현할 수 있습니다.</p>
<h3 id="Vector-similarity-search" class="common-anchor-header">벡터 유사도 검색</h3><p><a href="https://milvus.io/">Milvus는</a> 머신러닝 모델과 신경망에서 생성된 임베딩 벡터를 관리하기 위해 구축된 클라우드 네이티브 오픈 소스 벡터 데이터베이스입니다. 컴퓨터 비전, 자연어 처리, 계산 화학, 개인화된 추천 시스템 등과 같은 시나리오에서 널리 사용됩니다.</p>
<p>다음 다이어그램은 Milvus를 사용한 일반적인 유사도 검색 프로세스를 보여줍니다: <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/how_does_milvus_work_6926180543.png" alt="how-does-milvus-work.png" class="doc-image" id="how-does-milvus-work.png" /><span>how-does-milvus-work.png</span> </span></p>
<ol>
<li>비정형 데이터는 딥러닝 모델에 의해 특징 벡터로 변환되어 Milvus에 삽입됩니다.</li>
<li>Milvus는 이러한 특징 벡터를 저장하고 인덱싱합니다.</li>
<li>요청이 들어오면 Milvus는 쿼리 벡터와 가장 유사한 벡터를 검색하여 반환합니다.</li>
</ol>
<h2 id="System-overview" class="common-anchor-header">시스템 개요<button data-href="#System-overview" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>오디오 검색 시스템은 크게 삽입(검은색 선)과 검색(빨간색 선)의 두 부분으로 구성됩니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/audio_retrieval_system_663a911c95.png" alt="audio-retrieval-system.png" class="doc-image" id="audio-retrieval-system.png" />
   </span> <span class="img-wrapper"> <span>오디오 검색 시스템.png</span> </span></p>
<p>이 프로젝트에 사용된 샘플 데이터 세트에는 오픈 소스 게임 사운드가 포함되어 있으며, 코드는 <a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/audio_similarity_search">Milvus 부트캠프에</a> 자세히 설명되어 있습니다.</p>
<h3 id="Step-1-Insert-data" class="common-anchor-header">1단계: 데이터 삽입</h3><p>아래는 사전 학습된 PANN 추론 모델로 오디오 임베딩을 생성하고 이를 Milvus에 삽입하여 각 벡터 임베딩에 고유 ID를 할당하는 예제 코드입니다.</p>
<pre><code translate="no"><span class="hljs-number">1</span> wav_name, vectors_audio = get_audio_embedding(audio_path)  
<span class="hljs-number">2</span> <span class="hljs-keyword">if</span> vectors_audio:    
<span class="hljs-number">3</span>     embeddings.<span class="hljs-built_in">append</span>(vectors_audio)  
<span class="hljs-number">4</span>     wav_names.<span class="hljs-built_in">append</span>(wav_name)  
<span class="hljs-number">5</span> ids_milvus = insert_vectors(milvus_client, table_name, embeddings)  
<span class="hljs-number">6</span> 
<button class="copy-code-btn"></button></code></pre>
<p>그런 다음 반환된 <strong>ids_milvus는</strong> 후속 처리를 위해 MySQL 데이터베이스에 보관된 오디오 데이터에 대한 다른 관련 정보(예: <strong>wav_name</strong>)와 함께 저장됩니다.</p>
<pre><code translate="no">1 get_ids_correlation(ids_milvus, wav_name)  
2 load_data_to_mysql(conn, cursor, table_name)    
3  
<button class="copy-code-btn"></button></code></pre>
<h3 id="Step-2-Audio-search" class="common-anchor-header">2단계: 오디오 검색</h3><p>Milvus는 미리 저장된 특징 벡터와 쿼리 오디오 데이터에서 추출한 입력 특징 벡터 사이의 내적 곱 거리를 계산하고, PANNs 추론 모델을 사용하여 검색된 오디오 데이터에 해당하는 유사한 특징 벡터의 <strong>ids_milvus를</strong> 반환합니다.</p>
<pre><code translate="no"><span class="hljs-number">1</span> _, vectors_audio = get_audio_embedding(audio_filename)    
<span class="hljs-number">2</span> results = search_vectors(milvus_client, table_name, [vectors_audio], METRIC_TYPE, TOP_K)  
<span class="hljs-number">3</span> ids_milvus = [x.<span class="hljs-built_in">id</span> <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> results[<span class="hljs-number">0</span>]]  
<span class="hljs-number">4</span> audio_name = search_by_milvus_ids(conn, cursor, ids_milvus, table_name)    
<span class="hljs-number">5</span>
<button class="copy-code-btn"></button></code></pre>
<h2 id="API-reference-and-demo" class="common-anchor-header">API 참조 및 데모<button data-href="#API-reference-and-demo" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="API" class="common-anchor-header">API</h3><p>이 오디오 검색 시스템은 오픈 소스 코드로 구축되었습니다. 주요 기능은 오디오 데이터 삽입과 삭제입니다. 브라우저에서 <strong>127.0.0.1:<port></strong> /docs를 입력하면 모든 API를 볼 수 있습니다.</p>
<h3 id="Demo" class="common-anchor-header">데모</h3><p>자신의 오디오 데이터로 사용해 볼 수 있는 Milvus 기반 오디오 검색 시스템의 <a href="https://zilliz.com/solutions">라이브 데모를</a> 온라인에서 호스팅합니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/audio_search_demo_cae60625db.png" alt="audio-search-demo.png" class="doc-image" id="audio-search-demo.png" />
   </span> <span class="img-wrapper"> <span>오디오 검색 데모.png</span> </span></p>
<h2 id="Conclusion" class="common-anchor-header">결론<button data-href="#Conclusion" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>빅 데이터 시대에 살고 있는 사람들은 온갖 종류의 정보로 가득한 삶을 살고 있습니다. 이를 더 잘 이해하기 위해서는 기존의 텍스트 검색으로는 더 이상 충분하지 않습니다. 오늘날의 정보 검색 기술은 동영상, 이미지, 오디오 등 다양한 비정형 데이터 유형의 검색이 절실히 요구되고 있습니다.</p>
<p>컴퓨터가 처리하기 어려운 비정형 데이터는 딥러닝 모델을 사용하여 특징 벡터로 변환할 수 있습니다. 이렇게 변환된 데이터는 기계가 쉽게 처리할 수 있어 이전에는 불가능했던 방식으로 비정형 데이터를 분석할 수 있습니다. 오픈소스 벡터 데이터베이스인 Milvus는 AI 모델이 추출한 특징 벡터를 효율적으로 처리할 수 있으며, 다양한 공통 벡터 유사도 계산을 제공합니다.</p>
<h2 id="References" class="common-anchor-header">참고 자료<button data-href="#References" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Hershey, S., Chaudhuri, S., Ellis, D.P., Gemmeke, J.F., Jansen, A., Moore, R.C., Plakal, M., Platt, D., Saurous, R.A., Seybold, B. and Slaney, M., 2017, March. 대규모 오디오 분류를 위한 CNN 아키텍처. 2017 IEEE 국제 음향, 음성 및 신호 처리 컨퍼런스(ICASSP), 131-135쪽, 2017.</p>
<h2 id="Dont-be-a-stranger" class="common-anchor-header">낯선 사람이 되지 마세요<button data-href="#Dont-be-a-stranger" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p><a href="https://github.com/milvus-io/milvus/">GitHub에서</a> Milvus를 찾거나 기여하세요.</p></li>
<li><p><a href="https://join.slack.com/t/milvusio/shared_invite/zt-e0u4qu3k-bI2GDNys3ZqX1YCJ9OM~GQ">Slack을</a> 통해 커뮤니티와 소통하세요.</p></li>
<li><p><a href="https://twitter.com/milvusio">트위터에서</a> 소통하세요.</p></li>
</ul>


처리 기술

<custom-h1>MilMil: Milvus에 대한 질문에 답변하는 Milvus 기반 FAQ 챗봇</custom-h1><p>오픈소스 커뮤니티는 최근 Milvus 사용자에 의해, 그리고 Milvus 사용자를 위해 구축된 Milvus FAQ 챗봇인 MilMil을 만들었습니다. MilMil은 세계에서 가장 진보된 오픈 소스 벡터 데이터베이스인 Milvus에 대한 일반적인 질문에 답변하기 위해 <a href="https://milvus.io/">Milvus.io에서</a> 연중무휴 24시간 이용 가능합니다.</p>
<p>이 질문 답변 시스템은 Milvus 사용자가 직면하는 일반적인 문제를 보다 신속하게 해결하는 데 도움이 될 뿐만 아니라 사용자 제출을 기반으로 새로운 문제도 식별합니다. MilMil의 데이터베이스에는 2019년 프로젝트가 오픈 소스 라이선스로 처음 공개된 이후 사용자가 제기한 질문이 포함되어 있습니다. 질문은 Milvus 1.x 및 이전 버전과 Milvus 2.0의 두 가지 컬렉션에 저장됩니다.</p>
<p>MilMil은 현재 영어로만 제공됩니다.</p>
<h2 id="How-does-MilMil-work" class="common-anchor-header">MilMil은 어떻게 작동하나요?<button data-href="#How-does-MilMil-work" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>MilMil은 <em>문장 변환기/파라프레이즈-mpnet-base-v2</em> 모델을 사용하여 FAQ 데이터베이스의 벡터 표현을 얻은 다음, Milvus를 사용하여 의미적으로 유사한 질문을 반환하는 벡터 유사성 검색에 사용합니다.</p>
<p>먼저 자연어 처리(NLP) 모델인 BERT를 사용하여 FAQ 데이터를 시맨틱 벡터로 변환합니다. 그런 다음 임베딩을 Milvus에 삽입하고 각 임베딩에 고유 ID를 할당합니다. 마지막으로, 질문과 답변이 벡터 ID와 함께 관계형 데이터베이스인 PostgreSQL에 삽입됩니다.</p>
<p>사용자가 질문을 제출하면 시스템은 BERT를 사용하여 이를 특징 벡터로 변환합니다. 그런 다음 Milvus에서 쿼리 벡터와 가장 유사한 5개의 벡터를 검색하고 해당 벡터의 ID를 검색합니다. 마지막으로 검색된 벡터 ID에 해당하는 질문과 답변이 사용자에게 반환됩니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/system_process_dca67a80a6.png" alt="system-process.png" class="doc-image" id="system-process.png" />
   </span> <span class="img-wrapper"> <span>시스템 프로세스.png</span> </span></p>
<p>Milvus 부트캠프의 <a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/question_answering_system">질문 답변 시스템</a> 프로젝트를 참조하여 AI 챗봇을 구축하는 데 사용되는 코드를 살펴보세요.</p>
<h2 id="Ask-MilMil-about-Milvus" class="common-anchor-header">MilMil에게 Milvus에 대해 질문하기<button data-href="#Ask-MilMil-about-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>MilMil과 채팅하려면 <a href="https://milvus.io/">Milvus.io의</a> 페이지로 이동하여 오른쪽 하단에 있는 새 아이콘을 클릭합니다. 텍스트 입력 상자에 질문을 입력하고 보내기를 누르세요. MilMil에서 몇 밀리초 안에 답변을 보내드립니다! 또한 왼쪽 상단 모서리에 있는 드롭다운 목록을 사용하여 Milvus의 다른 버전에 대한 기술 문서 사이를 전환할 수 있습니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/milvus_chatbot_icon_f3c25708ca.png" alt="milvus-chatbot-icon.png" class="doc-image" id="milvus-chatbot-icon.png" />
   </span> <span class="img-wrapper"> <span>밀버스-챗봇 아이콘.png</span> </span></p>
<p>질문을 제출하면 챗봇이 해당 질문과 의미적으로 유사한 질문 세 개를 즉시 반환합니다. "답변 보기"를 클릭하여 질문에 대한 잠재적인 답변을 찾아보거나 "더보기"를 클릭하여 검색과 관련된 더 많은 질문을 볼 수 있습니다. 적절한 답변을 찾을 수 없는 경우 "여기에 피드백 입력"을 클릭하여 이메일 주소와 함께 질문을 남기세요. Milvus 커뮤니티의 도움이 곧 도착할 것입니다!</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/chatbot_UI_0f4a7655d4.png" alt="chatbot_UI.png" class="doc-image" id="chatbot_ui.png" />
   </span> <span class="img-wrapper"> <span>chatbot_UI.png</span> </span></p>
<p>MilMil을 사용해 보시고 의견을 알려주세요. 모든 질문, 의견 또는 모든 형태의 피드백을 환영합니다.</p>
<h2 id="Dont-be-a-stranger" class="common-anchor-header">낯선 사람이 되지 마세요<button data-href="#Dont-be-a-stranger" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><a href="https://github.com/milvus-io/milvus/">GitHub에서</a> Milvus를 찾거나 기여하세요.</li>
<li><a href="https://join.slack.com/t/milvusio/shared_invite/zt-e0u4qu3k-bI2GDNys3ZqX1YCJ9OM~GQ">Slack을</a> 통해 커뮤니티와 소통하세요.</li>
<li><a href="https://twitter.com/milvusio">트위터에서</a> 소통하세요.</li>
</ul>


밀밀 밀버스에 대한 질문에 답변하는 밀버스 기반 FAQ 챗봇

<custom-h1>Milvus 2.0 부트캠프로 벡터 검색 솔루션을 빠르게 테스트 및 배포하기</custom-h1><p>Milvus 2.0의 출시와 함께 Milvus <a href="https://github.com/milvus-io/bootcamp">부트캠프가</a> 개편되었습니다. 새롭고 개선된 부트캠프는 다양한 사용 사례와 배포를 위한 업데이트된 가이드와 따라 하기 쉬운 코드 예제를 제공합니다. 또한 이 새 버전은 세계에서 가장 진보된 벡터 데이터베이스를 새롭게 재해석한 <a href="https://milvus.io/blog/milvus2.0-redefining-vector-database.md">Milvus 2.0용으로</a> 업데이트되었습니다.</p>
<h3 id="Stress-test-your-system-against-1M-and-100M-dataset-benchmarks" class="common-anchor-header">100만 및 1억 데이터 세트 벤치마크로 시스템 스트레스 테스트하기</h3><p><a href="https://github.com/milvus-io/bootcamp/tree/master/benchmark_test">벤치마크 디렉터리에는</a> 다양한 크기의 데이터 세트에 대해 시스템이 어떻게 반응하는지 보여주는 100만 및 1억 개의 벡터 벤치마크 테스트가 포함되어 있습니다.</p>
<p><br/></p>
<h3 id="Explore-and-build-popular-vector-similarity-search-solutions" class="common-anchor-header">인기 있는 벡터 유사도 검색 솔루션 탐색 및 구축</h3><p><a href="https://github.com/milvus-io/bootcamp/tree/master/solutions">솔루션 디렉터리에는</a> 가장 인기 있는 벡터 유사도 검색 사용 사례가 포함되어 있습니다. 각 사용 사례에는 노트북 솔루션과 도커 배포 가능한 솔루션이 포함되어 있습니다. 사용 사례는 다음과 같습니다:</p>
<ul>
<li><a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/reverse_image_search">이미지 유사도 검색</a></li>
<li><a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/video_similarity_search">동영상 유사도 검색</a></li>
<li><a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/audio_similarity_search">오디오 유사도 검색</a></li>
<li><a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/recommendation_system">추천 시스템</a></li>
<li><a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/molecular_similarity_search">분자 검색</a></li>
<li><a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/question_answering_system">질문 답변 시스템</a></li>
</ul>
<p><br/></p>
<h3 id="Quickly-deploy-a-fully-built-application-on-any-system" class="common-anchor-header">모든 시스템에 완벽하게 빌드된 애플리케이션을 빠르게 배포하세요</h3><p>빠른 배포 솔루션은 도커화된 솔루션으로, 사용자가 모든 시스템에 완벽하게 구축된 애플리케이션을 배포할 수 있도록 해줍니다. 이러한 솔루션은 간단한 데모에 이상적이지만 노트북에 비해 사용자 지정 및 이해에 추가적인 작업이 필요합니다.</p>
<p><br/></p>
<h3 id="Use-scenario-specific-notebooks-to-easily-deploy-pre-configured-applications" class="common-anchor-header">시나리오별 노트북을 사용해 사전 구성된 애플리케이션을 쉽게 배포하세요.</h3><p>노트북에는 주어진 사용 사례의 문제를 해결하기 위해 Milvus를 배포하는 간단한 예제가 포함되어 있습니다. 각 예제는 파일이나 구성을 관리할 필요 없이 처음부터 끝까지 실행할 수 있습니다. 또한 각 노트북은 따라 하기 쉽고 수정이 가능하기 때문에 다른 프로젝트의 기본 파일로 사용하기에도 이상적입니다.</p>
<p><br/></p>
<h3 id="Image-similarity-search-notebook-example" class="common-anchor-header">이미지 유사도 검색 노트북 예시</h3><p>이미지 유사도 검색은 물체를 인식하는 자율 주행 자동차를 비롯한 다양한 기술의 핵심 아이디어 중 하나입니다. 이 예제에서는 Milvus로 컴퓨터 비전 프로그램을 쉽게 구축하는 방법을 설명합니다.</p>
<p>이 노트북은 세 가지를 중심으로 전개됩니다:</p>
<ul>
<li>Milvus 서버</li>
<li>Redis 서버(메타데이터 저장용)</li>
<li>사전 학습된 Resnet-18 모델.</li>
</ul>
<h4 id="Step-1-Download-required-packages" class="common-anchor-header">1단계: 필요한 패키지 다운로드</h4><p>이 프로젝트에 필요한 모든 패키지를 다운로드하는 것으로 시작하세요. 이 노트북에는 사용할 패키지가 나열된 표가 포함되어 있습니다.</p>
<pre><code translate="no">pip install -r requirements.txt
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-2-Server-startup" class="common-anchor-header">2단계: 서버 시작</h4><p>패키지를 설치한 후 서버를 시작하고 두 서버가 모두 제대로 실행되는지 확인합니다. <a href="https://milvus.io/docs/v2.0.x/install_standalone-docker.md">Milvus</a> 및 <a href="https://hub.docker.com/_/redis">Redis</a> 서버를 시작하려면 올바른 지침을 따르세요.</p>
<h4 id="Step-3-Download-project-data" class="common-anchor-header">3단계: 프로젝트 데이터 다운로드</h4><p>기본적으로 이 노트북은 예제로 사용하기 위해 VOCImage 데이터의 스니펫을 가져오지만, 노트북 상단에 표시되는 파일 구조를 따르는 한 이미지가 있는 모든 디렉터리가 작동합니다.</p>
<pre><code translate="no">! gdown <span class="hljs-string">&quot;https://drive.google.com/u/1/uc?id=1jdudBiUu41kL-U5lhH3ari_WBRXyedWo&amp;export=download&quot;</span>
! tar -xf <span class="hljs-string">&#x27;VOCdevkit.zip&#x27;</span>
! <span class="hljs-built_in">rm</span> <span class="hljs-string">&#x27;VOCdevkit.zip&#x27;</span>
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-4-Connect-to-the-servers" class="common-anchor-header">4단계: 서버에 연결</h4><p>이 예에서는 서버가 로컬 호스트의 기본 포트에서 실행되고 있습니다.</p>
<pre><code translate="no">connections.<span class="hljs-title function_">connect</span>(host=<span class="hljs-string">&quot;127.0.0.1&quot;</span>, port=<span class="hljs-number">19537</span>)
red = redis.<span class="hljs-title class_">Redis</span>(host = <span class="hljs-string">&#x27;127.0.0.1&#x27;</span>, port=<span class="hljs-number">6379</span>, db=<span class="hljs-number">0</span>)
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-5-Create-a-collection" class="common-anchor-header">5단계: 컬렉션 만들기</h4><p>서버를 시작한 후 모든 벡터를 저장하기 위해 Milvus에서 컬렉션을 만듭니다. 이 예제에서는 차원 크기를 resnet-18 출력 크기인 512로 설정하고 유사도 메트릭을 유클리드 거리(L2)로 설정했습니다. Milvus는 다양한 <a href="https://milvus.io/docs/v2.0.x/metric.md">유사도 메트릭을</a> 지원합니다.</p>
<pre><code translate="no">collection_name = <span class="hljs-string">&quot;image_similarity_search&quot;</span>
dim = <span class="hljs-number">512</span>
default_fields = [
    schema.FieldSchema(name=<span class="hljs-string">&quot;id&quot;</span>, dtype=DataType.INT64, is_primary=<span class="hljs-literal">True</span>, auto_id=<span class="hljs-literal">True</span>),
    schema.FieldSchema(name=<span class="hljs-string">&quot;vector&quot;</span>, dtype=DataType.FLOAT_VECTOR, dim=dim)
]
default_schema = schema.CollectionSchema(fields=default_fields, description=<span class="hljs-string">&quot;Image test collection&quot;</span>)
collection = Collection(name=collection_name, schema=default_schema)
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-6-Build-an-index-for-the-collection" class="common-anchor-header">6단계: 컬렉션에 대한 인덱스 구축</h4><p>컬렉션이 만들어지면 컬렉션에 대한 인덱스를 구축합니다. 이 경우 IVF_SQ8 인덱스가 사용됩니다. 이 인덱스에는 각 데이터 파일(세그먼트) 내에 몇 개의 클러스터를 만들 것인지 Milvus에 알려주는 'nlist' 매개변수가 필요합니다. <a href="https://milvus.io/docs/v2.0.x/index.md">인덱스마다</a> 다른 매개변수가 필요합니다.</p>
<pre><code translate="no">default_index = {<span class="hljs-string">&quot;index_type&quot;</span>: <span class="hljs-string">&quot;IVF_SQ8&quot;</span>, <span class="hljs-string">&quot;params&quot;</span>: {<span class="hljs-string">&quot;nlist&quot;</span>: <span class="hljs-number">2048</span>}, <span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&quot;L2&quot;</span>}
collection.<span class="hljs-title function_">create_index</span>(field_name=<span class="hljs-string">&quot;vector&quot;</span>, index_params=default_index)
collection.<span class="hljs-title function_">load</span>()
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-7-Set-up-model-and-data-loader" class="common-anchor-header">7단계: 모델 및 데이터 로더 설정하기</h4><p>IVF_SQ8 인덱스가 구축되면 신경망과 데이터 로더를 설정합니다. 이 예에서 사용된 사전 학습된 파이토치 resnet-18은 분류를 위해 벡터를 압축하는 마지막 계층이 없어 중요한 정보가 손실될 수 있습니다.</p>
<pre><code translate="no">model = torch.hub.load(<span class="hljs-string">&#x27;pytorch/vision:v0.9.0&#x27;</span>, <span class="hljs-string">&#x27;resnet18&#x27;</span>, pretrained=<span class="hljs-literal">True</span>)
encoder = torch.nn.Sequential(*(<span class="hljs-built_in">list</span>(model.children())[:-<span class="hljs-number">1</span>]))
<button class="copy-code-btn"></button></code></pre>
<p>데이터 세트와 데이터 로더는 이미지의 파일 경로를 제공하면서 이미지를 전처리하고 일괄 처리할 수 있도록 수정해야 합니다. 이는 약간 수정된 토치비전 데이터 로더를 사용하여 수행할 수 있습니다. 전처리를 위해서는 특정 크기와 값 범위에 대해 학습된 resnet-18 모델로 인해 이미지를 잘라내고 정규화해야 합니다.</p>
<pre><code translate="no">dataset = ImageFolderWithPaths(data_dir, transform=transforms.Compose([
                                                transforms.Resize(256),
                                                transforms.CenterCrop(224),
                                                transforms.ToTensor(),
                                                transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])]))

dataloader = torch.utils.data.DataLoader(dataset, num_workers=0, batch_si
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-8-Insert-vectors-into-the-collection" class="common-anchor-header">8단계: 컬렉션에 벡터 삽입하기</h4><p>컬렉션 설정이 완료되면 이미지를 처리하여 생성된 컬렉션에 로드할 수 있습니다. 먼저 데이터 로더를 통해 이미지를 가져와 resnet-18 모델을 통해 실행합니다. 그런 다음 결과 벡터 임베딩을 Milvus에 삽입하면 각 벡터에 대한 고유 ID가 반환됩니다. 그런 다음 벡터 ID와 이미지 파일 경로가 Redis 서버에 키-값 쌍으로 삽입됩니다.</p>
<pre><code translate="no">steps = <span class="hljs-built_in">len</span>(dataloader)
step = <span class="hljs-number">0</span>
<span class="hljs-keyword">for</span> inputs, labels, paths <span class="hljs-keyword">in</span> dataloader:
    <span class="hljs-keyword">with</span> torch.no_grad():
        output = encoder(inputs).squeeze()
        output = output.numpy()

    mr = collection.insert([output.tolist()])
    ids = mr.primary_keys
    <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-built_in">len</span>(ids)):
        red.<span class="hljs-built_in">set</span>(<span class="hljs-built_in">str</span>(ids[x]), paths[x])
    <span class="hljs-keyword">if</span> step%<span class="hljs-number">5</span> == <span class="hljs-number">0</span>:
        <span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Insert Step: &quot;</span> + <span class="hljs-built_in">str</span>(step) + <span class="hljs-string">&quot;/&quot;</span> + <span class="hljs-built_in">str</span>(steps))
    step += <span class="hljs-number">1</span>
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-9-Conduct-a-vector-similarity-search" class="common-anchor-header">9단계: 벡터 유사도 검색 수행</h4><p>모든 데이터가 Milvus와 Redis에 삽입되면 실제 벡터 유사도 검색을 수행할 수 있습니다. 이 예제에서는 벡터 유사도 검색을 위해 무작위로 선택된 이미지 세 개를 Redis 서버에서 가져옵니다.</p>
<pre><code translate="no">random_ids = [<span class="hljs-built_in">int</span>(red.randomkey()) <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-number">3</span>)]
search_images = [x.decode(<span class="hljs-string">&quot;utf-8&quot;</span>) <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> red.mget(random_ids)]
<button class="copy-code-btn"></button></code></pre>
<p>이 이미지들은 먼저 7단계에서와 동일한 전처리를 거친 다음 resnet-18 모델을 통해 푸시됩니다.</p>
<pre><code translate="no">transform_ops = transforms.Compose([
                transforms.Resize(<span class="hljs-number">256</span>),
                transforms.CenterCrop(<span class="hljs-number">224</span>),
                transforms.ToTensor(),
                transforms.Normalize(mean=[<span class="hljs-number">0.485</span>, <span class="hljs-number">0.456</span>, <span class="hljs-number">0.406</span>], std=[<span class="hljs-number">0.229</span>, <span class="hljs-number">0.224</span>, <span class="hljs-number">0.225</span>])])

embeddings = [transform_ops(Image.<span class="hljs-built_in">open</span>(x)) <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> search_images]
embeddings = torch.stack(embeddings, dim=<span class="hljs-number">0</span>)

<span class="hljs-keyword">with</span> torch.no_grad():
    embeddings = encoder(embeddings).squeeze().numpy()
<button class="copy-code-btn"></button></code></pre>
<p>그런 다음 결과 벡터 임베딩을 사용하여 검색을 수행합니다. 먼저 검색할 컬렉션의 이름, nprobe(검색할 클러스터의 수), top_k(반환된 벡터의 수) 등 검색 파라미터를 설정합니다. 이 예에서는 검색이 매우 빨라야 합니다.</p>
<pre><code translate="no">search_params = {<span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&quot;L2&quot;</span>, <span class="hljs-string">&quot;params&quot;</span>: {<span class="hljs-string">&quot;nprobe&quot;</span>: 32}}
start = time.time()
results = collection.search(embeddings, <span class="hljs-string">&quot;vector&quot;</span>, param=search_params, <span class="hljs-built_in">limit</span>=3, <span class="hljs-built_in">expr</span>=None)
end = time.time() - start
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-10-Image-search-results" class="common-anchor-header">10단계: 이미지 검색 결과</h4><p>쿼리에서 반환된 벡터 ID는 해당 이미지를 찾는 데 사용됩니다. 그런 다음 이미지 검색 결과를 표시하는 데 Matplotlib를 사용합니다.<br/></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/pic1_c8652c7fae.png" alt="pic1.png" class="doc-image" id="pic1.png" />
   </span> <span class="img-wrapper"> <span>pic1.png</span> </span> <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/pic2_355b054161.png" alt="pic2.png" class="doc-image" id="pic2.png" /><span>pic2.png</span> </span> <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/pic3_01780c6aac.png" alt="pic3.png" class="doc-image" id="pic3.png" /><span>pic3.png</span> </span></p>
<p><br/></p>
<h3 id="Learn-how-to-deploy-Milvus-in-different-enviroments" class="common-anchor-header">다양한 환경에서 Milvus를 배포하는 방법 알아보기</h3><p>새로운 부트캠프의 <a href="https://github.com/milvus-io/bootcamp/tree/master/deployments">배포 섹션에는</a> 다양한 환경과 설정에서 Milvus를 사용하기 위한 모든 정보가 포함되어 있습니다. 여기에는 미샤드 배포, Milvus와 함께 Kubernetes 사용, 로드 밸런싱 등이 포함됩니다. 각 환경에는 Milvus를 작동시키는 방법을 설명하는 자세한 단계별 가이드가 있습니다.</p>
<p><br/></p>
<h3 id="Dont-be-a-stranger" class="common-anchor-header">낯선 사람이 되지 마세요.</h3><ul>
<li><a href="https://zilliz.com/blog">블로그를</a> 읽어보세요.</li>
<li><a href="https://join.slack.com/t/milvusio/shared_invite/zt-e0u4qu3k-bI2GDNys3ZqX1YCJ9OM~GQ">Slack의</a> 오픈 소스 커뮤니티와 소통하세요.</li>
<li><a href="https://github.com/milvus-io/milvus">Github에서</a> 세계에서 가장 인기 있는 벡터 데이터베이스인 Milvus를 사용하거나 기여하세요.</li>
</ul>


Milvus 2.0 부트캠프로 벡터 검색 솔루션을 빠르게 테스트하고 배포하세요.

<custom-h1>Milvus로 옷장 및 의상 계획 앱 만들기</custom-h1><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/stylepedia_1_5f239a8d48.png" alt="stylepedia-1.png" class="doc-image" id="stylepedia-1.png" />
   </span> <span class="img-wrapper"> <span>stylepedia-1.png</span> </span></p>
<p>2003년에 설립된 <a href="http://www.mozat.com/home">Mozat는</a> 싱가포르에 본사를 두고 중국과 사우디아라비아에 지사를 둔 스타트업입니다. 이 회사는 소셜 미디어, 커뮤니케이션 및 라이프스타일 애플리케이션 구축을 전문으로 합니다. <a href="https://stylepedia.com/">스타일피디아는</a> 사용자가 새로운 스타일을 발견하고 패션에 열정적인 다른 사람들과 소통할 수 있도록 도와주는 모잣의 옷장 앱입니다. 주요 기능으로는 디지털 옷장 큐레이션 기능, 개인화된 스타일 추천, 소셜 미디어 기능, 온라인이나 실생활에서 본 것과 비슷한 아이템을 찾을 수 있는 이미지 검색 도구 등이 있습니다.</p>
<p><a href="https://milvus.io">Milvus는</a> Stylepedia의 이미지 검색 시스템을 구동하는 데 사용됩니다. 이 앱은 사용자 이미지, 제품 이미지, 패션 사진의 세 가지 이미지 유형을 다룹니다. 각 이미지에는 하나 이상의 항목이 포함될 수 있으므로 각 쿼리가 더욱 복잡해집니다. 이미지 검색 시스템이 유용하려면 정확하고 빠르며 안정적이어야 하며, 의상 제안 및 패션 콘텐츠 추천과 같은 새로운 기능을 앱에 추가할 수 있는 탄탄한 기술적 토대를 마련해야 합니다.</p>
<h2 id="System-overview" class="common-anchor-header">시스템 개요<button data-href="#System-overview" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/stylepedia_system_process_8e7e2ab3e4.png" alt="stylepedia-system-process.png" class="doc-image" id="stylepedia-system-process.png" />
   </span> <span class="img-wrapper"> <span>스타일피디아 시스템 프로세스.png</span> </span></p>
<p>이미지 검색 시스템은 오프라인과 온라인 구성 요소로 나뉩니다.</p>
<p>오프라인에서는 이미지가 벡터화되어 벡터 데이터베이스(Milvus)에 삽입됩니다. 데이터 워크플로에서 관련 제품 이미지와 패션 사진은 객체 감지 및 특징 추출 모델을 사용하여 512차원 특징 벡터로 변환됩니다. 그런 다음 벡터 데이터는 색인화되어 벡터 데이터베이스에 추가됩니다.</p>
<p>온라인에서는 이미지 데이터베이스가 쿼리되고 유사한 이미지가 사용자에게 반환됩니다. 오프라인 구성 요소와 마찬가지로 쿼리 이미지도 객체 감지 및 특징 추출 모델에 의해 처리되어 특징 벡터를 얻습니다. 이 특징 벡터를 사용해 Milvus는 TopK 유사 벡터를 검색하고 해당 이미지 ID를 얻습니다. 마지막으로 후처리(필터링, 정렬 등)를 거쳐 쿼리 이미지와 유사한 이미지 모음을 반환합니다.</p>
<h2 id="Implementation" class="common-anchor-header">구현<button data-href="#Implementation" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>구현은 네 가지 모듈로 나뉩니다:</p>
<ol>
<li>의류 감지</li>
<li>특징 추출</li>
<li>벡터 유사성 검색</li>
<li>후처리</li>
</ol>
<h3 id="Garment-detection" class="common-anchor-header">의류 감지</h3><p>의류 감지 모듈에서는 작은 크기와 실시간 추론이 가능한 1단계 앵커 기반 대상 감지 프레임워크인 <a href="https://pytorch.org/hub/ultralytics_yolov5/">YOLOv5를</a> 객체 감지 모델로 사용합니다. 이 모듈은 네 가지 모델 크기(YOLOv5s/m/l/x)를 제공하며, 각 모델 크기에는 장단점이 있습니다. 모델이 클수록 성능이 더 우수하지만(정밀도가 더 높음) 컴퓨팅 성능이 훨씬 더 많이 필요하고 실행 속도가 느려집니다. 이 경우 물체는 비교적 큰 품목이고 감지하기 쉽기 때문에 가장 작은 모델인 YOLOv5s로 충분합니다.</p>
<p>각 이미지에서 의류 품목을 인식하고 잘라내어 후속 처리에서 사용되는 특징 추출 모델 입력으로 사용합니다. 동시에 객체 감지 모델은 미리 정의된 클래스(상의, 아우터, 바지, 스커트, 원피스, 바지)에 따라 의복 분류도 예측합니다.</p>
<h3 id="Feature-extraction" class="common-anchor-header">특징 추출</h3><p>유사도 검색의 핵심은 특징 추출 모델입니다. 잘린 옷 이미지는 기계 판독이 가능한 숫자 데이터 형식으로 속성을 나타내는 512차원 부동 소수점 벡터로 임베드됩니다. <a href="https://github.com/Joon-Park92/Survey_of_Deep_Metric_Learning">딥 메트릭 학습(DML)</a> 방법론은 <a href="https://arxiv.org/abs/1905.11946">EfficientNet을</a> 백본 모델로 채택했습니다.</p>
<p>메트릭 학습은 CNN 기반의 비선형 특징 추출 모듈(또는 인코더)을 훈련시켜 같은 종류의 샘플에 해당하는 특징 벡터 간의 거리를 줄이고, 다른 종류의 샘플에 해당하는 특징 벡터 간의 거리를 늘리는 것을 목표로 합니다. 이 시나리오에서 같은 종류의 샘플은 같은 옷을 의미합니다.</p>
<p>EfficientNet은 네트워크 폭, 깊이, 해상도를 균일하게 확장할 때 속도와 정밀도를 모두 고려합니다. 특징 추출 네트워크로는 EfficientNet-B4가 사용되며, 최종적으로 완전히 연결된 계층의 출력은 벡터 유사도 검색을 수행하는 데 필요한 이미지 특징입니다.</p>
<h3 id="Vector-similarity-search" class="common-anchor-header">벡터 유사도 검색</h3><p>Milvus는 오픈 소스 벡터 데이터베이스로, 1조 바이트 규모의 데이터 세트에 대한 실시간에 가까운 검색뿐만 아니라 생성, 읽기, 업데이트, 삭제(CRUD) 작업을 지원합니다. 탄력적이고 안정적이며 신뢰할 수 있고 속도가 매우 빠르기 때문에 대규모 벡터 유사도 검색에 사용됩니다. Milvus는 널리 사용되는 벡터 인덱스 라이브러리(Faiss, NMSLIB, Annoy 등)의 기능을 확장하고, 사용자가 주어진 시나리오에 이상적인 인덱스 유형을 선택할 수 있는 간단하고 직관적인 API 세트를 제공합니다.</p>
<p>시나리오 요구 사항과 데이터 규모를 고려할 때, 스타일피디아의 개발자들은 HNSW 인덱스와 짝을 이루는 Milvus의 CPU 전용 배포를 사용했습니다. 제품용 컬렉션과 패션 사진용 컬렉션으로 구성된 두 개의 인덱싱된 컬렉션은 서로 다른 애플리케이션 기능을 지원하도록 구축되었습니다. 각 컬렉션은 검색 범위를 좁히기 위해 감지 및 분류 결과에 따라 6개의 파티션으로 더 나뉩니다. Milvus는 수천만 개의 벡터를 밀리초 단위로 검색하여 최적의 성능을 제공하면서도 개발 비용을 낮추고 리소스 소비를 최소화합니다.</p>
<h3 id="Post-processing" class="common-anchor-header">후처리</h3><p>이미지 검색 결과와 쿼리 이미지 간의 유사도를 높이기 위해 컬러 필터링과 키 레이블(소매 길이, 옷 길이, 칼라 스타일 등) 필터링을 사용하여 부적합한 이미지를 걸러냅니다. 또한 이미지 품질 평가 알고리즘을 사용하여 더 높은 품질의 이미지가 사용자에게 먼저 표시되도록 합니다.</p>
<h2 id="Application" class="common-anchor-header">애플리케이션<button data-href="#Application" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="User-uploads-and-image-search" class="common-anchor-header">사용자 업로드 및 이미지 검색</h3><p>사용자는 자신의 옷 사진을 찍어 Stylepedia 디지털 옷장에 업로드한 다음 업로드한 옷과 가장 유사한 제품 이미지를 검색할 수 있습니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/stylepedia_search_results_0568e20dc0.png" alt="stylepedia-search-results.png" class="doc-image" id="stylepedia-search-results.png" />
   </span> <span class="img-wrapper"> <span>스타일피디아 검색 결과.png</span> </span></p>
<h3 id="Outfit-suggestions" class="common-anchor-header">의상 제안</h3><p>스타일피디아 데이터베이스에서 유사성 검색을 수행하면 특정 패션 아이템이 포함된 패션 사진을 찾을 수 있습니다. 이는 누군가가 구매를 고려 중인 새 옷일 수도 있고, 자신의 컬렉션에서 다르게 입거나 매치할 수 있는 옷일 수도 있습니다. 그런 다음 자주 짝을 이루는 아이템을 클러스터링하여 의상 제안을 생성합니다. 예를 들어 검은색 바이커 재킷은 검은색 스키니 진과 같은 다양한 아이템과 어울릴 수 있습니다. 그런 다음 사용자는 선택한 공식에서 이 매치가 발생하는 관련 패션 사진을 찾아볼 수 있습니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/stylepedia_jacket_outfit_e84914da9e.png" alt="stylepedia-jacket-outfit.png" class="doc-image" id="stylepedia-jacket-outfit.png" />
   </span> <span class="img-wrapper"> <span>스타일피디아-자켓-아웃핏.png</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/stylepedia_jacket_snapshot_25f53cc09b.png" alt="stylepedia-jacket-snapshot.png" class="doc-image" id="stylepedia-jacket-snapshot.png" />
   </span> <span class="img-wrapper"> <span>스타일피디아-자켓-스냅샷.png</span> </span></p>
<h3 id="Fashion-photograph-recommendations" class="common-anchor-header">패션 사진 추천</h3><p>사용자의 검색 기록, 좋아요, 디지털 옷장의 콘텐츠를 기반으로 유사성을 계산하여 사용자가 관심을 가질 만한 맞춤형 패션 사진 추천을 제공합니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/stylepedia_user_wardrobe_6770c856b9.png" alt="stylepedia-user-wardrobe.png" class="doc-image" id="stylepedia-user-wardrobe.png" />
   </span> <span class="img-wrapper"> <span>stylepedia-user-wardrobe.png</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/stylepedia_streetsnap_rec_901601a34d.png" alt="stylepedia-streetsnap-rec.png" class="doc-image" id="stylepedia-streetsnap-rec.png" />
   </span> <span class="img-wrapper"> <span>stylepedia-streetsnap-rec.png</span> </span></p>
<p>Mozat는 딥 러닝과 컴퓨터 비전 방법론을 결합하여 빠르고 안정적이며 정확한 이미지 유사도 검색 시스템을 구축할 수 있었으며, Milvus를 사용하여 스타일피디아 앱의 다양한 기능을 구동할 수 있었습니다.</p>
<h2 id="Dont-be-a-stranger" class="common-anchor-header">낯선 사람이 되지 마세요<button data-href="#Dont-be-a-stranger" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><a href="https://github.com/milvus-io/milvus/">GitHub에서</a> Milvus를 찾거나 기여하세요.</li>
<li><a href="https://join.slack.com/t/milvusio/shared_invite/zt-e0u4qu3k-bI2GDNys3ZqX1YCJ9OM~GQ">Slack을</a> 통해 커뮤니티와 소통하세요.</li>
<li><a href="https://twitter.com/milvusio">트위터에서</a> 소통하세요.</li>
</ul>


시스템 개요

<custom-h1>JuiceFS를 기반으로 Milvus 클러스터 구축하기</custom-h1><p>오픈소스 커뮤니티 간의 협업은 마법 같은 일입니다. 열정적이고 지적이며 창의적인 자원 봉사자들은 오픈소스 솔루션을 혁신적으로 유지할 뿐만 아니라, 서로 다른 도구를 흥미롭고 유용한 방식으로 결합하기 위해 노력합니다. 세계에서 가장 인기 있는 벡터 데이터베이스인 <a href="https://milvus.io/">Milvus와</a> 클라우드 네이티브 환경을 위해 설계된 공유 파일 시스템인 <a href="https://github.com/juicedata/juicefs">JuiceFS는</a> 각 오픈소스 커뮤니티에서 이러한 정신으로 뭉쳤습니다. 이 문서에서는 JuiceFS가 무엇인지, JuiceFS 공유 파일 스토리지를 기반으로 Milvus 클러스터를 구축하는 방법과 이 솔루션을 사용하여 사용자가 기대할 수 있는 성능에 대해 설명합니다.</p>
<h2 id="What-is-JuiceFS" class="common-anchor-header"><strong>JuiceFS란 무엇인가요?</strong><button data-href="#What-is-JuiceFS" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>JuiceFS는 Redis와 S3 위에 구축할 수 있는 고성능 오픈 소스 분산형 POSIX 파일 시스템입니다. 클라우드 네이티브 환경을 위해 설계되었으며 모든 유형의 데이터 관리, 분석, 아카이빙, 백업을 지원합니다. JuiceFS는 일반적으로 빅데이터 문제 해결, 인공 지능(AI) 애플리케이션 구축, 로그 수집에 사용됩니다. 또한 여러 클라이언트 간의 데이터 공유를 지원하며 Milvus에서 공유 스토리지로 바로 사용할 수 있습니다.</p>
<p>데이터와 해당 메타데이터가 각각 오브젝트 스토리지와 <a href="https://redis.io/">Redis에</a> 퍼시스턴트된 후, JuiceFS는 상태 비저장 미들웨어 역할을 합니다. 데이터 공유는 표준 파일 시스템 인터페이스를 통해 서로 다른 애플리케이션이 서로 원활하게 도킹할 수 있도록 함으로써 실현됩니다. JuiceFS는 메타데이터 저장을 위해 오픈 소스 인메모리 데이터 저장소인 Redis를 사용합니다. Redis는 원자성을 보장하고 고성능 메타데이터 작업을 제공하기 때문에 사용됩니다. 모든 데이터는 JuiceFS 클라이언트를 통해 객체 스토리지에 저장됩니다. 아키텍처 다이어그램은 다음과 같습니다:</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/juicefs_architecture_2023b37a4e.png" alt="juicefs-architecture.png" class="doc-image" id="juicefs-architecture.png" />
   </span> <span class="img-wrapper"> <span>juicefs-architecture.png</span> </span></p>
<h2 id="Build-a-Milvus-cluster-based-on-JuiceFS" class="common-anchor-header"><strong>JuiceFS를 기반으로 Milvus 클러스터 구축하기</strong><button data-href="#Build-a-Milvus-cluster-based-on-JuiceFS" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>JuiceFS로 구축된 Milvus 클러스터(아래 아키텍처 다이어그램 참조)는 클러스터 샤딩 미들웨어인 Mishards를 사용하여 업스트림 요청을 분할하여 하위 모듈로 요청을 캐스케이드하는 방식으로 작동합니다. 데이터를 삽입할 때, Mishards는 업스트림 요청을 Milvus 쓰기 노드에 할당하고, 이 노드는 새로 삽입된 데이터를 JuiceFS에 저장합니다. 데이터를 읽을 때, Mishards는 Milvus 읽기 노드를 통해 JuiceFS의 데이터를 메모리로 로드하여 처리한 다음 하위 서비스에서 결과를 수집하여 업스트림으로 반환합니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/milvus_cluster_built_with_juicefs_3a43cd262c.png" alt="milvus-cluster-built-with-juicefs.png" class="doc-image" id="milvus-cluster-built-with-juicefs.png" />
   </span> <span class="img-wrapper"> <span>밀버스-클러스터-구축-주스FS.png</span> </span></p>
<h3 id="Step-1-Launch-MySQL-service" class="common-anchor-header"><strong>1단계: MySQL 서비스 시작</strong></h3><p>클러스터의 <strong>아무</strong> 노드에서나 MySQL 서비스를 시작합니다. 자세한 내용은 <a href="https://milvus.io/docs/v1.1.0/data_manage.md">MySQL로 메타데이터 관리하기를</a> 참조하세요.</p>
<h3 id="Step-2-Create-a-JuiceFS-file-system" class="common-anchor-header"><strong>2단계: JuiceFS 파일 시스템 만들기</strong></h3><p>데모 목적으로 미리 컴파일된 바이너리 JuiceFS 프로그램이 사용됩니다. 시스템에 맞는 <a href="https://github.com/juicedata/juicefs/releases">설치 패키지를</a> 다운로드하고 자세한 설치 지침은 JuiceFS <a href="https://github.com/juicedata/juicefs-quickstart">빠른 시작 가이드를</a> 참조하세요. JuiceFS 파일 시스템을 만들려면 먼저 메타데이터 저장용 Redis 데이터베이스를 설정합니다. 퍼블릭 클라우드 배포의 경우 애플리케이션과 동일한 클라우드에서 Redis 서비스를 호스팅하는 것이 좋습니다. 또한, JuiceFS용 오브젝트 스토리지를 설정합니다. 이 예에서는 Azure Blob Storage가 사용되었지만, JuiceFS는 거의 모든 개체 서비스를 지원합니다. 시나리오의 요구 사항에 가장 적합한 오브젝트 스토리지 서비스를 선택하세요.</p>
<p>Redis 서비스 및 오브젝트 스토리지를 구성한 후, 새 파일 시스템을 포맷하고 로컬 디렉터리에 JuiceFS를 마운트합니다:</p>
<pre><code translate="no">1 $  <span class="hljs-built_in">export</span> AZURE_STORAGE_CONNECTION_STRING=<span class="hljs-string">&quot;DefaultEndpointsProtocol=https;AccountName=XXX;AccountKey=XXX;EndpointSuffix=core.windows.net&quot;</span>
2 $ ./juicefs format \
3     --storage wasb \
4     --bucket https://&lt;container&gt; \
5     ... \
6     localhost <span class="hljs-built_in">test</span> <span class="hljs-comment">#format</span>
7 $ ./juicefs mount -d localhost ~/jfs  <span class="hljs-comment">#mount</span>
8
<button class="copy-code-btn"></button></code></pre>
<blockquote>
<p>Redis 서버가 로컬에서 실행되고 있지 않은 경우, localhost를 다음 주소로 바꿉니다: <code translate="no">redis://&lt;user:password&gt;@host:6379/1</code>.</p>
</blockquote>
<p>설치가 성공하면 JuiceFS는 공유 스토리지 페이지 <strong>/root/jfs를</strong> 반환합니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/installation_success_9d05279ecd.png" alt="installation-success.png" class="doc-image" id="installation-success.png" />
   </span> <span class="img-wrapper"> <span>설치 성공.png</span> </span></p>
<h3 id="Step-3-Start-Milvus" class="common-anchor-header"><strong>3단계: Milvus 시작</strong></h3><p>클러스터의 모든 노드에 Milvus가 설치되어 있어야 하며, 각 Milvus 노드는 읽기 또는 쓰기 권한으로 구성되어야 합니다. Milvus 노드는 하나만 쓰기 노드로 구성할 수 있으며, 나머지는 읽기 노드로 설정해야 합니다. 먼저 Milvus 시스템 구성 파일 <strong>server_config.yaml에서</strong> <code translate="no">cluster</code> 및 <code translate="no">general</code> 섹션의 파라미터를 설정합니다:</p>
<p><strong>섹션</strong> <code translate="no">cluster</code></p>
<table>
<thead>
<tr><th style="text-align:left"><strong>파라미터</strong></th><th style="text-align:left"><strong>설명</strong></th><th style="text-align:left"><strong>설정</strong></th></tr>
</thead>
<tbody>
<tr><td style="text-align:left"><code translate="no">enable</code></td><td style="text-align:left">클러스터 모드 활성화 여부</td><td style="text-align:left"><code translate="no">true</code></td></tr>
<tr><td style="text-align:left"><code translate="no">role</code></td><td style="text-align:left">Milvus 배포 역할</td><td style="text-align:left"><code translate="no">rw</code>/<code translate="no">ro</code></td></tr>
</tbody>
</table>
<p><strong>섹션</strong> <code translate="no">general</code></p>
<pre><code translate="no"><span class="hljs-comment"># meta_uri is the URI for metadata storage, using MySQL (for Milvus Cluster). Format: mysql://&lt;username:password&gt;@host:port/database</span>
general:
  timezone: UTC+8
  meta_uri: mysql://root:milvusroot@host:3306/milvus
<button class="copy-code-btn"></button></code></pre>
<p>설치 과정에서 구성된 JuiceFS 공유 스토리지 경로는 <strong>/root/jfs/milvus/db로</strong> 설정됩니다.</p>
<pre><code translate="no">1 <span class="hljs-built_in">sudo</span> docker run -d --name milvus_gpu_1.0.0 --gpus all \
2 -p 19530:19530 \
3 -p 19121:19121 \
4 -v /root/jfs/milvus/db:/var/lib/milvus/db \  <span class="hljs-comment">#/root/jfs/milvus/db is the shared storage path</span>
5 -v /home/<span class="hljs-variable">$USER</span>/milvus/conf:/var/lib/milvus/conf \
6 -v /home/<span class="hljs-variable">$USER</span>/milvus/logs:/var/lib/milvus/logs \
7 -v /home/<span class="hljs-variable">$USER</span>/milvus/wal:/var/lib/milvus/wal \
8 milvusdb/milvus:1.0.0-gpu-d030521-1ea92e
9
<button class="copy-code-btn"></button></code></pre>
<p>설치가 완료되면 Milvus를 시작하고 제대로 실행되는지 확인합니다. 마지막으로 클러스터의 <strong>모든</strong> 노드에서 Mishards 서비스를 시작합니다. 아래 이미지는 Mishards가 성공적으로 실행된 모습입니다. 자세한 내용은 GitHub <a href="https://github.com/milvus-io/bootcamp/tree/new-bootcamp/deployments/juicefs">튜토리얼을</a> 참조하세요.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/mishards_launch_success_921695d3a8.png" alt="mishards-launch-success.png" class="doc-image" id="mishards-launch-success.png" />
   </span> <span class="img-wrapper"> <span>mishards-launch-success.png</span> </span></p>
<h2 id="Performance-benchmarks" class="common-anchor-header"><strong>성능 벤치마크</strong><button data-href="#Performance-benchmarks" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>공유 스토리지 솔루션은 일반적으로 NAS(네트워크 연결 스토리지) 시스템으로 구현됩니다. 일반적으로 사용되는 NAS 시스템 유형에는 NFS(네트워크 파일 시스템) 및 SMB(서버 메시지 블록)가 있습니다. 퍼블릭 클라우드 플랫폼은 일반적으로 이러한 프로토콜과 호환되는 관리형 스토리지 서비스(예: Amazon EFS(Elastic File System))를 제공합니다.</p>
<p>기존 NAS 시스템과 달리, JuiceFS는 모든 데이터 읽기 및 쓰기가 애플리케이션 측에서 직접 이루어지는 FUSE(Filesystem in Userspace)를 기반으로 구현되어 액세스 대기 시간을 더욱 단축합니다. 또한 데이터 압축 및 캐싱과 같이 다른 NAS 시스템에서는 찾아볼 수 없는 JuiceFS만의 고유한 기능도 있습니다.</p>
<p>벤치마크 테스트 결과, JuiceFS는 EFS에 비해 큰 장점이 있는 것으로 나타났습니다. 메타데이터 벤치마크(그림 1)에서 JuiceFS는 초당 입출력 작업 수(IOPS)가 EFS보다 최대 10배 더 높은 것으로 나타났습니다. 또한, I/O 처리량 벤치마크(그림 2)에서는 단일 작업 및 다중 작업 시나리오 모두에서 JuiceFS가 EFS보다 우수한 성능을 보여줍니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/performance_benchmark_1_b7fcbb4439.png" alt="performance-benchmark-1.png" class="doc-image" id="performance-benchmark-1.png" />
   </span> <span class="img-wrapper"> <span>performance-benchmark-1.png</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/performance_benchmark_2_e311098123.png" alt="performance-benchmark-2.png" class="doc-image" id="performance-benchmark-2.png" />
   </span> <span class="img-wrapper"> <span>성능-벤치마크-2.png</span> </span></p>
<p>또한 벤치마크 테스트에 따르면 첫 번째 쿼리 검색 시간, 즉 새로 삽입된 데이터를 디스크에서 메모리로 로드하는 데 걸리는 시간은 JuiceFS 기반 Milvus 클러스터의 경우 평균 0.032초에 불과하여 데이터가 디스크에서 메모리로 거의 즉각적으로 로드되는 것으로 나타났습니다. 이 테스트에서는 1~8초 간격으로 100k씩 일괄 삽입된 128차원 벡터 데이터 100만 행을 사용해 첫 번째 쿼리 검색 시간을 측정했습니다.</p>
<p>JuiceFS는 안정적이고 신뢰할 수 있는 공유 파일 스토리지 시스템으로, JuiceFS를 기반으로 구축된 Milvus 클러스터는 고성능과 유연한 저장 용량을 모두 제공합니다.</p>
<h2 id="Learn-more-about-Milvus" class="common-anchor-header"><strong>Milvus에 대해 자세히 알아보기</strong><button data-href="#Learn-more-about-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus는 방대한 인공 지능 및 벡터 유사도 검색 애플리케이션을 구동할 수 있는 강력한 도구입니다. 이 프로젝트에 대해 자세히 알아보려면 다음 리소스를 확인하세요:</p>
<ul>
<li><a href="https://zilliz.com/blog">블로그</a> 읽기.</li>
<li><a href="https://join.slack.com/t/milvusio/shared_invite/zt-e0u4qu3k-bI2GDNys3ZqX1YCJ9OM~GQ">Slack의</a> 오픈 소스 커뮤니티와 교류하세요.</li>
<li><a href="https://github.com/milvus-io/milvus/">GitHub에서</a> 세계에서 가장 인기 있는 벡터 데이터베이스를 사용하거나 기여하세요.</li>
<li>새로운 <a href="https://github.com/milvus-io/bootcamp">부트캠프를</a> 통해 AI 애플리케이션을 빠르게 테스트하고 배포하세요.</li>
</ul>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/writer_bio_changjian_gao_68018f7716.png" alt="writer bio-changjian gao.png" class="doc-image" id="writer-bio-changjian-gao.png" />
   </span> <span class="img-wrapper"> <span>작가 바이오-창지안 가오.png</span> </span> <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/writer_bio_jingjing_jia_a85d1c2e3b.png" alt="writer bio-jingjing jia.png" class="doc-image" id="writer-bio-jingjing-jia.png" /><span>작가 바이오-징징 지아.png</span> </span></p>


JuiceFS란 무엇인가요?

<custom-h1>소후 뉴스 앱에 지능형 뉴스 추천 시스템 구축하기</custom-h1><p><a href="https://www.socialmediatoday.com/news/new-research-shows-that-71-of-americans-now-get-news-content-via-social-pl/593255/">미국인의 71%가</a> 소셜 플랫폼에서 뉴스를 추천받는 만큼, 개인화된 콘텐츠는 새로운 미디어를 발견하는 방식으로 빠르게 자리 잡았습니다. 특정 주제를 검색하든 추천 콘텐츠와 상호 작용하든, 사용자가 보는 모든 콘텐츠는 알고리즘에 의해 최적화되어 클릭률(CTR), 참여도, 관련성을 향상시킵니다. 소후는 나스닥에 상장된 중국의 온라인 미디어, 비디오, 검색 및 게임 그룹입니다. 이 회사는 <a href="https://zilliz.com/">Zilliz가</a> 구축한 오픈 소스 벡터 데이터베이스인 <a href="https://milvus.io/">Milvus를</a> 활용하여 뉴스 앱 내에 시맨틱 벡터 검색 엔진을 구축했습니다. 이 문서에서는 이 회사가 사용자 프로필을 사용하여 시간이 지남에 따라 개인화된 콘텐츠 추천을 미세 조정하여 사용자 경험과 참여도를 개선한 방법을 설명합니다.</p>
<h2 id="Recommending-content-using-semantic-vector-search" class="common-anchor-header">시맨틱 벡터 검색을 사용한 콘텐츠 추천<button data-href="#Recommending-content-using-semantic-vector-search" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Sohu 뉴스 사용자 프로필은 검색 기록을 기반으로 구축되며 사용자가 뉴스 콘텐츠를 검색하고 상호 작용함에 따라 조정됩니다. Sohu의 추천 시스템은 시맨틱 벡터 검색을 사용하여 관련성 높은 뉴스 기사를 찾아냅니다. 이 시스템은 검색 기록을 기반으로 각 사용자가 관심을 가질 것으로 예상되는 태그 세트를 식별하는 방식으로 작동합니다. 그런 다음 관련 기사를 빠르게 검색하고 인기도(평균 CTR로 측정)에 따라 결과를 정렬한 후 사용자에게 제공합니다.</p>
<p>뉴욕 타임즈만 해도 하루에 <a href="https://www.theatlantic.com/technology/archive/2016/05/how-many-stories-do-newspapers-publish-per-day/483845/">230개의 콘텐츠를</a> 게시하는데, 이는 효과적인 추천 시스템이 처리할 수 있어야 하는 새로운 콘텐츠의 양을 짐작할 수 있게 해줍니다. 대량의 뉴스를 수집하려면 밀리초 단위의 유사성 검색과 새로운 콘텐츠에 대한 시간별 태그 매칭이 필요합니다. 소후는 대규모 데이터 세트를 효율적이고 정확하게 처리하고, 검색 중 메모리 사용량을 줄이며, 고성능 배포를 지원하는 Milvus를 선택했습니다.</p>
<h2 id="Understanding-a-news-recommendation-system-workflow" class="common-anchor-header">뉴스 추천 시스템 워크플로 이해하기<button data-href="#Understanding-a-news-recommendation-system-workflow" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Sohu의 시맨틱 벡터 검색 기반 콘텐츠 추천은 두 개의 신경망을 사용하여 사용자 검색어와 뉴스 기사를 벡터로 표현하는 심층 구조적 시맨틱 모델(DSSM)에 의존합니다. 이 모델은 두 시맨틱 벡터의 코사인 유사도를 계산한 다음 가장 유사한 뉴스 배치를 추천 후보 풀로 보냅니다. 그런 다음 예상 클릭률(CTR)을 기준으로 뉴스 기사의 순위가 매겨지고, 예상 클릭률이 가장 높은 뉴스 기사가 사용자에게 표시됩니다.</p>
<h3 id="Encoding-news-articles-into-semantic-vectors-with-BERT-as-service" class="common-anchor-header">BERT-as-a-service로 뉴스 기사를 시맨틱 벡터로 인코딩하기</h3><p>뉴스 기사를 시맨틱 벡터로 인코딩하기 위해 시스템은 <a href="https://github.com/hanxiao/bert-as-service.git">BERT-as-a-service</a> 도구를 사용합니다. 이 모델을 사용하는 동안 콘텐츠의 단어 수가 512개를 초과하면 임베딩 과정에서 정보 손실이 발생합니다. 이를 극복하기 위해 시스템은 먼저 요약을 추출하고 이를 768차원 시맨틱 벡터로 인코딩합니다. 그런 다음 각 뉴스 기사에서 가장 관련성이 높은 두 개의 토픽을 추출하고, 토픽 ID를 기반으로 사전 학습된 해당 토픽 벡터(200차원)를 식별합니다. 다음으로 토픽 벡터를 기사 요약에서 추출한 768차원 시맨틱 벡터에 연결하여 968차원의 시맨틱 벡터를 형성합니다.</p>
<p>새로운 콘텐츠는 Kafta를 통해 지속적으로 유입되며, 밀버스 데이터베이스에 삽입되기 전에 시맨틱 벡터로 변환됩니다.</p>
<h3 id="Extracting-semantically-similar-tags-from-user-profiles-with-BERT-as-service" class="common-anchor-header">서비스형 BERT로 사용자 프로필에서 의미적으로 유사한 태그 추출하기</h3><p>모델의 또 다른 신경망은 사용자 시맨틱 벡터입니다. 관심사, 검색어, 검색 기록을 기반으로 사용자 프로필에서 의미적으로 유사한 태그(예: 코로나 바이러스, 코로나, COVID-19, 팬데믹, 신종 코로나, 폐렴)를 추출합니다. 획득한 태그 목록은 가중치에 따라 정렬되며, 상위 200개는 서로 다른 의미론적 그룹으로 나뉩니다. 각 의미 그룹 내의 태그 순열은 새로운 태그 구문을 생성하는 데 사용되며, 이 태그 구문은 BERT-as-a-service를 통해 의미 벡터로 인코딩됩니다.</p>
<p>각 사용자 프로필에 대해 태그 구문 세트에는 사용자의 관심 수준을 나타내는 가중치로 표시된 <a href="https://github.com/baidu/Familia">해당 주제 세트가</a> 있습니다. 모든 관련 토픽 중 상위 2개의 토픽이 머신 러닝(ML) 모델에 의해 선택되고 인코딩되어 해당 태그 시맨틱 벡터에 접합되어 968차원의 사용자 시맨틱 벡터를 형성합니다. 시스템이 여러 사용자에 대해 동일한 태그를 생성하더라도 태그와 해당 토픽에 대한 가중치가 다르고 각 사용자의 토픽 벡터 간에 명시적인 차이가 있어 고유한 추천을 보장합니다.</p>
<p>시스템은 사용자 프로필과 뉴스 기사에서 추출한 시맨틱 벡터의 코사인 유사도를 계산하여 개인화된 뉴스 추천을 할 수 있습니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Sohu01_1e466fe0c3.jpg" alt="Sohu01.jpg" class="doc-image" id="sohu01.jpg" />
   </span> <span class="img-wrapper"> <span>Sohu01.jpg</span> </span></p>
<h3 id="Computing-new-semantic-user-profile-vectors-and-inserting-them-to-Milvus" class="common-anchor-header">새로운 시맨틱 사용자 프로필 벡터를 계산하여 Milvus에 삽입하기</h3><p>시맨틱 사용자 프로필 벡터는 매일 계산되며, 이전 24시간 동안의 데이터는 다음 날 저녁에 처리됩니다. 벡터는 Milvus에 개별적으로 삽입되고 쿼리 프로세스를 통해 사용자에게 관련성 있는 뉴스 결과를 제공하기 위해 실행됩니다. 뉴스 콘텐츠는 본질적으로 화제성이 높기 때문에 매시간 계산을 실행하여 예상 클릭률이 높고 사용자에게 관련성이 있는 콘텐츠를 포함하는 최신 뉴스 피드를 생성해야 합니다. 또한 뉴스 콘텐츠는 날짜별로 파티션으로 분류되며, 오래된 뉴스는 매일 제거됩니다.</p>
<h3 id="Decreasing-semantic-vector-extraction-time-from-days-to-hours" class="common-anchor-header">시맨틱 벡터 추출 시간을 며칠에서 몇 시간으로 단축</h3><p>시맨틱 벡터를 사용하여 콘텐츠를 검색하려면 매일 수천만 개의 태그 구문을 시맨틱 벡터로 변환해야 합니다. 이는 이러한 유형의 연산을 가속화하는 그래픽 처리 장치(GPU)에서 실행하더라도 완료하는 데 며칠이 걸릴 정도로 시간이 많이 걸리는 프로세스입니다. 이러한 기술적 문제를 극복하기 위해서는 유사한 태그 구문이 나타나면 해당 의미 벡터가 바로 검색되도록 이전 임베딩의 의미 벡터를 최적화해야 합니다.</p>
<p>기존 태그 구문 집합의 의미 벡터는 저장되며, 매일 생성되는 새로운 태그 구문 집합은 MinHash 벡터로 인코딩됩니다. <a href="https://milvus.io/docs/v1.1.1/metric.md">Jaccard 거리는</a> 새 태그 구문의 MinHash 벡터와 저장된 태그 구문 벡터 간의 유사성을 계산하는 데 사용됩니다. Jaccard 거리가 미리 정의된 임계값을 초과하면 두 세트가 유사한 것으로 간주됩니다. 유사성 임계값이 충족되면 새 문구는 이전 임베딩의 의미론적 정보를 활용할 수 있습니다. 테스트 결과, 0.8 이상의 거리는 대부분의 상황에서 충분한 정확도를 보장하는 것으로 나타났습니다.</p>
<p>이 프로세스를 통해 위에서 언급한 수천만 개의 벡터를 매일 변환하는 데 걸리는 시간이 며칠에서 약 2시간으로 단축됩니다. 특정 프로젝트 요구 사항에 따라 시맨틱 벡터를 저장하는 다른 방법이 더 적합할 수도 있지만, Milvus 데이터베이스에서 Jaccard 거리를 사용하여 두 태그 구문 간의 유사성을 계산하는 것은 다양한 시나리오에서 효율적이고 정확한 방법으로 남아 있습니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Sohu02_d50fccc538.jpg" alt="Sohu02.jpg" class="doc-image" id="sohu02.jpg" />
   </span> <span class="img-wrapper"> <span>Sohu02.jpg</span> </span></p>
<h2 id="Overcoming-bad-cases-of-short-text-classification" class="common-anchor-header">짧은 텍스트 분류의 '나쁜 경우' 극복하기<button data-href="#Overcoming-bad-cases-of-short-text-classification" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>뉴스 텍스트를 분류할 때, 짧은 뉴스 기사는 긴 기사에 비해 추출할 수 있는 특징이 적습니다. 이 때문에 다양한 길이의 콘텐츠가 동일한 분류기를 통해 실행될 때 분류 알고리즘이 실패합니다. Milvus는 유사한 의미와 신뢰할 수 있는 점수를 가진 여러 개의 긴 텍스트 분류 정보를 검색한 다음 투표 메커니즘을 사용해 짧은 텍스트 분류를 수정함으로써 이 문제를 해결하도록 도와줍니다.</p>
<h3 id="Identifying-and-resolving-misclassified-short-text" class="common-anchor-header">잘못 분류된 짧은 텍스트 식별 및 해결</h3><p>유용한 콘텐츠 추천을 제공하기 위해서는 각 뉴스 기사를 정확하게 분류하는 것이 중요합니다. 짧은 뉴스 기사는 특징이 적기 때문에 길이가 다른 뉴스에 동일한 분류기를 적용하면 짧은 텍스트 분류의 오류율이 높아집니다. 사람이 직접 라벨을 붙이는 것은 이 작업에 너무 느리고 부정확하기 때문에 BERT-as-a-service와 Milvus는 잘못 분류된 짧은 텍스트를 일괄적으로 빠르게 식별하고 올바르게 재분류한 다음 이 문제에 대한 훈련을 위한 코퍼스로 데이터 일괄을 사용하는 데 사용됩니다.</p>
<p>분류기 점수가 0.9 이상인 총 500만 개의 긴 뉴스 기사를 의미 벡터로 인코딩하는 데 BERT-as-a-service가 사용됩니다. 긴 텍스트 기사를 밀버스에 삽입한 후, 짧은 텍스트 뉴스를 시맨틱 벡터로 인코딩합니다. 각 짧은 뉴스 시맨틱 벡터는 Milvus 데이터베이스를 쿼리하여 대상 짧은 뉴스와 코사인 유사도가 가장 높은 상위 20개의 긴 뉴스 기사를 얻는 데 사용됩니다. 의미적으로 유사한 상위 20개의 긴 뉴스 중 18개가 동일한 분류에 속하고 쿼리한 짧은 뉴스의 분류와 다른 경우, 짧은 뉴스 분류는 잘못된 것으로 간주되며 18개의 긴 뉴스 기사와 일치하도록 조정해야 합니다.</p>
<p>이 프로세스를 통해 부정확한 짧은 텍스트 분류를 신속하게 식별하고 수정합니다. 무작위 샘플링 통계에 따르면 짧은 텍스트 분류가 수정된 후 텍스트 분류의 전체 정확도는 95%를 초과하는 것으로 나타났습니다. 신뢰도가 높은 긴 텍스트의 분류를 활용하여 짧은 텍스트의 분류를 수정함으로써 대부분의 잘못된 분류 사례를 단시간에 수정할 수 있습니다. 이는 또한 짧은 텍스트 분류기를 훈련하는 데 좋은 말뭉치를 제공합니다.</p>
<p>![Sohu03.jpg](https://assets.zilliz.com/Sohu03_a43074cf5f.jpg "짧은 텍스트 분류의 '불량 사례' 발견 흐름도.")</p>
<h2 id="Milvus-can-power-real-time-news-content-recommendation-and-more" class="common-anchor-header">실시간 뉴스 콘텐츠 추천 등을 지원하는 Milvus<button data-href="#Milvus-can-power-real-time-news-content-recommendation-and-more" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>밀버스는 소후의 뉴스 추천 시스템의 실시간 성능을 크게 향상시켰으며, 잘못 분류된 짧은 텍스트를 식별하는 효율성도 강화했습니다. Milvus와 다양한 애플리케이션에 대해 자세히 알아보고 싶으신가요?</p>
<ul>
<li><a href="https://zilliz.com/blog">블로그를</a> 읽어보세요.</li>
<li><a href="https://join.slack.com/t/milvusio/shared_invite/zt-e0u4qu3k-bI2GDNys3ZqX1YCJ9OM~GQ">Slack의</a> 오픈 소스 커뮤니티와 소통하세요.</li>
<li><a href="https://github.com/milvus-io/milvus/">GitHub에서</a> 세계에서 가장 인기 있는 벡터 데이터베이스를 사용하거나 기여하세요.</li>
<li>새로운 <a href="https://github.com/milvus-io/bootcamp">부트캠프를</a> 통해 AI 애플리케이션을 빠르게 테스트하고 배포하세요.</li>
</ul>


시맨틱 벡터 검색을 사용한 콘텐츠 추천

<custom-h1>의존성 분리 및 테스트 컨테이너화로 컴파일 2.5배 가속화하기</custom-h1><p>컴파일 시간은 운영 체제나 하드웨어 아키텍처와 같은 컴파일 환경의 변화뿐만 아니라 개발 프로세스 전반에 걸쳐 진화하는 복잡한 내부 및 외부 종속성으로 인해 더 늘어날 수 있습니다. 다음은 대규모 AI 또는 MLOps 프로젝트를 진행할 때 발생할 수 있는 일반적인 문제입니다:</p>
<p><strong>엄청나게 긴 컴파일</strong> - 코드 통합은 매일 수백 번 수행됩니다. 수십만 줄의 코드가 포함되어 있기 때문에 작은 변경 사항만 있어도 전체 컴파일에 보통 한 시간 이상이 소요될 수 있습니다.</p>
<p><strong>복잡한 컴파일 환경</strong> - 프로젝트 코드는 CentOS, Ubuntu와 같은 다양한 운영 체제, GCC, LLVM, CUDA와 같은 기본 종속성, 하드웨어 아키텍처 등 다양한 환경에서 컴파일해야 합니다. 그리고 특정 환경에서의 컴파일은 일반적으로 다른 환경에서는 작동하지 않을 수 있습니다.</p>
<p><strong>복잡한</strong> 종속성 - 프로젝트 컴파일에는 컴포넌트 간 및 타사 종속성이 30개 이상 포함됩니다. 프로젝트 개발 과정에서 종속성이 변경되는 경우가 많기 때문에 필연적으로 종속성 충돌이 발생합니다. 종속성 간의 버전 제어가 너무 복잡하여 종속성 버전을 업데이트하면 다른 컴포넌트에 쉽게 영향을 미칩니다.</p>
<p><strong>타사 종속성 다운로드가 느리거나 실패</strong> - 네트워크 지연 또는 불안정한 타사 종속성 라이브러리로 인해 리소스 다운로드가 느려지거나 액세스 실패가 발생하여 코드 통합에 심각한 영향을 미칩니다.</p>
<p>종속성을 분리하고 테스트 컨테이너화를 구현함으로써 오픈 소스 임베딩 유사성 검색 프로젝트 <a href="https://milvus.io/">Milvus를</a> 진행하면서 평균 컴파일 시간을 60%까지 단축할 수 있었습니다.</p>
<p><br/></p>
<h3 id="Decouple-the-dependencies-of-the-project" class="common-anchor-header">프로젝트의 종속성 분리</h3><p>프로젝트 컴파일에는 일반적으로 많은 수의 내부 및 외부 컴포넌트 종속성이 포함됩니다. 프로젝트에 종속성이 많을수록 종속성을 관리하기가 더 복잡해집니다. 소프트웨어가 성장함에 따라 종속성을 변경하거나 제거하기가 더 어려워지고 그 효과를 파악하는 데도 비용이 많이 듭니다. 종속성이 제대로 작동하려면 개발 프로세스 전반에 걸쳐 정기적인 유지 관리가 필요합니다. 유지 관리가 부실하거나 종속성이 복잡하거나 종속성에 결함이 있으면 충돌이 발생하여 개발이 느려지거나 중단될 수 있습니다. 실제로는 리소스 다운로드 지연, 코드 통합에 부정적인 영향을 미치는 액세스 실패 등이 발생할 수 있습니다. 프로젝트 종속성을 분리하면 결함을 완화하고 컴파일 시간을 단축하여 시스템 테스트를 가속화하고 불필요한 소프트웨어 개발 지연을 방지할 수 있습니다.</p>
<p>따라서 프로젝트 종속성을 분리하는 것이 좋습니다:</p>
<ul>
<li>복잡한 종속성이 있는 컴포넌트 분리하기</li>
<li>버전 관리를 위해 다른 리포지토리를 사용하세요.</li>
<li>구성 파일을 사용하여 버전 정보, 컴파일 옵션, 종속성 등을 관리합니다.</li>
<li>구성 파일을 컴포넌트 라이브러리에 추가하여 프로젝트가 반복될 때 업데이트되도록 하세요.</li>
</ul>
<p><strong>컴포넌트 간 컴파일 최적화</strong> - 구성 파일에 기록된 종속성 및 컴파일 옵션에 따라 관련 컴포넌트를 가져와 컴파일합니다. 바이너리 컴파일 결과와 해당 매니페스트 파일에 태그를 지정하고 패킹한 다음 비공개 리포지토리에 업로드합니다. 컴포넌트 또는 컴포넌트가 종속된 컴포넌트를 변경하지 않으면 매니페스트 파일에 따라 컴파일 결과를 재생합니다. 네트워크 지연이나 불안정한 타사 종속 라이브러리 등의 문제가 있는 경우 내부 리포지토리를 설정하거나 미러 리포지토리를 사용해 보세요.</p>
<p>컴포넌트 간 컴파일을 최적화하려면</p>
<p>1. 종속성 관계 그래프 만들기 - 컴포넌트 라이브러리의 구성 파일을 사용하여 종속성 관계 그래프를 만듭니다. 종속성 관계를 사용하여 업스트림 및 다운스트림 종속 컴포넌트의 버전 정보(Git 브랜치, 태그, Git 커밋 ID) 및 컴파일 옵션 등을 검색하세요.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_949dffec32.png" alt="1.png" class="doc-image" id="1.png" />
   </span> <span class="img-wrapper"> <span>1.png</span> </span></p>
<p>2<strong>.종속성 확인</strong> - 순환 종속성, 버전 충돌 및 구성 요소 간에 발생하는 기타 문제에 대한 경고를 생성합니다.</p>
<p>3. 종속성<strong>평탄화</strong> - DFS(심도 우선 검색)로 종속성을 정렬하고 중복 종속성이 있는 컴포넌트를 앞 병합하여 종속성 그래프를 형성합니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/2_45130c55e4.png" alt="2.png" class="doc-image" id="2.png" />
   </span> <span class="img-wrapper"> <span>2.png</span> </span></p>
<p>4.머클트리 알고리즘을 사용하여 버전 정보, 컴파일 옵션 등을 기반으로 각 컴포넌트의 종속성을 포함하는 해시(루트 해시)를 생성합니다. 이 알고리즘은 컴포넌트 이름과 같은 정보와 결합하여 각 컴포넌트에 대한 고유 태그를 형성합니다.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/3_6a4fcdf4e3.png" alt="3.png" class="doc-image" id="3.png" />
   </span> <span class="img-wrapper"> <span>3.png</span> </span></p>
<p>5. 컴포넌트의 고유 태그 정보를 기반으로 해당 컴파일 아카이브가 비공개 리포지토리에 있는지 확인합니다. 컴파일 아카이브가 있으면 압축을 풀어 재생할 매니페스트 파일을 가져오고, 없으면 컴포넌트를 컴파일하고 생성된 컴파일 객체 파일과 매니페스트 파일을 마크업한 후 비공개 리포지토리에 업로드합니다.</p>
<p><br/></p>
<p><strong>컴포넌트 내에서 컴파일 최적화 구현</strong> - 언어별 컴파일 캐시 도구를 선택하여 컴파일된 오브젝트 파일을 캐시하고 비공개 리포지토리에 업로드하여 저장합니다. C/C++ 컴파일의 경우 CCache와 같은 컴파일 캐시 도구를 선택하여 C/C++ 컴파일 중간 파일을 캐시한 다음 컴파일 후 로컬 CCache 캐시를 아카이브하세요. 이러한 컴파일 캐시 도구는 컴파일 후 변경된 코드 파일을 하나씩 캐시하고 변경되지 않은 코드 파일의 컴파일된 컴포넌트를 복사하여 최종 컴파일에 직접 관여할 수 있습니다. 컴포넌트 내 컴파일 최적화는 다음 단계를 포함합니다:</p>
<ol>
<li>필요한 컴파일 종속성을 Docker파일에 추가합니다. Hadolint를 사용하여 이미지가 Docker의 모범 사례를 준수하는지 확인하기 위해 Dockerfile에서 컴플라이언스 검사를 수행합니다.</li>
<li>프로젝트 스프린트 버전(버전 + 빌드), 운영 체제 및 기타 정보에 따라 컴파일 환경을 미러링합니다.</li>
<li>미러링된 컴파일 환경 컨테이너를 실행하고 이미지 ID를 환경 변수로 컨테이너에 전송합니다. 다음은 이미지 ID를 가져오는 명령의 예입니다: "docker inspect ' - type=image' - 형식 '{{.ID}}' repository/build-env:v0.1-centos7".</li>
<li>적절한 컴파일 캐시 도구를 선택합니다: 코드를 통합하고 컴파일할 컨테이너를 입력하고 적절한 컴파일 캐시가 있는지 비공개 리포지토리에서 확인합니다. 있다면 다운로드하여 지정된 디렉터리에 압축을 풉니다. 모든 컴포넌트가 컴파일되면 컴파일 캐시 도구에서 생성된 캐시가 프로젝트 버전과 이미지 ID에 따라 패키징되어 비공개 리포지토리에 업로드됩니다.</li>
</ol>
<p><br/></p>
<h3 id="Further-compilation-optimization" class="common-anchor-header">추가 컴파일 최적화</h3><p>처음에 빌드한 이미지가 디스크 공간과 네트워크 대역폭을 너무 많이 차지하고 배포하는 데 시간이 오래 걸리기 때문에 다음과 같은 조치를 취했습니다:</p>
<ol>
<li>이미지 크기를 줄이기 위해 가장 간결한 기본 이미지(예: 알파인, 바쁨 상자 등)를 선택합니다.</li>
<li>이미지 레이어 수를 줄입니다. 가능한 한 종속성을 재사용합니다. 여러 명령을 "&amp;&amp;"로 병합하세요.</li>
<li>이미지 빌드 중에 중간 제품을 정리합니다.</li>
<li>가능한 한 이미지 캐시를 사용하여 이미지를 빌드하세요.</li>
</ol>
<p>프로젝트가 계속 진행되면서 컴파일 캐시가 증가함에 따라 디스크 사용량과 네트워크 리소스가 급증하기 시작했고, 일부 컴파일 캐시는 활용도가 낮았습니다. 그런 다음 다음과 같이 조정했습니다:</p>
<p><strong>정기적으로 캐시 파일 정리</strong> - 비공개 저장소를 정기적으로 확인(예: 스크립트 사용)하여 한동안 변경되지 않았거나 다운로드 횟수가 많지 않은 캐시 파일을 정리합니다.</p>
<p><strong>선택적 컴파일 캐싱</strong> - 리소스를 많이 사용하는 컴파일만 캐싱하고 리소스를 많이 필요로 하지 않는 컴파일은 캐싱을 건너뜁니다.</p>
<p><br/></p>
<h3 id="Leveraging-containerized-testing-to-reduce-errors-improve-stability-and-reliability" class="common-anchor-header">컨테이너화된 테스트를 활용하여 오류 감소, 안정성 및 신뢰성 향상</h3><p>코드는 다양한 운영 체제(예: CentOS 및 Ubuntu), 기본 종속성(예: GCC, LLVM 및 CUDA) 및 특정 하드웨어 아키텍처를 포함하는 다양한 환경에서 컴파일되어야 합니다. 특정 환경에서 성공적으로 컴파일된 코드가 다른 환경에서는 실패할 수 있습니다. 컨테이너 내에서 테스트를 실행하면 테스트 프로세스가 더 빠르고 정확해집니다.</p>
<p>컨테이너화는 테스트 환경의 일관성을 보장하고 애플리케이션이 예상대로 작동하는지 확인합니다. 컨테이너화된 테스트 접근 방식은 테스트를 이미지 컨테이너로 패키징하고 진정으로 격리된 테스트 환경을 구축합니다. 저희 테스터들은 이 접근 방식이 매우 유용하다는 것을 알게 되었고, 결국 컴파일 시간을 60%까지 단축할 수 있었습니다.</p>
<p><strong>일관된 컴파일 환경 보장</strong> - 컴파일된 제품은 시스템 환경의 변화에 민감하기 때문에 운영 체제마다 알 수 없는 오류가 발생할 수 있습니다. 컴파일 환경의 변화에 따라 컴파일된 제품 캐시에 태그를 지정하고 보관해야 하지만, 이를 분류하기 어렵습니다. 그래서 이러한 문제를 해결하기 위해 컴파일 환경을 일원화하기 위해 컨테이너화 기술을 도입했습니다.</p>
<p><br/></p>
<h3 id="Conclusion" class="common-anchor-header">결론</h3><p>이 글에서는 프로젝트 종속성을 분석하여 컴포넌트 간 및 컴포넌트 내에서 컴파일 최적화를 위한 다양한 방법을 소개함으로써 안정적이고 효율적인 연속 코드 통합을 구축하기 위한 아이디어와 모범 사례를 제공했습니다. 이러한 방법들은 복잡한 종속성으로 인한 느린 코드 통합을 해결하고, 컨테이너 내부의 작업을 통합하여 환경의 일관성을 보장하며, 컴파일 결과의 재생과 컴파일 캐시 도구를 사용하여 중간 컴파일 결과를 캐시함으로써 컴파일 효율성을 개선하는 데 도움이 되었습니다.</p>
<p>위와 같은 방법을 통해 프로젝트의 컴파일 시간을 평균 60% 단축하여 코드 통합의 전반적인 효율성을 크게 향상시켰습니다. 앞으로도 컴파일 시간을 더욱 단축하기 위해 컴포넌트 간 및 컴포넌트 내에서 컴파일을 병렬화하는 작업을 계속할 예정입니다.</p>
<p><br/></p>
<p><em>이 글에는 다음 소스가 사용되었습니다:</em></p>
<ul>
<li>"소스 트리를 빌드 수준 컴포넌트로 분리하기"</li>
<li>"<a href="https://dev.to/brpaz/factors-to-consider-when-adding-third-party-dependencies-to-a-project-46hf">프로젝트에 타사 종속성을 추가할 때 고려해야 할 요소</a>"</li>
<li>"<a href="https://queue.acm.org/detail.cfm?id=3344149">살아남은 소프트웨어 종속성</a>"</li>
<li>"<a href="https://www.cc.gatech.edu/~beki/t1.pdf">종속성 이해하기: 소프트웨어 개발의 조정 과제에 대한 연구</a>"</li>
</ul>
<p><br/></p>
<h3 id="About-the-author" class="common-anchor-header">저자 소개</h3><p>Zhifeng Zhang은 Zilliz.com에서 오픈 소스 벡터 데이터베이스인 Milvus를 개발하는 선임 DevOps 엔지니어이자 중국 LF 오픈 소스 소프트웨어 대학의 공인 강사입니다. 그는 광저우 소프트웨어 공학원에서 사물 인터넷(IOT) 학사 학위를 받았습니다. 그는 CI/CD, DevOps, IT 인프라 관리, 클라우드 네이티브 툴킷, 컨테이너화 및 컴파일 프로세스 최적화 분야의 프로젝트에 참여하고 이끌며 경력을 쌓았습니다.</p>


이미지와 텍스트를 사용한 멀티모달 시맨틱 검색