<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/deep_research_blog_image_95225226eb.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Sebenarnya, agen dengan cakupan minimal yang dapat bernalar, merencanakan, menggunakan alat bantu, dll. untuk melakukan penelitian menggunakan Wikipedia. Tetap saja, lumayan untuk beberapa jam kerja...</p>
<p>Kecuali jika Anda tinggal di bawah batu, di dalam gua, atau di biara pegunungan terpencil, Anda pasti sudah mendengar tentang rilis <em>Deep Research</em> dari OpenAI pada tanggal 2 Februari 2025. Produk baru ini menjanjikan untuk merevolusi cara kita menjawab pertanyaan yang membutuhkan sintesis sejumlah besar informasi yang beragam.</p>
<p>Anda mengetikkan pertanyaan Anda, memilih opsi Deep Research, dan platform secara mandiri mencari di web, melakukan penalaran atas apa yang ditemukannya, dan mensintesis berbagai sumber menjadi laporan yang koheren dan dikutip secara lengkap. Dibutuhkan beberapa kali lipat lebih lama untuk menghasilkan outputnya dibandingkan dengan chatbot standar, tetapi hasilnya lebih detail, lebih terinformasi, dan lebih bernuansa.</p>
<h2 id="How-does-it-work" class="common-anchor-header">Bagaimana cara kerjanya?<button data-href="#How-does-it-work" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Tapi bagaimana cara kerja teknologi ini, dan mengapa Deep Research merupakan peningkatan yang nyata dari upaya sebelumnya (seperti Google <em>Deep Research</em> - peringatan sengketa merek dagang yang masuk)? Kami akan membahas yang terakhir ini di artikel mendatang. Sedangkan untuk yang pertama, tidak diragukan lagi ada banyak "saus rahasia" yang mendasari Deep Research. Kita bisa mendapatkan beberapa detail dari postingan rilis OpenAI, yang saya rangkum.</p>
<p><strong>Deep Research mengeksploitasi kemajuan terbaru dalam model fondasi yang dikhususkan untuk tugas-tugas penalaran:</strong></p>
<ul>
<li><p>"... disempurnakan pada model penalaran OpenAI o3 yang akan datang..."</p></li>
<li><p>"... memanfaatkan penalaran untuk mencari, menafsirkan, dan menganalisis teks dalam jumlah yang sangat besar..."</p></li>
</ul>
<p><strong>Deep Research memanfaatkan alur kerja agen yang canggih dengan perencanaan, refleksi, dan memori:</strong></p>
<ul>
<li><p>"... belajar untuk merencanakan dan melaksanakan lintasan multi-langkah..."</p></li>
<li><p>"... mundur ke belakang dan bereaksi terhadap informasi waktu nyata..."</p></li>
<li><p>"... berputar sesuai kebutuhan sebagai reaksi terhadap informasi yang ditemui..."</p></li>
</ul>
<p><strong>Deep Research dilatih menggunakan data milik sendiri, dengan menggunakan beberapa jenis penyempurnaan, yang kemungkinan besar merupakan komponen kunci dalam kinerjanya:</strong></p>
<ul>
<li><p>"... dilatih menggunakan pembelajaran penguatan end-to-end pada tugas-tugas penelusuran dan penalaran yang sulit di berbagai domain..."</p></li>
<li><p>"... dioptimalkan untuk penjelajahan web dan analisis data..."</p></li>
</ul>
<p>Desain yang tepat dari alur kerja agen adalah sebuah rahasia, namun, kita dapat membangun sesuatu sendiri berdasarkan ide-ide yang sudah mapan tentang bagaimana menyusun agen.</p>
<p><strong>Satu catatan sebelum kita mulai</strong>: Sangat mudah untuk terhanyut oleh demam AI Generatif, terutama ketika sebuah produk baru yang tampaknya merupakan sebuah langkah perbaikan dirilis. Namun, Deep Research, seperti yang diakui oleh OpenAI, memiliki keterbatasan yang umum terjadi pada teknologi AI Generatif. Kita harus ingat untuk berpikir kritis tentang output yang mungkin berisi fakta-fakta yang salah ("halusinasi"), format dan kutipan yang salah, dan sangat bervariasi dalam kualitas berdasarkan benih acak.</p>
<h2 id="Can-I-build-my-own" class="common-anchor-header">Dapatkah saya membuat sendiri?<button data-href="#Can-I-build-my-own" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Tentu saja bisa! Mari kita bangun "Penelitian Mendalam" kita sendiri, yang dijalankan secara lokal dan dengan alat bantu sumber terbuka. Kita hanya perlu berbekal pengetahuan dasar tentang Generative AI, akal sehat, beberapa jam luang, GPU, dan <a href="https://milvus.io/docs">Milvus</a>, <a href="https://huggingface.co/unsloth/DeepSeek-R1-Distill-Llama-8B-unsloth-bnb-4bit">DeepSeek R1</a>, dan <a href="https://python.langchain.com/docs/introduction/">LangChain</a>.</p>
<p>Tentu saja, kami tidak dapat meniru kinerja OpenAI, tetapi prototipe kami akan mendemonstrasikan secara minimal beberapa ide utama yang mungkin mendasari teknologi mereka, menggabungkan kemajuan dalam model penalaran dengan kemajuan dalam alur kerja agen. Yang terpenting, dan tidak seperti OpenAI, kami hanya akan menggunakan alat bantu sumber terbuka, dan dapat menggunakan sistem kami secara lokal - sumber terbuka tentu saja memberikan fleksibilitas yang tinggi!</p>
<p>Kita akan membuat beberapa asumsi penyederhanaan untuk mengurangi ruang lingkup proyek kita:</p>
<ul>
<li><p>Kita akan menggunakan mode penalaran sumber terbuka yang disaring kemudian <a href="https://zilliz.com/learn/unlock-power-of-vector-quantization-techniques-for-efficient-data-compression-and-retrieval">dikuantisasi</a> untuk 4-bit yang dapat dijalankan secara lokal.</p></li>
<li><p>Kami tidak akan melakukan penyempurnaan tambahan pada model penalaran kami sendiri.</p></li>
<li><p>Satu-satunya alat yang dimiliki oleh agen kami adalah kemampuan untuk mengunduh dan membaca halaman Wikipedia dan melakukan kueri RAG yang terpisah (kami tidak akan memiliki akses ke seluruh web).</p></li>
<li><p>Agen kami hanya akan memproses data teks, bukan gambar, PDF, dll.</p></li>
<li><p>Agen kami tidak akan mundur atau mempertimbangkan pivot.</p></li>
<li><p>Agen kami akan (belum) mengontrol alur eksekusinya berdasarkan keluarannya.</p></li>
<li><p>Wikipedia berisi kebenaran, seluruh kebenaran, dan tidak ada yang lain selain kebenaran.</p></li>
</ul>
<p>Kita akan menggunakan <a href="https://milvus.io/docs">Milvus</a> untuk basis data vektor kita, <a href="https://huggingface.co/unsloth/DeepSeek-R1-Distill-Llama-8B-unsloth-bnb-4bit">DeepSeek R1</a> sebagai model penalaran kita, dan <a href="https://python.langchain.com/docs/introduction/">LangChain</a> untuk mengimplementasikan RAG. Mari kita mulai!</p>
<custom-h1>Agen Minimal untuk Riset Online</custom-h1><p>Kita akan menggunakan model mental kita tentang bagaimana manusia melakukan penelitian untuk merancang alur kerja agen:</p>
<h3 id="DefineRefine-Question" class="common-anchor-header">Mendefinisikan/Menentukan Pertanyaan</h3><p>Riset dimulai dengan mendefinisikan sebuah pertanyaan. Kami menganggap pertanyaan tersebut sebagai pertanyaan pengguna, namun, kami menggunakan model penalaran kami untuk memastikan pertanyaan tersebut diungkapkan dengan cara yang spesifik, jelas, dan terfokus. Artinya, langkah pertama kami adalah menulis ulang permintaan dan mengekstrak subkueri atau subpertanyaan. Kami memanfaatkan spesialisasi model dasar kami secara efektif untuk penalaran, dan metode sederhana untuk keluaran terstruktur JSON.</p>
<p>Berikut ini adalah contoh penelusuran penalaran saat DeepSeek menyempurnakan pertanyaan "Bagaimana pemeran berubah dari waktu ke waktu?":</p>
<pre><code translate="no" class="language-text">&lt;think&gt;

Alright, so I need to <span class="hljs-built_in">break</span> down the question <span class="hljs-string">&quot;How has the cast changed over time?&quot;</span> related to the evolution of The Simpsons. Let me think about what aspects are involved here.

First, I know that the cast has changed a lot, but I need to figure out the intermediate questions to approach this. The main question is about changes <span class="hljs-keyword">in</span> the cast over <span class="hljs-keyword">time</span>, so I should consider different areas that contribute to this change.

I guess the first sub-question would be about the original cast members. Who were the main voices and how did they evolve? Then, there might be new cast additions over the years, so another sub-question about that.

Also, some original voice actors have left, so I should include a sub-question about departures. Then, new voice actors joining would be another point.

The show has been popular <span class="hljs-keyword">for</span> a long <span class="hljs-keyword">time</span>, so recurring roles changing might be another aspect. Additionally, the role of the show <span class="hljs-keyword">in</span> society might have influenced casting choices, so a sub-question about that.

Lastly, the overall impact on the cast<span class="hljs-string">&#x27;s careers could be another angle. So, I should list these as sub-questions to cover all aspects.

&lt;/think&gt;
</span><button class="copy-code-btn"></button></code></pre>
<h3 id="Search" class="common-anchor-header">Pencarian</h3><p>Selanjutnya, kami melakukan "tinjauan literatur" terhadap artikel-artikel Wikipedia. Untuk saat ini, kami membaca satu artikel dan meninggalkan tautan navigasi ke iterasi berikutnya. Kami menemukan selama pembuatan prototipe bahwa eksplorasi tautan dapat menjadi sangat mahal jika setiap tautan memerlukan panggilan ke model penalaran. Kami mengurai artikel, dan menyimpan datanya dalam basis data vektor kami, Milvus, mirip dengan membuat catatan.</p>
<p>Berikut ini adalah cuplikan kode yang menunjukkan bagaimana kami menyimpan halaman Wikipedia kami di Milvus menggunakan integrasi LangChain:</p>
<pre><code translate="no" class="language-python">wiki_wiki = wikipediaapi.Wikipedia(user_agent=<span class="hljs-string">&#x27;MilvusDeepResearchBot (&lt;insert your email&gt;)&#x27;</span>, language=<span class="hljs-string">&#x27;en&#x27;</span>)
page_py = wiki_wiki.page(page_title)

text_splitter = RecursiveCharacterTextSplitter(chunk_size=<span class="hljs-number">2000</span>, chunk_overlap=<span class="hljs-number">200</span>)
docs = text_splitter.create_documents([page_py.text])

vectorstore = Milvus.from_documents(  <span class="hljs-comment"># or Zilliz.from_documents</span>
    documents=docs,
    embedding=embeddings,
    connection_args={
        <span class="hljs-string">&quot;uri&quot;</span>: <span class="hljs-string">&quot;./milvus_demo.db&quot;</span>,
    },
    drop_old=<span class="hljs-literal">True</span>, 
    index_params={
        <span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&quot;COSINE&quot;</span>,
        <span class="hljs-string">&quot;index_type&quot;</span>: <span class="hljs-string">&quot;FLAT&quot;</span>,  
        <span class="hljs-string">&quot;params&quot;</span>: {},
    },
)
<button class="copy-code-btn"></button></code></pre>
<h3 id="Analyze" class="common-anchor-header">Menganalisis</h3><p>Agen kembali ke pertanyaan-pertanyaannya dan menjawabnya berdasarkan informasi yang relevan di dalam dokumen. Kami akan meninggalkan alur kerja analisis/refleksi multi-langkah untuk pekerjaan di masa depan, serta pemikiran kritis tentang kredibilitas dan bias sumber kami.</p>
<p>Berikut ini adalah cuplikan kode yang mengilustrasikan pembuatan RAG dengan LangChain dan menjawab sub-pertanyaan kita secara terpisah.</p>
<pre><code translate="no" class="language-python"><span class="hljs-comment"># Define the RAG chain for response generation</span>
rag_chain = (
    {<span class="hljs-string">&quot;context&quot;</span>: retriever | format_docs, <span class="hljs-string">&quot;question&quot;</span>: RunnablePassthrough()}
    | prompt
    | llm
    | StrOutputParser()
)

<span class="hljs-comment"># Prompt the RAG for each question</span>
answers = {}
total = <span class="hljs-built_in">len</span>(leaves(breakdown))

pbar = tqdm(total=total)
<span class="hljs-keyword">for</span> k, v <span class="hljs-keyword">in</span> breakdown.items():
    <span class="hljs-keyword">if</span> v == []:
        <span class="hljs-built_in">print</span>(k)
        answers[k] = rag_chain.invoke(k).split(<span class="hljs-string">&#x27;&lt;/think&gt;&#x27;</span>)[-<span class="hljs-number">1</span>].strip()
        pbar.update(<span class="hljs-number">1</span>)
    <span class="hljs-keyword">else</span>:
        <span class="hljs-keyword">for</span> q <span class="hljs-keyword">in</span> v:
            <span class="hljs-built_in">print</span>(q)
            answers[q] = rag_chain.invoke(q).split(<span class="hljs-string">&#x27;&lt;/think&gt;&#x27;</span>)[-<span class="hljs-number">1</span>].strip()
            pbar.update(<span class="hljs-number">1</span>)
<button class="copy-code-btn"></button></code></pre>
<h3 id="Synthesize" class="common-anchor-header">Mensintesis</h3><p>Setelah agen melakukan penelitian, ia membuat garis besar terstruktur, atau lebih tepatnya, kerangka, dari temuannya untuk dirangkum dalam laporan. Kemudian melengkapi setiap bagian, mengisinya dengan judul bagian dan konten yang sesuai. Kami meninggalkan alur kerja yang lebih canggih dengan refleksi, penyusunan ulang, dan penulisan ulang untuk iterasi berikutnya. Bagian agen ini melibatkan perencanaan, penggunaan alat, dan memori.</p>
<p>Lihat <a href="https://drive.google.com/file/d/1waKX_NTgiY-47bYE0cI6qD8Cjn3zjrL6/view?usp=sharing">buku catatan yang menyertai</a> untuk kode lengkap dan <a href="https://drive.google.com/file/d/15xeEe_EqY-29V2IlAvDy5yGdJdEPSHOh/view?usp=drive_link">file laporan yang disimpan</a> sebagai contoh keluaran.</p>
<h2 id="Results" class="common-anchor-header">Hasil<button data-href="#Results" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Pertanyaan kami untuk pengujian adalah <em>"Bagaimana The Simpsons berubah dari waktu ke waktu?"</em> dan sumber datanya adalah artikel Wikipedia untuk "The Simpsons". Berikut ini adalah salah satu bagian dari <a href="https://drive.google.com/file/d/15xeEe_EqY-29V2IlAvDy5yGdJdEPSHOh/view?usp=sharing">laporan yang dihasilkan</a>:</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/result_query_424beba224.jpg" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<h2 id="Summary-What-we-built-and-what’s-next" class="common-anchor-header">Ringkasan: Apa yang telah kami buat dan apa yang selanjutnya<button data-href="#Summary-What-we-built-and-what’s-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Hanya dalam beberapa jam, kami telah merancang alur kerja agen dasar yang dapat menalar, merencanakan, dan mengambil informasi dari Wikipedia untuk menghasilkan laporan penelitian yang terstruktur. Meskipun prototipe ini masih jauh dari Deep Research milik OpenAI, prototipe ini menunjukkan kekuatan alat sumber terbuka seperti Milvus, DeepSeek, dan LangChain dalam membangun agen penelitian otonom.</p>
<p>Tentu saja, ada banyak ruang untuk perbaikan. Iterasi di masa depan bisa saja terjadi:</p>
<ul>
<li><p>Memperluas di luar Wikipedia untuk mencari berbagai sumber secara dinamis</p></li>
<li><p>Memperkenalkan pelacakan mundur dan refleksi untuk menyempurnakan tanggapan</p></li>
<li><p>Mengoptimalkan alur eksekusi berdasarkan penalaran agen itu sendiri</p></li>
</ul>
<p>Sumber terbuka memberi kita fleksibilitas dan kontrol yang tidak dimiliki oleh sumber tertutup. Baik untuk penelitian akademis, sintesis konten, atau bantuan bertenaga AI, membangun agen penelitian kita sendiri membuka berbagai kemungkinan yang menarik. Nantikan tulisan berikutnya di mana kita akan mengeksplorasi penambahan pengambilan web secara real-time, penalaran multi-langkah, dan alur eksekusi bersyarat!</p>
<h2 id="Resources" class="common-anchor-header">Sumber daya<button data-href="#Resources" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p>Buku catatan: <em>"</em><a href="https://colab.research.google.com/drive/1W5tW8SqWXve7ZwbSb9pVdbt5R2wq105O?usp=sharing"><em>Garis Dasar untuk Penelitian Mendalam Sumber Terbuka</em></a><em>"</em></p></li>
<li><p>Laporan: <em>"</em><a href="https://drive.google.com/file/d/15xeEe_EqY-29V2IlAvDy5yGdJdEPSHOh/view?usp=drive_link"><em>Evolusi The Simpsons sebagai sebuah pertunjukan dari waktu ke waktu, meliputi perubahan konten, humor, pengembangan karakter, animasi, dan perannya dalam masyarakat.</em></a><em>"</em></p></li>
<li><p><a href="https://milvus.io/docs">Dokumentasi basis data vektor Milvus</a></p></li>
<li><p><a href="https://huggingface.co/unsloth/DeepSeek-R1-Distill-Llama-8B-unsloth-bnb-4bit">Halaman model DeepSeek R1 yang telah disaring dan dikuantifikasi</a></p></li>
<li><p><a href="https://python.langchain.com/docs/introduction/">️🔗 LangChain</a></p></li>
<li><p><a href="https://help.openai.com/en/articles/10500283-deep-research-faq">Pertanyaan Umum Penelitian Mendalam | Pusat Bantuan OpenAI</a></p></li>
</ul>


Saya Membangun Penelitian Mendalam dengan Open Source-dan Anda Juga Bisa!

Pencarian Semantik Multimodal dengan Gambar dan Teks

Cara Memulai dengan Milvus

<p>Sekarang, semua orang tahu bahwa pencarian hibrida telah meningkatkan kualitas pencarian <a href="https://zilliz.com/learn/Retrieval-Augmented-Generation">RAG</a> (Retrieval-Augmented Generation). Meskipun pencarian sematan <a href="https://zilliz.com/learn/sparse-and-dense-embeddings">padat</a> telah menunjukkan kemampuan yang mengesankan dalam menangkap hubungan semantik yang mendalam antara kueri dan dokumen, namun masih memiliki keterbatasan. Ini termasuk kurangnya penjelasan dan kinerja yang kurang optimal dengan kueri berekor panjang dan istilah yang langka.</p>
<p>Banyak aplikasi RAG mengalami kesulitan karena model yang telah dilatih sebelumnya sering kali tidak memiliki pengetahuan spesifik domain. Dalam beberapa skenario, pencocokan kata kunci BM25 yang sederhana dapat mengungguli model-model yang canggih ini. Di sinilah pencarian hibrida menjembatani kesenjangan tersebut, dengan menggabungkan pemahaman semantik pengambilan vektor yang padat dengan ketepatan pencocokan kata kunci.</p>
<h2 id="Why-Hybrid-Search-is-Complex-in-Production" class="common-anchor-header">Mengapa Pencarian Hibrida Rumit dalam Produksi<button data-href="#Why-Hybrid-Search-is-Complex-in-Production" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Meskipun kerangka kerja seperti <a href="https://zilliz.com/learn/LangChain">LangChain</a> atau <a href="https://zilliz.com/learn/getting-started-with-llamaindex">LlamaIndex</a> memudahkan pembuatan retriever hibrida yang sudah terbukti dengan mudah, penskalaan ke produksi dengan set data yang sangat besar merupakan tantangan. Arsitektur tradisional memerlukan basis data vektor dan mesin pencari yang terpisah, yang mengarah ke beberapa tantangan utama:</p>
<ul>
<li><p>Biaya pemeliharaan infrastruktur yang tinggi dan kompleksitas operasional</p></li>
<li><p>Redundansi data di beberapa sistem</p></li>
<li><p>Manajemen konsistensi data yang sulit</p></li>
<li><p>Keamanan yang kompleks dan kontrol akses di seluruh sistem</p></li>
</ul>
<p>Pasar membutuhkan solusi terpadu yang mendukung pencarian leksikal dan semantik sekaligus mengurangi kompleksitas dan biaya sistem.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/elasticsearch_vs_milvus_5be6e2b69e.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<h2 id="The-Pain-Points-of-Elasticsearch" class="common-anchor-header">Poin-poin Penting dari Elasticsearch<button data-href="#The-Pain-Points-of-Elasticsearch" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Elasticsearch telah menjadi salah satu proyek pencarian sumber terbuka paling berpengaruh dalam satu dekade terakhir. Dibangun di atas Apache Lucene, Elasticsearch mendapatkan popularitas melalui kinerja tinggi, skalabilitas, dan arsitektur terdistribusi. Meskipun telah menambahkan pencarian ANN vektor pada versi 8.0, penerapan produksi menghadapi beberapa tantangan kritis:</p>
<p><strong>Biaya Pembaruan dan Pengindeksan yang Tinggi:</strong> Arsitektur Elasticsearch tidak sepenuhnya memisahkan operasi penulisan, pembuatan indeks, dan kueri. Hal ini menyebabkan overhead CPU dan I/O yang signifikan selama operasi penulisan, terutama dalam pembaruan massal. Perebutan sumber daya antara pengindeksan dan kueri berdampak pada kinerja, menciptakan hambatan besar untuk skenario pembaruan frekuensi tinggi.</p>
<p><strong>Kinerja Waktu Nyata yang Buruk:</strong> Sebagai mesin pencari "hampir real-time", Elasticsearch memperkenalkan latensi yang nyata dalam visibilitas data. Latensi ini menjadi sangat bermasalah untuk aplikasi AI, seperti sistem Agen, di mana interaksi frekuensi tinggi dan pengambilan keputusan yang dinamis membutuhkan akses data segera.</p>
<p><strong>Manajemen Pecahan yang Sulit:</strong> Meskipun Elasticsearch menggunakan sharding untuk arsitektur terdistribusi, manajemen shard menimbulkan tantangan yang signifikan. Kurangnya dukungan sharding dinamis menciptakan dilema: terlalu banyak shard dalam dataset kecil menyebabkan kinerja yang buruk, sementara terlalu sedikit shard dalam dataset besar membatasi skalabilitas dan menyebabkan distribusi data yang tidak merata.</p>
<p><strong>Arsitektur Non-Cloud-Native:</strong> Dikembangkan sebelum arsitektur cloud-native menjadi lazim, desain Elasticsearch menggabungkan penyimpanan dan komputasi secara ketat, sehingga membatasi integrasinya dengan infrastruktur modern seperti cloud publik dan Kubernetes. Penskalaan sumber daya membutuhkan peningkatan penyimpanan dan komputasi secara simultan, sehingga mengurangi fleksibilitas. Dalam skenario multi-replika, setiap pecahan harus membangun indeksnya secara independen, meningkatkan biaya komputasi dan mengurangi efisiensi sumber daya.</p>
<p><strong>Performa Pencarian Vektor yang Buruk:</strong> Meskipun Elasticsearch 8.0 memperkenalkan pencarian ANN vektor, kinerjanya secara signifikan tertinggal di belakang mesin vektor khusus seperti Milvus. Berdasarkan kernel Lucene, struktur indeksnya terbukti tidak efisien untuk data berdimensi tinggi, berjuang dengan persyaratan pencarian vektor skala besar. Performanya menjadi sangat tidak stabil dalam skenario kompleks yang melibatkan pemfilteran skalar dan multi-tenancy, sehingga sulit untuk mendukung kebutuhan bisnis yang tinggi atau beragam.</p>
<p><strong>Konsumsi Sumber Daya yang Berlebihan:</strong> Elasticsearch menempatkan tuntutan yang ekstrem pada memori dan CPU, terutama saat memproses data berskala besar. Ketergantungannya pada JVM memerlukan penyesuaian ukuran heap dan penyetelan pengumpulan sampah yang sering dilakukan, yang sangat berdampak pada efisiensi memori. Operasi pencarian vektor memerlukan komputasi yang dioptimalkan untuk SIMD yang intensif, yang mana lingkungan JVM jauh dari ideal.</p>
<p>Keterbatasan mendasar ini menjadi semakin bermasalah ketika organisasi meningkatkan skala infrastruktur AI mereka, membuat Elasticsearch sangat menantang untuk aplikasi AI modern yang membutuhkan kinerja dan keandalan tinggi.</p>
<h2 id="Introducing-Sparse-BM25-Reimagining-Lexical-Search" class="common-anchor-header">Memperkenalkan Sparse-BM25: Menata Ulang Pencarian Leksikal<button data-href="#Introducing-Sparse-BM25-Reimagining-Lexical-Search" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><a href="https://milvus.io/blog/introduce-milvus-2-5-full-text-search-powerful-metadata-filtering-and-more.md">Milvus 2.5</a> memperkenalkan dukungan pencarian leksikal asli melalui Sparse-BM25, yang dibangun di atas kemampuan pencarian hibrida yang diperkenalkan pada versi 2.4. Pendekatan inovatif ini mencakup komponen-komponen utama berikut ini:</p>
<ul>
<li><p>Tokenisasi dan prapemrosesan tingkat lanjut melalui Tantivy</p></li>
<li><p>Kosakata terdistribusi dan manajemen frekuensi istilah</p></li>
<li><p>Pembangkitan vektor yang jarang menggunakan TF korpus dan kueri TF-IDF</p></li>
<li><p>Dukungan indeks terbalik dengan algoritme WAND (Block-Max WAND dan dukungan indeks grafik sedang dikembangkan)</p></li>
</ul>
<p>Dibandingkan dengan Elasticsearch, Milvus menawarkan keunggulan yang signifikan dalam fleksibilitas algoritme. Komputasi kemiripan berbasis jarak vektor memungkinkan pencocokan yang lebih canggih, termasuk mengimplementasikan TW-BERT (Term Weighting BERT) berdasarkan penelitian "End-to-End Query Term Weighting". Pendekatan ini telah menunjukkan kinerja yang unggul dalam pengujian in-domain dan out-domain.</p>
<p>Keuntungan penting lainnya adalah efisiensi biaya. Dengan memanfaatkan indeks terbalik dan kompresi embedding padat, Milvus mencapai peningkatan kinerja lima kali lipat dengan degradasi recall kurang dari 1%. Melalui pemangkasan tail-term dan kuantisasi vektor, penggunaan memori telah berkurang lebih dari 50%.</p>
<p>Optimalisasi kueri yang panjang menonjol sebagai kekuatan khusus. Ketika algoritme WAND tradisional kesulitan dengan kueri yang lebih panjang, Milvus unggul dengan menggabungkan penyematan yang jarang dengan indeks grafik, memberikan peningkatan kinerja sepuluh kali lipat dalam skenario pencarian vektor yang jarang berdimensi tinggi.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/document_in_and_out_b84771bec4.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<h2 id="Milvus-The-Ultimate-Vector-Database-for-RAG" class="common-anchor-header">Milvus: Basis Data Vektor Terbaik untuk RAG<button data-href="#Milvus-The-Ultimate-Vector-Database-for-RAG" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus adalah pilihan utama untuk aplikasi RAG melalui serangkaian fiturnya yang komprehensif. Keunggulan utamanya meliputi:</p>
<ul>
<li><p>Dukungan metadata yang kaya dengan kemampuan skema dinamis dan opsi pemfilteran yang kuat</p></li>
<li><p>Multi-tenancy tingkat perusahaan dengan isolasi fleksibel melalui koleksi, partisi, dan kunci partisi</p></li>
<li><p>Dukungan indeks vektor disk pertama di industri dengan penyimpanan bertingkat dari memori ke S3</p></li>
<li><p>Skalabilitas cloud-native yang mendukung penskalaan tanpa batas dari 10M hingga 1B+ vektor</p></li>
<li><p>Kemampuan pencarian yang komprehensif, termasuk pengelompokan, rentang, dan pencarian hybrid</p></li>
<li><p>Integrasi ekosistem yang mendalam dengan LangChain, LlamaIndex, Dify, dan alat AI lainnya</p></li>
</ul>
<p>Kemampuan pencarian sistem yang beragam mencakup metodologi pengelompokan, rentang, dan pencarian hibrida. Integrasi yang mendalam dengan alat-alat seperti LangChain, LlamaIndex, dan Dify, serta dukungan untuk berbagai produk AI, menempatkan Milvus di pusat ekosistem infrastruktur AI modern.</p>
<h2 id="Looking-Forward" class="common-anchor-header">Melihat ke Depan<button data-href="#Looking-Forward" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Seiring dengan transisi AI dari POC ke produksi, Milvus terus berevolusi. Kami fokus untuk membuat pencarian vektor lebih mudah diakses dan hemat biaya sekaligus meningkatkan kualitas pencarian. Baik Anda adalah startup atau perusahaan, Milvus mengurangi hambatan teknis untuk pengembangan aplikasi AI.</p>
<p>Komitmen terhadap aksesibilitas dan inovasi ini telah membawa kami ke langkah besar lainnya. Meskipun solusi open-source kami terus menjadi fondasi bagi ribuan aplikasi di seluruh dunia, kami menyadari bahwa banyak organisasi membutuhkan solusi yang dikelola secara penuh yang menghilangkan biaya operasional.</p>
<h2 id="Zilliz-Cloud-The-Managed-Solution" class="common-anchor-header">Zilliz Cloud: Solusi Terkelola<button data-href="#Zilliz-Cloud-The-Managed-Solution" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Kami telah membangun <a href="https://zilliz.com/cloud">Zilliz Cloud</a>, layanan basis data vektor terkelola penuh berdasarkan Milvus, selama tiga tahun terakhir. Melalui implementasi ulang protokol Milvus yang asli cloud, layanan ini menawarkan peningkatan kegunaan, efisiensi biaya, dan keamanan.</p>
<p>Berdasarkan pengalaman kami dalam mengelola cluster pencarian vektor terbesar di dunia dan mendukung ribuan pengembang aplikasi AI, Zilliz Cloud secara signifikan mengurangi biaya operasional dan biaya dibandingkan dengan solusi yang dihosting sendiri.</p>
<p>Siap merasakan masa depan pencarian vektor? Mulai uji coba gratis Anda hari ini dengan kredit hingga $200, tidak perlu kartu kredit.</p>


Elasticsearch Sudah Mati, Hidup Pencarian Leksikal

Memulai Pencarian Semantik / Teks Lengkap Hibrida dengan Milvus 2.5

Memperkenalkan Milvus 2.5: Pencarian Teks Lengkap, Pemfilteran Metadata yang Lebih Kuat, dan Peningkatan Kegunaan!

Pencarian Semantik vs Pencarian Teks Lengkap: Mana yang Harus Saya Pilih di Milvus 2.5?

Merancang RAG Multi-Tenancy dengan Milvus: Praktik Terbaik untuk Basis Pengetahuan Perusahaan yang Dapat Diskalakan

Cara Berkontribusi ke Milvus: Awal yang Cepat untuk Pengembang

Getting Started with HNSWlib

Memulai dengan HNSWlib

<p>Kami dengan senang hati memperkenalkan jam kerja mingguan bagi pengguna Milvus untuk mendapatkan dukungan langsung dengan proyek <a href="https://zilliz.com/learn/what-is-vector-database">database vektor</a> mereka! Bergabunglah dengan tim ahli kami untuk sesi tatap muka selama 20 menit untuk mendapatkan wawasan, panduan, dan jawaban atas pertanyaan Anda. Baik Anda baru saja memulai atau membutuhkan bantuan untuk masalah tertentu, kami siap membantu Anda memaksimalkan penggunaan Milvus.</p>
<p><strong>Pesan sesi jam kerja Anda di sini<a href="https://meetings.hubspot.com/chloe-williams1/milvus-office-hours">:https://meetings.hubspot.com/chloe-williams1/milvus-office-hours</a></strong></p>
<h2 id="Why-Book-a-Session" class="common-anchor-header">Mengapa Memesan Sesi?<button data-href="#Why-Book-a-Session" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Berikut adalah beberapa alasan bagus untuk memesan waktu selama jam kerja kami:</p>
<ul>
<li><p><strong>Mengoptimalkan Kinerja Milvus:</strong> Dapatkan tips tentang konfigurasi tuning untuk meningkatkan kinerja database.</p></li>
<li><p><strong>Saran Desain Skema Data:</strong> Pelajari praktik terbaik untuk skema data dan jenis indeks yang paling sesuai dengan kasus penggunaan Anda.</p></li>
<li><p><strong>Meningkatkan Skala Penerapan Milvus Anda:</strong> Dapatkan saran untuk mengelola dan menskalakan Milvus untuk volume data yang lebih besar.</p></li>
<li><p><strong>Pemecahan Masalah Khusus:</strong> Terjebak pada kesalahan atau perilaku yang tidak biasa? Kami dapat membantu memecahkan masalah dan menyelesaikannya.</p></li>
<li><p><strong>Bantuan Integrasi:</strong> Butuh panduan untuk menggunakan Milvus dengan framework terintegrasi lainnya seperti LangChain, LlamaIndex, Spark, atau pipeline pemrosesan data Anda?</p></li>
<li><p><strong>Mempelajari tentang Fitur Baru:</strong> Tetap update dengan kemampuan Milvus terbaru dan bagaimana hal tersebut dapat menguntungkan proyek Anda.</p></li>
</ul>
<p>Jangan lewatkan kesempatan ini untuk meningkatkan implementasi Milvus Anda dengan bimbingan para ahli.</p>
<p>Jika Anda tidak dapat bergabung dengan kami secara langsung, jangan khawatir-masih ada banyak cara untuk mendapatkan dukungan! Komunitas Milvus aktif dan siap membantu di <a href="https://discord.com/invite/8uyFbECzPX">Discord</a> dan<a href="https://github.com/search?q=milvus&amp;type=discussions"> Diskusi GitHub</a>. Apakah Anda lebih suka obrolan langsung atau diskusi asinkron, kedua platform ini adalah tempat yang tepat untuk mengajukan pertanyaan, berbagi pengetahuan, dan terhubung dengan pengguna dan kontributor Milvus lainnya.</p>


Bergabunglah dengan Jam Kerja Milvus untuk Mendapatkan Dukungan dari Pakar Vector DB!

What are Matryoshka Embeddings?

Sematan Matryoshka: Detail pada Berbagai Skala

Cara Menggunakan Alat Pencadangan Milvus: Panduan Langkah-demi-Langkah

Menerapkan Milvus di Kubernetes: Panduan Langkah-demi-Langkah untuk Pengguna Kubernetes

Cara Menyebarkan Basis Data Vektor Milvus Sumber Terbuka di Amazon EKS

<p><a href="https://milvus.io/intro">Milvus</a> adalah basis data vektor sumber terbuka yang dirancang khusus untuk aplikasi AI. Baik Anda sedang mengerjakan pembelajaran mesin, pembelajaran mendalam, atau proyek terkait AI lainnya, Milvus menawarkan cara yang tangguh dan efisien untuk menangani data vektor berskala besar.</p>
<p>Sekarang, dengan <a href="https://milvus.io/docs/embeddings.md">integrasi modul model</a> di PyMilvus, SDK Python untuk Milvus, menambahkan model Embedding dan Reranking menjadi lebih mudah. Integrasi ini menyederhanakan transformasi data Anda menjadi vektor yang dapat dicari atau hasil pemeringkatan ulang untuk hasil yang lebih akurat, seperti dalam <a href="https://zilliz.com/learn/Retrieval-Augmented-Generation">Retrieval Augmented Generation (RAG</a>).</p>
<p>Dalam blog ini, kami akan mengulas model embedding padat, model embedding jarang, dan perangking ulang serta mendemonstrasikan cara menggunakannya dalam praktik menggunakan <a href="https://milvus.io/blog/introducing-milvus-lite.md">Milvus Lite</a>, versi ringan Milvus yang dapat berjalan secara lokal di aplikasi Python Anda.</p>
<h2 id="Dense-vs-Sparse-Embeddings" class="common-anchor-header">Penyematan Padat vs Penyematan Jarang<button data-href="#Dense-vs-Sparse-Embeddings" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Sebelum kami memandu Anda tentang cara menggunakan integrasi kami, mari kita lihat dua kategori utama penyematan vektor.</p>
<p><a href="https://zilliz.com/glossary/vector-embeddings">Penyematan Vektor</a> umumnya terbagi menjadi dua kategori utama: <a href="https://zilliz.com/learn/sparse-and-dense-embeddings"><strong>Penyematan Padat</strong> dan <strong>Penyematan Jarang</strong></a>.</p>
<ul>
<li><p>Dense Embeddings adalah vektor berdimensi tinggi yang sebagian besar atau semua elemennya tidak nol, sehingga ideal untuk menyandikan semantik teks atau makna yang kabur.</p></li>
<li><p>Sparse Embeddings adalah vektor berdimensi tinggi dengan banyak elemen nol, lebih cocok untuk menyandikan konsep yang tepat atau berdekatan.</p></li>
</ul>
<p>Milvus mendukung kedua jenis penyematan dan menawarkan pencarian hibrida. <a href="https://zilliz.com/blog/hybrid-search-with-milvus">Pencarian Hibrida</a> memungkinkan Anda melakukan pencarian di berbagai bidang vektor dalam koleksi yang sama. Vektor-vektor ini dapat mewakili aspek data yang berbeda, menggunakan model penyematan yang beragam, atau menggunakan metode pemrosesan data yang berbeda, dan menggabungkan hasilnya menggunakan pemeringkatan ulang.</p>
<h2 id="How-to-Use-Our-Embedding-and-Reranking-Integrations" class="common-anchor-header">Cara Menggunakan Integrasi Penyematan dan Pemeringkatan Ulang<button data-href="#How-to-Use-Our-Embedding-and-Reranking-Integrations" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Pada bagian berikut, kami akan mendemonstrasikan tiga contoh praktis dalam menggunakan integrasi kami untuk menghasilkan embedding dan melakukan pencarian vektor.</p>
<h3 id="Example-1-Use-the-Default-Embedding-Function-to-Generate-Dense-Vectors" class="common-anchor-header">Contoh 1: Gunakan Fungsi Penyematan Default untuk Menghasilkan Vektor Padat</h3><p>Anda harus menginstal klien <code translate="no">pymilvus</code> dengan paket <code translate="no">model</code> untuk menggunakan fungsi embedding dan reranking dengan Milvus.</p>
<pre><code translate="no">pip install <span class="hljs-string">&quot;pymilvus[model]&quot;</span>
<button class="copy-code-btn"></button></code></pre>
<p>Langkah ini akan menginstal <a href="https://milvus.io/docs/quickstart.md">Milvus Lite</a>, yang memungkinkan Anda untuk menjalankan Milvus secara lokal di dalam aplikasi Python Anda. Langkah ini juga mencakup subpaket model, yang mencakup semua utilitas untuk embedding dan reranking.</p>
<p>Subpaket model mendukung berbagai model penyematan, termasuk model-model dari OpenAI, <a href="https://zilliz.com/learn/Sentence-Transformers-for-Long-Form-Text">Sentence Transformers</a>, <a href="https://zilliz.com/learn/bge-m3-and-splade-two-machine-learning-models-for-generating-sparse-embeddings">BGE-M3</a>, BM25, <a href="https://zilliz.com/learn/bge-m3-and-splade-two-machine-learning-models-for-generating-sparse-embeddings">SPLADE</a>, dan model-model yang sudah dilatih sebelumnya oleh Jina AI.</p>
<p>Contoh ini menggunakan <code translate="no">DefaultEmbeddingFunction</code>, berdasarkan model <code translate="no">all-MiniLM-L6-v2</code> Sentence Transformer untuk kesederhanaan. Model ini berukuran sekitar 70MB dan akan diunduh pada saat pertama kali digunakan:</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> model

<span class="hljs-comment"># This will download &quot;all-MiniLM-L6-v2&quot;, a lightweight model.</span>
ef = model.DefaultEmbeddingFunction()

<span class="hljs-comment"># Data from which embeddings are to be generated</span>
docs = [
   <span class="hljs-string">&quot;Artificial intelligence was founded as an academic discipline in 1956.&quot;</span>,
   <span class="hljs-string">&quot;Alan Turing was the first person to conduct substantial research in AI.&quot;</span>,
   <span class="hljs-string">&quot;Born in Maida Vale, London, Turing was raised in southern England.&quot;</span>,
]

embeddings = ef.encode_documents(docs)

<span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Embeddings:&quot;</span>, embeddings)
<span class="hljs-comment"># Print dimension and shape of embeddings</span>
<span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Dim:&quot;</span>, ef.dim, embeddings[<span class="hljs-number">0</span>].shape)
<button class="copy-code-btn"></button></code></pre>
<p>Hasil yang diharapkan adalah seperti berikut ini:</p>
<pre><code translate="no">Embeddings: [array([<span class="hljs-number">-3.09392996e-02</span>, <span class="hljs-number">-1.80662833e-02</span>,  <span class="hljs-number">1.34775648e-02</span>,  <span class="hljs-number">2.77156215e-02</span>,
      <span class="hljs-number">-4.86349640e-03</span>, <span class="hljs-number">-3.12581174e-02</span>, <span class="hljs-number">-3.55921760e-02</span>,  <span class="hljs-number">5.76934684e-03</span>,
       <span class="hljs-number">2.80773244e-03</span>,  <span class="hljs-number">1.35783911e-01</span>,  <span class="hljs-number">3.59678417e-02</span>,  <span class="hljs-number">6.17732145e-02</span>,
...
      <span class="hljs-number">-4.61330153e-02</span>, <span class="hljs-number">-4.85207550e-02</span>,  <span class="hljs-number">3.13997865e-02</span>,  <span class="hljs-number">7.82178566e-02</span>,
      <span class="hljs-number">-4.75336798e-02</span>,  <span class="hljs-number">5.21207601e-02</span>,  <span class="hljs-number">9.04406682e-02</span>, <span class="hljs-number">-5.36676683e-02</span>],
     dtype=<span class="hljs-type">float32</span>)]
Dim: <span class="hljs-number">384</span> (<span class="hljs-number">384</span>,)
<button class="copy-code-btn"></button></code></pre>
<h3 id="Example-2-Generate-Sparse-Vectors-Using-The-BM25-Model" class="common-anchor-header">Contoh 2: Menghasilkan Vektor Jarang Menggunakan Model BM25</h3><p>BM25 adalah metode terkenal yang menggunakan frekuensi kemunculan kata untuk menentukan relevansi antara kueri dan dokumen. Dalam contoh ini, kami akan menunjukkan cara menggunakan <code translate="no">BM25EmbeddingFunction</code> untuk menghasilkan sematan jarang untuk kueri dan dokumen.</p>
<p>Dalam BM25, penting untuk menghitung statistik dalam dokumen Anda untuk mendapatkan IDF (Inverse Document Frequency), yang dapat merepresentasikan pola dalam dokumen Anda. IDF mengukur seberapa banyak informasi yang diberikan oleh sebuah kata, apakah kata tersebut umum atau langka di semua dokumen.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus.model.sparse <span class="hljs-keyword">import</span> BM25EmbeddingFunction

<span class="hljs-comment"># 1. Prepare a small corpus to search</span>
docs = [
   <span class="hljs-string">&quot;Artificial intelligence was founded as an academic discipline in 1956.&quot;</span>,
   <span class="hljs-string">&quot;Alan Turing was the first person to conduct substantial research in AI.&quot;</span>,
   <span class="hljs-string">&quot;Born in Maida Vale, London, Turing was raised in southern England.&quot;</span>,
]
query = <span class="hljs-string">&quot;Where was Turing born?&quot;</span>
bm25_ef = BM25EmbeddingFunction()

<span class="hljs-comment"># 2. Fit the corpus to get BM25 model parameters on your documents.</span>
bm25_ef.fit(docs)

<span class="hljs-comment"># 3. Store the fitted parameters to expedite future processing.</span>
bm25_ef.save(<span class="hljs-string">&quot;bm25_params.json&quot;</span>)

<span class="hljs-comment"># 4. Load the saved params</span>
new_bm25_ef = BM25EmbeddingFunction()
new_bm25_ef.load(<span class="hljs-string">&quot;bm25_params.json&quot;</span>)

docs_embeddings = new_bm25_ef.encode_documents(docs)
query_embeddings = new_bm25_ef.encode_queries([query])
<span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Dim:&quot;</span>, new_bm25_ef.dim, <span class="hljs-built_in">list</span>(docs_embeddings)[<span class="hljs-number">0</span>].shape)
<button class="copy-code-btn"></button></code></pre>
<h3 id="Example-3-Using-a-ReRanker" class="common-anchor-header">Contoh 3: Menggunakan ReRanker</h3><p>Sistem pencarian bertujuan untuk menemukan hasil yang paling relevan dengan cepat dan efisien. Secara tradisional, metode seperti BM25 atau TF-IDF telah digunakan untuk menentukan peringkat hasil pencarian berdasarkan pencocokan kata kunci. Metode terbaru, seperti kemiripan kosinus berbasis penyematan, sangat mudah tetapi terkadang dapat melewatkan seluk-beluk bahasa dan, yang paling penting, interaksi antara dokumen dan maksud kueri.</p>
<p>Di sinilah penggunaan <a href="https://zilliz.com/learn/optimize-rag-with-rerankers-the-role-and-tradeoffs">pemeringkatan ulang</a> dapat membantu. Perangking ulang adalah model AI tingkat lanjut yang mengambil kumpulan hasil awal dari pencarian - sering kali disediakan oleh pencarian berbasis embeddings/token - dan mengevaluasinya kembali untuk memastikan bahwa hasil tersebut lebih sesuai dengan maksud pengguna. Ini melihat lebih dari sekadar pencocokan istilah di permukaan untuk mempertimbangkan interaksi yang lebih dalam antara kueri penelusuran dan konten dokumen.</p>
<p>Untuk contoh ini, kita akan menggunakan <a href="https://milvus.io/docs/integrate_with_jina.md">Jina AI Reranker</a>.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus.model.reranker <span class="hljs-keyword">import</span> JinaRerankFunction

jina_api_key = <span class="hljs-string">&quot;&lt;YOUR_JINA_API_KEY&gt;&quot;</span>

rf = JinaRerankFunction(<span class="hljs-string">&quot;jina-reranker-v1-base-en&quot;</span>, jina_api_key)

query = <span class="hljs-string">&quot;What event in 1956 marked the official birth of artificial intelligence as a discipline?&quot;</span>

documents = [
   <span class="hljs-string">&quot;In 1950, Alan Turing published his seminal paper, &#x27;Computing Machinery and Intelligence,&#x27; proposing the Turing Test as a criterion of intelligence, a foundational concept in the philosophy and development of artificial intelligence.&quot;</span>,
   <span class="hljs-string">&quot;The Dartmouth Conference in 1956 is considered the birthplace of artificial intelligence as a field; here, John McCarthy and others coined the term &#x27;artificial intelligence&#x27; and laid out its basic goals.&quot;</span>,
   <span class="hljs-string">&quot;In 1951, British mathematician and computer scientist Alan Turing also developed the first program designed to play chess, demonstrating an early example of AI in game strategy.&quot;</span>,
   <span class="hljs-string">&quot;The invention of the Logic Theorist by Allen Newell, Herbert A. Simon, and Cliff Shaw in 1955 marked the creation of the first true AI program, which was capable of solving logic problems, akin to proving mathematical theorems.&quot;</span>
]

results = rf(query, documents)

<span class="hljs-keyword">for</span> result <span class="hljs-keyword">in</span> results:
   <span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;Index: <span class="hljs-subst">{result.index}</span>&quot;</span>)
   <span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;Score: <span class="hljs-subst">{result.score:<span class="hljs-number">.6</span>f}</span>&quot;</span>)
   <span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;Text: <span class="hljs-subst">{result.text}</span>\n&quot;</span>)
<button class="copy-code-btn"></button></code></pre>
<p>Hasil yang diharapkan mirip dengan yang berikut ini:</p>
<pre><code translate="no">Index: <span class="hljs-number">1</span>
Score: <span class="hljs-number">0.937096</span>
Text: The Dartmouth Conference <span class="hljs-keyword">in</span> <span class="hljs-number">1956</span> <span class="hljs-keyword">is</span> considered the birthplace of artificial intelligence <span class="hljs-keyword">as</span> a field; here, John McCarthy <span class="hljs-keyword">and</span> others coined the term <span class="hljs-string">&#x27;artificial intelligence&#x27;</span> <span class="hljs-keyword">and</span> laid <span class="hljs-keyword">out</span> its basic goals.

Index: <span class="hljs-number">3</span>
Score: <span class="hljs-number">0.354210</span>
Text: The invention of the Logic Theorist <span class="hljs-keyword">by</span> Allen Newell, Herbert A. Simon, <span class="hljs-keyword">and</span> Cliff Shaw <span class="hljs-keyword">in</span> <span class="hljs-number">1955</span> marked the creation of the first <span class="hljs-literal">true</span> AI program, which was capable of solving logic problems, akin to proving mathematical theorems.

Index: <span class="hljs-number">0</span>
Score: <span class="hljs-number">0.349866</span>
Text: In <span class="hljs-number">1950</span>, Alan Turing published his seminal paper, <span class="hljs-string">&#x27;Computing Machinery and Intelligence,&#x27;</span> proposing the Turing Test <span class="hljs-keyword">as</span> a criterion of intelligence, a foundational concept <span class="hljs-keyword">in</span> the philosophy <span class="hljs-keyword">and</span> development of artificial intelligence.

Index: <span class="hljs-number">2</span>
Score: <span class="hljs-number">0.272896</span>
Text: In <span class="hljs-number">1951</span>, British mathematician <span class="hljs-keyword">and</span> computer scientist Alan Turing also developed the first program designed to play chess, demonstrating an early example of AI <span class="hljs-keyword">in</span> game strategy.
<button class="copy-code-btn"></button></code></pre>
<h2 id="Star-Us-On-GitHub-and-Join-Our-Discord" class="common-anchor-header">Bintangi Kami di GitHub dan Bergabunglah dengan Discord Kami!<button data-href="#Star-Us-On-GitHub-and-Join-Our-Discord" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Jika Anda menyukai artikel blog ini, pertimbangkan untuk membintangi Milvus di <a href="https://github.com/milvus-io/milvus">GitHub</a>, dan jangan ragu untuk bergabung dengan <a href="https://discord.gg/FG6hMJStWu">Discord</a> kami! 💙</p>


Memperkenalkan Integrasi PyMilvus dengan Model Penyematan

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/2_72e444c8dc.JPG" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Kami dengan senang hati memperkenalkan <a href="https://milvus.io/docs/milvus_lite.md">Milvus Lite</a>, database vektor ringan yang berjalan secara lokal di dalam aplikasi Python Anda. Berdasarkan basis data vektor <a href="https://milvus.io/intro">Milvus</a> sumber terbuka yang populer, Milvus Lite menggunakan kembali komponen inti untuk pengindeksan vektor dan penguraian kueri sambil menghilangkan elemen yang dirancang untuk skalabilitas tinggi dalam sistem terdistribusi. Desain ini membuat solusi yang ringkas dan efisien yang ideal untuk lingkungan dengan sumber daya komputasi yang terbatas, seperti laptop, Notebook Jupyter, dan perangkat seluler atau perangkat edge.</p>
<p>Milvus Lite terintegrasi dengan berbagai tumpukan pengembangan AI seperti LangChain dan LlamaIndex, memungkinkan penggunaannya sebagai penyimpan vektor dalam pipeline Retrieval Augmented Generation (RAG) tanpa perlu pengaturan server. Cukup jalankan <code translate="no">pip install pymilvus</code> (versi 2.4.3 atau lebih tinggi) untuk memasukkannya ke dalam aplikasi AI Anda sebagai pustaka Python.</p>
<p>Milvus Lite berbagi API Milvus, memastikan bahwa kode sisi klien Anda berfungsi untuk penerapan lokal skala kecil dan server Milvus yang digunakan di Docker atau Kubernetes dengan miliaran vektor.</p>
<h2 id="Why-We-Built-Milvus-Lite" class="common-anchor-header">Mengapa Kami Membangun Milvus Lite<button data-href="#Why-We-Built-Milvus-Lite" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Banyak aplikasi AI memerlukan pencarian kesamaan vektor untuk data yang tidak terstruktur, termasuk teks, gambar, suara, dan video, untuk aplikasi seperti chatbot dan asisten belanja. Basis data vektor dibuat untuk menyimpan dan mencari penyematan vektor dan merupakan bagian penting dari tumpukan pengembangan AI, terutama untuk kasus penggunaan AI generatif seperti <a href="https://zilliz.com/learn/Retrieval-Augmented-Generation">Retrieval Augmented Generation (RAG</a>).</p>
<p>Terlepas dari ketersediaan berbagai solusi pencarian vektor, opsi yang mudah dimulai yang juga berfungsi untuk penerapan produksi skala besar tidak ada. Sebagai pencipta Milvus, kami merancang Milvus Lite untuk membantu pengembang AI membangun aplikasi dengan lebih cepat sekaligus memastikan pengalaman yang konsisten di berbagai opsi penerapan, termasuk Milvus di Kubernetes, Docker, dan layanan cloud terkelola.</p>
<p>Milvus Lite adalah tambahan penting untuk rangkaian penawaran kami dalam ekosistem Milvus. Milvus Lite menyediakan alat serbaguna bagi para pengembang yang mendukung setiap tahap perjalanan pengembangan mereka. Dari pembuatan prototipe hingga lingkungan produksi dan dari komputasi edge hingga penerapan skala besar, Milvus sekarang menjadi satu-satunya database vektor yang mencakup kasus penggunaan dalam berbagai ukuran dan semua tahap pengembangan.</p>
<h2 id="How-Milvus-Lite-Works" class="common-anchor-header">Cara Kerja Milvus Lite<button data-href="#How-Milvus-Lite-Works" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus Lite mendukung semua operasi dasar yang tersedia di Milvus, seperti membuat koleksi dan menyisipkan, mencari, dan menghapus vektor. Ini akan segera mendukung fitur-fitur canggih seperti pencarian hibrida. Milvus Lite memuat data ke dalam memori untuk pencarian yang efisien dan menyimpannya sebagai file SQLite.</p>
<p>Milvus Lite disertakan dalam <a href="https://github.com/milvus-io/pymilvus">Python SDK dari Milvus</a> dan dapat digunakan dengan <code translate="no">pip install pymilvus</code>. Cuplikan kode berikut ini mendemonstrasikan bagaimana mengatur basis data vektor dengan Milvus Lite dengan menentukan nama file lokal dan kemudian membuat koleksi baru. Bagi mereka yang sudah terbiasa dengan API Milvus, satu-satunya perbedaan adalah bahwa <code translate="no">uri</code> merujuk pada nama file lokal dan bukannya titik akhir jaringan, misalnya, <code translate="no">&quot;milvus_demo.db&quot;</code> dan bukannya <code translate="no">&quot;http://localhost:19530&quot;</code> untuk server Milvus. Segala sesuatu yang lain tetap sama. Milvus Lite juga mendukung penyimpanan teks mentah dan label lain sebagai metadata, menggunakan skema dinamis atau yang didefinisikan secara eksplisit, seperti yang ditunjukkan di bawah ini.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> MilvusClient

client = MilvusClient(<span class="hljs-string">&quot;milvus_demo.db&quot;</span>)
<span class="hljs-comment"># This collection can take input with mandatory fields named &quot;id&quot;, &quot;vector&quot; and</span>
<span class="hljs-comment"># any other fields as &quot;dynamic schema&quot;. You can also define the schema explicitly.</span>
client.create_collection(
    collection_name=<span class="hljs-string">&quot;demo_collection&quot;</span>,
    dimension=<span class="hljs-number">384</span>  <span class="hljs-comment"># Dimension for vectors.</span>
)
<button class="copy-code-btn"></button></code></pre>
<p>Untuk skalabilitas, aplikasi AI yang dikembangkan dengan Milvus Lite dapat dengan mudah bertransisi menggunakan Milvus yang digunakan di Docker atau Kubernetes hanya dengan menentukan <code translate="no">uri</code> dengan endpoint server.</p>
<h2 id="Integration-with-AI-Development-Stack" class="common-anchor-header">Integrasi dengan AI Development Stack<button data-href="#Integration-with-AI-Development-Stack" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Selain memperkenalkan Milvus Lite untuk mempermudah pencarian vektor, Milvus juga berintegrasi dengan banyak kerangka kerja dan penyedia tumpukan pengembangan AI, termasuk <a href="https://python.langchain.com/v0.2/docs/integrations/vectorstores/milvus/">LangChain</a>, <a href="https://docs.llamaindex.ai/en/stable/examples/vector_stores/MilvusIndexDemo/">LlamaIndex</a>, <a href="https://haystack.deepset.ai/integrations/milvus-document-store">Haystack</a>, <a href="https://blog.voyageai.com/2024/05/30/semantic-search-with-milvus-lite-and-voyage-ai/">Voyage AI</a>, <a href="https://milvus.io/docs/integrate_with_ragas.md">Ragas</a>, <a href="https://jina.ai/news/implementing-a-chat-history-rag-with-jina-ai-and-milvus-lite/">Jina AI</a>, <a href="https://dspy-docs.vercel.app/docs/deep-dive/retrieval_models_clients/MilvusRM">DSPy</a>, <a href="https://www.bentoml.com/blog/building-a-rag-app-with-bentocloud-and-milvus-lite">BentoML</a>, <a href="https://chiajy.medium.com/70873c7576f1">WhyHow</a>, <a href="https://blog.relari.ai/case-study-using-synthetic-data-to-benchmark-rag-systems-be324904ace1">Relari AI</a>, <a href="https://docs.airbyte.com/integrations/destinations/milvus">Airbyte</a>, <a href="https://milvus.io/docs/integrate_with_hugging-face.md">HuggingFace</a>, dan <a href="https://memgpt.readme.io/docs/storage#milvus">MemGPT</a>. Berkat peralatan dan layanan mereka yang luas, integrasi ini menyederhanakan pengembangan aplikasi AI dengan kemampuan pencarian vektor.</p>
<p>Dan ini baru permulaan - masih banyak lagi integrasi yang lebih menarik yang akan segera hadir! Pantau terus!</p>
<h2 id="More-Resources-and-Examples" class="common-anchor-header">Sumber Daya dan Contoh Lainnya<button data-href="#More-Resources-and-Examples" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Jelajahi <a href="https://milvus.io/docs/quickstart.md">dokumentasi awal Milvus</a> untuk panduan terperinci dan contoh kode dalam menggunakan Milvus Lite untuk membangun aplikasi AI seperti Retrieval-Augmented Generation<a href="https://github.com/milvus-io/bootcamp/blob/master/bootcamp/tutorials/quickstart/build_RAG_with_milvus.ipynb">(RAG)</a> dan <a href="https://github.com/milvus-io/bootcamp/blob/master/bootcamp/tutorials/quickstart/image_search_with_milvus.ipynb">pencarian gambar</a>.</p>
<p>Milvus Lite adalah proyek sumber terbuka, dan kami menyambut kontribusi Anda. Lihat <a href="https://github.com/milvus-io/milvus-lite/blob/main/CONTRIBUTING.md">Panduan Berkontribusi</a> untuk memulai. Anda juga dapat melaporkan bug atau meminta fitur dengan mengajukan masalah di repositori <a href="https://github.com/milvus-io/milvus-lite">GitHub Milvus Lite</a>.</p>


Memperkenalkan Milvus Lite: Mulai Membangun Aplikasi GenAI dalam Hitungan Detik

Mengoptimalkan Basis Data Vektor, Meningkatkan AI Generatif Berbasis RAG

Memulai dengan klaster Milvus dan K8

<p>Kami dengan bangga mengumumkan peluncuran Milvus 2.4, sebuah kemajuan besar dalam meningkatkan kemampuan pencarian untuk kumpulan data berskala besar. Rilis terbaru ini menambahkan fitur-fitur baru, seperti dukungan untuk indeks CAGRA berbasis GPU, dukungan beta untuk penyematan <a href="https://zilliz.com/learn/sparse-and-dense-embeddings">yang jarang</a>, pencarian grup, dan berbagai peningkatan lainnya dalam kemampuan pencarian. Perkembangan ini memperkuat komitmen kami kepada komunitas dengan menawarkan kepada para pengembang seperti Anda, sebuah alat yang ampuh dan efisien untuk menangani dan melakukan kueri data vektor. Mari kita bahas manfaat utama Milvus 2.4.</p>
<h2 id="Enabled-Multi-vector-Search-for-Simplified-Multimodal-Searches" class="common-anchor-header">Pencarian Multi-vektor yang Diaktifkan untuk Pencarian Multimodal yang Disederhanakan<button data-href="#Enabled-Multi-vector-Search-for-Simplified-Multimodal-Searches" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.4 menyediakan kemampuan pencarian multivektor, yang memungkinkan pencarian dan pengurutan ulang berbagai jenis vektor secara simultan dalam sistem Milvus yang sama. Fitur ini menyederhanakan pencarian multimodal, secara signifikan meningkatkan tingkat penarikan dan memungkinkan pengembang untuk dengan mudah mengelola aplikasi AI yang rumit dengan berbagai tipe data. Selain itu, fungsi ini menyederhanakan integrasi dan penyempurnaan model pemeringkatan ulang khusus, membantu dalam pembuatan fungsi pencarian lanjutan seperti <a href="https://zilliz.com/vector-database-use-cases/recommender-system">sistem pemberi rekomendasi</a> yang tepat yang memanfaatkan wawasan dari data multidimensi.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/How_the_multi_vector_search_feature_works_6c85961349.png" alt="How the Milti-Vector Search Feature Works" class="doc-image" id="how-the-milti-vector-search-feature-works" />
   </span> <span class="img-wrapper"> <span>Cara Kerja Fitur Pencarian Milti-Vektor</span> </span></p>
<p>Dukungan multivektor di Milvus memiliki dua komponen:</p>
<ol>
<li><p>Kemampuan untuk menyimpan/menghasilkan beberapa vektor untuk satu entitas dalam satu koleksi, yang merupakan cara yang lebih alami untuk mengatur data</p></li>
<li><p>Kemampuan untuk membangun/mengoptimalkan algoritma perangkingan ulang dengan memanfaatkan algoritma perangkingan ulang yang sudah ada di Milvus</p></li>
</ol>
<p>Selain menjadi <a href="https://github.com/milvus-io/milvus/issues/25639">fitur yang banyak diminta</a>, kami membangun kemampuan ini karena industri ini bergerak menuju model multimodal dengan dirilisnya GPT-4 dan Claude 3. Perangkingan ulang adalah teknik yang umum digunakan untuk lebih meningkatkan kinerja kueri dalam penelusuran. Kami bertujuan untuk memudahkan para pengembang dalam membangun dan mengoptimalkan reranker mereka dalam ekosistem Milvus.</p>
<h2 id="Grouping-Search-Support-for-Enhanced-Compute-Efficiency" class="common-anchor-header">Dukungan Pengelompokan Pencarian untuk Meningkatkan Efisiensi Komputasi<button data-href="#Grouping-Search-Support-for-Enhanced-Compute-Efficiency" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Grouping Search adalah <a href="https://github.com/milvus-io/milvus/issues/25343">fitur</a> lain yang sering <a href="https://github.com/milvus-io/milvus/issues/25343">diminta</a> yang kami tambahkan ke Milvus 2.4. Fitur ini mengintegrasikan operasi per kelompok yang dirancang untuk field bertipe BOOL, INT, atau VARCHAR, yang mengisi kesenjangan efisiensi yang krusial dalam mengeksekusi kueri pengelompokan berskala besar.</p>
<p>Secara tradisional, pengembang mengandalkan pencarian Top-K yang ekstensif diikuti dengan pasca-pemrosesan manual untuk menyaring hasil spesifik grup, metode yang intensif komputasi dan kode-berat. Grouping Search menyempurnakan proses ini dengan secara efisien menghubungkan hasil kueri ke pengidentifikasi kelompok agregat seperti nama dokumen atau video, merampingkan penanganan entitas tersegmentasi dalam kumpulan data yang lebih besar.</p>
<p>Milvus membedakan Grouping Search-nya dengan implementasi berbasis iterator, menawarkan peningkatan yang nyata dalam efisiensi komputasi dibandingkan teknologi serupa. Pilihan ini memastikan skalabilitas kinerja yang unggul, terutama di lingkungan produksi yang mengutamakan optimalisasi sumber daya komputasi. Dengan mengurangi penelusuran data dan overhead komputasi, Milvus mendukung pemrosesan kueri yang lebih efisien, secara signifikan mengurangi waktu respons dan biaya operasional dibandingkan dengan basis data vektor lainnya.</p>
<p>Grouping Search meningkatkan kemampuan Milvus untuk mengelola kueri bervolume tinggi dan kompleks serta selaras dengan praktik komputasi berkinerja tinggi untuk solusi manajemen data yang kuat.</p>
<h2 id="Beta-Support-for-Sparse-Vector-Embeddings" class="common-anchor-header">Dukungan Beta untuk Penyematan Vektor Jarang<button data-href="#Beta-Support-for-Sparse-Vector-Embeddings" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Penyematan vektor<a href="https://zilliz.com/learn/sparse-and-dense-embeddings">jarang</a> mewakili pergeseran paradigma dari pendekatan vektor padat tradisional, yang memenuhi nuansa kemiripan semantik daripada sekadar frekuensi kata kunci. Perbedaan ini memungkinkan kemampuan pencarian yang lebih bernuansa, selaras dengan konten semantik dari kueri dan dokumen. Model vektor yang jarang, terutama berguna dalam pencarian informasi dan pemrosesan bahasa alami, menawarkan kemampuan pencarian di luar domain yang kuat dan kemampuan penafsiran dibandingkan dengan model vektor yang padat.</p>
<p>Di Milvus 2.4, kami telah memperluas Pencarian Hibrida untuk menyertakan sematan jarang yang dihasilkan oleh model saraf tingkat lanjut seperti SPLADEv2 atau model statistik seperti BM25. Dalam Milvus, vektor jarang diperlakukan setara dengan vektor padat, memungkinkan pembuatan koleksi dengan bidang vektor yang jarang, penyisipan data, pembuatan indeks, dan melakukan pencarian kemiripan. Khususnya, penyisipan jarang di Milvus mendukung metrik jarak <a href="https://zilliz.com/blog/similarity-metrics-for-vector-search#Inner-Product">Inner Product</a> (IP), yang menguntungkan karena sifatnya yang berdimensi tinggi, sehingga membuat metrik lain menjadi kurang efektif. Fungsionalitas ini juga mendukung tipe data dengan dimensi sebagai bilangan bulat 32-bit yang tidak ditandatangani dan float 32-bit untuk nilainya, sehingga memfasilitasi spektrum aplikasi yang luas, mulai dari pencarian teks yang bernuansa hingga sistem <a href="https://zilliz.com/learn/information-retrieval-metrics">pencarian informasi</a> yang rumit.</p>
<p>Dengan fitur baru ini, Milvus memungkinkan metodologi pencarian hibrida yang memadukan teknik berbasis kata kunci dan penyematan, menawarkan transisi yang mulus bagi pengguna yang beralih dari kerangka kerja pencarian yang berpusat pada kata kunci untuk mencari solusi yang komprehensif dan rendah biaya.</p>
<p>Kami memberi label fitur ini sebagai "Beta" untuk melanjutkan pengujian kinerja fitur ini dan mengumpulkan umpan balik dari komunitas. Ketersediaan umum (GA) dari dukungan vektor jarang diantisipasi dengan rilis Milvus 3.0.</p>
<h2 id="CAGRA-Index-Support-for-Advanced-GPU-Accelerated-Graph-Indexing" class="common-anchor-header">Dukungan Indeks CAGRA untuk Pengindeksan Grafis yang Dipercepat GPU Tingkat Lanjut<button data-href="#CAGRA-Index-Support-for-Advanced-GPU-Accelerated-Graph-Indexing" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Dikembangkan oleh NVIDIA, <a href="https://arxiv.org/abs/2308.15136">CAGRA</a> (Cuda Anns GRAph-based) adalah teknologi pengindeksan grafik berbasis GPU yang secara signifikan melampaui metode tradisional berbasis CPU seperti indeks HNSW dalam hal efisiensi dan performa, terutama di lingkungan dengan throughput tinggi.</p>
<p>Dengan diperkenalkannya Indeks CAGRA, Milvus 2.4 menyediakan kemampuan pengindeksan grafik yang dipercepat dengan GPU. Peningkatan ini sangat ideal untuk membangun aplikasi pencarian kemiripan yang membutuhkan latensi minimal. Selain itu, Milvus 2.4 mengintegrasikan pencarian brute-force dengan indeks CAGRA untuk mencapai tingkat penarikan maksimum dalam aplikasi. Untuk wawasan yang lebih detail, jelajahi <a href="https://zilliz.com/blog/Milvus-introduces-GPU-index-CAGRA">blog pengenalan CAGRA</a>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Milvus_raft_cagra_vs_milvus_hnsw_ffe0415ff5.png" alt="Milvus Raft CAGRA vs. Milvus HNSW" class="doc-image" id="milvus-raft-cagra-vs.-milvus-hnsw" />
   </span> <span class="img-wrapper"> <span>Milvus Rakit CAGRA vs Milvus HNSW</span> </span></p>
<h2 id="Additional-Enhancements-and-Features" class="common-anchor-header">Peningkatan dan Fitur Tambahan<button data-href="#Additional-Enhancements-and-Features" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.4 juga menyertakan peningkatan utama lainnya, seperti dukungan Regular Expression untuk pencocokan substring yang disempurnakan dalam pemfilteran <a href="https://zilliz.com/blog/metadata-filtering-with-zilliz-cloud-pipelines">metadata</a>, indeks terbalik skalar baru untuk pemfilteran tipe data skalar yang efisien, dan alat Change Data Capture untuk memonitor dan mereplikasi perubahan pada koleksi Milvus. Pembaruan ini secara kolektif meningkatkan kinerja dan keserbagunaan Milvus, menjadikannya solusi yang komprehensif untuk operasi data yang kompleks.</p>
<p>Untuk lebih jelasnya, lihat <a href="https://milvus.io/docs/release_notes.md">dokumentasi Milvus 2.4.</a></p>
<h2 id="Stay-Connected" class="common-anchor-header">Tetap Terhubung!<button data-href="#Stay-Connected" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Bersemangat untuk mempelajari lebih lanjut tentang Milvus 2.4? <a href="https://zilliz.com/event/unlocking-advanced-search-capabilities-milvus">Bergabunglah dengan webinar kami yang akan datang</a> bersama James Luan, VP of Engineering Zilliz, untuk diskusi mendalam tentang kemampuan rilis terbaru ini. Jika Anda memiliki pertanyaan atau umpan balik, bergabunglah dengan <a href="https://discord.com/invite/8uyFbECzPX">saluran Discord</a> kami untuk berinteraksi dengan para insinyur dan anggota komunitas kami. Jangan lupa untuk mengikuti kami di <a href="https://twitter.com/milvusio">Twitter</a> atau <a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn</a> untuk mendapatkan berita dan informasi terbaru tentang Milvus.</p>


Milvus 2.4 Supports Multi-vector Search, Sparse Vector, CAGRA, and More!

Mengungkap Milvus 2.4: Pencarian Multi-vektor, Vektor Jarang, Indeks CAGRA, dan Banyak Lagi!

<p><a href="https://zilliz.com/what-is-milvus">Milvus</a>, basis data vektor yang sangat skalabel dan terkenal dengan kemampuannya untuk menangani kumpulan data yang sangat besar, mengambil langkah maju yang signifikan dengan memperkenalkan dukungan file Parquet di <a href="https://zilliz.com/blog/what-is-new-in-milvus-2-3-4">versi 2.3.4</a>. Dengan menggunakan Apache Parquet, pengguna dapat menyederhanakan proses impor data mereka dan menikmati penghematan yang besar dalam biaya penyimpanan dan komputasi.</p>
<p>Dalam artikel terbaru kami, kami mengeksplorasi keunggulan Parquet dan manfaat yang diberikannya kepada pengguna Milvus. Kami membahas motivasi di balik integrasi fitur ini dan memberikan panduan langkah demi langkah untuk mengimpor file Parquet dengan lancar ke Milvus, membuka kemungkinan baru untuk manajemen dan analisis data yang efisien.</p>
<h2 id="What-Is-Apache-Parquet" class="common-anchor-header">Apa itu Apache Parquet?<button data-href="#What-Is-Apache-Parquet" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><a href="https://parquet.apache.org/">Apache Parquet</a> adalah format file data berorientasi kolom sumber terbuka yang populer yang dirancang untuk meningkatkan efisiensi penyimpanan dan pemrosesan kumpulan data berskala besar. Berbeda dengan format data berorientasi baris tradisional seperti CSV atau JSON, Parquet menyimpan data per kolom, menawarkan kompresi data dan skema penyandian yang lebih efisien. Pendekatan ini menghasilkan peningkatan kinerja, pengurangan kebutuhan penyimpanan, dan peningkatan daya pemrosesan, sehingga ideal untuk menangani data yang kompleks dalam jumlah besar.</p>
<h2 id="How-Milvus-Users-Benefit-from-the-Support-for-Parquet-File-Imports" class="common-anchor-header">Bagaimana Pengguna Milvus Mendapatkan Manfaat dari Dukungan untuk Impor File Parket<button data-href="#How-Milvus-Users-Benefit-from-the-Support-for-Parquet-File-Imports" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus memperluas dukungan untuk impor file Parquet, memberikan pengalaman yang dioptimalkan dan berbagai keuntungan kepada pengguna, termasuk biaya penyimpanan dan komputasi yang lebih rendah, manajemen data yang efisien, dan proses impor yang disederhanakan.</p>
<h3 id="Optimized-Storage-Efficiency-and-Streamlined-Data-Management" class="common-anchor-header">Efisiensi Penyimpanan yang Dioptimalkan dan Manajemen Data yang Efisien</h3><p>Parquet menyediakan opsi kompresi yang fleksibel dan skema pengodean yang efisien yang melayani berbagai jenis data, memastikan efisiensi penyimpanan yang optimal. Fleksibilitas ini sangat berharga dalam lingkungan cloud di mana setiap ons penghematan penyimpanan berkorelasi langsung dengan pengurangan biaya yang nyata. Dengan fitur baru di Milvus ini, pengguna dapat dengan mudah mengkonsolidasikan semua data mereka yang beragam ke dalam satu file, menyederhanakan manajemen data dan meningkatkan pengalaman pengguna secara keseluruhan. Fitur ini sangat bermanfaat bagi pengguna yang bekerja dengan tipe data Array dengan panjang variabel, yang sekarang dapat menikmati proses impor data yang disederhanakan.</p>
<h3 id="Improved-Query-Performance" class="common-anchor-header">Peningkatan Performa Kueri</h3><p>Desain penyimpanan kolumnar dan metode kompresi canggih dari Parquet secara signifikan meningkatkan kinerja kueri. Saat melakukan kueri, pengguna dapat fokus hanya pada data yang relevan tanpa memindai data yang tidak relevan. Pembacaan kolom yang selektif ini meminimalkan penggunaan CPU, sehingga menghasilkan waktu kueri yang lebih cepat.</p>
<h3 id="Broad-Language-Compatibility" class="common-anchor-header">Kompatibilitas Bahasa yang Luas</h3><p>Parket tersedia dalam berbagai bahasa seperti Java, C, dan Python dan kompatibel dengan sejumlah besar alat pemrosesan data. Dengan dukungan file Parquet, pengguna Milvus yang menggunakan SDK yang berbeda dapat dengan mudah menghasilkan file Parquet untuk diurai dalam database.</p>
<h2 id="How-to-Import-Parquet-Files-into-Milvus" class="common-anchor-header">Cara Mengimpor File Parquet ke Milvus<button data-href="#How-to-Import-Parquet-Files-into-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Jika data Anda sudah dalam format file Parquet, mengimpornya mudah. Unggah file Parquet ke sistem penyimpanan objek seperti MinIO, dan Anda siap untuk mengimpor.</p>
<p>Cuplikan kode di bawah ini adalah contoh mengimpor file Parquet ke Milvus.</p>
<pre><code translate="no">remote_files = []
<span class="hljs-keyword">try</span>:
    <span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Prepare upload files&quot;</span>)
    minio_client = Minio(endpoint=MINIO_ADDRESS, access_key=MINIO_ACCESS_KEY, secret_key=MINIO_SECRET_KEY,
                         secure=<span class="hljs-literal">False</span>)
    found = minio_client.bucket_exists(bucket_name)
    <span class="hljs-keyword">if</span> <span class="hljs-keyword">not</span> found:
        minio_client.make_bucket(bucket_name)
        <span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;MinIO bucket &#x27;{}&#x27; doesn&#x27;t exist&quot;</span>.<span class="hljs-built_in">format</span>(bucket_name))
        <span class="hljs-keyword">return</span> <span class="hljs-literal">False</span>, []

    <span class="hljs-comment"># set your remote data path</span>
    remote_data_path = <span class="hljs-string">&quot;milvus_bulkinsert&quot;</span>

    <span class="hljs-keyword">def</span> <span class="hljs-title function_">upload_file</span>(<span class="hljs-params">f: <span class="hljs-built_in">str</span></span>):
        file_name = os.path.basename(f)
        minio_file_path = os.path.join(remote_data_path, <span class="hljs-string">&quot;parquet&quot;</span>, file_name)
        minio_client.fput_object(bucket_name, minio_file_path, f)
        <span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Upload file &#x27;{}&#x27; to &#x27;{}&#x27;&quot;</span>.<span class="hljs-built_in">format</span>(f, minio_file_path))
        remote_files.append(minio_file_path)

    upload_file(data_file)

<span class="hljs-keyword">except</span> S3Error <span class="hljs-keyword">as</span> e:
    <span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Failed to connect MinIO server {}, error: {}&quot;</span>.<span class="hljs-built_in">format</span>(MINIO_ADDRESS, e))
    <span class="hljs-keyword">return</span> <span class="hljs-literal">False</span>, []

<span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Successfully upload files: {}&quot;</span>.<span class="hljs-built_in">format</span>(remote_files))
<span class="hljs-keyword">return</span> <span class="hljs-literal">True</span>, remote_files
<button class="copy-code-btn"></button></code></pre>
<p>Jika data Anda bukan file Parquet atau memiliki bidang dinamis, Anda dapat memanfaatkan BulkWriter, alat konversi format data kami, untuk membantu Anda menghasilkan file Parquet. BulkWriter kini telah menggunakan Parquet sebagai format data keluaran default, memastikan pengalaman yang lebih intuitif bagi pengembang.</p>
<p>Cuplikan kode di bawah ini adalah contoh penggunaan BulkWriter untuk menghasilkan file Parquet.</p>
<pre><code translate="no"><span class="hljs-keyword">import</span> numpy <span class="hljs-keyword">as</span> np
<span class="hljs-keyword">import</span> json

<span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> (
    RemoteBulkWriter,
    BulkFileType,
)

remote_writer = RemoteBulkWriter(
        schema=your_collection_schema,
        remote_path=<span class="hljs-string">&quot;your_remote_data_path&quot;</span>,
        connect_param=RemoteBulkWriter.ConnectParam(
            endpoint=YOUR_MINIO_ADDRESS,
            access_key=YOUR_MINIO_ACCESS_KEY,
            secret_key=YOUR_MINIO_SECRET_KEY,
            bucket_name=<span class="hljs-string">&quot;a-bucket&quot;</span>,
        ),
        file_type=BulkFileType.PARQUET,
)

<span class="hljs-comment"># append your data</span>
batch_count = <span class="hljs-number">10000</span>
<span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(batch_count):
    row = {
        <span class="hljs-string">&quot;id&quot;</span>: i,
        <span class="hljs-string">&quot;bool&quot;</span>: <span class="hljs-literal">True</span> <span class="hljs-keyword">if</span> i % <span class="hljs-number">5</span> == <span class="hljs-number">0</span> <span class="hljs-keyword">else</span> <span class="hljs-literal">False</span>,
        <span class="hljs-string">&quot;int8&quot;</span>: i % <span class="hljs-number">128</span>,
        <span class="hljs-string">&quot;int16&quot;</span>: i % <span class="hljs-number">1000</span>,
        <span class="hljs-string">&quot;int32&quot;</span>: i % <span class="hljs-number">100000</span>,
        <span class="hljs-string">&quot;int64&quot;</span>: i,
        <span class="hljs-string">&quot;float&quot;</span>: i / <span class="hljs-number">3</span>,
        <span class="hljs-string">&quot;double&quot;</span>: i / <span class="hljs-number">7</span>,
        <span class="hljs-string">&quot;varchar&quot;</span>: <span class="hljs-string">f&quot;varchar_<span class="hljs-subst">{i}</span>&quot;</span>,
        <span class="hljs-string">&quot;json&quot;</span>: {<span class="hljs-string">&quot;dummy&quot;</span>: i, <span class="hljs-string">&quot;ok&quot;</span>: <span class="hljs-string">f&quot;name_<span class="hljs-subst">{i}</span>&quot;</span>},
        <span class="hljs-string">&quot;vector&quot;</span>: gen_binary_vector() <span class="hljs-keyword">if</span> bin_vec <span class="hljs-keyword">else</span> gen_float_vector(),
        <span class="hljs-string">f&quot;dynamic_<span class="hljs-subst">{i}</span>&quot;</span>: i,
    }
    remote_writer.append_row(row)

<span class="hljs-comment"># append rows by numpy type</span>
<span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(batch_count):
    remote_writer.append_row({
        <span class="hljs-string">&quot;id&quot;</span>: np.int64(i + batch_count),
        <span class="hljs-string">&quot;bool&quot;</span>: <span class="hljs-literal">True</span> <span class="hljs-keyword">if</span> i % <span class="hljs-number">3</span> == <span class="hljs-number">0</span> <span class="hljs-keyword">else</span> <span class="hljs-literal">False</span>,
        <span class="hljs-string">&quot;int8&quot;</span>: np.int8(i % <span class="hljs-number">128</span>),
        <span class="hljs-string">&quot;int16&quot;</span>: np.int16(i % <span class="hljs-number">1000</span>),
        <span class="hljs-string">&quot;int32&quot;</span>: np.int32(i % <span class="hljs-number">100000</span>),
        <span class="hljs-string">&quot;int64&quot;</span>: np.int64(i),
        <span class="hljs-string">&quot;float&quot;</span>: np.float32(i / <span class="hljs-number">3</span>),
        <span class="hljs-string">&quot;double&quot;</span>: np.float64(i / <span class="hljs-number">7</span>),
        <span class="hljs-string">&quot;varchar&quot;</span>: <span class="hljs-string">f&quot;varchar_<span class="hljs-subst">{i}</span>&quot;</span>,
        <span class="hljs-string">&quot;json&quot;</span>: json.dumps({<span class="hljs-string">&quot;dummy&quot;</span>: i, <span class="hljs-string">&quot;ok&quot;</span>: <span class="hljs-string">f&quot;name_<span class="hljs-subst">{i}</span>&quot;</span>}),
        <span class="hljs-string">&quot;vector&quot;</span>: gen_binary_vector() <span class="hljs-keyword">if</span> bin_vec <span class="hljs-keyword">else</span> gen_float_vector(),
        <span class="hljs-string">f&quot;dynamic_<span class="hljs-subst">{i}</span>&quot;</span>: i,
    })

<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;<span class="hljs-subst">{remote_writer.total_row_count}</span> rows appends&quot;</span>)
<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;<span class="hljs-subst">{remote_writer.buffer_row_count}</span> rows in buffer not flushed&quot;</span>)
<span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Generate data files...&quot;</span>)
remote_writer.commit()
<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;Data files have been uploaded: <span class="hljs-subst">{remote_writer.batch_files}</span>&quot;</span>)
remote_files = remote_writer.batch_files
<button class="copy-code-btn"></button></code></pre>
<p>Kemudian, Anda dapat mulai mengimpor file Parquet Anda ke Milvus.</p>
<pre><code translate="no">remote_files = [remote_file_path]
task_id = utility.do_bulk_insert(collection_name=collection_name,
                                 files=remote_files)

task_ids = [task_id]         
states = wait_tasks_to_state(task_ids, BulkInsertState.ImportCompleted)
complete_count = 0
for state in states:
    if state.state == BulkInsertState.ImportCompleted:
        complete_count = complete_count + 1
<button class="copy-code-btn"></button></code></pre>
<p>Sekarang, data Anda telah terintegrasi dengan mulus ke dalam Milvus.</p>
<h2 id="Whats-Next" class="common-anchor-header">Apa Selanjutnya?<button data-href="#Whats-Next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Karena Milvus terus mendukung volume data yang terus bertambah, tantangan muncul dalam mengelola impor yang cukup besar, terutama ketika file Parquet melebihi 10GB. Untuk mengatasi tantangan ini, kami berencana untuk memisahkan data impor ke dalam kolom skalar dan vektor, membuat dua file Parquet per impor untuk mengurangi tekanan I/O. Untuk kumpulan data yang melebihi beberapa ratus gigabyte, kami sarankan untuk mengimpor data beberapa kali.</p>


Milvus Supports Imports of Apache Parquet Files

Milvus Mendukung Impor File Parket Apache untuk Meningkatkan Efisiensi Pemrosesan Data

<custom-h1>Pengenalan versi Milvus</custom-h1><p>Memilih versi Milvus yang tepat merupakan hal yang paling penting untuk keberhasilan proyek apa pun yang memanfaatkan teknologi pencarian vektor. Dengan berbagai versi Milvus yang disesuaikan dengan kebutuhan yang berbeda-beda, memahami pentingnya memilih versi yang tepat sangat penting untuk mencapai hasil yang diinginkan.</p>
<p>Versi Milvus yang tepat dapat membantu pengembang untuk belajar dan membuat prototipe dengan cepat atau membantu mengoptimalkan pemanfaatan sumber daya, merampingkan upaya pengembangan, dan memastikan kompatibilitas dengan infrastruktur dan alat yang ada. Pada akhirnya, ini adalah tentang menjaga produktivitas pengembang dan meningkatkan efisiensi, keandalan, dan kepuasan pengguna.</p>
<h2 id="Available-Milvus-versions" class="common-anchor-header">Versi Milvus yang tersedia<button data-href="#Available-Milvus-versions" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Tiga versi Milvus tersedia untuk para pengembang, dan semuanya bersifat open source. Ketiga versi tersebut adalah Milvus Lite, Milvus Standalone, dan Milvus Cluster, yang memiliki perbedaan dalam hal fitur dan bagaimana pengguna berencana untuk menggunakan Milvus dalam jangka pendek dan jangka panjang. Jadi, mari kita jelajahi satu per satu.</p>
<h2 id="Milvus-Lite" class="common-anchor-header">Milvus Lite<button data-href="#Milvus-Lite" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Seperti namanya, Milvus Lite adalah versi ringan yang terintegrasi dengan Google Colab dan Jupyter Notebook. Milvus Lite dikemas sebagai biner tunggal tanpa ketergantungan tambahan, membuatnya mudah untuk diinstal dan dijalankan di mesin Anda atau disematkan dalam aplikasi Python. Selain itu, Milvus Lite menyertakan server mandiri Milvus berbasis CLI, memberikan fleksibilitas untuk menjalankannya secara langsung pada mesin Anda. Apakah Anda menyematkannya dalam kode Python Anda atau menggunakannya sebagai server mandiri sepenuhnya tergantung pada preferensi Anda dan persyaratan aplikasi spesifik Anda.</p>
<h3 id="Features-and-Capabilities" class="common-anchor-header">Fitur dan Kemampuan</h3><p>Milvus Lite mencakup semua fitur pencarian vektor Milvus inti.</p>
<ul>
<li><p><strong>Kemampuan Pencarian</strong>: Mendukung pencarian top-k, rentang, dan hibrida, termasuk pemfilteran metadata, untuk memenuhi kebutuhan pencarian yang beragam.</p></li>
<li><p><strong>Jenis Indeks dan Metrik Kemiripan</strong>: Menawarkan dukungan untuk 11 jenis indeks dan lima metrik kemiripan, memberikan fleksibilitas dan opsi penyesuaian untuk kasus penggunaan spesifik Anda.</p></li>
<li><p><strong>Pemrosesan Data</strong>: Memungkinkan pemrosesan batch (Apache Parquet, Array, JSON) dan stream, dengan integrasi tanpa batas melalui konektor untuk Airbyte, Apache Kafka, dan Apache Spark.</p></li>
<li><p><strong>Operasi CRUD</strong>: Menawarkan dukungan CRUD penuh (buat, baca, perbarui/update, hapus), memberdayakan pengguna dengan kemampuan manajemen data yang komprehensif.</p></li>
</ul>
<h3 id="Applications-and-limitations" class="common-anchor-header">Aplikasi dan keterbatasan</h3><p>Milvus Lite sangat ideal untuk pembuatan prototipe cepat dan pengembangan lokal, menawarkan dukungan untuk penyiapan cepat dan eksperimen dengan dataset skala kecil pada mesin Anda. Namun, keterbatasannya menjadi jelas ketika bertransisi ke lingkungan produksi dengan dataset yang lebih besar dan persyaratan infrastruktur yang lebih berat. Oleh karena itu, meskipun Milvus Lite adalah alat yang sangat baik untuk eksplorasi dan pengujian awal, alat ini mungkin tidak cocok untuk menerapkan aplikasi dalam pengaturan volume tinggi atau siap produksi.</p>
<h3 id="Available-Resources" class="common-anchor-header">Sumber Daya yang Tersedia</h3><ul>
<li><p><a href="https://milvus.io/docs/milvus_lite.md">Dokumentasi</a></p></li>
<li><p><a href="https://github.com/milvus-io/milvus-lite/">Repositori Github</a></p></li>
<li><p><a href="https://github.com/milvus-io/milvus-lite/tree/main/examples">Contoh Google Colab</a></p></li>
<li><p><a href="https://www.youtube.com/watch?v=IgJdrGiB5ZY">Video Memulai</a></p></li>
</ul>
<h2 id="Milvus-Standalone" class="common-anchor-header">Milvus Mandiri<button data-href="#Milvus-Standalone" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus menawarkan dua mode operasional: Standalone dan Cluster. Kedua mode ini identik dalam fitur basis data vektor inti dan berbeda dalam hal dukungan ukuran data dan persyaratan skalabilitas. Perbedaan ini memungkinkan Anda untuk memilih mode yang paling sesuai dengan ukuran dataset, volume lalu lintas, dan persyaratan infrastruktur lainnya untuk produksi.</p>
<p>Milvus Standalone adalah mode operasi untuk sistem basis data vektor Milvus yang beroperasi secara independen sebagai contoh tunggal tanpa pengelompokan atau pengaturan terdistribusi. Milvus berjalan pada satu server atau mesin dalam mode ini, menyediakan fungsionalitas seperti pengindeksan dan pencarian vektor. Mode ini cocok untuk situasi di mana skala volume data dan lalu lintas relatif kecil dan tidak memerlukan kemampuan terdistribusi yang disediakan oleh pengaturan terkluster.</p>
<h3 id="Features-and-Capabilities" class="common-anchor-header">Fitur dan Kemampuan</h3><ul>
<li><p><strong>Performa Tinggi</strong>: Melakukan pencarian vektor pada kumpulan data yang sangat besar (miliaran atau lebih) dengan kecepatan dan efisiensi yang luar biasa.</p></li>
<li><p><strong>Kemampuan Pencarian</strong>: Mendukung pencarian top-k, rentang, dan hibrida, termasuk pemfilteran metadata, untuk memenuhi kebutuhan pencarian yang beragam.</p></li>
<li><p><strong>Jenis Indeks dan Metrik Kemiripan</strong>: Menawarkan dukungan untuk 11 jenis indeks dan 5 metrik kemiripan, memberikan fleksibilitas dan opsi penyesuaian untuk kasus penggunaan spesifik Anda.</p></li>
<li><p><strong>Pemrosesan Data</strong>: Memungkinkan pemrosesan batch (Apache Parket, Larik, Json) dan streaming, dengan integrasi tanpa batas melalui konektor untuk Airbyte, Apache Kafka, dan Apache Spark.</p></li>
<li><p><strong>Replikasi dan Failover Data</strong>: Fitur replikasi dan failover/failback bawaan memastikan integritas data dan ketersediaan aplikasi, bahkan selama gangguan atau kegagalan.</p></li>
<li><p><strong>Skalabilitas</strong>: Dapatkan skalabilitas dinamis dengan penskalaan tingkat komponen, memungkinkan penskalaan naik dan turun tanpa hambatan berdasarkan permintaan. Milvus dapat melakukan penskalaan otomatis pada tingkat komponen, mengoptimalkan alokasi sumber daya untuk meningkatkan efisiensi.</p></li>
<li><p><strong>Multi-Tenancy</strong>: Mendukung multi-tenancy dengan kemampuan untuk mengelola hingga 10.000 koleksi/partisi dalam sebuah cluster, memberikan pemanfaatan sumber daya yang efisien dan isolasi untuk pengguna atau aplikasi yang berbeda.</p></li>
<li><p><strong>Operasi CRUD</strong>: Menawarkan dukungan CRUD penuh (buat, baca, perbarui/update, hapus), memberdayakan pengguna dengan kemampuan manajemen data yang komprehensif.</p></li>
</ul>
<h3 id="Essential-components" class="common-anchor-header">Komponen penting:</h3><ul>
<li><p>Milvus: Komponen fungsional inti.</p></li>
<li><p>etcd: Mesin metadata yang bertanggung jawab untuk mengakses dan menyimpan metadata dari komponen internal Milvus, termasuk proksi, simpul indeks, dan banyak lagi.</p></li>
<li><p>MinIO: Mesin penyimpanan yang bertanggung jawab atas persistensi data dalam Milvus.</p></li>
</ul>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Screenshot_2024_02_19_at_4_16_41_PM_5e635586a7.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Gambar 1: Arsitektur Mandiri Milvus</p>
<h3 id="Available-Resources" class="common-anchor-header">Sumber Daya yang Tersedia</h3><ul>
<li><p>Dokumentasi</p>
<ul>
<li><p><a href="https://milvus.io/docs/prerequisite-docker.md">Daftar Periksa Lingkungan untuk Milvus dengan Docker Compose</a></p></li>
<li><p><a href="https://milvus.io/docs/install_standalone-docker.md">Menginstal Milvus Standalone dengan Docker</a></p></li>
</ul></li>
<li><p><a href="https://github.com/milvus-io/milvus">Repositori Github</a></p></li>
</ul>
<h2 id="Milvus-Cluster" class="common-anchor-header">Milvus Cluster<button data-href="#Milvus-Cluster" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus Cluster adalah mode operasi untuk sistem basis data vektor Milvus di mana ia beroperasi dan didistribusikan di beberapa node atau server. Dalam mode ini, instance Milvus dikelompokkan bersama untuk membentuk sistem terpadu yang dapat menangani volume data yang lebih besar dan beban lalu lintas yang lebih tinggi dibandingkan dengan pengaturan mandiri. Milvus Cluster menawarkan skalabilitas, toleransi kesalahan, dan fitur penyeimbangan beban, sehingga cocok untuk skenario yang perlu menangani data besar dan melayani banyak kueri bersamaan secara efisien.</p>
<h3 id="Features-and-Capabilities" class="common-anchor-header">Fitur dan Kemampuan</h3><ul>
<li><p>Mewarisi semua fitur yang tersedia di Milvus Standalone, termasuk pencarian vektor berkinerja tinggi, dukungan untuk berbagai jenis indeks dan metrik kemiripan, serta integrasi tanpa batas dengan kerangka kerja pemrosesan batch dan stream.</p></li>
<li><p>Menawarkan ketersediaan, kinerja, dan pengoptimalan biaya yang tak tertandingi dengan memanfaatkan komputasi terdistribusi dan penyeimbangan beban di beberapa node.</p></li>
<li><p>Memungkinkan penerapan dan penskalaan beban kerja tingkat perusahaan yang aman dengan total biaya yang lebih rendah dengan memanfaatkan sumber daya secara efisien di seluruh cluster dan mengoptimalkan alokasi sumber daya berdasarkan permintaan beban kerja.</p></li>
</ul>
<h3 id="Essential-components" class="common-anchor-header">Komponen penting:</h3><p>Milvus Cluster mencakup delapan komponen layanan mikro dan tiga ketergantungan pihak ketiga. Semua layanan mikro dapat digunakan di Kubernetes secara independen satu sama lain.</p>
<h4 id="Microservice-components" class="common-anchor-header">Komponen layanan mikro</h4><ul>
<li><p>Koordinator akar (root coord)</p></li>
<li><p>Proxy</p></li>
<li><p>Koordinat kueri</p></li>
<li><p>Simpul kueri</p></li>
<li><p>Koordinat indeks</p></li>
<li><p>Simpul indeks</p></li>
<li><p>Koordinat data</p></li>
<li><p>Simpul data</p></li>
</ul>
<h4 id="Third-party-dependencies" class="common-anchor-header">Ketergantungan pihak ketiga</h4><ul>
<li><p>dll: Menyimpan metadata untuk berbagai komponen dalam cluster.</p></li>
<li><p>MinIO: Bertanggung jawab atas persistensi data dari file-file besar dalam cluster, seperti file indeks dan log biner.</p></li>
<li><p>Pulsar: Mengelola log dari operasi mutasi terbaru, mengeluarkan log streaming, dan menyediakan layanan berlangganan-publikasi log.</p></li>
</ul>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Screenshot_2024_02_19_at_4_18_01_PM_88971280ed.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Gambar 2: Arsitektur Cluster Milvus</p>
<h4 id="Available-Resources" class="common-anchor-header">Sumber Daya yang Tersedia</h4><ul>
<li><p><a href="https://milvus.io/docs/install_cluster-milvusoperator.md">Dokumentasi</a> | Cara memulai</p>
<ul>
<li><p><a href="https://milvus.io/docs/install_cluster-milvusoperator.md">Instal Milvus Cluster dengan Milvus Operator</a></p></li>
<li><p><a href="https://milvus.io/docs/install_cluster-helm.md">Menginstal Milvus Cluster dengan Helm</a></p></li>
<li><p><a href="https://milvus.io/docs/scaleout.md">Cara menskalakan Milvus Cluster</a></p></li>
</ul></li>
<li><p><a href="https://github.com/milvus-io/milvus">Repositori Github</a></p></li>
</ul>
<h2 id="Making-the-Decision-on-which-Milvus-version-to-use" class="common-anchor-header">Membuat Keputusan tentang versi Milvus mana yang akan digunakan<button data-href="#Making-the-Decision-on-which-Milvus-version-to-use" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Ketika memutuskan versi Milvus mana yang akan digunakan untuk proyek Anda, Anda harus mempertimbangkan faktor-faktor seperti ukuran dataset, volume lalu lintas, persyaratan skalabilitas, dan batasan lingkungan produksi. Milvus Lite sangat cocok untuk membuat prototipe di laptop Anda. Milvus Standalone menawarkan kinerja dan fleksibilitas tinggi untuk melakukan pencarian vektor pada dataset Anda, sehingga cocok untuk penerapan skala yang lebih kecil, CI/CD, dan penerapan offline ketika Anda tidak memiliki dukungan Kubernetes... Dan terakhir, Milvus Cluster memberikan ketersediaan, skalabilitas, dan pengoptimalan biaya yang tak tertandingi untuk beban kerja tingkat perusahaan, menjadikannya pilihan yang lebih disukai untuk lingkungan produksi berskala besar dan sangat tersedia.</p>
<p>Ada versi lain yang merupakan versi tanpa kerumitan, yaitu versi terkelola Milvus yang disebut <a href="https://cloud.zilliz.com/signup">Zilliz Cloud</a>.</p>
<p>Pada akhirnya, versi Milvus akan bergantung pada kasus penggunaan spesifik Anda, persyaratan infrastruktur, dan tujuan jangka panjang. Dengan mengevaluasi faktor-faktor ini dengan cermat dan memahami fitur dan kemampuan masing-masing versi, Anda dapat membuat keputusan yang tepat yang sesuai dengan kebutuhan dan tujuan proyek Anda. Baik Anda memilih Milvus Standalone atau Milvus Cluster, Anda dapat memanfaatkan kekuatan basis data vektor untuk meningkatkan kinerja dan efisiensi aplikasi AI Anda.</p>


Versi Milvus apa yang digunakan untuk memulai

Top 10 Keywords Dominating the Milvus Community in 2023

Mengungkap 10 Kata Kunci Teratas yang Mendominasi Komunitas Milvus di Tahun 2023

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/What_is_new_in_Milvus_2_3_4_1847b0fa8a.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Kami sangat senang untuk memperkenalkan rilis terbaru Milvus 2.3.4. Pembaruan ini memperkenalkan serangkaian fitur dan peningkatan yang dibuat dengan cermat untuk mengoptimalkan kinerja, meningkatkan efisiensi, dan memberikan pengalaman pengguna yang mulus. Dalam artikel blog ini, kami akan membahas hal-hal penting dari Milvus 2.3.4.</p>
<h2 id="Access-logs-for-improved-monitoring" class="common-anchor-header">Akses log untuk pemantauan yang lebih baik<button data-href="#Access-logs-for-improved-monitoring" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus sekarang mendukung log akses, menawarkan wawasan yang sangat berharga tentang interaksi dengan antarmuka eksternal. Log ini mencatat nama metode, permintaan pengguna, waktu respons, kode kesalahan, dan informasi interaksi lainnya, yang memberdayakan pengembang dan administrator sistem untuk melakukan analisis kinerja, audit keamanan, dan pemecahan masalah yang efisien.</p>
<p><strong><em>Catatan:</em></strong> <em>Saat ini, log akses hanya mendukung interaksi gRPC. Namun, komitmen kami untuk terus melakukan peningkatan, dan versi mendatang akan memperluas kemampuan ini untuk menyertakan log permintaan RESTful.</em></p>
<p>Untuk informasi lebih lanjut, lihat <a href="https://milvus.io/docs/configure_access_logs.md">Mengonfigurasi Log Akses</a>.</p>
<h2 id="Parquet-file-imports-for-enhanced-data-processing-efficiency" class="common-anchor-header">Impor file parket untuk meningkatkan efisiensi pemrosesan data<button data-href="#Parquet-file-imports-for-enhanced-data-processing-efficiency" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.3.4 sekarang mendukung impor file Parquet, format penyimpanan kolom yang digunakan secara luas yang dirancang untuk meningkatkan efisiensi penyimpanan dan pemrosesan set data berskala besar. Penambahan ini memberikan fleksibilitas dan efisiensi yang lebih baik kepada pengguna dalam upaya pemrosesan data mereka. Dengan menghilangkan kebutuhan konversi format data yang melelahkan, pengguna yang mengelola kumpulan data substansial dalam format Parket akan mengalami proses impor data yang efisien, secara signifikan mengurangi waktu dari persiapan data awal hingga pengambilan vektor berikutnya.</p>
<p>Selain itu, alat konversi format data kami, BulkWriter, kini telah menggunakan Parquet sebagai format data output default, memastikan pengalaman yang lebih intuitif bagi para pengembang.</p>
<h2 id="Binlog-index-on-growing-segments-for-faster-searches" class="common-anchor-header">Indeks binlog pada segmen yang sedang berkembang untuk pencarian yang lebih cepat<button data-href="#Binlog-index-on-growing-segments-for-faster-searches" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus sekarang memanfaatkan indeks binlog pada segmen yang sedang berkembang, menghasilkan pencarian yang lebih cepat hingga sepuluh kali lipat di segmen yang sedang berkembang. Peningkatan ini secara signifikan meningkatkan efisiensi penelusuran dan mendukung indeks tingkat lanjut seperti IVF atau Fast Scan, sehingga meningkatkan pengalaman pengguna secara keseluruhan.</p>
<h2 id="Support-for-up-to-10000-collectionspartitions" class="common-anchor-header">Dukungan hingga 10.000 koleksi/partisi<button data-href="#Support-for-up-to-10000-collectionspartitions" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Seperti tabel dan partisi dalam basis data relasional, koleksi dan partisi merupakan unit inti untuk menyimpan dan mengelola data vektor di Milvus. Menanggapi kebutuhan pengguna yang terus berkembang akan organisasi data yang bernuansa, Milvus 2.3.4 kini mendukung hingga 10.000 koleksi/partisi dalam sebuah cluster, sebuah lompatan signifikan dari batas sebelumnya, yaitu 4.096 koleksi/partisi. Peningkatan ini bermanfaat bagi beragam kasus penggunaan, seperti manajemen basis pengetahuan dan lingkungan multi-penyewa. Dukungan yang diperluas untuk koleksi/partisi berasal dari penyempurnaan mekanisme time tick, manajemen goroutine, dan penggunaan memori.</p>
<p><strong><em>Catatan:</em></strong> <em>Batas yang disarankan untuk jumlah koleksi/partisi adalah 10.000, karena melebihi batas ini dapat berdampak pada pemulihan kegagalan dan penggunaan sumber daya</em>.</p>
<h2 id="Other-enhancements" class="common-anchor-header">Peningkatan lainnya<button data-href="#Other-enhancements" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Selain fitur-fitur di atas, Milvus 2.3.4 juga menyertakan berbagai peningkatan dan perbaikan bug. Ini termasuk pengurangan penggunaan memori selama pengambilan data dan penanganan data dengan panjang variabel, pesan kesalahan yang disempurnakan, kecepatan pemuatan yang dipercepat, dan keseimbangan pecahan kueri yang lebih baik. Peningkatan kolektif ini berkontribusi pada pengalaman pengguna yang lebih lancar dan lebih efisien secara keseluruhan.</p>
<p>Untuk gambaran umum yang komprehensif tentang semua perubahan yang diperkenalkan di Milvus 2.3.4, lihat <a href="https://milvus.io/docs/release_notes.md#v234">Catatan Rilis</a> kami.</p>
<h2 id="Stay-connected" class="common-anchor-header">Tetap terhubung!<button data-href="#Stay-connected" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Jika Anda memiliki pertanyaan atau umpan balik tentang Milvus, bergabunglah dengan <a href="https://discord.com/invite/8uyFbECzPX">saluran Discord</a> kami untuk berinteraksi dengan para insinyur dan komunitas kami secara langsung atau bergabunglah dengan <a href="https://discord.com/invite/RjNbk8RR4f">Makan Si</a> ang <a href="https://discord.com/invite/RjNbk8RR4f">dan Belajar Komunitas Milvus</a> setiap hari Selasa mulai pukul 12.00 - 12.30 PST. Anda juga dapat mengikuti kami di <a href="https://twitter.com/milvusio">Twitter</a> atau <a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn</a> untuk mendapatkan berita dan informasi terbaru tentang Milvus.</p>


Milvus 2.3.4: Pencarian Lebih Cepat, Dukungan Data yang Diperluas, Pemantauan yang Lebih Baik, dan Banyak Lagi

2023: tahun AI

Pencarian Kemiripan Vektor yang Efisien dalam Alur Kerja Rekomendasi Menggunakan Milvus dengan NVIDIA Merlin

Cara Mendapatkan Penyematan Vektor yang Tepat

Cara Memigrasi Data Anda ke Milvus dengan Mudah: Panduan Komprehensif

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Exploring_NATS_878f48c848.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Dalam permadani pemrosesan data yang rumit, komunikasi tanpa batas adalah benang merah yang mengikat operasi bersama. <a href="https://zilliz.com/what-is-milvus">Milvus</a>, <a href="https://zilliz.com/cloud">basis data vektor sumber terbuka</a> yang menjadi pelopor, telah memulai perjalanan transformatif dengan fitur terbarunya: Integrasi pesan NATS. Dalam artikel blog yang komprehensif ini, kami akan mengungkap seluk-beluk integrasi ini, mengeksplorasi fitur-fitur intinya, proses penyiapan, manfaat migrasi, dan bagaimana integrasi ini dibandingkan dengan pendahulunya, RocksMQ.</p>
<h2 id="Understanding-the-role-of-message-queues-in-Milvus" class="common-anchor-header">Memahami peran antrean pesan di Milvus<button data-href="#Understanding-the-role-of-message-queues-in-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Dalam arsitektur cloud-native Milvus, antrean pesan, atau Log Broker, memiliki peran yang sangat penting. Ini adalah tulang punggung yang memastikan aliran data yang persisten, sinkronisasi, pemberitahuan peristiwa, dan integritas data selama pemulihan sistem. Secara tradisional, RocksMQ adalah pilihan yang paling mudah dalam mode Milvus Standalone, terutama jika dibandingkan dengan Pulsar dan Kafka, tetapi keterbatasannya menjadi jelas dengan data yang luas dan skenario yang kompleks.</p>
<p>Milvus 2.3 memperkenalkan NATS, sebuah implementasi MQ single-node, yang mendefinisikan ulang cara mengelola aliran data. Tidak seperti pendahulunya, NATS membebaskan pengguna Milvus dari kendala kinerja, memberikan pengalaman yang mulus dalam menangani volume data yang besar.</p>
<h2 id="What-is-NATS" class="common-anchor-header">Apa itu NATS?<button data-href="#What-is-NATS" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>NATS adalah teknologi konektivitas sistem terdistribusi yang diimplementasikan di Go. NATS mendukung berbagai mode komunikasi seperti Request-Reply dan Publish-Subscribe di seluruh sistem, menyediakan persistensi data melalui JetStream, dan menawarkan kemampuan terdistribusi melalui RAFT bawaan. Anda dapat merujuk ke <a href="https://nats.io/">situs web resmi NATS</a> untuk pemahaman yang lebih rinci tentang NATS.</p>
<p>Dalam mode Milvus 2.3 Standalone, NATS, JetStream, dan PubSub menyediakan kemampuan MQ yang kuat bagi Milvus.</p>
<h2 id="Enabling-NATS" class="common-anchor-header">Mengaktifkan NATS<button data-href="#Enabling-NATS" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.3 menawarkan opsi kontrol baru, <code translate="no">mq.type</code>, yang memungkinkan pengguna untuk menentukan jenis MQ yang ingin mereka gunakan. Untuk mengaktifkan NATS, setel <code translate="no">mq.type=natsmq</code>. Jika Anda melihat log yang mirip dengan log di bawah ini setelah Anda memulai instans Milvus, Anda telah berhasil mengaktifkan NATS sebagai antrean pesan.</p>
<pre><code translate="no">[INFO] [dependency/factory.go:83] [<span class="hljs-string">&quot;try to init mq&quot;</span>] [standalone=<span class="hljs-literal">true</span>] [mqType=natsmq]
<button class="copy-code-btn"></button></code></pre>
<h2 id="Configuring-NATS-for-Milvus" class="common-anchor-header">Mengonfigurasi NATS untuk Milvus<button data-href="#Configuring-NATS-for-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Opsi kustomisasi NATS termasuk menentukan port pendengaran, direktori penyimpanan JetStream, ukuran muatan maksimum, dan batas waktu inisialisasi. Menyempurnakan pengaturan ini akan memastikan kinerja dan keandalan yang optimal.</p>
<pre><code translate="no">natsmq:
server: <span class="hljs-comment"># server side configuration for natsmq.</span>
port: <span class="hljs-number">4222</span> <span class="hljs-comment"># 4222 by default, Port for nats server listening.</span>
storeDir: /var/lib/milvus/nats <span class="hljs-comment"># /var/lib/milvus/nats by default, directory to use for JetStream storage of nats.</span>
maxFileStore: <span class="hljs-number">17179869184</span> <span class="hljs-comment"># (B) 16GB by default, Maximum size of the &#x27;file&#x27; storage.</span>
maxPayload: <span class="hljs-number">8388608</span> <span class="hljs-comment"># (B) 8MB by default, Maximum number of bytes in a message payload.</span>
maxPending: <span class="hljs-number">67108864</span> <span class="hljs-comment"># (B) 64MB by default, Maximum number of bytes buffered for a connection Applies to client connections.</span>
initializeTimeout: <span class="hljs-number">4000</span> <span class="hljs-comment"># (ms) 4s by default, waiting for initialization of natsmq finished.</span>
monitor:
trace: false <span class="hljs-comment"># false by default, If true enable protocol trace log messages.</span>
debug: false <span class="hljs-comment"># false by default, If true enable debug log messages.</span>
logTime: true <span class="hljs-comment"># true by default, If set to false, log without timestamps.</span>
logFile: /tmp/milvus/logs/nats.log <span class="hljs-comment"># /tmp/milvus/logs/nats.log by default, Log file path relative to .. of milvus binary if use relative path.</span>
logSizeLimit: <span class="hljs-number">536870912</span> <span class="hljs-comment"># (B) 512MB by default, Size in bytes after the log file rolls over to a new one.</span>
retention:
maxAge: <span class="hljs-number">4320</span> <span class="hljs-comment"># (min) 3 days by default, Maximum age of any message in the P-channel.</span>
maxBytes: <span class="hljs-comment"># (B) None by default, How many bytes the single P-channel may contain. Removing oldest messages if the P-channel exceeds this size.</span>
maxMsgs: <span class="hljs-comment"># None by default, How many message the single P-channel may contain. Removing oldest messages if the P-channel exceeds this limit.</span>
<button class="copy-code-btn"></button></code></pre>
<p><strong>Catatan:</strong></p>
<ul>
<li><p>Anda harus menentukan <code translate="no">server.port</code> untuk mendengarkan server NATS. Jika terjadi konflik port, Milvus tidak dapat memulai. Atur <code translate="no">server.port=-1</code> untuk memilih port secara acak.</p></li>
<li><p><code translate="no">storeDir</code> menentukan direktori untuk penyimpanan JetStream. Kami menyarankan untuk menyimpan direktori di solid-state drive (SSD) berkinerja tinggi untuk hasil baca/tulis yang lebih baik dari Milvus.</p></li>
<li><p><code translate="no">maxFileStore</code> menetapkan batas atas ukuran penyimpanan JetStream. Melebihi batas ini akan mencegah penulisan data lebih lanjut.</p></li>
<li><p><code translate="no">maxPayload</code> membatasi ukuran pesan individual. Anda harus menjaganya tetap di atas 5MB untuk menghindari penolakan penulisan.</p></li>
<li><p><code translate="no">initializeTimeout</code>mengontrol batas waktu pengaktifan server NATS.</p></li>
<li><p><code translate="no">monitor</code> mengonfigurasi log independen NATS.</p></li>
<li><p><code translate="no">retention</code> mengontrol mekanisme penyimpanan pesan NATS.</p></li>
</ul>
<p>Untuk informasi lebih lanjut, lihat <a href="https://docs.nats.io/running-a-nats-service/configuration">dokumentasi resmi NATS</a>.</p>
<h2 id="Migrating-from-RocksMQ-to-NATS" class="common-anchor-header">Migrasi dari RocksMQ ke NATS<button data-href="#Migrating-from-RocksMQ-to-NATS" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Migrasi dari RocksMQ ke NATS merupakan proses yang mulus yang melibatkan langkah-langkah seperti menghentikan operasi penulisan, pembilasan data, memodifikasi konfigurasi, dan memverifikasi migrasi melalui log Milvus.</p>
<ol>
<li><p>Sebelum memulai migrasi, hentikan semua operasi tulis di Milvus.</p></li>
<li><p>Jalankan operasi <code translate="no">FlushALL</code> pada Milvus dan tunggu hingga selesai. Langkah ini memastikan bahwa semua data yang tertunda telah di-flush dan sistem siap untuk dimatikan.</p></li>
<li><p>Ubahlah file konfigurasi Milvus dengan mengatur <code translate="no">mq.type=natsmq</code> dan sesuaikan opsi-opsi yang relevan pada bagian <code translate="no">natsmq</code>.</p></li>
<li><p>Jalankan Milvus 2.3.</p></li>
<li><p>Cadangkan dan bersihkan data asli yang tersimpan dalam direktori <code translate="no">rocksmq.path</code>. (Opsional)</p></li>
</ol>
<h2 id="NATS-vs-RocksMQ-A-Performance-Showdown" class="common-anchor-header">NATS vs RocksMQ: Adu Performa<button data-href="#NATS-vs-RocksMQ-A-Performance-Showdown" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="PubSub-Performance-Testing" class="common-anchor-header">Pengujian Performa Pub/Sub</h3><ul>
<li><p><strong>Platform Pengujian:</strong> Chip / Memori M1 Pro: 16GB</p></li>
<li><p><strong>Skenario Pengujian:</strong> Mengirimkan dan menerbitkan paket data acak ke sebuah topik secara berulang-ulang sampai hasil terakhir yang diterbitkan diterima.</p></li>
<li><p><strong>Hasil:</strong></p>
<ul>
<li><p>Untuk paket data yang lebih kecil (&lt; 64kb), RocksMQ mengungguli NATS dalam hal memori, CPU, dan kecepatan respons.</p></li>
<li><p>Untuk paket data yang lebih besar (&gt; 64kb), NATS mengungguli RocksMQ, menawarkan waktu respons yang jauh lebih cepat.</p></li>
</ul></li>
</ul>
<table>
<thead>
<tr><th>Jenis Pengujian</th><th>MQ</th><th>jumlah operasi</th><th>biaya per operasi</th><th>Biaya memori</th><th>Total Waktu CPU</th><th>Biaya penyimpanan</th></tr>
</thead>
<tbody>
<tr><td>5MB * 100 Pub / Sub</td><td>NATS</td><td>50</td><td>1.650328186 s/op</td><td>4,29 GB</td><td>85.58</td><td>25G</td></tr>
<tr><td>5MB * 100 Pub/Sub</td><td>RocksMQ</td><td>50</td><td>2.475595131 s/op</td><td>1,18 GB</td><td>81.42</td><td>19G</td></tr>
<tr><td>1MB * 500 Pub/Sub</td><td>NATS</td><td>50</td><td>2.248722593 s/op</td><td>2,60 GB</td><td>96.50</td><td>25G</td></tr>
<tr><td>1MB * 500 Pub/Sub</td><td>RocksMQ</td><td>50</td><td>2.554614279 s/op</td><td>614.9 MB</td><td>80.19</td><td>19G</td></tr>
<tr><td>64KB*10000 Pub/Sub</td><td>NATS</td><td>50</td><td>2.133345262 s/op</td><td>3,29 GB</td><td>97.59</td><td>31G</td></tr>
<tr><td>64KB*10000 Pub/Sub</td><td>RocksMQ</td><td>50</td><td>3.253778195 s/op</td><td>331.2 MB</td><td>134.6</td><td>24G</td></tr>
<tr><td>1KB*50000 Pub/Sub</td><td>NATS</td><td>50</td><td>2.629391004 s/op</td><td>635.1 MB</td><td>179.67</td><td>2.6G</td></tr>
<tr><td>1KB * 50000 Pub/Sub</td><td>RocksMQ</td><td>50</td><td>0.897638581 s/op</td><td>232.3 MB</td><td>60.42</td><td>521M</td></tr>
</tbody>
</table>
<p>Tabel 1: Hasil pengujian kinerja Pub/Sub</p>
<h3 id="Milvus-Integration-Testing" class="common-anchor-header">Pengujian Integrasi Milvus</h3><p><strong>Ukuran data:</strong> 100M</p>
<p><strong>Hasil:</strong> Dalam pengujian ekstensif dengan set data 100 juta vektor, NATS menampilkan pencarian vektor dan latensi kueri yang lebih rendah.</p>
<table>
<thead>
<tr><th>Metrik</th><th>RocksMQ (ms)</th><th>NATS (ms)</th></tr>
</thead>
<tbody>
<tr><td>Latensi pencarian vektor rata-rata</td><td>23.55</td><td>20.17</td></tr>
<tr><td>Permintaan pencarian vektor per detik (RPS)</td><td>2.95</td><td>3.07</td></tr>
<tr><td>Latensi kueri rata-rata</td><td>7.2</td><td>6.74</td></tr>
<tr><td>Permintaan kueri per detik (RPS)</td><td>1.47</td><td>1.54</td></tr>
</tbody>
</table>
<p>Tabel 2: Hasil pengujian integrasi Milvus dengan dataset 100 juta</p>
<p><strong>Dataset: &lt;100M</strong></p>
<p><strong>Hasil</strong> Untuk dataset yang lebih kecil dari 100 juta, NATS dan RocksMQ menunjukkan performa yang serupa.</p>
<h2 id="Conclusion-Empowering-Milvus-with-NATS-messaging" class="common-anchor-header">Kesimpulan: Memberdayakan Milvus dengan pesan NATS<button data-href="#Conclusion-Empowering-Milvus-with-NATS-messaging" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Integrasi NATS dalam Milvus menandai langkah yang signifikan dalam pemrosesan data. Baik untuk mempelajari analitik waktu nyata, aplikasi pembelajaran mesin, atau usaha intensif data apa pun, NATS memberdayakan proyek Anda dengan efisiensi, keandalan, dan kecepatan. Seiring perkembangan lanskap data, memiliki sistem perpesanan yang kuat seperti NATS dalam Milvus memastikan komunikasi data yang lancar, andal, dan berkinerja tinggi.</p>


Mengoptimalkan Komunikasi Data: Milvus Merangkul Pesan NATS

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/What_s_New_in_Milvus_2_3_2_and_2_3_3_d3d0db03c3.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Dalam lanskap teknologi pencarian vektor yang terus berkembang, Milvus tetap menjadi yang terdepan, mendorong batas-batas dan menetapkan standar baru. Hari ini, kami dengan senang hati mengumumkan peluncuran Milvus 2.3.2 dan 2.3.3! Pembaruan ini menghadirkan banyak fitur menarik, optimasi, dan peningkatan, meningkatkan kinerja sistem, fleksibilitas, dan pengalaman pengguna secara keseluruhan.</p>
<h2 id="Support-for-Array-data-types---making-search-results-more-accurate-and-relevant" class="common-anchor-header">Dukungan untuk tipe data Array - membuat hasil pencarian menjadi lebih akurat dan relevan<button data-href="#Support-for-Array-data-types---making-search-results-more-accurate-and-relevant" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Menambahkan dukungan tipe data Array adalah peningkatan penting untuk Milvus, terutama dalam skenario penyaringan kueri seperti intersection dan union. Penambahan ini memastikan bahwa hasil pencarian tidak hanya lebih akurat tetapi juga lebih relevan. Dalam istilah praktis, misalnya, dalam sektor e-commerce, tag produk yang disimpan sebagai string Array memungkinkan konsumen untuk melakukan pencarian lanjutan, menyaring hasil yang tidak relevan.</p>
<p>Lihat <a href="https://milvus.io/docs/array_data_type.md">dokumentasi</a> komprehensif kami untuk panduan mendalam tentang cara memanfaatkan tipe Array di Milvus.</p>
<h2 id="Support-for-complex-delete-expressions---improving-your-data-management" class="common-anchor-header">Dukungan untuk ekspresi hapus yang kompleks - meningkatkan manajemen data Anda<button data-href="#Support-for-complex-delete-expressions---improving-your-data-management" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Pada versi sebelumnya, Milvus mendukung ekspresi penghapusan kunci utama, menyediakan arsitektur yang stabil dan efisien. Dengan Milvus 2.3.2 atau 2.3.3, pengguna dapat menggunakan ekspresi penghapusan yang kompleks, memfasilitasi tugas-tugas manajemen data yang canggih seperti pembersihan data lama secara bergilir atau penghapusan data yang digerakkan oleh kepatuhan terhadap GDPR berdasarkan ID pengguna.</p>
<p>Catatan: Pastikan Anda telah memuat koleksi sebelum menggunakan ekspresi yang rumit. Selain itu, penting untuk dicatat bahwa proses penghapusan tidak menjamin atomisitas.</p>
<h2 id="TiKV-integration---scalable-metadata-storage-with-stability" class="common-anchor-header">Integrasi TiKV - penyimpanan metadata yang dapat diskalakan dengan stabilitas<button data-href="#TiKV-integration---scalable-metadata-storage-with-stability" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Sebelumnya mengandalkan Etcd untuk penyimpanan metadata, Milvus menghadapi tantangan kapasitas dan skalabilitas yang terbatas dalam penyimpanan metadata. Untuk mengatasi masalah ini, Milvus menambahkan TiKV, sebuah penyimpanan nilai kunci sumber terbuka, sebagai satu lagi opsi untuk penyimpanan metadata. TiKV menawarkan skalabilitas, stabilitas, dan efisiensi yang lebih baik, menjadikannya solusi ideal untuk kebutuhan Milvus yang terus berkembang. Mulai dari Milvus 2.3.2, pengguna dapat beralih ke TiKV untuk penyimpanan metadata mereka dengan memodifikasi konfigurasi.</p>
<h2 id="Support-for-FP16-vector-type---embracing-machine-learning-efficiency" class="common-anchor-header">Dukungan untuk tipe vektor FP16 - merangkul efisiensi pembelajaran mesin<button data-href="#Support-for-FP16-vector-type---embracing-machine-learning-efficiency" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.3.2 dan versi yang lebih baru sekarang mendukung tipe vektor FP16 pada tingkat antarmuka. FP16, atau floating point 16-bit, adalah format data yang banyak digunakan dalam deep learning dan machine learning, yang menyediakan representasi dan perhitungan nilai numerik yang efisien. Meskipun dukungan penuh untuk FP16 sedang dilakukan, berbagai indeks dalam lapisan pengindeksan memerlukan konversi FP16 ke FP32 selama konstruksi.</p>
<p>Kami akan sepenuhnya mendukung tipe data FP16, BF16, dan int8 di versi Milvus yang lebih baru. Tetap disini.</p>
<h2 id="Significant-improvement-in-the-rolling-upgrade-experience---seamless-transition-for-users" class="common-anchor-header">Peningkatan signifikan dalam pengalaman peningkatan bergulir - transisi yang mulus bagi pengguna<button data-href="#Significant-improvement-in-the-rolling-upgrade-experience---seamless-transition-for-users" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Upgrade bergulir adalah fitur penting untuk sistem terdistribusi, memungkinkan peningkatan sistem tanpa mengganggu layanan bisnis atau mengalami waktu henti. Dalam rilis Milvus terbaru, kami telah memperkuat fitur peningkatan bergulir Milvus, memastikan transisi yang lebih efisien dan efisien untuk peningkatan pengguna dari versi 2.2.15 ke 2.3.3 dan semua versi yang lebih baru. Komunitas juga telah berinvestasi dalam pengujian dan pengoptimalan yang ekstensif, mengurangi dampak kueri selama peningkatan menjadi kurang dari 5 menit, memberikan pengalaman yang bebas gangguan kepada pengguna.</p>
<h2 id="Performance-optimization" class="common-anchor-header">Optimalisasi kinerja<button data-href="#Performance-optimization" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Selain memperkenalkan fitur-fitur baru, kami telah mengoptimalkan kinerja Milvus secara signifikan dalam dua rilis terbaru.</p>
<ul>
<li><p>Operasi penyalinan data yang diminimalkan untuk pemuatan data yang dioptimalkan</p></li>
<li><p>Penyisipan berkapasitas besar yang disederhanakan menggunakan pembacaan varchar batch</p></li>
<li><p>Menghapus pemeriksaan offset yang tidak perlu selama padding data untuk meningkatkan kinerja fase pemanggilan.</p></li>
<li><p>Mengatasi masalah konsumsi CPU yang tinggi dalam skenario dengan penyisipan data yang besar</p></li>
</ul>
<p>Pengoptimalan ini secara kolektif berkontribusi pada pengalaman Milvus yang lebih cepat dan lebih efisien. Lihat dasbor pemantauan kami untuk melihat sekilas bagaimana Milvus meningkatkan kinerjanya.</p>
<h2 id="Incompatible-changes" class="common-anchor-header">Perubahan yang tidak kompatibel<button data-href="#Incompatible-changes" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p>Kode terkait TimeTravel yang dihapus secara permanen.</p></li>
<li><p>Dukungan yang sudah tidak digunakan lagi untuk MySQL sebagai penyimpan metadata.</p></li>
</ul>
<p>Lihat <a href="https://milvus.io/docs/release_notes.md">catatan rilis Milvus</a> untuk informasi lebih rinci tentang semua fitur dan peningkatan baru.</p>
<h2 id="Conclusion" class="common-anchor-header">Kesimpulan<button data-href="#Conclusion" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Dengan rilis Milvus 2.3.2 dan 2.3.3 terbaru, kami berkomitmen untuk menyediakan solusi basis data yang kuat, kaya fitur, dan berkinerja tinggi. Jelajahi fitur-fitur baru ini, manfaatkan pengoptimalan, dan bergabunglah dengan kami dalam perjalanan yang menarik ini saat kami mengembangkan Milvus untuk memenuhi tuntutan manajemen data modern. Unduh versi terbaru sekarang dan rasakan masa depan penyimpanan data dengan Milvus!</p>
<h2 id="Let’s-keep-in-touch" class="common-anchor-header">Mari tetap terhubung!<button data-href="#Let’s-keep-in-touch" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Jika Anda memiliki pertanyaan atau umpan balik tentang Milvus, bergabunglah dengan <a href="https://discord.com/invite/8uyFbECzPX">saluran Discord</a> kami untuk berinteraksi dengan teknisi dan komunitas kami secara langsung atau bergabunglah dengan <a href="https://discord.com/invite/RjNbk8RR4f">Makan Siang dan Belajar Komunitas Milvus</a> setiap hari Selasa mulai pukul 12.00-12.30 PST. Anda juga dapat mengikuti kami di <a href="https://twitter.com/milvusio">Twitter</a> atau <a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn</a> untuk mendapatkan berita dan informasi terbaru tentang Milvus.</p>


Mengungkap Milvus 2.3.2 &amp; 2.3.3: Dukungan untuk Tipe Data Array, Penghapusan Kompleks, Integrasi TiKV, dan Lainnya

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Exploring_M_Map_5086d652bd.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p><a href="https://zilliz.com/what-is-milvus">Milvus</a> adalah solusi tercepat dalam <a href="https://zilliz.com/blog/what-is-a-real-vector-database">database vektor</a> sumber terbuka, yang melayani pengguna dengan kebutuhan kinerja yang intensif. Namun, keragaman kebutuhan pengguna mencerminkan data yang mereka kerjakan. Beberapa memprioritaskan solusi yang ramah anggaran dan penyimpanan yang luas daripada kecepatan. Memahami spektrum permintaan ini, Milvus memperkenalkan fitur MMap, mendefinisikan ulang cara kami menangani volume data yang besar sambil menjanjikan efisiensi biaya tanpa mengorbankan fungsionalitas.</p>
<h2 id="What-is-MMap" class="common-anchor-header">Apa itu MMap?<button data-href="#What-is-MMap" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>MMap, kependekan dari memory-mapped files, menjembatani kesenjangan antara file dan memori di dalam sistem operasi. Teknologi ini memungkinkan Milvus untuk memetakan file besar secara langsung ke dalam ruang memori sistem, mengubah file menjadi blok memori yang bersebelahan. Integrasi ini menghilangkan kebutuhan untuk operasi baca atau tulis eksplisit, yang secara fundamental mengubah cara Milvus mengelola data. Hal ini memastikan akses yang lancar dan penyimpanan yang efisien untuk file-file besar atau situasi di mana pengguna perlu mengakses file secara acak.</p>
<h2 id="Who-benefits-from-MMap" class="common-anchor-header">Siapa yang diuntungkan dari MMap?<button data-href="#Who-benefits-from-MMap" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Basis data vektor membutuhkan kapasitas memori yang besar karena kebutuhan penyimpanan data vektor. Dengan fitur MMap, memproses lebih banyak data dalam memori yang terbatas menjadi kenyataan. Namun, peningkatan kemampuan ini datang dengan biaya kinerja. Sistem ini secara cerdas mengelola memori, mengeluarkan beberapa data berdasarkan beban dan penggunaan. Penggusuran ini memungkinkan Milvus memproses lebih banyak data dalam kapasitas memori yang sama.</p>
<p>Selama pengujian kami, kami mengamati bahwa dengan memori yang cukup, semua data tetap berada di memori setelah periode pemanasan, sehingga menjaga kinerja sistem. Namun demikian, seiring dengan bertambahnya volume data, performa secara bertahap menurun. <strong>Oleh karena itu, kami merekomendasikan fitur MMap untuk pengguna yang tidak terlalu sensitif terhadap fluktuasi kinerja.</strong></p>
<h2 id="Enabling-MMap-in-Milvus-a-simple-configuration" class="common-anchor-header">Mengaktifkan MMap di Milvus: konfigurasi sederhana<button data-href="#Enabling-MMap-in-Milvus-a-simple-configuration" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Mengaktifkan MMap di Milvus sangatlah mudah. Yang perlu Anda lakukan adalah memodifikasi file <code translate="no">milvus.yaml</code>: tambahkan item <code translate="no">mmapDirPath</code> di bawah konfigurasi <code translate="no">queryNode</code> dan tetapkan jalur yang valid sebagai nilainya.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/enabling_mmap_a2df88276b.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<h2 id="Striking-the-balance-performance-storage-and-system-limits" class="common-anchor-header">Mencapai keseimbangan: kinerja, penyimpanan, dan batas sistem<button data-href="#Striking-the-balance-performance-storage-and-system-limits" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Pola akses data secara signifikan mempengaruhi kinerja. Fitur MMap dari Milvus mengoptimalkan akses data berdasarkan lokasi. MMap memungkinkan Milvus untuk menulis data skalar secara langsung ke disk untuk segmen data yang diakses secara berurutan. Data dengan panjang variabel seperti string mengalami perataan dan diindeks menggunakan larik offset dalam memori. Pendekatan ini memastikan lokalitas akses data dan menghilangkan overhead untuk menyimpan setiap data panjang variabel secara terpisah. Pengoptimalan untuk indeks vektor sangat teliti. MMap digunakan secara selektif untuk data vektor sambil mempertahankan daftar kedekatan dalam memori, menghemat memori yang signifikan tanpa mengorbankan kinerja.</p>
<p>Selain itu, MMap memaksimalkan pemrosesan data dengan meminimalkan penggunaan memori. Tidak seperti versi Milvus sebelumnya di mana QueryNode menyalin seluruh kumpulan data, MMap mengadopsi proses streaming yang efisien dan bebas penyalinan selama pengembangan. Pengoptimalan ini secara drastis mengurangi overhead memori.</p>
<p><strong>Hasil pengujian internal kami menunjukkan bahwa Milvus dapat secara efisien menangani dua kali lipat volume data ketika mengaktifkan MMap.</strong></p>
<h2 id="The-road-ahead-continuous-innovation-and-user-centric-enhancements" class="common-anchor-header">Masa depan: inovasi berkelanjutan dan peningkatan yang berpusat pada pengguna<button data-href="#The-road-ahead-continuous-innovation-and-user-centric-enhancements" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Meskipun fitur MMap masih dalam tahap beta, tim Milvus berkomitmen untuk terus melakukan perbaikan. Pembaruan di masa mendatang akan menyempurnakan penggunaan memori sistem, memungkinkan Milvus untuk mendukung volume data yang lebih besar pada satu node. Pengguna dapat mengantisipasi kontrol yang lebih terperinci atas fitur MMap, memungkinkan perubahan dinamis pada koleksi dan mode pemuatan bidang lanjutan. Peningkatan ini memberikan fleksibilitas yang belum pernah ada sebelumnya, memungkinkan pengguna untuk menyesuaikan strategi pemrosesan data mereka dengan kebutuhan spesifik.</p>
<h2 id="Conclusion-redefining-data-processing-excellence-with-Milvus-MMap" class="common-anchor-header">Kesimpulan: mendefinisikan ulang keunggulan pemrosesan data dengan Milvus MMap<button data-href="#Conclusion-redefining-data-processing-excellence-with-Milvus-MMap" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Fitur MMap Milvus 2.3 menandai lompatan yang signifikan dalam teknologi pemrosesan data. Dengan mencapai keseimbangan antara kinerja, biaya, dan batasan sistem, Milvus memberdayakan pengguna untuk menangani data dalam jumlah yang sangat besar secara efisien dan hemat biaya. Seiring dengan perkembangannya, Milvus tetap menjadi yang terdepan dalam solusi inovatif, mendefinisikan ulang batas-batas yang dapat dicapai dalam manajemen data.</p>
<p>Nantikan perkembangan yang lebih inovatif saat Milvus melanjutkan perjalanannya menuju keunggulan pemrosesan data yang tak tertandingi.</p>


Milvus Memperkenalkan MMap untuk Manajemen Data yang Ditentukan Ulang dan Peningkatan Kemampuan Penyimpanan

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Vector_Databases_vs_Vector_Search_Plugins_vs_Vector_Search_Libraries_74def521ad.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Halo - selamat datang kembali di Basis Data Vektor 101!</p>
<p>Lonjakan <a href="https://zilliz.com/learn/ChatGPT-Vector-Database-Prompt-as-code">ChatGPT</a> dan model bahasa besar (LLM) lainnya telah mendorong pertumbuhan teknologi pencarian vektor, yang menampilkan basis data vektor khusus seperti <a href="https://zilliz.com/what-is-milvus">Milvus</a> dan <a href="https://zilliz.com/cloud">Zilliz Cloud</a> di samping pustaka seperti <a href="https://zilliz.com/blog/set-up-with-facebook-ai-similarity-search-faiss">FAISS</a> dan plugin pencarian vektor terintegrasi di dalam basis data konvensional.</p>
<p>Pada <a href="https://zilliz.com/learn/what-is-vector-database">postingan seri</a> kami <a href="https://zilliz.com/learn/what-is-vector-database">sebelumnya</a>, kami mempelajari dasar-dasar database vektor. Pada tulisan ini, kita akan terus menjelajahi ranah pencarian vektor yang rumit, membandingkan database vektor, plugin pencarian vektor, dan pustaka pencarian vektor.</p>
<h2 id="What-is-vector-search" class="common-anchor-header">Apa itu pencarian vektor?<button data-href="#What-is-vector-search" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><a href="https://zilliz.com/learn/vector-similarity-search">Pencarian vektor</a>, juga dikenal sebagai pencarian kemiripan vektor, adalah teknik untuk mengambil k hasil teratas yang paling mirip atau secara semantik terkait dengan vektor kueri yang diberikan di antara kumpulan data vektor yang padat. Sebelum melakukan pencarian kemiripan, kami memanfaatkan jaringan syaraf untuk mengubah <a href="https://zilliz.com/learn/introduction-to-unstructured-data">data yang tidak terstruktur</a>, seperti teks, gambar, video, dan audio, menjadi vektor numerik berdimensi tinggi yang disebut vektor penyisipan. Setelah menghasilkan vektor penyisipan, mesin pencari vektor membandingkan jarak spasial antara vektor kueri masukan dan vektor di penyimpanan vektor. Semakin dekat jaraknya dalam ruang, semakin mirip keduanya.</p>
<p>Beberapa teknologi pencarian vektor tersedia di pasaran, termasuk pustaka pembelajaran mesin seperti NumPy dari Python, pustaka pencarian vektor seperti FAISS, plugin pencarian vektor yang dibangun di atas basis data tradisional, dan basis data vektor khusus seperti Milvus dan Zilliz Cloud.</p>
<h2 id="Vector-databases-vs-vector-search-libraries" class="common-anchor-header">Basis data vektor vs pustaka pencarian vektor<button data-href="#Vector-databases-vs-vector-search-libraries" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><a href="https://zilliz.com/blog/what-is-a-real-vector-database">Basis data vektor khusus</a> bukan satu-satunya tumpukan untuk pencarian kemiripan. Sebelum munculnya basis data vektor, banyak pustaka pencarian vektor, seperti FAISS, ScaNN, dan HNSW, digunakan untuk pencarian vektor.</p>
<p>Pustaka pencarian vektor dapat membantu Anda dengan cepat membangun prototipe sistem pencarian vektor berkinerja tinggi. Mengambil FAISS sebagai contoh, FAISS adalah sumber terbuka dan dikembangkan oleh Meta untuk pencarian kesamaan yang efisien dan pengelompokan vektor yang padat. FAISS dapat menangani koleksi vektor dengan berbagai ukuran, bahkan yang tidak dapat dimuat sepenuhnya ke dalam memori. Selain itu, FAISS menawarkan alat untuk evaluasi dan penyetelan parameter. Meskipun ditulis dalam bahasa C++, FAISS menyediakan antarmuka Python/NumPy.</p>
<p>Namun, pustaka pencarian vektor hanyalah pustaka ANN yang ringan dan bukan solusi terkelola, dan memiliki fungsionalitas yang terbatas. Jika dataset Anda kecil dan terbatas, library ini dapat mencukupi untuk pemrosesan data yang tidak terstruktur, bahkan untuk sistem yang berjalan dalam produksi. Namun, seiring dengan bertambahnya ukuran dataset dan bertambahnya pengguna yang bergabung, masalah skala menjadi semakin sulit untuk dipecahkan. Selain itu, database ini tidak mengizinkan modifikasi apa pun pada data indeks mereka dan tidak dapat ditanyakan selama impor data.</p>
<p>Sebaliknya, basis data vektor adalah solusi yang lebih optimal untuk penyimpanan dan pengambilan data yang tidak terstruktur. Database vektor dapat menyimpan dan meminta jutaan atau bahkan miliaran vektor sambil memberikan respons waktu nyata secara bersamaan; database vektor sangat skalabel untuk memenuhi kebutuhan bisnis pengguna yang terus berkembang.</p>
<p>Selain itu, database vektor seperti Milvus memiliki fitur yang jauh lebih mudah digunakan untuk data terstruktur/semi-terstruktur: cloud-nativity, multi-tenancy, skalabilitas, dll. Fitur-fitur ini akan menjadi jelas ketika kita menyelami tutorial ini lebih dalam.</p>
<p>Mereka juga beroperasi dalam lapisan abstraksi yang sama sekali berbeda dari pustaka pencarian vektor - basis data vektor adalah layanan lengkap, sedangkan pustaka ANN dimaksudkan untuk diintegrasikan ke dalam aplikasi yang Anda kembangkan. Dalam hal ini, pustaka ANN adalah salah satu dari banyak komponen yang dibangun di atas basis data vektor, mirip dengan bagaimana Elasticsearch dibangun di atas Apache Lucene.</p>
<p>Sebagai contoh mengapa abstraksi ini sangat penting, mari kita lihat bagaimana memasukkan elemen data baru yang tidak terstruktur ke dalam basis data vektor. Hal ini sangat mudah dilakukan di Milvus:</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> <span class="hljs-title class_">Collectioncollection</span> = <span class="hljs-title class_">Collection</span>(<span class="hljs-string">&#x27;book&#x27;</span>)mr = collection.<span class="hljs-title function_">insert</span>(data)
<button class="copy-code-btn"></button></code></pre>
<p>Benar-benar semudah itu - 3 baris kode. Dengan pustaka seperti FAISS atau ScaNN, sayangnya, tidak ada cara mudah untuk melakukan hal ini tanpa secara manual membuat ulang seluruh indeks pada titik-titik tertentu. Bahkan jika Anda bisa, pustaka pencarian vektor masih kurang skalabilitas dan multi-tenancy, dua fitur basis data vektor yang paling penting.</p>
<h2 id="Vector-databases-vs-vector-search-plugins-for-traditional-databases" class="common-anchor-header">Basis data vektor vs plugin pencarian vektor untuk basis data tradisional<button data-href="#Vector-databases-vs-vector-search-plugins-for-traditional-databases" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Baiklah, sekarang kita telah mengetahui perbedaan antara pustaka pencarian vektor dan basis data vektor, mari kita lihat perbedaan basis data vektor dengan <strong>plugin pencarian vektor</strong>.</p>
<p>Semakin banyak database relasional tradisional, dan sistem pencarian seperti Clickhouse dan <a href="https://zilliz.com/blog/elasticsearch-cloud-vs-zilliz">Elasticsearch</a> yang menyertakan plugin pencarian vektor bawaan. Elasticsearch 8.0, misalnya, menyertakan penyisipan vektor dan fungsionalitas pencarian ANN yang dapat dipanggil melalui titik akhir API yang tenang. Masalah dengan plugin pencarian vektor seharusnya jelas seperti siang dan malam - <strong>solusi ini tidak mengambil pendekatan full-stack untuk manajemen penyisipan dan pencarian vektor</strong>. Sebaliknya, plugin ini dimaksudkan sebagai tambahan di atas arsitektur yang sudah ada, sehingga membuatnya terbatas dan tidak optimal. Mengembangkan aplikasi data yang tidak terstruktur di atas basis data tradisional sama saja dengan mencoba memasukkan baterai lithium dan motor listrik ke dalam rangka mobil bertenaga gas - bukan ide yang bagus!</p>
<p>Untuk mengilustrasikan mengapa demikian, mari kita kembali ke daftar fitur yang harus diimplementasikan oleh basis data vektor (dari bagian pertama). Plugin pencarian vektor tidak memiliki dua dari fitur-fitur ini - kemampuan penyesuaian dan API/SDK yang mudah digunakan. Saya akan terus menggunakan mesin ANN Elasticsearch sebagai contoh; plugin pencarian vektor lainnya beroperasi dengan cara yang sangat mirip sehingga saya tidak akan membahasnya lebih jauh. Elasticsearch mendukung penyimpanan vektor melalui tipe bidang data <code translate="no">dense_vector</code> dan memungkinkan untuk melakukan kueri melalui <code translate="no">knnsearch endpoint</code>:</p>
<pre><code translate="no" class="language-json">PUT index
{
<span class="hljs-string">&quot;mappings&quot;</span>: {
  <span class="hljs-string">&quot;properties&quot;</span>: {
    <span class="hljs-string">&quot;image-vector&quot;</span>: {
      <span class="hljs-string">&quot;type&quot;</span>: <span class="hljs-string">&quot;dense_vector&quot;</span>,
      <span class="hljs-string">&quot;dims&quot;</span>: 128,
      <span class="hljs-string">&quot;index&quot;</span>: <span class="hljs-literal">true</span>,
      <span class="hljs-string">&quot;similarity&quot;</span>: <span class="hljs-string">&quot;l2_norm&quot;</span>
    }
  }
}
}


PUT index/_doc
{
<span class="hljs-string">&quot;image-vector&quot;</span>: [0.12, 1.34, ...]
}
<button class="copy-code-btn"></button></code></pre>
<pre><code translate="no" class="language-json">GET index/_knn_search
{
<span class="hljs-string">&quot;knn&quot;</span>: {
  <span class="hljs-string">&quot;field&quot;</span>: <span class="hljs-string">&quot;image-vector&quot;</span>,
  <span class="hljs-string">&quot;query_vector&quot;</span>: [-0.5, 9.4, ...],
  <span class="hljs-string">&quot;k&quot;</span>: 10,
  <span class="hljs-string">&quot;num_candidates&quot;</span>: 100
}
}
<button class="copy-code-btn"></button></code></pre>
<p>Plugin ANN Elasticsearch hanya mendukung satu algoritma pengindeksan: Hierarchical Navigable Small Worlds, juga dikenal sebagai HNSW (saya suka berpikir bahwa penciptanya mendahului Marvel dalam hal mempopulerkan multiverse). Selain itu, hanya jarak L2/Euclidean yang didukung sebagai metrik jarak. Ini adalah awal yang baik, tetapi mari kita bandingkan dengan Milvus, database vektor yang lengkap. Menggunakan <code translate="no">pymilvus</code>:</p>
<pre><code translate="no" class="language-python"><span class="hljs-meta">&gt;&gt;&gt; </span>field1 = FieldSchema(name=<span class="hljs-string">&#x27;id&#x27;</span>, dtype=DataType.INT64, description=<span class="hljs-string">&#x27;int64&#x27;</span>, is_primary=<span class="hljs-literal">True</span>)
<span class="hljs-meta">&gt;&gt;&gt; </span>field2 = FieldSchema(name=<span class="hljs-string">&#x27;embedding&#x27;</span>, dtype=DataType.FLOAT_VECTOR, description=<span class="hljs-string">&#x27;embedding&#x27;</span>, dim=<span class="hljs-number">128</span>, is_primary=<span class="hljs-literal">False</span>)
<span class="hljs-meta">&gt;&gt;&gt; </span>schema = CollectionSchema(fields=[field1, field2], description=<span class="hljs-string">&#x27;hello world collection&#x27;</span>)
<span class="hljs-meta">&gt;&gt;&gt; </span>collection = Collection(name=<span class="hljs-string">&#x27;my_collection&#x27;</span>, data=<span class="hljs-literal">None</span>, schema=schema)
<span class="hljs-meta">&gt;&gt;&gt; </span>index_params = {
       <span class="hljs-string">&#x27;index_type&#x27;</span>: <span class="hljs-string">&#x27;IVF_FLAT&#x27;</span>,
       <span class="hljs-string">&#x27;params&#x27;</span>: {<span class="hljs-string">&#x27;nlist&#x27;</span>: <span class="hljs-number">1024</span>},
       <span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&#x27;L2&#x27;</span>}
<span class="hljs-meta">&gt;&gt;&gt; </span>collection.create_index(<span class="hljs-string">&#x27;embedding&#x27;</span>, index_params)
<button class="copy-code-btn"></button></code></pre>
<pre><code translate="no" class="language-python"><span class="hljs-meta">&gt;&gt;&gt; </span>search_param = {
       <span class="hljs-string">&#x27;data&#x27;</span>: vector,
       <span class="hljs-string">&#x27;anns_field&#x27;</span>: <span class="hljs-string">&#x27;embedding&#x27;</span>,
       <span class="hljs-string">&#x27;param&#x27;</span>: {<span class="hljs-string">&#x27;metric_type&#x27;</span>: <span class="hljs-string">&#x27;L2&#x27;</span>, <span class="hljs-string">&#x27;params&#x27;</span>: {<span class="hljs-string">&#x27;nprobe&#x27;</span>: <span class="hljs-number">16</span>}},
       <span class="hljs-string">&#x27;limit&#x27;</span>: <span class="hljs-number">10</span>,
       <span class="hljs-string">&#x27;expr&#x27;</span>: <span class="hljs-string">&#x27;id_field &gt; 0&#x27;</span>
   }
<span class="hljs-meta">&gt;&gt;&gt; </span>results = collection.search(**search_param)
<button class="copy-code-btn"></button></code></pre>
<p>Meskipun <a href="https://zilliz.com/comparison/elastic-vs-milvus">Elasticsearch dan Milvus</a> memiliki metode untuk membuat indeks, menyisipkan vektor penyisipan, dan melakukan pencarian tetangga terdekat, jelas dari contoh-contoh ini bahwa Milvus memiliki API pencarian vektor yang lebih intuitif (API yang lebih baik untuk pengguna) dan indeks vektor yang lebih luas + dukungan metrik jarak (kemampuan penyesuaian yang lebih baik). Milvus juga berencana untuk mendukung lebih banyak indeks vektor dan memungkinkan untuk melakukan kueri melalui pernyataan seperti SQL di masa depan, yang selanjutnya meningkatkan kemampuan penyesuaian dan kegunaan.</p>
<p>Kami baru saja membahas sedikit konten. Bagian ini memang cukup panjang, jadi bagi Anda yang membaca sekilas, berikut ini penjelasan singkatnya: Milvus lebih baik daripada plugin pencarian vektor karena Milvus dibangun dari awal sebagai basis data vektor, sehingga memungkinkan fitur yang lebih kaya dan arsitektur yang lebih cocok untuk data yang tidak terstruktur.</p>
<h2 id="How-to-choose-from-different-vector-search-technologies" class="common-anchor-header">Bagaimana cara memilih dari berbagai teknologi pencarian vektor?<button data-href="#How-to-choose-from-different-vector-search-technologies" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Tidak semua database vektor dibuat sama; masing-masing memiliki ciri-ciri unik yang melayani aplikasi tertentu. Pustaka dan plugin pencarian vektor mudah digunakan dan ideal untuk menangani lingkungan produksi berskala kecil dengan jutaan vektor. Jika ukuran data Anda kecil dan Anda hanya membutuhkan fungsionalitas pencarian vektor dasar, teknologi ini sudah cukup untuk bisnis Anda.</p>
<p>Namun, basis data vektor khusus harus menjadi pilihan utama Anda untuk bisnis intensif data yang berurusan dengan ratusan juta vektor dan menuntut respons waktu nyata. Milvus, misalnya, dengan mudah mengelola miliaran vektor, menawarkan kecepatan kueri secepat kilat dan fungsionalitas yang kaya. Selain itu, solusi yang dikelola sepenuhnya seperti Zilliz terbukti lebih menguntungkan, membebaskan Anda dari tantangan operasional dan memungkinkan fokus eksklusif pada aktivitas bisnis inti Anda.</p>
<h2 id="Take-another-look-at-the-Vector-Database-101-courses" class="common-anchor-header">Lihatlah lagi kursus Basis Data Vektor 101<button data-href="#Take-another-look-at-the-Vector-Database-101-courses" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ol>
<li><a href="https://zilliz.com/blog/introduction-to-unstructured-data">Pengantar ke Data Tidak Terstruktur</a></li>
<li><a href="https://zilliz.com/learn/what-is-vector-database">Apa yang dimaksud dengan Basis Data Vektor?</a></li>
<li><a href="https://zilliz.com/learn/comparing-vector-database-vector-search-library-and-vector-search-plugin">Membandingkan Basis Data Vektor, Pustaka Pencarian Vektor, dan Plugin Pencarian Vektor</a></li>
<li><a href="https://zilliz.com/blog/introduction-to-milvus-vector-database">Pengantar ke Milvus</a></li>
<li><a href="https://zilliz.com/blog/milvus-vector-database-quickstart">Memulai Cepat Milvus</a></li>
<li><a href="https://zilliz.com/blog/vector-similarity-search">Pengantar Pencarian Kemiripan Vektor</a></li>
<li><a href="https://zilliz.com/blog/vector-index">Dasar-dasar Indeks Vektor dan Indeks File Terbalik</a></li>
<li><a href="https://zilliz.com/blog/scalar-quantization-and-product-quantization">Kuantisasi Skalar dan Kuantisasi Produk</a></li>
<li><a href="https://zilliz.com/blog/hierarchical-navigable-small-worlds-HNSW">Dunia Kecil yang Dapat Dinavigasi Hirarkis (HNSW)</a></li>
<li><a href="https://zilliz.com/learn/approximate-nearest-neighbor-oh-yeah-ANNOY">Perkiraan Tetangga Terdekat Oh Yeah (ANNOY)</a></li>
<li><a href="https://zilliz.com/learn/choosing-right-vector-index-for-your-project">Memilih Indeks Vektor yang Tepat untuk Proyek Anda</a></li>
<li><a href="https://zilliz.com/learn/DiskANN-and-the-Vamana-Algorithm">DiskANN dan Algoritma Vamana</a></li>
</ol>


Membandingkan Basis Data Vektor, Pustaka Pencarian Vektor, dan Plugin Pencarian Vektor

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Ingesting_Chaos_20231017_110103_54fe2009cb.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Data dihasilkan lebih cepat dari sebelumnya dalam berbagai bentuk yang bisa dibayangkan. Data ini adalah bahan bakar yang akan menggerakkan gelombang baru aplikasi kecerdasan buatan, tetapi mesin peningkatan produktivitas ini membutuhkan bantuan untuk menelan bahan bakar ini. Berbagai macam skenario dan kasus-kasus yang mengelilingi data yang tidak terstruktur membuatnya sulit untuk digunakan dalam sistem AI produksi.</p>
<p>Sebagai permulaan, ada banyak sekali sumber data. Data ekspor ini dalam berbagai format file, masing-masing dengan keanehannya. Misalnya, cara Anda memproses PDF sangat bervariasi, tergantung dari mana asalnya. Menelan PDF untuk kasus litigasi sekuritas kemungkinan besar akan berfokus pada data tekstual. Sebaliknya, spesifikasi desain sistem untuk insinyur roket akan penuh dengan diagram yang membutuhkan pemrosesan visual. Kurangnya skema yang jelas dalam data yang tidak terstruktur semakin menambah kerumitan. Bahkan ketika tantangan dalam memproses data telah diatasi, masalah dalam memasukkannya dalam skala besar tetap ada. Ukuran file dapat bervariasi secara signifikan, yang mengubah cara memprosesnya. Anda dapat dengan cepat memproses unggahan 1MB pada API melalui HTTP, tetapi membaca puluhan GB dari satu file membutuhkan streaming dan pekerja khusus.</p>
<p>Mengatasi tantangan rekayasa data tradisional ini adalah taruhannya untuk menghubungkan data mentah ke <a href="https://zilliz.com/glossary/large-language-models-(llms)">LLM</a> melalui <a href="https://zilliz.com/learn/what-is-vector-database">basis data vektor</a> seperti <a href="https://github.com/milvus-io/milvus">Milvus</a>. Namun, kasus penggunaan yang muncul seperti melakukan pencarian kemiripan semantik dengan bantuan basis data vektor memerlukan langkah-langkah pemrosesan baru seperti memotong data sumber, mengatur metadata untuk pencarian hibrida, memilih model penyematan vektor yang sesuai, dan menyetel parameter pencarian untuk menentukan data apa yang akan diumpankan ke LLM. Alur kerja ini sangat baru sehingga tidak ada praktik terbaik yang dapat diikuti oleh para pengembang. Sebaliknya, mereka harus bereksperimen untuk menemukan konfigurasi dan kasus penggunaan yang tepat untuk data mereka. Untuk mempercepat proses ini, menggunakan pipeline penyematan vektor untuk menangani pemasukan data ke dalam basis data vektor sangat berharga.</p>
<p>Pipeline penyisipan vektor seperti <a href="https://github.com/dgarnitz/vectorflow">VectorFlow</a> akan menghubungkan data mentah Anda ke basis data vektor, termasuk pemotongan, orkestrasi metadata, penyematan, dan pengunggahan. VectorFlow memungkinkan tim teknik untuk fokus pada logika aplikasi inti, bereksperimen dengan berbagai parameter pengambilan yang dihasilkan dari model penyematan, strategi chunking, bidang metadata, dan aspek pencarian untuk melihat mana yang berkinerja terbaik.</p>
<p>Dalam pekerjaan kami membantu tim teknik memindahkan sistem <a href="https://zilliz.com/use-cases/llm-retrieval-augmented-generation">retrieval augmented generation (RAG</a> ) mereka dari prototipe ke produksi, kami telah mengamati pendekatan berikut ini agar berhasil dalam menguji berbagai parameter pipa pencarian RAG:</p>
<ol>
<li>Gunakan sekumpulan kecil data yang sudah Anda kenal untuk kecepatan iterasi, seperti beberapa PDF yang memiliki potongan-potongan yang relevan dengan kueri penelusuran.</li>
<li>Buatlah satu set standar pertanyaan dan jawaban tentang bagian data tersebut. Misalnya, setelah membaca PDF, tulislah daftar pertanyaan dan mintalah tim Anda untuk menyepakati jawabannya.</li>
<li>Buat sistem evaluasi otomatis yang memberi nilai pada hasil pencarian untuk setiap pertanyaan. Salah satu cara untuk melakukannya adalah dengan mengambil jawaban dari sistem RAG dan menjalankannya kembali melalui LLM dengan pertanyaan yang menanyakan apakah hasil RAG ini menjawab pertanyaan dengan jawaban yang benar. Jawabannya adalah "ya" atau "tidak". Sebagai contoh, jika Anda memiliki 25 pertanyaan pada dokumen Anda, dan sistem menjawab 20 pertanyaan dengan benar, Anda dapat menggunakan hal ini sebagai tolok ukur untuk membandingkannya dengan pendekatan lain.</li>
<li>Pastikan Anda menggunakan LLM yang berbeda untuk evaluasi dibandingkan dengan yang Anda gunakan untuk mengkodekan penyematan vektor yang disimpan di database. LLM evaluasi biasanya merupakan tipe decoder dari model seperti GPT-4. Satu hal yang perlu diingat adalah biaya evaluasi ini ketika dijalankan berulang kali. Model sumber terbuka seperti Llama2 70B atau Deci AI LLM 6B, yang dapat berjalan pada satu GPU yang lebih kecil, memiliki kinerja yang kurang lebih sama dengan biaya yang lebih murah.</li>
<li>Jalankan setiap tes beberapa kali dan rata-rata skornya untuk memperhalus stochasticity LLM.</li>
</ol>
<p>Dengan mempertahankan setiap opsi konstan kecuali satu, Anda dapat dengan cepat menentukan parameter mana yang paling cocok untuk kasus penggunaan Anda. Pipeline penyematan vektor seperti VectorFlow membuat hal ini menjadi sangat mudah terutama di sisi konsumsi, di mana Anda dapat dengan cepat mencoba berbagai strategi chunking, panjang chunk, tumpang tindih chunk, dan model penyematan sumber terbuka untuk melihat apa yang menghasilkan hasil terbaik. Hal ini sangat berguna terutama ketika kumpulan data Anda memiliki berbagai jenis file dan sumber data yang memerlukan logika khusus.</p>
<p>Setelah tim mengetahui apa yang cocok untuk kasus penggunaannya, pipeline penyematan vektor memungkinkan mereka untuk segera beralih ke produksi tanpa harus mendesain ulang sistem untuk mempertimbangkan hal-hal seperti keandalan dan pemantauan. Dengan teknologi seperti VectorFlow dan <a href="https://zilliz.com/what-is-milvus">Milvus</a>, yang bersifat open-source dan platform-agnostik, tim dapat melakukan pengujian secara efisien di berbagai lingkungan sambil mematuhi persyaratan privasi dan keamanan.</p>


Menelan Kekacauan: MLOps di Balik Penanganan Data Tidak Terstruktur yang Andal dalam Skala Besar untuk RAG

Mengapa dan Kapan Anda Membutuhkan Basis Data Vektor yang Dibangun Khusus?

Peluncuran Milvus 2.3: Rilis Penting yang Menawarkan Dukungan untuk GPU, Arm64, CDC, dan Banyak Fitur Lain yang Sangat Diantisipasi

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/What_s_New_in_2_2_12_20230720_143424_7d19280738.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Kami dengan senang hati mengumumkan rilis terbaru Milvus 2.2.12. Pembaruan ini mencakup beberapa fitur baru, seperti dukungan untuk RESTful API, fungsi <code translate="no">json_contains</code>, dan pengambilan vektor selama pencarian ANN sebagai tanggapan atas umpan balik pengguna. Kami juga telah menyederhanakan pengalaman pengguna, meningkatkan kecepatan pencarian vektor, dan menyelesaikan banyak masalah. Mari kita pelajari apa saja yang dapat kita harapkan dari Milvus 2.2.12.</p>
<h2 id="Support-for-RESTful-API" class="common-anchor-header">Dukungan untuk RESTful API<button data-href="#Support-for-RESTful-API" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.2.12 sekarang mendukung RESTful API, yang memungkinkan pengguna untuk mengakses Milvus tanpa menginstal klien, membuat operasi klien-server menjadi lebih mudah. Selain itu, penerapan Milvus menjadi lebih mudah karena Milvus SDK dan RESTful API memiliki nomor port yang sama.</p>
<p><strong>Catatan</strong>: Kami tetap merekomendasikan penggunaan SDK untuk menerapkan Milvus untuk operasi tingkat lanjut atau jika bisnis Anda sensitif terhadap latensi.</p>
<h2 id="Vector-retrieval-during-ANN-searches" class="common-anchor-header">Pengambilan vektor selama pencarian ANN<button data-href="#Vector-retrieval-during-ANN-searches" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Pada versi sebelumnya, Milvus tidak mengizinkan pengambilan vektor selama pencarian perkiraan tetangga terdekat (ANN) untuk memprioritaskan kinerja dan penggunaan memori. Akibatnya, pengambilan vektor mentah harus dibagi menjadi dua langkah: melakukan pencarian ANN dan kemudian meminta vektor mentah berdasarkan ID mereka. Pendekatan ini meningkatkan biaya pengembangan dan mempersulit pengguna untuk menggunakan dan mengadopsi Milvus.</p>
<p>Dengan Milvus 2.2.12, pengguna dapat mengambil vektor mentah selama pencarian ANN dengan mengatur bidang vektor sebagai bidang keluaran dan melakukan kueri dalam koleksi yang diindeks HNSW, DiskANN, atau IVF-FLAT. Selain itu, pengguna dapat mengharapkan kecepatan pengambilan vektor yang jauh lebih cepat.</p>
<h2 id="Support-for-operations-on-JSON-arrays" class="common-anchor-header">Dukungan untuk operasi pada array JSON<button data-href="#Support-for-operations-on-JSON-arrays" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Kami baru-baru ini menambahkan dukungan untuk JSON di Milvus 2.2.8. Sejak saat itu, para pengguna telah mengirimkan banyak permintaan untuk mendukung operasi-operasi tambahan pada larik JSON, seperti inklusi, eksklusi, interseksi, penyatuan, selisih, dan banyak lagi. Di Milvus 2.2.12, kami memprioritaskan dukungan terhadap fungsi <code translate="no">json_contains</code> untuk mengaktifkan operasi inklusi. Kami akan terus menambahkan dukungan untuk operator lain di versi mendatang.</p>
<h2 id="Enhancements-and-bug-fixes" class="common-anchor-header">Peningkatan dan perbaikan bug<button data-href="#Enhancements-and-bug-fixes" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Selain memperkenalkan fitur-fitur baru, Milvus 2.2.12 telah meningkatkan kinerja pencarian vektor dengan mengurangi overhead, sehingga lebih mudah untuk menangani pencarian topk yang ekstensif. Selain itu, ia meningkatkan kinerja penulisan dalam situasi yang mendukung kunci partisi dan multi-partisi serta mengoptimalkan penggunaan CPU untuk mesin yang besar. Pembaruan ini mengatasi berbagai masalah: penggunaan disk yang berlebihan, pemadatan yang macet, penghapusan data yang jarang terjadi, dan kegagalan penyisipan massal. Untuk informasi lebih lanjut, silakan lihat <a href="https://milvus.io/docs/release_notes.md#2212">Catatan Rilis Milvus 2.2.12.</a></p>
<h2 id="Lets-keep-in-touch" class="common-anchor-header">Mari tetap terhubung!<button data-href="#Lets-keep-in-touch" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Jika Anda memiliki pertanyaan atau masukan mengenai Milvus, jangan ragu untuk menghubungi kami melalui <a href="https://twitter.com/milvusio">Twitter</a> atau <a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn</a>. Anda juga dapat bergabung dengan <a href="https://milvus.io/slack/">saluran Slack</a> kami untuk mengobrol dengan para insinyur dan komunitas kami secara langsung atau melihat <a href="https://us02web.zoom.us/meeting/register/tZ0pcO6vrzsuEtVAuGTpNdb6lGnsPBzGfQ1T#/registration">jam kerja</a> kami di hari <a href="https://us02web.zoom.us/meeting/register/tZ0pcO6vrzsuEtVAuGTpNdb6lGnsPBzGfQ1T#/registration">Selasa</a>!</p>


Milvus 2.2.12: Akses yang Lebih Mudah, Kecepatan Pencarian Vektor yang Lebih Cepat, dan Pengalaman Pengguna yang Lebih Baik

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/What_s_New_in_Milvus_2_2_10_and_2_2_11_5018946465.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Salam, para penggemar Milvus! Kami dengan senang hati mengumumkan bahwa kami baru saja merilis Milvus 2.2.10 dan 2.2.11, dua pembaruan kecil yang berfokus pada perbaikan bug dan peningkatan kinerja secara keseluruhan. Anda dapat mengharapkan sistem yang lebih stabil dan pengalaman pengguna yang lebih baik dengan dua pembaruan tersebut. Mari kita lihat sekilas apa saja yang baru dalam kedua rilis ini.</p>
<h2 id="Milvus-2210" class="common-anchor-header">Milvus 2.2.10<button data-href="#Milvus-2210" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.2.10 telah memperbaiki kerusakan sistem yang sesekali terjadi, mempercepat pemuatan dan pengindeksan, mengurangi penggunaan memori di simpul data, dan membuat banyak perbaikan lainnya. Di bawah ini adalah beberapa perubahan penting:</p>
<ul>
<li>Mengganti penulis payload CGO yang lama dengan yang baru yang ditulis dalam bahasa Go murni, sehingga mengurangi penggunaan memori dalam node data.</li>
<li>Menambahkan <code translate="no">go-api/v2</code> ke file <code translate="no">milvus-proto</code> untuk mencegah kebingungan dengan versi <code translate="no">milvus-proto</code> yang berbeda.</li>
<li>Meningkatkan Gin dari versi 1.9.0 ke 1.9.1 untuk memperbaiki bug pada fungsi <code translate="no">Context.FileAttachment</code>.</li>
<li>Menambahkan kontrol akses berbasis peran (RBAC) untuk FlushAll dan Database API.</li>
<li>Memperbaiki kerusakan acak yang disebabkan oleh AWS S3 SDK.</li>
<li>Meningkatkan kecepatan pemuatan dan pengindeksan.</li>
</ul>
<p>Untuk lebih jelasnya, lihat <a href="https://milvus.io/docs/release_notes.md#2210">Catatan Rilis Milvus 2.2.10.</a></p>
<h2 id="Milvus-2211" class="common-anchor-header">Milvus 2.2.11<button data-href="#Milvus-2211" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.2.11 telah menyelesaikan berbagai masalah untuk meningkatkan stabilitas sistem. Milvus 2.2.11 juga telah meningkatkan kinerjanya dalam pemantauan, pencatatan, pembatasan kecepatan, dan intersepsi permintaan lintas cluster. Lihat di bawah ini untuk melihat sorotan dari pembaruan ini.</p>
<ul>
<li>Menambahkan pencegat ke server Milvus GRPC untuk mencegah masalah dengan perutean Cross-Cluster.</li>
<li>Menambahkan kode kesalahan ke minio chunk manager untuk mempermudah diagnosa dan memperbaiki kesalahan.</li>
<li>Memanfaatkan kumpulan coroutine tunggal untuk menghindari pemborosan coroutine dan memaksimalkan penggunaan sumber daya.</li>
<li>Mengurangi penggunaan disk untuk RocksMq hingga sepersepuluh dari tingkat aslinya dengan mengaktifkan kompresi zstd.</li>
<li>Memperbaiki kepanikan QueryNode yang sesekali terjadi selama pemuatan.</li>
<li>Memperbaiki masalah pelambatan permintaan baca yang disebabkan oleh kesalahan penghitungan panjang antrian dua kali.</li>
<li>Memperbaiki masalah dengan GetObject yang mengembalikan nilai null di MacOS.</li>
<li>Memperbaiki kerusakan yang disebabkan oleh penggunaan pengubah noexcept yang salah.</li>
</ul>
<p>Untuk lebih jelasnya, lihat <a href="https://milvus.io/docs/release_notes.md#2211">Catatan Rilis Milvus 2.2.11</a>.</p>
<h2 id="Let’s-keep-in-touch" class="common-anchor-header">Mari tetap berkomunikasi!<button data-href="#Let’s-keep-in-touch" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Jika Anda memiliki pertanyaan atau masukan mengenai Milvus, jangan ragu untuk menghubungi kami melalui <a href="https://twitter.com/milvusio">Twitter</a> atau <a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn</a>. Anda juga dapat bergabung dengan <a href="https://milvus.io/slack/">saluran Slack</a> kami untuk mengobrol dengan para insinyur dan komunitas kami secara langsung atau lihat <a href="https://us02web.zoom.us/meeting/register/tZ0pcO6vrzsuEtVAuGTpNdb6lGnsPBzGfQ1T#/registration">jam kerja</a> kami di hari <a href="https://us02web.zoom.us/meeting/register/tZ0pcO6vrzsuEtVAuGTpNdb6lGnsPBzGfQ1T#/registration">Selasa</a>!</p>


Milvus 2.2.10 & 2.2.11 Enhanced System Stability and User Experience

Milvus 2.2.10 &amp; 2.2.11: Pembaruan Kecil untuk Peningkatan Stabilitas Sistem dan Pengalaman Pengguna

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Milvus_hit_20_000_stars_284ed694d2.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Mari kita keluarkan confetti dan rayakan!</p>
<p><a href="https://github.com/milvus-io/milvus">Milvus</a> telah mencapai tonggak pencapaian yang luar biasa - melampaui 20.000 bintang di GitHub! Kami tidak dapat mencapainya tanpa dukungan dan umpan balik dari para penggemar setia dan anggota komunitas kami. Terima kasih banyak.</p>
<p>Untuk berbagi kegembiraan, kami telah menyusun daftar topik penting dari komunitas Milvus yang lebih luas, termasuk:</p>
<ul>
<li>Enam proyek terkemuka yang menggunakan Milvus</li>
<li>Lima integrasi dengan proyek-proyek sumber terbuka lainnya</li>
<li>Lima kasus penggunaan Milvus yang terkenal</li>
<li>Lima fitur unggulan yang akan datang</li>
</ul>
<h2 id="Six-LLM-projects-that-utilize-Milvus" class="common-anchor-header">Enam proyek LLM yang memanfaatkan Milvus<button data-href="#Six-LLM-projects-that-utilize-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="PaperGPT" class="common-anchor-header">PaperGPT</h3><p><a href="http://papergpt.bio">PaperGPT</a> adalah alat bantu pencarian untuk makalah biomedis yang didukung oleh LLM dan basis data vektor. Alat ini memanfaatkan basis data PubMed dan teknologi seperti SentenceTransformers dan Zilliz Cloud untuk pencarian yang efisien.</p>
<h3 id="NoticeAI" class="common-anchor-header">NoticeAI</h3><p>NoticeAI membantu perusahaan mengotomatiskan proses dukungan pelanggan mereka. Ini menggunakan Milvus dan LangChain untuk melacak pertanyaan dukungan pelanggan, memperbarui basis pengetahuan, dan memutuskan apakah akan melibatkan manusia atau tidak.</p>
<h3 id="Searchanythingio" class="common-anchor-header">Search.anything.io</h3><p><a href="http://search.anything.io">Search Anything</a> memanfaatkan LLM dan Milvus untuk memberikan pengalaman pencarian yang lebih baik. Dibutuhkan deskripsi teks dari pengguna dan menemukan gambar yang sesuai di web.</p>
<h3 id="IkuStudies" class="common-anchor-header">IkuStudies</h3><p><a href="https://ikustudies.xyz/">IkuStudies</a> adalah sebuah proyek yang memungkinkan pengguna untuk mencari homofon dalam 28 bahasa. Ini menggunakan Milvus sebagai penyimpanan vektor untuk menemukan kesamaan di antara kata-kata.</p>
<h3 id="AssistLink-AI" class="common-anchor-header">AssistLink AI</h3><p><a href="https://www.linkedin.com/company/assistlink/about/">AssistLink AI</a> adalah startup berbasis di Seattle yang menggunakan Milvus dan LLaMa 65bn untuk menyimpan variabel untuk sistem Bantuan Pemerintah.</p>
<h3 id="OSS-Chat" class="common-anchor-header">Obrolan OSS</h3><p><a href="http://osschat.io">OSS Chat</a> memungkinkan Anda untuk mengobrol dengan perangkat lunak sumber terbuka. OSS Chat menggunakan Milvus untuk menyuntikkan pengetahuan domain tentang proyek-proyek sumber terbuka dan menggunakan <a href="https://zilliz.com/blog/Caching-LLM-Queries-for-performance-improvements">GPTCache</a> untuk menyimpan pertanyaan-pertanyaan yang sering diajukan untuk mengurangi biaya LLM.</p>
<h2 id="Five-AI-projects-Milvus-integrates-with" class="common-anchor-header">Lima proyek AI yang diintegrasikan dengan Milvus<button data-href="#Five-AI-projects-Milvus-integrates-with" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="LlamaIndex" class="common-anchor-header">LlamaIndex</h3><p><a href="https://github.com/jerryjliu/llama_index">LlamaIndex</a> adalah kerangka kerja data untuk aplikasi LLM yang menyediakan konektor data untuk menghubungkan sumber data eksternal dengan LLM. LlamaIndex memungkinkan Anda untuk menyuntikkan data pribadi atau pengetahuan khusus domain Anda secara langsung ke dalam aplikasi LLM Anda.</p>
<h3 id="LangChainLangChainJS" class="common-anchor-header">LangChain/LangChainJS</h3><p><a href="https://github.com/hwchase17/langchain">LangChain</a> adalah sebuah library yang dirancang untuk mempercepat pengembangan aplikasi LLM, menawarkan fitur-fitur seperti manajemen prompt, rantai, pembuatan data tambahan, memori, dan banyak lagi.</p>
<h3 id="ChatGPT-Retrieval-Plugin" class="common-anchor-header">Plugin Pengambilan ChatGPT</h3><p><a href="https://github.com/openai/chatgpt-retrieval-plugin">ChatGPT Retrieval Plugin</a> dari OpenAI memungkinkan pencarian semantik dan pengambilan dokumen pribadi atau organisasi menggunakan kueri bahasa alami, yang memungkinkan pengembang untuk menggunakan plugin mereka dan mendaftarkannya ke ChatGPT.</p>
<h3 id="Haystack" class="common-anchor-header">Haystack</h3><p><a href="https://github.com/deepset-ai/haystack">Haystack</a> adalah kerangka kerja NLP ujung ke ujung untuk membangun aplikasi NLP yang didukung oleh LLM, model transformator, pencarian vektor, dan teknologi lain untuk tugas-tugas seperti menjawab pertanyaan, pencarian dokumen semantik, dan membangun pengambilan keputusan yang kompleks.</p>
<h3 id="GPTCache" class="common-anchor-header">GPTCache</h3><p>Panggilan API LLM bisa jadi mahal dan lambat. <a href="https://github.com/zilliztech/gptcache">GPTCache</a> dapat mengatasi kedua masalah tersebut dengan menyediakan cache semantik untuk kueri LLM.</p>
<h2 id="Five-well-known-use-cases-of-Milvus" class="common-anchor-header">Lima kasus penggunaan Milvus yang terkenal<button data-href="#Five-well-known-use-cases-of-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="LLM-augmentation" class="common-anchor-header">Penambahan LLM</h3><p>LLM atau aplikasi LLM memiliki tiga masalah utama: kurangnya data spesifik domain, data yang sudah usang, dan biaya yang tinggi. Milvus dapat menyelesaikan ketiga masalah ini dengan memungkinkan Anda menyuntikkan data eksternal dan berfungsi sebagai cache untuk kueri yang sering dilakukan.</p>
<h3 id="Anomaly-detection" class="common-anchor-header">Deteksi anomali</h3><p>Data anomali secara signifikan berbeda dari data lainnya dalam suatu kumpulan. Basis data vektor seperti Milvus bermanfaat untuk melakukan pencarian kemiripan, sehingga lebih mudah untuk mengidentifikasi data anomali tersebut.</p>
<h3 id="Recommender-systems" class="common-anchor-header">Sistem pemberi rekomendasi</h3><p>Sistem pemberi rekomendasi merekomendasikan item-item yang mirip dengan apa yang sudah mereka nikmati. Ini adalah contoh klasik Milvus yang mempercepat proses ini dengan melakukan pencarian kemiripan.</p>
<h3 id="Semantic-search" class="common-anchor-header">Pencarian semantik</h3><p>Pencarian kata kunci tidak cukup jika Anda ingin mencari teks untuk menemukan hal-hal yang memiliki arti yang sama. Di situlah pencarian semantik masuk dan Milvus dapat membantu. Milvus memungkinkan Anda untuk membandingkan maksud di balik teks, bukan hanya kata-katanya saja.</p>
<h3 id="Automatic-data-labeling" class="common-anchor-header">Pelabelan data otomatis</h3><p>Punya data berlabel dan perlu menandai lebih banyak? Dengan menyimpan representasi vektor di Milvus, Anda dapat secara otomatis mendeteksi titik data yang paling mirip dalam data baru Anda dan menerapkan label yang sesuai.</p>
<h2 id="Five-awesome-upcoming-features" class="common-anchor-header">Lima fitur baru yang mengagumkan<button data-href="#Five-awesome-upcoming-features" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="NVIDIA-GPU-support" class="common-anchor-header">Dukungan GPU NVIDIA</h3><p>Dukungan GPU akan hadir di Milvus 2.3 dan sudah tersedia dalam <a href="https://github.com/milvus-io/milvus/releases/tag/v2.3.0-beta">rilis beta terbaru</a>!</p>
<h3 id="Delete-by-Expression" class="common-anchor-header">Menghapus dengan Ekspresi</h3><p>Anda sudah dapat melakukan pemfilteran skalar/metadata melalui ekspresi boolean di Milvus. Fitur Delete by Expression juga akan segera hadir.</p>
<h3 id="Change-Data-Capture-CDC" class="common-anchor-header">Ubah Pengambilan Data (CDC)</h3><p>CDC adalah teknik untuk menangkap dan melacak perubahan yang dilakukan pada instance Milvus Anda secara real-time.</p>
<h3 id="Range-Search" class="common-anchor-header">Pencarian Rentang</h3><p>Pencarian rentang, juga dikenal di beberapa kalangan sebagai pencarian epsilon, akan memungkinkan Anda untuk menemukan semua vektor dalam jarak tertentu dari vektor kueri Anda.</p>
<h3 id="Fast-Scan" class="common-anchor-header">Pemindaian Cepat</h3><p>Kuantisasi 4-bit dan FastScan telah ditambahkan ke FAISS baru-baru ini dan juga akan hadir di Milvus.</p>
<h2 id="Looking-forward-to-Milvus-reaching-even-greater-heights" class="common-anchor-header">Kami menantikan Milvus untuk mencapai tingkat yang lebih tinggi lagi!<button data-href="#Looking-forward-to-Milvus-reaching-even-greater-heights" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Kami ingin mengucapkan terima kasih yang sebesar-besarnya kepada para pengguna, anggota komunitas, mitra ekosistem, dan pengamat bintang atas dukungan, umpan balik, dan kontribusi Anda yang tiada henti. Kami menantikan Milvus untuk mencapai tingkat yang lebih tinggi lagi!</p>


Pencapaian yang Luar Biasa: Milvus Melampaui 20.000 Bintang di GitHub

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Conversational_Memory_in_Lang_Chain_7c1b4b7ba9.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>LangChain adalah kerangka kerja yang kuat untuk membangun aplikasi LLM. Namun, dengan kekuatan itu, ada sedikit kerumitan. LangChain menyediakan banyak cara untuk meminta LLM dan fitur-fitur penting seperti memori percakapan. Memori percakapan menawarkan konteks bagi LLM untuk mengingat obrolan Anda.</p>
<p>Dalam tulisan ini, kita akan melihat bagaimana cara menggunakan memori percakapan dengan LangChain dan Milvus. Untuk mengikutinya, Anda perlu <code translate="no">pip</code> menginstal empat pustaka dan kunci API OpenAI. Empat library yang Anda butuhkan dapat diinstal dengan menjalankan <code translate="no">pip install langchain milvus pymilvus python-dotenv</code>. Atau menjalankan blok pertama di <a href="https://colab.research.google.com/drive/11p-u8nKqrQYePlXR0HiSrUapmKLD0QN9?usp=sharing">Notebook CoLab</a> untuk artikel ini.</p>
<p>Dalam tulisan ini, kita akan belajar tentang:</p>
<ul>
<li>Memori Percakapan dengan LangChain</li>
<li>Menyiapkan Konteks Percakapan</li>
<li>Meminta Memori Percakapan dengan LangChain</li>
<li>Rangkuman Memori Percakapan LangChain</li>
</ul>
<h2 id="Conversational-Memory-with-LangChain" class="common-anchor-header">Memori Percakapan dengan LangChain<button data-href="#Conversational-Memory-with-LangChain" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Dalam kondisi default, Anda berinteraksi dengan LLM melalui satu perintah. Menambahkan memori untuk konteks, atau "memori percakapan" berarti Anda tidak perlu lagi mengirim semuanya melalui satu prompt. LangChain menawarkan kemampuan untuk menyimpan percakapan yang telah Anda lakukan dengan LLM untuk mengambil informasi tersebut di kemudian hari.</p>
<p>Untuk mengatur memori percakapan yang persisten dengan penyimpanan vektor, kita membutuhkan enam modul dari LangChain. Pertama, kita harus mendapatkan <code translate="no">OpenAIEmbeddings</code> dan <code translate="no">OpenAI</code> LLM. Kita juga membutuhkan <code translate="no">VectorStoreRetrieverMemory</code> dan versi LangChain dari <code translate="no">Milvus</code> untuk menggunakan backend penyimpanan vektor. Kemudian kita membutuhkan <code translate="no">ConversationChain</code> dan <code translate="no">PromptTemplate</code> untuk menyimpan percakapan kita dan menanyakannya.</p>
<p>Pustaka <code translate="no">os</code>, <code translate="no">dotenv</code>, dan <code translate="no">openai</code> terutama untuk tujuan operasional. Kita menggunakannya untuk memuat dan menggunakan kunci API OpenAI. Langkah penyiapan terakhir adalah menjalankan instance <a href="https://milvus.io/docs/milvus_lite.md">Milvus Lite</a> lokal. Kita melakukan ini dengan menggunakan <code translate="no">default_server</code> dari paket Milvus Python.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> langchain.<span class="hljs-property">embeddings</span>.<span class="hljs-property">openai</span> <span class="hljs-keyword">import</span> <span class="hljs-title class_">OpenAIEmbeddings</span>
<span class="hljs-keyword">from</span> langchain.<span class="hljs-property">llms</span> <span class="hljs-keyword">import</span> <span class="hljs-title class_">OpenAI</span>
<span class="hljs-keyword">from</span> langchain.<span class="hljs-property">memory</span> <span class="hljs-keyword">import</span> <span class="hljs-title class_">VectorStoreRetrieverMemory</span>
<span class="hljs-keyword">from</span> langchain.<span class="hljs-property">chains</span> <span class="hljs-keyword">import</span> <span class="hljs-title class_">ConversationChain</span>
<span class="hljs-keyword">from</span> langchain.<span class="hljs-property">prompts</span> <span class="hljs-keyword">import</span> <span class="hljs-title class_">PromptTemplate</span>
<span class="hljs-keyword">from</span> langchain.<span class="hljs-property">vectorstores</span> <span class="hljs-keyword">import</span> <span class="hljs-title class_">Milvus</span>
embeddings = <span class="hljs-title class_">OpenAIEmbeddings</span>()


<span class="hljs-keyword">import</span> os
<span class="hljs-keyword">from</span> dotenv <span class="hljs-keyword">import</span> load_dotenv
<span class="hljs-keyword">import</span> openai
<span class="hljs-title function_">load_dotenv</span>()
openai.<span class="hljs-property">api_key</span> = os.<span class="hljs-title function_">getenv</span>(<span class="hljs-string">&quot;OPENAI_API_KEY&quot;</span>)


<span class="hljs-keyword">from</span> milvus <span class="hljs-keyword">import</span> default_server
default_server.<span class="hljs-title function_">start</span>()
<button class="copy-code-btn"></button></code></pre>
<h2 id="Setting-Up-Conversation-Context" class="common-anchor-header">Menyiapkan Konteks Percakapan<button data-href="#Setting-Up-Conversation-Context" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Setelah semua prasyarat disiapkan, kita dapat melanjutkan untuk membuat memori percakapan. Langkah pertama kita adalah membuat koneksi ke server Milvus menggunakan LangChain. Selanjutnya, kita menggunakan kamus kosong untuk membuat koleksi LangChain Milvus. Sebagai tambahan, kita memasukkan embedding yang kita buat di atas dan detail koneksi untuk server Milvus Lite.</p>
<p>Untuk menggunakan basis data vektor untuk memori percakapan, kita perlu menginstansikannya sebagai retriever. Kita hanya mengambil 1 hasil teratas untuk kasus ini, dengan pengaturan <code translate="no">k=1</code>. Langkah pengaturan memori percakapan terakhir adalah menggunakan objek <code translate="no">VectorStoreRetrieverMemory</code> sebagai memori percakapan kita melalui koneksi retriever dan basis data vektor yang baru saja kita siapkan.</p>
<p>Untuk menggunakan memori percakapan kita, memori ini harus memiliki beberapa konteks di dalamnya. Jadi, mari kita berikan beberapa konteks pada memori tersebut. Untuk contoh ini, kita memberikan lima informasi. Mari kita simpan camilan favorit saya (cokelat), olahraga (berenang), bir (Guinness), makanan penutup (kue keju), dan musisi (Taylor Swift). Setiap entri disimpan ke memori melalui fungsi <code translate="no">save_context</code>.</p>
<pre><code translate="no">vectordb = Milvus.from_documents(
   {},
   embeddings,
   connection_args={<span class="hljs-string">&quot;host&quot;</span>: <span class="hljs-string">&quot;127.0.0.1&quot;</span>, <span class="hljs-string">&quot;port&quot;</span>: default_server.listen_port})
retriever = Milvus.as_retriever(vectordb, search_kwargs=<span class="hljs-built_in">dict</span>(k=<span class="hljs-number">1</span>))
memory = VectorStoreRetrieverMemory(retriever=retriever)
about_me = [
   {<span class="hljs-string">&quot;input&quot;</span>: <span class="hljs-string">&quot;My favorite snack is chocolate&quot;</span>,
    <span class="hljs-string">&quot;output&quot;</span>: <span class="hljs-string">&quot;Nice&quot;</span>},
   {<span class="hljs-string">&quot;input&quot;</span>: <span class="hljs-string">&quot;My favorite sport is swimming&quot;</span>,
    <span class="hljs-string">&quot;output&quot;</span>: <span class="hljs-string">&quot;Cool&quot;</span>},
   {<span class="hljs-string">&quot;input&quot;</span>: <span class="hljs-string">&quot;My favorite beer is Guinness&quot;</span>,
    <span class="hljs-string">&quot;output&quot;</span>: <span class="hljs-string">&quot;Great&quot;</span>},
   {<span class="hljs-string">&quot;input&quot;</span>: <span class="hljs-string">&quot;My favorite dessert is cheesecake&quot;</span>,
    <span class="hljs-string">&quot;output&quot;</span>: <span class="hljs-string">&quot;Good to know&quot;</span>},
   {<span class="hljs-string">&quot;input&quot;</span>: <span class="hljs-string">&quot;My favorite musician is Taylor Swift&quot;</span>,
    <span class="hljs-string">&quot;output&quot;</span>: <span class="hljs-string">&quot;Same&quot;</span>}
]
<span class="hljs-keyword">for</span> example <span class="hljs-keyword">in</span> about_me:
   memory.save_context({<span class="hljs-string">&quot;input&quot;</span>: example[<span class="hljs-string">&quot;input&quot;</span>]}, {<span class="hljs-string">&quot;output&quot;</span>: example[<span class="hljs-string">&quot;output&quot;</span>]})
<button class="copy-code-btn"></button></code></pre>
<h2 id="Prompting-the-Conversational-Memory-with-LangChain" class="common-anchor-header">Meminta Memori Percakapan dengan LangChain<button data-href="#Prompting-the-Conversational-Memory-with-LangChain" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Saatnya untuk melihat bagaimana kita dapat menggunakan memori percakapan kita. Mari kita mulai dengan menghubungkan ke OpenAI LLM melalui LangChain. Kita menggunakan suhu 0 untuk mengindikasikan bahwa kita tidak ingin LLM kita menjadi kreatif.</p>
<p>Selanjutnya, kita membuat sebuah template. Kita memberi tahu LLM bahwa ia terlibat dalam percakapan ramah dengan manusia dan menyisipkan dua variabel. Variabel <code translate="no">history</code> menyediakan konteks dari memori percakapan. Variabel <code translate="no">input</code> menyediakan input saat ini. Kita menggunakan objek <code translate="no">PromptTemplate</code> untuk memasukkan variabel-variabel ini.</p>
<p>Kita menggunakan objek <code translate="no">ConversationChain</code> untuk menggabungkan prompt, LLM, dan memori. Sekarang kita siap untuk memeriksa memori percakapan kita dengan memberikan beberapa prompt. Kita mulai dengan memberi tahu LLM bahwa nama kita adalah Gary, saingan utama dalam seri Pokemon (semua yang lain dalam memori percakapan adalah fakta tentang saya).</p>
<pre><code translate="no">llm = OpenAI(temperature=<span class="hljs-number">0</span>) <span class="hljs-comment"># Can be any valid LLM</span>
_DEFAULT_TEMPLATE = <span class="hljs-string">&quot;&quot;&quot;The following is a friendly conversation between a human and an AI. The AI is talkative and provides lots of specific details from its context. If the AI does not know the answer to a question, it truthfully says it does not know.


Relevant pieces of previous conversation:
{history}


(You do not need to use these pieces of information if not relevant)


Current conversation:
Human: {input}
AI:&quot;&quot;&quot;</span>
PROMPT = PromptTemplate(
   input_variables=[<span class="hljs-string">&quot;history&quot;</span>, <span class="hljs-string">&quot;input&quot;</span>], template=_DEFAULT_TEMPLATE
)
conversation_with_summary = ConversationChain(
   llm=llm,
   prompt=PROMPT,
   memory=memory,
   verbose=<span class="hljs-literal">True</span>
)
conversation_with_summary.predict(<span class="hljs-built_in">input</span>=<span class="hljs-string">&quot;Hi, my name is Gary, what&#x27;s up?&quot;</span>)
<button class="copy-code-btn"></button></code></pre>
<p>Gambar di bawah ini menunjukkan seperti apa respon yang diharapkan dari LLM. Dalam contoh ini, LLM merespons dengan mengatakan bahwa namanya adalah "AI".</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Conversational_Memory_in_Lang_Chain_graphics_1_2bf386d22a.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Sekarang mari kita uji memori sejauh ini. Kita gunakan objek <code translate="no">ConversationChain</code> yang telah kita buat sebelumnya dan menanyakan musisi favorit saya.</p>
<pre><code translate="no">conversation_with_summary.predict(<span class="hljs-built_in">input</span>=<span class="hljs-string">&quot;who is my favorite musician?&quot;</span>)
<button class="copy-code-btn"></button></code></pre>
<p>Gambar di bawah ini menunjukkan respons yang diharapkan dari Rantai Percakapan. Karena kita menggunakan opsi verbose, maka ia juga menunjukkan kepada kita percakapan yang relevan. Kita dapat melihat bahwa ia mengembalikan bahwa artis favorit saya adalah Taylor Swift, seperti yang diharapkan.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Conversational_Memory_in_Lang_Chain_graphics_2_8355206f3e.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Selanjutnya, mari kita periksa makanan penutup favorit saya - kue keju.</p>
<pre><code translate="no">conversation_with_summary.predict(<span class="hljs-built_in">input</span>=<span class="hljs-string">&quot;Whats my favorite dessert?&quot;</span>)
<button class="copy-code-btn"></button></code></pre>
<p>Ketika kita menanyakan makanan penutup favorit saya, kita dapat melihat bahwa Rantai Percakapan sekali lagi mengambil informasi yang benar dari Milvus. Ia menemukan bahwa makanan penutup favorit saya adalah cheesecake, seperti yang saya katakan sebelumnya.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Conversational_Memory_in_Lang_Chain_graphics_3_66a5c9690f.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Sekarang setelah kita mengonfirmasi bahwa kita dapat meminta informasi yang kita berikan sebelumnya, mari kita periksa satu hal lagi - informasi yang kita berikan di awal percakapan. Kami memulai percakapan kami dengan memberi tahu AI bahwa nama kami adalah Gary.</p>
<pre><code translate="no">conversation_with_summary.predict(<span class="hljs-built_in">input</span>=<span class="hljs-string">&quot;What&#x27;s my name?&quot;</span>)
<button class="copy-code-btn"></button></code></pre>
<p>Pemeriksaan terakhir kami menunjukkan bahwa rantai percakapan menyimpan sedikit informasi tentang nama kita di memori percakapan penyimpanan vektor. Rantai percakapan tersebut mengembalikan bahwa nama kita adalah Gary.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Conversational_Memory_in_Lang_Chain_graphics_4_f446f49672.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<h2 id="LangChain-Conversational-Memory-Summary" class="common-anchor-header">Ringkasan Memori Percakapan Rantai Bahasa<button data-href="#LangChain-Conversational-Memory-Summary" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Dalam tutorial ini, kita telah belajar bagaimana menggunakan memori percakapan di LangChain. LangChain menawarkan akses ke backend penyimpanan vektor seperti Milvus untuk memori percakapan yang persisten. Kita dapat menggunakan memori percakapan dengan menyuntikkan riwayat ke dalam permintaan kita dan menyimpan konteks historis di objek <code translate="no">ConversationChain</code>.</p>
<p>Untuk contoh tutorial ini, kami memberikan Rantai Percakapan lima fakta tentang saya dan berpura-pura menjadi saingan utama di Pokemon, Gary. Kemudian, kami mem-ping Rantai Percakapan dengan pertanyaan tentang pengetahuan apriori yang kami simpan - musisi dan makanan penutup favorit saya. Ia menjawab kedua pertanyaan ini dengan benar dan memunculkan entri yang relevan. Terakhir, kami bertanya tentang nama kami seperti yang diberikan di awal percakapan, dan dengan benar menjawab bahwa nama kami adalah "Gary."</p>


Memori Percakapan di LangChain

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/What_s_New_in_2_2_9_858e54a2d3.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Kami dengan senang hati mengumumkan kehadiran Milvus 2.2.9, rilis yang sangat dinanti-nantikan yang menandai tonggak penting bagi tim dan komunitas. Rilis ini menawarkan banyak fitur menarik, termasuk dukungan yang telah lama ditunggu-tunggu untuk tipe data JSON, skema dinamis, dan kunci partisi, memastikan pengalaman pengguna yang dioptimalkan dan alur kerja pengembangan yang efisien. Selain itu, rilis ini juga dilengkapi dengan berbagai peningkatan dan perbaikan bug. Bergabunglah bersama kami dalam menjelajahi Milvus 2.2.9 dan temukan mengapa rilis ini sangat menarik.</p>
<h2 id="Optimized-user-experience-with-JSON-support" class="common-anchor-header">Pengalaman pengguna yang dioptimalkan dengan dukungan JSON<button data-href="#Optimized-user-experience-with-JSON-support" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus telah memperkenalkan dukungan yang sangat dinanti-nantikan untuk tipe data JSON, yang memungkinkan penyimpanan data JSON tanpa hambatan bersama dengan metadata vektor di dalam koleksi pengguna. Dengan peningkatan ini, pengguna dapat secara efisien memasukkan data JSON secara massal dan melakukan kueri dan penyaringan tingkat lanjut berdasarkan konten bidang JSON mereka. Selain itu, pengguna dapat memanfaatkan ekspresi dan melakukan operasi yang disesuaikan dengan bidang JSON dataset mereka, membuat kueri, dan menerapkan filter berdasarkan konten dan struktur bidang JSON mereka, sehingga mereka dapat mengekstrak informasi yang relevan dan memanipulasi data dengan lebih baik.</p>
<p>Di masa mendatang, tim Milvus akan menambahkan indeks untuk field dalam tipe JSON, yang akan semakin mengoptimalkan kinerja kueri skalar dan vektor campuran. Jadi, nantikan perkembangan menarik di masa mendatang!</p>
<h2 id="Added-flexibility-with-support-for-dynamic-schema" class="common-anchor-header">Menambahkan fleksibilitas dengan dukungan untuk skema dinamis<button data-href="#Added-flexibility-with-support-for-dynamic-schema" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Dengan dukungan untuk data JSON, Milvus 2.2.9 sekarang menyediakan fungsionalitas skema dinamis melalui perangkat pengembangan perangkat lunak yang disederhanakan (SDK).</p>
<p>Dimulai dengan Milvus 2.2.9, Milvus SDK menyertakan API tingkat tinggi yang secara otomatis mengisi bidang dinamis ke dalam bidang JSON yang tersembunyi pada koleksi, sehingga pengguna dapat berkonsentrasi hanya pada bidang bisnis mereka.</p>
<h2 id="Better-data-separation-and-enhanced-search-efficiency-with-Partition-Key" class="common-anchor-header">Pemisahan data yang lebih baik dan efisiensi pencarian yang lebih baik dengan Partition Key<button data-href="#Better-data-separation-and-enhanced-search-efficiency-with-Partition-Key" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.2.9 meningkatkan kemampuan partisi dengan memperkenalkan fitur Partition Key. Fitur ini memungkinkan kolom khusus pengguna sebagai kunci utama untuk mempartisi, sehingga tidak perlu lagi menggunakan API tambahan seperti <code translate="no">loadPartition</code> dan <code translate="no">releasePartition</code>. Fitur baru ini juga menghilangkan batasan jumlah partisi, yang mengarah pada pemanfaatan sumber daya yang lebih efisien.</p>
<h2 id="Support-for-Alibaba-Cloud-OSS" class="common-anchor-header">Dukungan untuk Alibaba Cloud OSS<button data-href="#Support-for-Alibaba-Cloud-OSS" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.2.9 kini mendukung Alibaba Cloud Object Storage Service (OSS). Pengguna Alibaba Cloud dapat dengan mudah mengonfigurasi <code translate="no">cloudProvider</code> ke Alibaba Cloud dan memanfaatkan integrasi tanpa batas untuk penyimpanan dan pengambilan data vektor yang efisien di cloud.</p>
<p>Selain fitur-fitur yang telah disebutkan sebelumnya, Milvus 2.2.9 menawarkan dukungan basis data dalam Role-Based Access Control (RBAC), memperkenalkan manajemen koneksi, dan menyertakan beberapa peningkatan dan perbaikan bug. Untuk informasi lebih lanjut, lihat <a href="https://milvus.io/docs/release_notes.md">Catatan Rilis Milvus 2.2.9</a>.</p>
<h2 id="Let’s-keep-in-touch" class="common-anchor-header">Mari tetap terhubung!<button data-href="#Let’s-keep-in-touch" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Jika Anda memiliki pertanyaan atau umpan balik tentang Milvus, jangan ragu untuk menghubungi kami melalui <a href="https://twitter.com/milvusio">Twitter</a> atau <a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn</a>. Anda juga dapat bergabung dengan <a href="https://milvus.io/slack/">saluran Slack</a> untuk mengobrol dengan teknisi dan komunitas kami secara langsung atau melihat <a href="https://us02web.zoom.us/meeting/register/tZ0pcO6vrzsuEtVAuGTpNdb6lGnsPBzGfQ1T#/registration">jam kerja</a> kami di hari <a href="https://us02web.zoom.us/meeting/register/tZ0pcO6vrzsuEtVAuGTpNdb6lGnsPBzGfQ1T#/registration">Selasa</a>!</p>


Milvus 2.2.9: Rilis yang Sangat Dinantikan dengan Pengalaman Pengguna yang Optimal

<p><strong><em>Catatan Penting</em></strong></p>
<p><em>Kami meningkatkan Milvus Lite pada bulan Juni 2024, memungkinkan pengembang AI untuk membangun aplikasi lebih cepat sekaligus memastikan pengalaman yang konsisten di berbagai opsi penerapan, termasuk Milvus di Kurbernetes, Docker, dan layanan cloud terkelola. Milvus Lite juga terintegrasi dengan berbagai kerangka kerja dan teknologi AI, menyederhanakan pengembangan aplikasi AI dengan kemampuan pencarian vektor. Untuk informasi lebih lanjut, lihat referensi berikut:</em></p>
<ul>
<li><p><em>Blog peluncuran Milvus Lite: h<a href="https://milvus.io/blog/introducing-milvus-lite.md">ttps://</a>milvus.io/blog/introducing-milvus-lite.md</em></p></li>
<li><p><em>Dokumentasi Milvus Lite: <a href="https://milvus.io/docs/quickstart.md">https://milvus.io/docs/quickstart.md</a></em></p></li>
<li><p><em>Repositori GitHub Milvus Lite: <a href="https://github.com/milvus-io/milvus-lite">https://github.com/milvus-io/milvus-lite</a></em></p></li>
</ul>
<p><br></p>
<p><a href="https://github.com/milvus-io/milvus">Milvus</a> adalah basis data vektor sumber terbuka yang dibuat khusus untuk mengindeks, menyimpan, dan meminta vektor penyematan yang dihasilkan oleh jaringan syaraf tiruan dan model pembelajaran mesin (ML) lainnya pada skala miliaran. Ini telah menjadi pilihan populer bagi banyak perusahaan, peneliti, dan pengembang yang harus melakukan pencarian kemiripan pada set data berskala besar.</p>
<p>Namun, beberapa pengguna mungkin menganggap versi lengkap Milvus terlalu berat atau rumit. Untuk mengatasi masalah ini, <a href="https://github.com/matrixji">Bin Ji</a>, salah satu kontributor paling aktif dalam komunitas Milvus, membangun Milvus <a href="https://github.com/milvus-io/milvus-lite">Lite</a>, versi ringan dari Milvus.</p>
<h2 id="What-is-Milvus-Lite" class="common-anchor-header">Apa itu Milvus Lite?<button data-href="#What-is-Milvus-Lite" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Seperti yang telah disebutkan sebelumnya, <a href="https://github.com/milvus-io/milvus-lite">Milvus Lite</a> adalah alternatif yang disederhanakan dari Milvus yang menawarkan banyak keuntungan dan manfaat.</p>
<ul>
<li>Anda dapat mengintegrasikannya ke dalam aplikasi Python Anda tanpa menambah beban tambahan.</li>
<li>Milvus Lite bersifat mandiri dan tidak memerlukan ketergantungan lain, berkat kemampuan Milvus yang mandiri untuk bekerja dengan Etcd tertanam dan penyimpanan lokal.</li>
<li>Anda bisa mengimpornya sebagai pustaka Python dan menggunakannya sebagai server mandiri berbasis antarmuka baris perintah (CLI).</li>
<li>Ia bekerja dengan lancar dengan Google Colab dan Jupyter Notebook.</li>
<li>Anda dapat dengan aman memigrasikan pekerjaan Anda dan menulis kode ke instance Milvus lainnya (versi mandiri, terkluster, dan terkelola penuh) tanpa risiko kehilangan data.</li>
</ul>
<h2 id="When-should-you-use-Milvus-Lite" class="common-anchor-header">Kapan Anda harus menggunakan Milvus Lite?<button data-href="#When-should-you-use-Milvus-Lite" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Secara khusus, Milvus Lite sangat membantu dalam situasi berikut:</p>
<ul>
<li>Ketika Anda lebih suka menggunakan Milvus tanpa teknik dan alat kontainer seperti <a href="https://milvus.io/docs/install_standalone-operator.md">Milvus Operator</a>, <a href="https://milvus.io/docs/install_standalone-helm.md">Helm</a>, atau <a href="https://milvus.io/docs/install_standalone-docker.md">Docker Compose</a>.</li>
<li>Ketika Anda tidak membutuhkan mesin virtual atau kontainer untuk menggunakan Milvus.</li>
<li>Ketika Anda ingin memasukkan fitur-fitur Milvus ke dalam aplikasi Python Anda.</li>
<li>Ketika Anda ingin menjalankan instans Milvus di Colab atau Notebook untuk eksperimen cepat.</li>
</ul>
<p><strong>Catatan</strong>: Kami tidak menyarankan penggunaan Milvus Lite di lingkungan produksi atau jika Anda membutuhkan performa tinggi, ketersediaan yang kuat, atau skalabilitas yang tinggi. Sebagai gantinya, pertimbangkan untuk menggunakan <a href="https://github.com/milvus-io/milvus">cluster Milvus</a> atau <a href="https://zilliz.com/cloud">Milvus yang dikelola sepenuhnya di Zilliz Cloud</a> untuk produksi.</p>
<h2 id="How-to-get-started-with-Milvus-Lite" class="common-anchor-header">Bagaimana cara memulai dengan Milvus Lite?<button data-href="#How-to-get-started-with-Milvus-Lite" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Sekarang, mari kita lihat cara menginstal, mengonfigurasi, dan menggunakan Milvus Lite.</p>
<h3 id="Prerequisites" class="common-anchor-header">Prasyarat</h3><p>Untuk menggunakan Milvus Lite, pastikan Anda telah menyelesaikan persyaratan berikut ini:</p>
<ul>
<li>Menginstal Python 3.7 atau versi yang lebih baru.</li>
<li>Menggunakan salah satu sistem operasi terverifikasi yang tercantum di bawah ini:<ul>
<li>Ubuntu &gt;= 18.04 (x86_64)</li>
<li>CentOS &gt;= 7.0 (x86_64)</li>
<li>MacOS &gt;= 11.0 (Apple Silicon)</li>
</ul></li>
</ul>
<p><strong>Catatan</strong>:</p>
<ol>
<li>Milvus Lite menggunakan <code translate="no">manylinux2014</code> sebagai citra dasar, membuatnya kompatibel dengan sebagian besar distribusi Linux untuk pengguna Linux.</li>
<li>Menjalankan Milvus Lite di Windows juga dimungkinkan, meskipun hal ini belum sepenuhnya diverifikasi.</li>
</ol>
<h3 id="Install-Milvus-Lite" class="common-anchor-header">Menginstal Milvus Lite</h3><p>Milvus Lite tersedia di PyPI sehingga Anda dapat menginstalnya melalui <code translate="no">pip</code>.</p>
<pre><code translate="no">$ python3 -m pip install milvus
<button class="copy-code-btn"></button></code></pre>
<p>Anda juga dapat menginstalnya dengan PyMilvus sebagai berikut:</p>
<pre><code translate="no">$ python3 -m pip install milvus[client]
<button class="copy-code-btn"></button></code></pre>
<h3 id="Use-and-start-Milvus-Lite" class="common-anchor-header">Gunakan dan jalankan Milvus Lite</h3><p>Unduh <a href="https://github.com/milvus-io/milvus-lite/tree/main/examples">buku catatan contoh</a> dari folder contoh repositori proyek kami. Anda memiliki dua pilihan untuk menggunakan Milvus Lite: mengimpornya sebagai pustaka Python atau menjalankannya sebagai server mandiri pada mesin Anda menggunakan CLI.</p>
<ul>
<li>Untuk menjalankan Milvus Lite sebagai modul Python, jalankan perintah berikut:</li>
</ul>
<pre><code translate="no"><span class="hljs-keyword">from</span> milvus <span class="hljs-keyword">import</span> default_server
<span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> connections, utility

<span class="hljs-comment"># Start your milvus server</span>
default_server.start()

<span class="hljs-comment"># Now you can connect with localhost and the given port</span>
<span class="hljs-comment"># Port is defined by default_server.listen_port</span>
connections.connect(host=<span class="hljs-string">&#x27;127.0.0.1&#x27;</span>, port=default_server.listen_port)

<span class="hljs-comment"># Check if the server is ready.</span>
<span class="hljs-built_in">print</span>(utility.get_server_version())

<span class="hljs-comment"># Stop your milvus server</span>
default_server.stop()
<button class="copy-code-btn"></button></code></pre>
<ul>
<li>Untuk menangguhkan atau menghentikan Milvus Lite, gunakan pernyataan <code translate="no">with</code>.</li>
</ul>
<pre><code translate="no"><span class="hljs-keyword">from</span> milvus <span class="hljs-keyword">import</span> default_server

<span class="hljs-keyword">with</span> default_server:
  <span class="hljs-comment"># Milvus Lite has already started, use default_server here.</span>
  connections.connect(host=<span class="hljs-string">&#x27;127.0.0.1&#x27;</span>, port=default_server.listen_port)
<button class="copy-code-btn"></button></code></pre>
<ul>
<li>Untuk memulai Milvus Lite sebagai server mandiri berbasis CLI, jalankan perintah berikut:</li>
</ul>
<pre><code translate="no">milvus-server
<button class="copy-code-btn"></button></code></pre>
<p>Setelah Anda menjalankan Milvus Lite, Anda dapat menggunakan PyMilvus atau alat lain yang Anda sukai untuk terhubung ke server mandiri.</p>
<h3 id="Start-Milvus-Lite-in-a-debug-mode" class="common-anchor-header">Memulai Milvus Lite dalam mode debug</h3><ul>
<li>Untuk menjalankan Milvus Lite dalam mode debug sebagai Modul Python, jalankan perintah berikut:</li>
</ul>
<pre><code translate="no"><span class="hljs-keyword">from</span> milvus <span class="hljs-keyword">import</span> debug_server, MilvusServer

debug_server.run()

<span class="hljs-comment"># Or you can create a MilvusServer by yourself</span>
<span class="hljs-comment"># server = MilvusServer(debug=True)</span>
<button class="copy-code-btn"></button></code></pre>
<ul>
<li>Untuk menjalankan server mandiri dalam mode debug, jalankan perintah berikut:</li>
</ul>
<pre><code translate="no">milvus-server --debug
<button class="copy-code-btn"></button></code></pre>
<h3 id="Persist-data-and-logs" class="common-anchor-header">Menyimpan data dan log</h3><ul>
<li>Untuk membuat direktori lokal untuk Milvus Lite yang akan berisi semua data dan log yang relevan, jalankan perintah berikut:</li>
</ul>
<pre><code translate="no"><span class="hljs-keyword">from</span> milvus <span class="hljs-keyword">import</span> default_server

<span class="hljs-keyword">with</span> <span class="hljs-attr">default_server</span>:
  default_server.<span class="hljs-title function_">set_base_dir</span>(<span class="hljs-string">&#x27;milvus_data&#x27;</span>)
<button class="copy-code-btn"></button></code></pre>
<ul>
<li>Untuk menyimpan semua data dan log yang dihasilkan oleh server mandiri pada drive lokal Anda, jalankan perintah berikut:</li>
</ul>
<pre><code translate="no">$ milvus-server --data milvus_data
<button class="copy-code-btn"></button></code></pre>
<h3 id="Configure-Milvus-Lite" class="common-anchor-header">Mengkonfigurasi Milvus Lite</h3><p>Mengkonfigurasi Milvus Lite mirip dengan menyiapkan instans Milvus menggunakan API Python atau CLI.</p>
<ul>
<li>Untuk mengonfigurasi Milvus Lite menggunakan API Python, gunakan API <code translate="no">config.set</code> dari instans <code translate="no">MilvusServer</code> untuk pengaturan dasar dan ekstra:</li>
</ul>
<pre><code translate="no"><span class="hljs-keyword">from</span> milvus <span class="hljs-keyword">import</span> default_server

<span class="hljs-keyword">with</span> default_server:
  default_server.config.<span class="hljs-built_in">set</span>(<span class="hljs-string">&#x27;system_Log_level&#x27;</span>, <span class="hljs-string">&#x27;info&#x27;</span>)
  default_server.config.<span class="hljs-built_in">set</span>(<span class="hljs-string">&#x27;proxy_port&#x27;</span>, <span class="hljs-number">19531</span>)
  default_server.config.<span class="hljs-built_in">set</span>(<span class="hljs-string">&#x27;dataCoord.segment.maxSize&#x27;</span>, <span class="hljs-number">1024</span>)
<button class="copy-code-btn"></button></code></pre>
<ul>
<li>Untuk mengkonfigurasi Milvus Lite menggunakan CLI, jalankan perintah berikut untuk pengaturan dasar:</li>
</ul>
<pre><code translate="no">$ milvus-server --system-log-level info
$ milvus-server --proxy-port 19531
<button class="copy-code-btn"></button></code></pre>
<ul>
<li>Atau, jalankan perintah berikut untuk konfigurasi tambahan.</li>
</ul>
<pre><code translate="no">$ milvus-server --extra-config dataCoord.segment.maxSize=1024
<button class="copy-code-btn"></button></code></pre>
<p>Semua item yang dapat dikonfigurasi ada di template <code translate="no">config.yaml</code> yang disertakan dengan paket Milvus.</p>
<p>Untuk detail teknis lebih lanjut mengenai cara menginstal dan mengkonfigurasi Milvus Lite, lihat <a href="https://milvus.io/docs/milvus_lite.md#Prerequisites">dokumentasi</a> kami.</p>
<h2 id="Summary" class="common-anchor-header">Ringkasan<button data-href="#Summary" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus Lite adalah pilihan yang sangat baik bagi mereka yang mencari kemampuan Milvus dalam format yang ringkas. Apakah Anda seorang peneliti, pengembang, atau ilmuwan data, ada baiknya Anda menjelajahi opsi ini.</p>
<p>Milvus Lite juga merupakan tambahan yang indah untuk komunitas sumber terbuka, menampilkan karya luar biasa dari para kontributornya. Berkat upaya Bin Ji, Milvus sekarang tersedia untuk lebih banyak pengguna. Kami tidak sabar untuk melihat ide-ide inovatif yang akan dihasilkan oleh Bin Ji dan anggota komunitas Milvus lainnya di masa depan.</p>
<h2 id="Let’s-keep-in-touch" class="common-anchor-header">Mari kita tetap berhubungan!<button data-href="#Let’s-keep-in-touch" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Jika Anda mengalami masalah dalam menginstal atau menggunakan Milvus Lite, Anda dapat <a href="https://github.com/milvus-io/milvus-lite/issues/new">mengajukan masalah di sini</a> atau menghubungi kami melalui <a href="https://twitter.com/milvusio">Twitter</a> atau <a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn</a>. Anda juga dapat bergabung dengan <a href="https://milvus.io/slack/">saluran Slack</a> untuk mengobrol dengan para teknisi kami dan seluruh komunitas, atau lihat <a href="https://us02web.zoom.us/meeting/register/tZ0pcO6vrzsuEtVAuGTpNdb6lGnsPBzGfQ1T#/registration">jam kerja kami di hari Selasa</a>!</p>


Memperkenalkan Milvus Lite: Versi Ringan dari Milvus

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/What_s_New_in_2_2_8_f4dd6de0f2.png" alt="Milvus 2.2.8" class="doc-image" id="milvus-2.2.8" />
   </span> <span class="img-wrapper"> <span>Milvus 2.2.8</span> </span></p>
<p>Kami dengan senang hati mengumumkan rilis terbaru Milvus 2.2.8. Rilis ini mencakup banyak peningkatan dan perbaikan bug dari versi sebelumnya, yang menghasilkan kinerja query yang lebih baik, penghematan sumber daya, dan hasil yang lebih tinggi. Mari kita lihat apa saja yang baru dalam rilis ini.</p>
<h2 id="Reduced-peak-memory-consumption-during-collection-loading" class="common-anchor-header">Mengurangi konsumsi memori puncak selama pemuatan koleksi<button data-href="#Reduced-peak-memory-consumption-during-collection-loading" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Untuk melakukan kueri, Milvus perlu memuat data dan indeks ke dalam memori. Namun, selama proses pemuatan, beberapa salinan memori dapat menyebabkan penggunaan memori puncak meningkat hingga tiga hingga empat kali lebih tinggi daripada saat runtime yang sebenarnya. Versi terbaru Milvus 2.2.8 secara efektif mengatasi masalah ini dan mengoptimalkan penggunaan memori.</p>
<h2 id="Expanded-querying-scenarios-with-QueryNode-supporting-plugins" class="common-anchor-header">Skenario kueri yang diperluas dengan plugin yang mendukung QueryNode<button data-href="#Expanded-querying-scenarios-with-QueryNode-supporting-plugins" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>QueryNode sekarang mendukung plugin di Milvus 2.2.8 terbaru. Anda dapat dengan mudah menentukan jalur file plugin dengan konfigurasi <code translate="no">queryNode.soPath</code>. Kemudian, Milvus dapat memuat plugin pada saat runtime dan memperluas skenario kueri yang tersedia. Lihat <a href="https://pkg.go.dev/plugin">dokumentasi plugin Go</a>, jika Anda memerlukan panduan untuk mengembangkan plugin.</p>
<h2 id="Optimized-querying-performance-with-enhanced-compaction-algorithm" class="common-anchor-header">Performa kueri yang dioptimalkan dengan algoritme pemadatan yang disempurnakan<button data-href="#Optimized-querying-performance-with-enhanced-compaction-algorithm" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Algoritme pemadatan menentukan kecepatan penggabungan segmen, yang secara langsung memengaruhi kinerja kueri. Dengan peningkatan terbaru pada algoritme pemadatan, efisiensi konvergensi telah meningkat secara dramatis, menghasilkan kueri yang lebih cepat.</p>
<h2 id="Better-resource-saving-and-querying-performance-with-reduced-collection-shards" class="common-anchor-header">Penghematan sumber daya dan kinerja kueri yang lebih baik dengan pecahan koleksi yang lebih sedikit<button data-href="#Better-resource-saving-and-querying-performance-with-reduced-collection-shards" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus adalah sistem pemrosesan paralel masif (MPP), yang berarti bahwa jumlah pecahan koleksi berdampak pada efisiensi Milvus dalam penulisan dan kueri. Pada versi yang lebih lama, sebuah koleksi memiliki dua pecahan secara default, yang menghasilkan kinerja penulisan yang sangat baik tetapi mengorbankan kinerja penginputan dan biaya sumber daya. Dengan pembaruan Milvus 2.2.8 yang baru, pecahan koleksi default telah dikurangi menjadi satu, sehingga pengguna dapat menghemat lebih banyak sumber daya dan melakukan kueri yang lebih baik. Sebagian besar pengguna dalam komunitas memiliki kurang dari 10 juta volume data, dan satu pecahan sudah cukup untuk mencapai kinerja penulisan yang baik.</p>
<p><strong>Catatan</strong>: Peningkatan ini tidak memengaruhi koleksi yang dibuat sebelum rilis ini.</p>
<h2 id="20-throughput-increase-with-an-improved-query-grouping-algorithm" class="common-anchor-header">Peningkatan throughput sebesar 20% dengan algoritma pengelompokan kueri yang lebih baik<button data-href="#20-throughput-increase-with-an-improved-query-grouping-algorithm" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus memiliki algoritma pengelompokan kueri yang efisien yang menggabungkan beberapa permintaan kueri dalam antrean menjadi satu untuk eksekusi yang lebih cepat, sehingga secara signifikan meningkatkan throughput. Dalam rilis terbaru, kami membuat peningkatan tambahan pada algoritma ini, meningkatkan throughput Milvus setidaknya 20%.</p>
<p>Selain peningkatan yang disebutkan di atas, Milvus 2.2.8 juga memperbaiki berbagai bug. Untuk lebih jelasnya, lihat <a href="https://milvus.io/docs/release_notes.md">Catatan Rilis Milvus</a>.</p>
<h2 id="Let’s-keep-in-touch" class="common-anchor-header">Mari tetap berkomunikasi!<button data-href="#Let’s-keep-in-touch" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Jika Anda memiliki pertanyaan atau masukan mengenai Milvus, jangan ragu untuk menghubungi kami melalui <a href="https://twitter.com/milvusio">Twitter</a> atau <a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn</a>. Anda juga dapat bergabung dengan <a href="https://milvus.io/slack/">saluran Slack</a> untuk mengobrol dengan teknisi kami dan seluruh komunitas secara langsung atau lihat <a href="https://us02web.zoom.us/meeting/register/tZ0pcO6vrzsuEtVAuGTpNdb6lGnsPBzGfQ1T#/registration">jam kerja</a> kami di hari <a href="https://us02web.zoom.us/meeting/register/tZ0pcO6vrzsuEtVAuGTpNdb6lGnsPBzGfQ1T#/registration">Selasa</a>!</p>


Milvus 2.2.8: Performa Kueri yang Lebih Baik, Throughput 20% Lebih Tinggi

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/exploring_milvus_latest_versions_4fa890533e.png" alt="Milvus at Its Best" class="doc-image" id="milvus-at-its-best" />
   </span> <span class="img-wrapper"> <span>Milvus yang Terbaik</span> </span></p>
<p>Selamat datang kembali, para pengikut Milvus! Kami tahu sudah cukup lama sejak terakhir kali kami membagikan pembaruan pada database vektor sumber terbuka yang canggih ini. Tapi jangan khawatir, karena kami di sini untuk memberi tahu Anda tentang semua perkembangan menarik yang telah terjadi sejak Agustus lalu.</p>
<p>Dalam artikel blog ini, kami akan mengajak Anda untuk melihat rilis Milvus terbaru, mulai dari versi 2.2 hingga versi 2.2.6. Ada banyak hal yang akan kami bahas, termasuk fitur-fitur baru, peningkatan, perbaikan bug, dan pengoptimalan. Jadi, kencangkan sabuk pengaman Anda, dan mari kita selami!</p>
<h2 id="Milvus-v22-a-major-release-with-enhanced-stability-faster-search-speed-and-flexible-scalability" class="common-anchor-header">Milvus v2.2: rilis utama dengan peningkatan stabilitas, kecepatan pencarian yang lebih cepat, dan skalabilitas yang fleksibel<button data-href="#Milvus-v22-a-major-release-with-enhanced-stability-faster-search-speed-and-flexible-scalability" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus v2.2 adalah rilis penting yang memperkenalkan tujuh fitur baru dan berbagai terobosan peningkatan pada versi sebelumnya. Mari kita lihat lebih dekat beberapa hal yang menarik:</p>
<ul>
<li><strong>Penyisipan Massal Entitas dari File</strong>: Dengan fitur ini, Anda dapat mengunggah sejumlah entitas dalam satu atau beberapa file secara langsung ke Milvus hanya dengan beberapa baris kode, sehingga menghemat waktu dan tenaga Anda.</li>
<li><strong>Penomoran Hasil Kueri</strong>: Untuk menghindari hasil pencarian dan kueri yang sangat besar yang kembali dalam satu panggilan prosedur jarak jauh (RPC), Milvus v2.2 memungkinkan Anda untuk mengonfigurasi offset dan memfilter hasil dengan kata kunci dalam pencarian dan kueri.</li>
<li><strong>Kontrol Akses Berbasis Peran (RBAC</strong>): Milvus v2.2 sekarang mendukung RBAC, memungkinkan Anda untuk mengontrol akses ke instance Milvus Anda dengan mengelola pengguna, peran, dan izin.</li>
<li><strong>Kuota dan Batas</strong>: Kuota dan batasan adalah mekanisme baru dalam Milvus v2.2 yang melindungi sistem basis data dari kesalahan out-of-memory (OOM) dan crash saat terjadi lonjakan trafik secara tiba-tiba. Dengan fitur ini, Anda dapat mengontrol konsumsi, pencarian, dan penggunaan memori.</li>
<li><strong>Time to Live (TTL) pada Tingkat Koleksi</strong>: Pada rilis sebelumnya, Milvus hanya mengizinkan Anda untuk mengonfigurasi TTL untuk cluster Anda. Namun, Milvus v2.2 sekarang mendukung konfigurasi TTL pada tingkat koleksi. Mengkonfigurasi TTL untuk koleksi tertentu dan entitas dalam koleksi tersebut akan secara otomatis berakhir setelah TTL berakhir. Konfigurasi ini memberikan kontrol yang lebih baik atas retensi data.</li>
<li><strong>Indeks Perkiraan Pencarian Tetangga Terdekat (ANNS) Berbasis Disk (Beta)</strong>: Milvus v2.2 memperkenalkan dukungan untuk DiskANN, sebuah algoritme ANNS berbasis grafik Vamana yang berbasis pada SSD. Dukungan ini memungkinkan pencarian langsung pada kumpulan data berskala besar, yang secara signifikan dapat mengurangi penggunaan memori hingga 10 kali lipat.</li>
<li><strong>Pencadangan Data (Beta)</strong>: Milvus v2.2 menyediakan <a href="https://github.com/zilliztech/milvus-backup">alat baru</a> untuk mencadangkan dan memulihkan data Milvus Anda dengan benar, baik melalui baris perintah atau server API.</li>
</ul>
<p>Selain fitur-fitur baru yang disebutkan di atas, Milvus v2.2 mencakup perbaikan untuk lima bug dan beberapa peningkatan untuk meningkatkan stabilitas, kemampuan pengamatan, dan kinerja Milvus. Untuk lebih jelasnya, lihat <a href="https://milvus.io/docs/release_notes.md#v220">Catatan Rilis Milvus v2.2.</a></p>
<h2 id="Milvus-v221--v222-minor-releases-with-issues-fixed" class="common-anchor-header">Milvus v2.2.1 &amp; v2.2.2: rilis minor dengan masalah yang telah diperbaiki<button data-href="#Milvus-v221--v222-minor-releases-with-issues-fixed" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus v2.2.1 dan v2.2.2 merupakan rilis minor yang berfokus pada perbaikan masalah kritis pada versi sebelumnya dan memperkenalkan fitur-fitur baru. Berikut adalah beberapa sorotan:</p>
<h3 id="Milvus-v221" class="common-anchor-header">Milvus v2.2.1</h3><ul>
<li>Mendukung penyewa Pulsa dan otentikasi</li>
<li>Mendukung keamanan lapisan transport (TLS) dalam sumber konfigurasi etcd</li>
<li>Meningkatkan kinerja pencarian lebih dari 30%.</li>
<li>Mengoptimalkan penjadwal dan meningkatkan kemungkinan penggabungan tugas</li>
<li>Memperbaiki beberapa bug, termasuk kegagalan pemfilteran istilah pada bidang skalar yang diindeks dan kepanikan IndexNode saat gagal membuat indeks</li>
</ul>
<h3 id="Milvus-v222" class="common-anchor-header">Milvus v2.2.2</h3><ul>
<li>Memperbaiki masalah bahwa proksi tidak memperbarui cache pemimpin pecahan</li>
<li>Memperbaiki masalah bahwa info yang dimuat tidak dibersihkan untuk koleksi / partisi yang dirilis</li>
<li>Memperbaiki masalah bahwa jumlah beban tidak dibersihkan tepat waktu</li>
</ul>
<p>Untuk lebih jelasnya, lihat <a href="https://milvus.io/docs/release_notes.md#v221">Catatan Rilis Milvus v2.2.1</a> dan <a href="https://milvus.io/docs/release_notes.md#v222">Catatan Rilis Milvus v2.2.2</a>.</p>
<h2 id="Milvus-v223-more-secure-stable-and-available" class="common-anchor-header">Milvus v2.2.3: lebih aman, stabil, dan tersedia<button data-href="#Milvus-v223-more-secure-stable-and-available" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus v2.2.3 adalah rilis yang berfokus pada peningkatan keamanan, stabilitas, dan ketersediaan sistem. Selain itu, rilis ini juga memperkenalkan dua fitur penting:</p>
<ul>
<li><p><strong>Upgrade bergulir</strong>: Fitur ini memungkinkan Milvus untuk menanggapi permintaan yang masuk selama proses upgrade, yang tidak mungkin dilakukan pada rilis sebelumnya. Upgrade bergulir memastikan sistem tetap tersedia dan responsif terhadap permintaan pengguna bahkan selama peningkatan.</p></li>
<li><p><strong>Ketersediaan tinggi koordinator (HA)</strong>: Fitur ini memungkinkan koordinator Milvus untuk bekerja dalam mode siaga aktif, sehingga mengurangi risiko kegagalan satu titik. Bahkan dalam bencana yang tidak terduga, waktu pemulihan dikurangi menjadi paling lama 30 detik.</p></li>
</ul>
<p>Selain fitur-fitur baru ini, Milvus v2.2.3 mencakup banyak peningkatan dan perbaikan bug, termasuk peningkatan kinerja penyisipan massal, penggunaan memori yang lebih sedikit, metrik pemantauan yang dioptimalkan, dan kinerja meta-storage yang lebih baik. Untuk lebih jelasnya, lihat <a href="https://milvus.io/docs/release_notes.md#v223">Catatan Rilis Milvus v2.2.3.</a></p>
<h2 id="Milvus-v224-faster-more-reliable-and-resource-saving" class="common-anchor-header">Milvus v2.2.4: lebih cepat, lebih andal, dan hemat sumber daya<button data-href="#Milvus-v224-faster-more-reliable-and-resource-saving" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus v2.2.4 merupakan pembaruan minor untuk Milvus v2.2. Milvus v2.2.4 memperkenalkan empat fitur baru dan beberapa peningkatan, yang menghasilkan kinerja yang lebih cepat, meningkatkan keandalan, dan mengurangi konsumsi sumber daya. Hal-hal penting dari rilis ini meliputi:</p>
<ul>
<li><strong>Pengelompokan sumber daya</strong>: Milvus sekarang mendukung pengelompokan QueryNode ke dalam kelompok sumber daya lain, memungkinkan isolasi penuh akses ke sumber daya fisik dalam kelompok yang berbeda.</li>
<li>Penggantian<strong>nama koleksi</strong>: API penggantian nama koleksi memungkinkan pengguna untuk mengubah nama koleksi, memberikan fleksibilitas yang lebih besar dalam mengelola koleksi dan meningkatkan kegunaan.</li>
<li><strong>Dukungan untuk Google Cloud Storage</strong></li>
<li><strong>Opsi baru dalam API pencarian dan kueri</strong>: Fitur baru ini memungkinkan pengguna untuk melewatkan pencarian pada semua segmen yang sedang berkembang, menawarkan kinerja pencarian yang lebih baik dalam skenario di mana pencarian dilakukan bersamaan dengan penyisipan data.</li>
</ul>
<p>Untuk informasi lebih lanjut, lihat <a href="https://milvus.io/docs/release_notes.md#v224">Catatan Rilis Milvus v2.2.4.</a></p>
<h2 id="Milvus-v225-NOT-RECOMMENDED" class="common-anchor-header">Milvus v2.2.5: TIDAK DIREKOMENDASIKAN<button data-href="#Milvus-v225-NOT-RECOMMENDED" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus v2.2.5 memiliki beberapa masalah kritis, dan oleh karena itu, kami tidak menyarankan untuk menggunakan rilis ini.  Kami dengan tulus meminta maaf atas ketidaknyamanan yang disebabkan oleh masalah-masalah tersebut. Namun, masalah-masalah ini telah diatasi dalam Milvus v2.2.6.</p>
<h2 id="Milvus-v226-resolves-critical-issues-from-v225" class="common-anchor-header">Milvus v2.2.6: menyelesaikan masalah-masalah kritis dari v2.2.5<button data-href="#Milvus-v226-resolves-critical-issues-from-v225" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus v2.2.6 telah berhasil mengatasi masalah kritis yang ditemukan pada v2.2.5, termasuk masalah dengan daur ulang data binlog kotor dan kegagalan DataCoord GC. Jika saat ini Anda menggunakan v2.2.5, silakan lakukan upgrade untuk memastikan kinerja dan stabilitas yang optimal.</p>
<p>Masalah kritis yang diperbaiki meliputi:</p>
<ul>
<li>Kegagalan DataCoord GC</li>
<li>Penimpaan parameter indeks yang dilewatkan</li>
<li>Penundaan sistem yang disebabkan oleh penumpukan pesan RootCoord</li>
<li>Ketidakakuratan metrik RootCoordInsertChannelTimeTick</li>
<li>Kemungkinan penghentian cap waktu</li>
<li>Penghancuran diri peran koordinator sesekali selama proses restart</li>
<li>Pos pemeriksaan yang tertinggal karena keluarnya pengumpulan sampah yang tidak normal</li>
</ul>
<p>Untuk lebih jelasnya, lihat <a href="https://milvus.io/docs/release_notes.md#v226">Catatan Rilis Milvus v2.2.6</a>.</p>
<h2 id="Summary" class="common-anchor-header">Ringkasan<button data-href="#Summary" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Sebagai kesimpulan, rilis Milvus terbaru dari v2.2 ke v2.2.6 telah memberikan banyak pembaruan dan peningkatan yang menarik. Dari fitur-fitur baru hingga perbaikan bug dan pengoptimalan, Milvus terus memenuhi komitmennya untuk menyediakan solusi mutakhir dan memberdayakan aplikasi di berbagai domain. Nantikan pembaruan dan inovasi yang lebih menarik dari komunitas Milvus.</p>


Milvus yang Terbaik: Menjelajahi v2.2 hingga v2.2.6

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Dynamically_Change_Log_Levels_in_the_Milvus_Vector_Database_58e31c66cc.png" alt="Cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>Gambar sampul depan</span> </span></p>
<blockquote>
<p>Artikel ini ditulis oleh <a href="https://github.com/jiaoew1991">Enwei Jiao</a> dan diterjemahkan oleh <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni</a>.</p>
</blockquote>
<p>Untuk mencegah keluaran log yang berlebihan yang mempengaruhi kinerja disk dan sistem, Milvus secara default mengeluarkan log pada level <code translate="no">info</code> saat berjalan. Namun, terkadang log pada level <code translate="no">info</code> tidak cukup memadai untuk membantu kami mengidentifikasi bug dan masalah secara efisien. Lebih buruk lagi, dalam beberapa kasus, mengubah level log dan memulai ulang layanan dapat menyebabkan kegagalan mereproduksi masalah, membuat pemecahan masalah menjadi lebih sulit. Oleh karena itu, dukungan untuk mengubah level log secara dinamis dalam basis data vektor Milvus sangat dibutuhkan.</p>
<p>Artikel ini bertujuan untuk memperkenalkan mekanisme di balik yang memungkinkan perubahan level log secara dinamis dan memberikan instruksi tentang cara melakukannya dalam database vektor Milvus.</p>
<p><strong>Langsung ke:</strong></p>
<ul>
<li><a href="#Mechanism">Mekanisme</a></li>
<li><a href="#How-to-dynamically-change-log-levels">Cara mengubah level log secara dinamis</a></li>
</ul>
<h2 id="Mechanism" class="common-anchor-header">Mekanisme<button data-href="#Mechanism" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Basis data vektor Milvus mengadopsi <a href="https://github.com/uber-go/zap">zap</a> logger yang bersumber terbuka dari Uber. Sebagai salah satu komponen log yang paling kuat dalam ekosistem bahasa Go, zap menggabungkan modul <a href="https://github.com/uber-go/zap/blob/master/http_handler.go">http_handler.go</a> sehingga Anda dapat melihat level log saat ini dan secara dinamis mengubah level log melalui antarmuka HTTP.</p>
<p>Milvus mendengarkan layanan HTTP yang disediakan oleh port <code translate="no">9091</code>. Oleh karena itu, Anda dapat mengakses port <code translate="no">9091</code> untuk memanfaatkan fitur-fitur seperti debugging kinerja, metrik, pemeriksaan kesehatan. Demikian pula, port <code translate="no">9091</code> digunakan kembali untuk memungkinkan modifikasi level log dinamis dan jalur <code translate="no">/log/level</code> juga ditambahkan ke port. Lihat<a href="https://github.com/milvus-io/milvus/pull/18430"> PR antarmuka log</a> untuk informasi lebih lanjut.</p>
<h2 id="How-to-dynamically-change-log-levels" class="common-anchor-header">Cara mengubah level log secara dinamis<button data-href="#How-to-dynamically-change-log-levels" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Bagian ini menyediakan instruksi tentang cara mengubah level log secara dinamis tanpa perlu memulai ulang layanan Milvus yang sedang berjalan.</p>
<h3 id="Prerequisite" class="common-anchor-header">Prasyarat</h3><p>Pastikan Anda dapat mengakses port <code translate="no">9091</code> pada komponen Milvus.</p>
<h3 id="Change-the-log-level" class="common-anchor-header">Mengubah level log</h3><p>Misalkan alamat IP proksi Milvus adalah <code translate="no">192.168.48.12</code>.</p>
<p>Anda dapat menjalankan <code translate="no">$ curl -X GET 192.168.48.12:9091/log/level</code> terlebih dahulu untuk memeriksa level log proxy saat ini.</p>
<p>Kemudian Anda dapat melakukan penyesuaian dengan menentukan level log. Opsi tingkat log termasuk:</p>
<ul>
<li><p><code translate="no">debug</code></p></li>
<li><p><code translate="no">info</code></p></li>
<li><p><code translate="no">warn</code></p></li>
<li><p><code translate="no">error</code></p></li>
<li><p><code translate="no">dpanic</code></p></li>
<li><p><code translate="no">panic</code></p></li>
<li><p><code translate="no">fatal</code></p></li>
</ul>
<p>Contoh kode berikut ini mengubah level log dari level log default dari <code translate="no">info</code> ke <code translate="no">error</code>.</p>
<pre><code translate="no" class="language-Python">$ curl -X PUT 192.168.48.12:9091/log/level -d level=error
<button class="copy-code-btn"></button></code></pre>


Mengubah Level Log Secara Dinamis dalam Database Vektor Milvus

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1280_X1280_0e0d4bc107.png" alt="Cover_image" class="doc-image" id="cover_image" />
   </span> <span class="img-wrapper"> <span>Gambar sampul</span> </span></p>
<blockquote>
<p>Artikel ini ditulis oleh <a href="https://github.com/longjiquan">Jiquan Long</a> dan diterjemahkan oleh <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni</a>.</p>
</blockquote>
<p>Dalam <a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md">blog sebelumnya</a> tentang konsistensi, kami telah menjelaskan apa yang dimaksud dengan konsistensi dalam basis data vektor terdistribusi, membahas empat tingkat konsistensi - kuat, basi, sesi, dan akhirnya didukung dalam basis data vektor Milvus, dan menjelaskan skenario aplikasi yang paling cocok untuk setiap tingkat konsistensi.</p>
<p>Dalam tulisan ini, kami akan terus memeriksa mekanisme di balik yang memungkinkan pengguna database vektor Milvus untuk secara fleksibel memilih tingkat konsistensi yang ideal untuk berbagai skenario aplikasi. Kami juga akan memberikan tutorial dasar tentang cara menyetel tingkat konsistensi dalam database vektor Milvus.</p>
<p><strong>Langsung ke:</strong></p>
<ul>
<li><a href="#The-underlying-time-tick-mechanism">Mekanisme centang waktu yang mendasari</a></li>
<li><a href="#Guarantee-timestamp">Stempel waktu jaminan</a></li>
<li><a href="#Consistency-levels">Tingkat konsistensi</a></li>
<li><a href="#How-to-tune-consistency-level-in-Milvus">Bagaimana cara menyetel tingkat konsistensi di Milvus?</a></li>
</ul>
<h2 id="The-underlying-time-tick-mechanism" class="common-anchor-header">Mekanisme time tick yang mendasari<button data-href="#The-underlying-time-tick-mechanism" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus menggunakan mekanisme time tick untuk memastikan tingkat konsistensi yang berbeda ketika pencarian atau kueri vektor dilakukan. Time Tick adalah tanda air Milvus yang bertindak seperti jam di Milvus dan menandakan pada titik waktu mana sistem Milvus berada. Setiap kali ada permintaan bahasa manipulasi data (DML) yang dikirim ke basis data vektor Milvus, Milvus akan memberikan cap waktu pada permintaan tersebut. Seperti yang ditunjukkan pada gambar di bawah ini, ketika data baru dimasukkan ke dalam antrean pesan misalnya, Milvus tidak hanya menandai stempel waktu pada data yang dimasukkan ini, tetapi juga menyisipkan tanda waktu pada interval yang teratur.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/timetick_b395df9804.png" alt="timetick" class="doc-image" id="timetick" />
    tanda </span> <span class="img-wrapper"> <span>waktu</span> </span></p>
<p>Mari kita ambil <code translate="no">syncTs1</code> pada gambar di atas sebagai contoh. Ketika konsumen hilir seperti node kueri melihat <code translate="no">syncTs1</code>, komponen konsumen memahami bahwa semua data yang disisipkan lebih awal dari <code translate="no">syncTs1</code> telah dikonsumsi. Dengan kata lain, permintaan penyisipan data yang nilai timestamp-nya lebih kecil dari <code translate="no">syncTs1</code> tidak akan muncul lagi dalam antrean pesan.</p>
<h2 id="Guarantee-Timestamp" class="common-anchor-header">Menjamin Stempel Waktu<button data-href="#Guarantee-Timestamp" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Seperti yang telah disebutkan pada bagian sebelumnya, komponen konsumen hilir seperti node kueri secara terus menerus mendapatkan pesan permintaan penyisipan data dan time tick dari antrean pesan. Setiap kali sebuah time tick dikonsumsi, node kueri akan menandai time tick yang dikonsumsi ini sebagai waktu yang dapat digunakan - <code translate="no">ServiceTime</code> dan semua data yang disisipkan sebelum <code translate="no">ServiceTime</code> dapat dilihat oleh node kueri.</p>
<p>Selain <code translate="no">ServiceTime</code>, Milvus juga mengadopsi jenis stempel waktu - stempel waktu jaminan (<code translate="no">GuaranteeTS</code>) untuk memenuhi kebutuhan akan berbagai tingkat konsistensi dan ketersediaan oleh pengguna yang berbeda. Ini berarti bahwa pengguna basis data vektor Milvus dapat menentukan <code translate="no">GuaranteeTs</code> untuk menginformasikan kepada simpul kueri bahwa semua data sebelum <code translate="no">GuaranteeTs</code> harus terlihat dan dilibatkan ketika pencarian atau kueri dilakukan.</p>
<p>Biasanya ada dua skenario ketika simpul kueri mengeksekusi permintaan pencarian di basis data vektor Milvus.</p>
<h3 id="Scenario-1-Execute-search-request-immediately" class="common-anchor-header">Skenario 1: Jalankan permintaan pencarian dengan segera</h3><p>Seperti yang ditunjukkan pada gambar di bawah ini, jika <code translate="no">GuaranteeTs</code> lebih kecil dari <code translate="no">ServiceTime</code>, simpul kueri dapat mengeksekusi permintaan pencarian dengan segera.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/execute_immediately_dd1913775d.png" alt="execute_immediately" class="doc-image" id="execute_immediately" />
   </span> <span class="img-wrapper"> <span>mengeksekusi_dengan_segera</span> </span></p>
<h3 id="Scenario-2-Wait-till-ServiceTime--GuaranteeTs" class="common-anchor-header">Skenario 2: Tunggu hingga "ServiceTime &gt; GuaranteeTs"</h3><p>Jika <code translate="no">GuaranteeTs</code> lebih besar dari <code translate="no">ServiceTime</code>, node kueri harus terus mengkonsumsi centang waktu dari antrean pesan. Permintaan pencarian tidak dapat dieksekusi sampai <code translate="no">ServiceTime</code> lebih besar dari <code translate="no">GuaranteeTs</code>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/wait_search_f09a2f6cf9.png" alt="wait_search" class="doc-image" id="wait_search" />
   </span> <span class="img-wrapper"> <span>tunggu_pencarian</span> </span></p>
<h2 id="Consistency-Levels" class="common-anchor-header">Tingkat Konsistensi<button data-href="#Consistency-Levels" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Oleh karena itu, <code translate="no">GuaranteeTs</code> dapat dikonfigurasi dalam permintaan pencarian untuk mencapai tingkat konsistensi yang Anda tentukan. <code translate="no">GuaranteeTs</code> dengan nilai besar memastikan <a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md#Strong">konsistensi yang kuat</a> dengan mengorbankan latensi pencarian yang tinggi. Dan <code translate="no">GuaranteeTs</code> dengan nilai kecil mengurangi latensi pencarian tetapi visibilitas data terganggu.</p>
<p><code translate="no">GuaranteeTs</code> di Milvus adalah format stempel waktu hibrida. Dan pengguna tidak mengetahui <a href="https://github.com/milvus-io/milvus/blob/master/docs/design_docs/20211214-milvus_hybrid_ts.md">TSO</a> di dalam Milvus. Oleh karena itu, menentukan nilai<code translate="no">GuaranteeTs</code> adalah tugas yang terlalu rumit bagi pengguna. Untuk menghemat masalah bagi pengguna dan memberikan pengalaman pengguna yang optimal, Milvus hanya mengharuskan pengguna untuk memilih tingkat konsistensi tertentu, dan basis data vektor Milvus akan secara otomatis menangani nilai <code translate="no">GuaranteeTs</code> untuk pengguna. Dengan kata lain, pengguna Milvus hanya perlu memilih dari empat tingkat konsistensi: <code translate="no">Strong</code>, <code translate="no">Bounded</code>, <code translate="no">Session</code>, dan <code translate="no">Eventually</code>. Dan masing-masing tingkat konsistensi sesuai dengan nilai <code translate="no">GuaranteeTs</code> tertentu.</p>
<p>Gambar di bawah ini mengilustrasikan <code translate="no">GuaranteeTs</code> untuk masing-masing dari empat tingkat konsistensi dalam basis data vektor Milvus.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/guarantee_ts_f4b3e119d3.png" alt="guarantee_ts" class="doc-image" id="guarantee_ts" />
   </span> <span class="img-wrapper"> <span>jaminan_ts</span> </span></p>
<p>Basis data vektor Milvus mendukung empat tingkat konsistensi:</p>
<ul>
<li><p><code translate="no">CONSISTENCY_STRONG</code>: <code translate="no">GuaranteeTs</code> disetel ke nilai yang sama dengan stempel waktu sistem terbaru, dan simpul kueri menunggu hingga waktu layanan berlanjut ke stempel waktu sistem terbaru untuk memproses permintaan pencarian atau kueri.</p></li>
<li><p><code translate="no">CONSISTENCY_EVENTUALLY</code> <code translate="no">GuaranteeTs</code> disetel ke nilai yang jauh lebih kecil daripada stempel waktu sistem terbaru untuk melewatkan pemeriksaan konsistensi. Node kueri langsung mencari pada tampilan data yang ada.</p></li>
<li><p><code translate="no">CONSISTENCY_BOUNDED</code>: <code translate="no">GuaranteeTs</code> diatur ke nilai yang relatif lebih kecil dari stempel waktu sistem terbaru, dan simpul kueri mencari pada tampilan data yang kurang diperbarui.</p></li>
<li><p><code translate="no">CONSISTENCY_SESSION</code>: Klien menggunakan stempel waktu dari operasi penulisan terakhir sebagai <code translate="no">GuaranteeTs</code> sehingga setiap klien setidaknya dapat mengambil data yang dimasukkan dengan sendirinya.</p></li>
</ul>
<h2 id="How-to-tune-consistency-level-in-Milvus" class="common-anchor-header">Bagaimana cara menyetel tingkat konsistensi di Milvus?<button data-href="#How-to-tune-consistency-level-in-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus mendukung penyetelan tingkat konsistensi ketika <a href="https://milvus.io/docs/v2.1.x/create_collection.md">membuat koleksi</a> atau melakukan <a href="https://milvus.io/docs/v2.1.x/search.md">pencarian</a> atau <a href="https://milvus.io/docs/v2.1.x/query.md">kueri</a>.</p>
<h3 id="Conduct-a-vector-similarity-search" class="common-anchor-header">Melakukan pencarian kemiripan vektor</h3><p>Untuk melakukan pencarian kemiripan vektor dengan tingkat konsistensi yang Anda inginkan, cukup atur nilai untuk parameter <code translate="no">consistency_level</code> sebagai <code translate="no">Strong</code>, <code translate="no">Bounded</code>, <code translate="no">Session</code>, atau <code translate="no">Eventually</code>. Jika Anda tidak mengatur nilai untuk parameter <code translate="no">consistency_level</code>, tingkat konsistensi akan menjadi <code translate="no">Bounded</code> secara default. Contoh ini melakukan pencarian kemiripan vektor dengan konsistensi <code translate="no">Strong</code>.</p>
<pre><code translate="no">results = collection.search(
        data=[[0.1, 0.2]], 
        anns_field=<span class="hljs-string">&quot;book_intro&quot;</span>, 
        param=search_params, 
        <span class="hljs-built_in">limit</span>=10, 
        <span class="hljs-built_in">expr</span>=None,
        consistency_level=<span class="hljs-string">&quot;Strong&quot;</span>
)
<button class="copy-code-btn"></button></code></pre>
<h3 id="Conduct-a-vector-query" class="common-anchor-header">Melakukan kueri vektor</h3><p>Mirip dengan melakukan pencarian kemiripan vektor, Anda dapat menentukan nilai untuk parameter <code translate="no">consistency_level</code> saat melakukan kueri vektor. Contoh melakukan kueri vektor dengan konsistensi <code translate="no">Strong</code>.</p>
<pre><code translate="no">res = collection.query(
  <span class="hljs-built_in">expr</span> = <span class="hljs-string">&quot;book_id in [2,4,6,8]&quot;</span>, 
  output_fields = [<span class="hljs-string">&quot;book_id&quot;</span>, <span class="hljs-string">&quot;book_intro&quot;</span>],
  consistency_level=<span class="hljs-string">&quot;Strong&quot;</span>
)
<button class="copy-code-btn"></button></code></pre>
<h2 id="Whats-next" class="common-anchor-header">Apa selanjutnya<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Dengan rilis resmi Milvus 2.1, kami telah menyiapkan serangkaian blog yang memperkenalkan fitur-fitur baru. Baca lebih lanjut dalam seri blog ini:</p>
<ul>
<li><a href="https://milvus.io/blog/2022-08-08-How-to-use-string-data-to-empower-your-similarity-search-applications.md">Cara Menggunakan Data String untuk Memberdayakan Aplikasi Pencarian Kemiripan Anda</a></li>
<li><a href="https://milvus.io/blog/embedded-milvus.md">Menggunakan Milvus yang Disematkan untuk Menginstal dan Menjalankan Milvus secara Instan dengan Python</a></li>
<li><a href="https://milvus.io/blog/in-memory-replicas.md">Tingkatkan Throughput Pembacaan Basis Data Vektor Anda dengan Replika Dalam Memori</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md">Memahami Tingkat Konsistensi dalam Basis Data Vektor Milvus</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database-2.md">Memahami Tingkat Konsistensi dalam Basis Data Vektor Milvus (Bagian II)</a></li>
<li><a href="https://milvus.io/blog/data-security.md">Bagaimana Basis Data Vektor Milvus Memastikan Keamanan Data?</a></li>
</ul>


Memahami Tingkat Konsistensi dalam Basis Data Vektor Milvus - Bagian II

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Security_192e35a790.png" alt="Cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>Gambar sampul depan</span> </span></p>
<p>Dengan mempertimbangkan keamanan data Anda sepenuhnya, otentikasi pengguna dan koneksi keamanan lapisan transport (TLS) sekarang secara resmi tersedia di Milvus 2.1. Tanpa otentikasi pengguna, siapa pun dapat mengakses semua data dalam basis data vektor Anda dengan SDK. Namun, mulai dari Milvus 2.1, hanya mereka yang memiliki nama pengguna dan kata sandi yang valid yang dapat mengakses basis data vektor Milvus. Selain itu, di Milvus 2.1 keamanan data lebih terlindungi oleh TLS, yang memastikan komunikasi yang aman dalam jaringan komputer.</p>
<p>Artikel ini bertujuan untuk menganalisis bagaimana Milvus database vektor memastikan keamanan data dengan otentikasi pengguna dan koneksi TLS dan menjelaskan bagaimana Anda dapat memanfaatkan kedua fitur ini sebagai pengguna yang ingin memastikan keamanan data saat menggunakan database vektor.</p>
<p><strong>Langsung ke:</strong></p>
<ul>
<li><a href="#What-is-database-security-and-why-is-it-important">Apa yang dimaksud dengan keamanan basis data dan mengapa hal ini penting?</a></li>
<li><a href="#How-does-the-Milvus-vector-database-ensure-data-security">Bagaimana database vektor Milvus memastikan keamanan data?</a><ul>
<li><a href="#User-authentication">Otentikasi pengguna</a></li>
<li><a href="#TLS-connection">Koneksi TLS</a></li>
</ul></li>
</ul>
<h2 id="What-is-database-security-and-why-is-it-important" class="common-anchor-header">Apa yang dimaksud dengan keamanan basis data dan mengapa hal ini penting?<button data-href="#What-is-database-security-and-why-is-it-important" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Keamanan basis data mengacu pada langkah-langkah yang diambil untuk memastikan bahwa semua data dalam basis data aman dan dijaga kerahasiaannya. Kasus pembobolan data dan kebocoran data baru-baru ini di <a href="https://firewalltimes.com/recent-data-breaches/">Twitter, Marriott, dan Departemen Asuransi Texas, dan lain-lain</a> membuat kita semakin waspada terhadap masalah keamanan data. Semua kasus ini terus-menerus mengingatkan kita bahwa perusahaan dan bisnis dapat mengalami kerugian besar jika data tidak terlindungi dengan baik dan database yang mereka gunakan aman.</p>
<h2 id="How-does-the-Milvus-vector-database-ensure-data-security" class="common-anchor-header">Bagaimana database vektor Milvus memastikan keamanan data?<button data-href="#How-does-the-Milvus-vector-database-ensure-data-security" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Dalam rilis 2.1 saat ini, basis data vektor Milvus berusaha memastikan keamanan basis data melalui otentikasi dan enkripsi. Lebih khusus lagi, pada tingkat akses, Milvus mendukung otentikasi pengguna dasar untuk mengontrol siapa yang dapat mengakses basis data. Sementara itu, pada tingkat basis data, Milvus mengadopsi protokol enkripsi transport layer security (TLS) untuk melindungi komunikasi data.</p>
<h3 id="User-authentication" class="common-anchor-header">Otentikasi pengguna</h3><p>Fitur otentikasi pengguna dasar di Milvus mendukung pengaksesan basis data vektor menggunakan nama pengguna dan kata sandi demi keamanan data. Ini berarti klien hanya dapat mengakses instance Milvus dengan memberikan nama pengguna dan kata sandi yang telah diautentikasi.</p>
<h4 id="The-authentication-workflow-in-the-Milvus-vector-database" class="common-anchor-header">Alur kerja otentikasi dalam basis data vektor Milvus</h4><p>Semua permintaan gRPC ditangani oleh proksi Milvus, sehingga otentikasi diselesaikan oleh proksi. Alur kerja untuk masuk dengan kredensial untuk menyambung ke instance Milvus adalah sebagai berikut.</p>
<ol>
<li>Buat kredensial untuk setiap instans Milvus dan kata sandi terenkripsi disimpan dalam etcd. Milvus menggunakan <a href="https://golang.org/x/crypto/bcrypt">bcrypt</a> untuk enkripsi karena mengimplementasikan <a href="http://www.usenix.org/event/usenix99/provos/provos.pdf">algoritma hashing adaptif</a> Provos dan Mazières.</li>
<li>Di sisi klien, SDK mengirimkan ciphertext ketika terhubung ke layanan Milvus. Ciphertext base64 (<username>:<password>) dilampirkan ke metadata dengan kunci <code translate="no">authorization</code>.</li>
<li>Proksi Milvus mencegat permintaan dan memverifikasi kredensial.</li>
<li>Kredensial disimpan secara lokal di dalam proksi.</li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1280_X1280_021e90e3c8.jpeg" alt="authetication_workflow" class="doc-image" id="authetication_workflow" />
   </span> <span class="img-wrapper"> <span>alur_kerja_otentikasi</span> </span></p>
<p>Ketika kredensial diperbarui, alur kerja sistem di Milvus adalah sebagai berikut</p>
<ol>
<li>Root coord bertanggung jawab atas kredensial ketika API insert, query, delete dipanggil.</li>
<li>Ketika Anda memperbarui kredensial karena Anda lupa kata sandi misalnya, kata sandi baru akan disimpan di etcd. Kemudian semua kredensial lama dalam cache lokal proxy akan dibatalkan.</li>
<li>Pencegat autentikasi mencari catatan dari cache lokal terlebih dahulu. Jika kredensial dalam cache tidak benar, panggilan RPC untuk mengambil catatan yang paling baru dari root coord akan dipicu. Dan kredensial di cache lokal akan diperbarui.</li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/update_5af81a4173.jpeg" alt="credential_update_workflow" class="doc-image" id="credential_update_workflow" />
   </span> <span class="img-wrapper"> <span>alur_kerja_pembaruan_kredensial</span> </span></p>
<h4 id="How-to-manage-user-authentication-in-the-Milvus-vector-database" class="common-anchor-header">Cara mengelola autentikasi pengguna dalam basis data vektor Milvus</h4><p>Untuk mengaktifkan autentikasi, Anda harus terlebih dahulu mengatur <code translate="no">common.security.authorizationEnabled</code> ke <code translate="no">true</code> saat mengonfigurasi Milvus di file <code translate="no">milvus.yaml</code>.</p>
<p>Setelah diaktifkan, pengguna root akan dibuat untuk instans Milvus. Pengguna root ini dapat menggunakan kata sandi awal <code translate="no">Milvus</code> untuk terhubung ke basis data vektor Milvus.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> connections
connections.<span class="hljs-title function_">connect</span>(
    alias=<span class="hljs-string">&#x27;default&#x27;</span>,
    host=<span class="hljs-string">&#x27;localhost&#x27;</span>,
    port=<span class="hljs-string">&#x27;19530&#x27;</span>,
    user=<span class="hljs-string">&#x27;root_user&#x27;</span>,
    password=<span class="hljs-string">&#x27;Milvus&#x27;</span>,
)
<button class="copy-code-btn"></button></code></pre>
<p>Kami sangat menyarankan untuk mengganti kata sandi pengguna root ketika memulai Milvus untuk pertama kalinya.</p>
<p>Kemudian pengguna root dapat membuat lebih banyak pengguna baru untuk akses yang terautentikasi dengan menjalankan perintah berikut untuk membuat pengguna baru.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> utility
utility.<span class="hljs-title function_">create_credential</span>(<span class="hljs-string">&#x27;user&#x27;</span>, <span class="hljs-string">&#x27;password&#x27;</span>, <span class="hljs-keyword">using</span>=<span class="hljs-string">&#x27;default&#x27;</span>) 
<button class="copy-code-btn"></button></code></pre>
<p>Ada dua hal yang perlu diingat saat membuat pengguna baru:</p>
<ol>
<li><p>Untuk nama pengguna baru, panjangnya tidak boleh lebih dari 32 karakter dan harus diawali dengan huruf. Hanya garis bawah, huruf, atau angka yang diperbolehkan dalam nama pengguna. Sebagai contoh, nama pengguna "2abc!" tidak dapat diterima.</p></li>
<li><p>Sedangkan untuk kata sandi, panjangnya harus 6-256 karakter.</p></li>
</ol>
<p>Setelah kredensial baru disiapkan, pengguna baru dapat terhubung ke instans Milvus dengan nama pengguna dan kata sandi tersebut.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> connections
connections.<span class="hljs-title function_">connect</span>(
    alias=<span class="hljs-string">&#x27;default&#x27;</span>,
    host=<span class="hljs-string">&#x27;localhost&#x27;</span>,
    port=<span class="hljs-string">&#x27;19530&#x27;</span>,
    user=<span class="hljs-string">&#x27;user&#x27;</span>,
    password=<span class="hljs-string">&#x27;password&#x27;</span>,
)
<button class="copy-code-btn"></button></code></pre>
<p>Seperti semua proses autentikasi, Anda tidak perlu khawatir jika Anda lupa kata sandi. Kata sandi untuk pengguna yang sudah ada dapat diatur ulang dengan perintah berikut.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> utility
utility.<span class="hljs-title function_">reset_password</span>(<span class="hljs-string">&#x27;user&#x27;</span>, <span class="hljs-string">&#x27;new_password&#x27;</span>, <span class="hljs-keyword">using</span>=<span class="hljs-string">&#x27;default&#x27;</span>)
<button class="copy-code-btn"></button></code></pre>
<p>Baca <a href="https://milvus.io/docs/v2.1.x/authenticate.md">dokumentasi Milvus</a> untuk mempelajari lebih lanjut tentang autentikasi pengguna.</p>
<h3 id="TLS-connection" class="common-anchor-header">Koneksi TLS</h3><p>Transport layer security (TLS) adalah jenis protokol autentikasi untuk menyediakan keamanan komunikasi dalam jaringan komputer. TLS menggunakan sertifikat untuk menyediakan layanan autentikasi antara dua atau lebih pihak yang berkomunikasi.</p>
<h4 id="How-to-enable-TLS-in-the-Milvus-vector-database" class="common-anchor-header">Cara mengaktifkan TLS di basis data vektor Milvus</h4><p>Untuk mengaktifkan TLS di Milvus, pertama-tama Anda harus menjalankan perintah berikut untuk membagi dua file untuk menghasilkan sertifikat: file konfigurasi OpenSSL default bernama <code translate="no">openssl.cnf</code> dan file bernama <code translate="no">gen.sh</code> yang digunakan untuk menghasilkan sertifikat yang relevan.</p>
<pre><code translate="no"><span class="hljs-built_in">mkdir</span> cert &amp;&amp; <span class="hljs-built_in">cd</span> cert
<span class="hljs-built_in">touch</span> openssl.cnf gen.sh
<button class="copy-code-btn"></button></code></pre>
<p>Kemudian Anda cukup menyalin dan menempelkan konfigurasi yang kami sediakan <a href="https://milvus.io/docs/v2.1.x/tls.md#Create-files">di sini</a> ke dua berkas tersebut. Atau Anda juga dapat melakukan modifikasi berdasarkan konfigurasi kami agar lebih sesuai dengan aplikasi Anda.</p>
<p>Ketika kedua berkas tersebut sudah siap, Anda dapat menjalankan berkas <code translate="no">gen.sh</code> untuk membuat sembilan berkas sertifikat. Demikian juga, Anda juga dapat memodifikasi konfigurasi dalam sembilan file sertifikat sesuai dengan kebutuhan Anda.</p>
<pre><code translate="no"><span class="hljs-built_in">chmod</span> +x gen.sh
./gen.sh
<button class="copy-code-btn"></button></code></pre>
<p>Ada satu langkah terakhir sebelum Anda dapat terhubung ke layanan Milvus dengan TLS. Anda harus mengatur <code translate="no">tlsEnabled</code> ke <code translate="no">true</code> dan mengonfigurasi jalur berkas <code translate="no">server.pem</code>, <code translate="no">server.key</code>, dan <code translate="no">ca.pem</code> untuk server di <code translate="no">config/milvus.yaml</code>. Kode di bawah ini adalah sebuah contoh.</p>
<pre><code translate="no">tls:
  serverPemPath: configs/cert/server.pem
  serverKeyPath: configs/cert/server.key
  caPemPath: configs/cert/ca.pem

common:
  security:
    tlsEnabled: <span class="hljs-literal">true</span>
<button class="copy-code-btn"></button></code></pre>
<p>Kemudian Anda sudah siap dan dapat terhubung ke layanan Milvus dengan TLS selama Anda menentukan jalur file <code translate="no">client.pem</code>, <code translate="no">client.key</code>, dan <code translate="no">ca.pem</code> untuk klien saat menggunakan SDK koneksi Milvus. Kode di bawah ini juga merupakan contoh.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> connections

_HOST = <span class="hljs-string">&#x27;127.0.0.1&#x27;</span>
_PORT = <span class="hljs-string">&#x27;19530&#x27;</span>

<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;\nCreate connection...&quot;</span>)
connections.connect(host=_HOST, port=_PORT, secure=<span class="hljs-literal">True</span>, client_pem_path=<span class="hljs-string">&quot;cert/client.pem&quot;</span>,
                        client_key_path=<span class="hljs-string">&quot;cert/client.key&quot;</span>,
                        ca_pem_path=<span class="hljs-string">&quot;cert/ca.pem&quot;</span>, server_name=<span class="hljs-string">&quot;localhost&quot;</span>)
<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;\nList connections:&quot;</span>)
<span class="hljs-built_in">print</span>(connections.list_connections())
<button class="copy-code-btn"></button></code></pre>
<h2 id="Whats-next" class="common-anchor-header">Apa selanjutnya<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Dengan dirilisnya Milvus 2.1 secara resmi, kami telah menyiapkan serangkaian blog yang memperkenalkan fitur-fitur baru. Baca lebih lanjut dalam seri blog ini:</p>
<ul>
<li><a href="https://milvus.io/blog/2022-08-08-How-to-use-string-data-to-empower-your-similarity-search-applications.md">Cara Menggunakan Data String untuk Memberdayakan Aplikasi Pencarian Kemiripan Anda</a></li>
<li><a href="https://milvus.io/blog/embedded-milvus.md">Menggunakan Milvus yang Disematkan untuk Menginstal dan Menjalankan Milvus secara Instan dengan Python</a></li>
<li><a href="https://milvus.io/blog/in-memory-replicas.md">Tingkatkan Throughput Pembacaan Basis Data Vektor Anda dengan Replika Dalam Memori</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md">Memahami Tingkat Konsistensi dalam Basis Data Vektor Milvus</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database-2.md">Memahami Tingkat Konsistensi dalam Basis Data Vektor Milvus (Bagian II)</a></li>
<li><a href="https://milvus.io/blog/data-security.md">Bagaimana Basis Data Vektor Milvus Memastikan Keamanan Data?</a></li>
</ul>


Bagaimana Basis Data Vektor Milvus Memastikan Keamanan Data?

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1280_X1280_0e0d4bc107.png" alt="Cover_image" class="doc-image" id="cover_image" />
   </span> <span class="img-wrapper"> <span>Gambar sampul</span> </span></p>
<blockquote>
<p>Artikel ini ditulis oleh <a href="https://github.com/JackLCL">Chenglong Li</a> dan diterjemahkan oleh <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni</a>.</p>
</blockquote>
<p>Pernahkah Anda bertanya-tanya mengapa terkadang data yang telah Anda hapus dari database vektor Mlivus masih muncul di hasil pencarian?</p>
<p>Alasan yang sangat mungkin adalah bahwa Anda belum mengatur tingkat konsistensi yang sesuai untuk aplikasi Anda. Tingkat konsistensi dalam database vektor terdistribusi sangat penting karena menentukan pada titik mana penulisan data tertentu dapat dibaca oleh sistem.</p>
<p>Oleh karena itu, artikel ini bertujuan untuk mengungkap konsep konsistensi dan mempelajari tingkat konsistensi yang didukung oleh basis data vektor Milvus.</p>
<p><strong>Langsung ke:</strong></p>
<ul>
<li><a href="#What-is-consistency">Apa itu konsistensi</a></li>
<li><a href="#Four-levels-of-consistency-in-the-Milvus-vector-database">Empat tingkat konsistensi dalam basis data vektor Milvus</a><ul>
<li><a href="#Strong">Kuat</a></li>
<li><a href="#Bounded-staleness">Ketidakkonsistenan yang terbatas</a></li>
<li><a href="#Session">Sesi</a></li>
<li><a href="#Eventual">Akhirnya</a></li>
</ul></li>
</ul>
<h2 id="What-is-consistency" class="common-anchor-header">Apa itu konsistensi<button data-href="#What-is-consistency" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Sebelum memulai, kita perlu mengklarifikasi konotasi konsistensi dalam artikel ini karena kata "konsistensi" adalah istilah yang berlebihan dalam industri komputasi. Konsistensi dalam database terdistribusi secara khusus mengacu pada properti yang memastikan setiap node atau replika memiliki tampilan data yang sama ketika menulis atau membaca data pada waktu tertentu. Oleh karena itu, di sini kita berbicara tentang konsistensi seperti dalam <a href="https://en.wikipedia.org/wiki/CAP_theorem">teorema CAP</a>.</p>
<p>Untuk melayani bisnis online yang sangat besar di dunia modern, beberapa replika biasanya diadopsi. Sebagai contoh, raksasa e-commerce online Amazon mereplikasi pesanan atau data SKU-nya di beberapa pusat data, zona, atau bahkan negara untuk memastikan ketersediaan sistem yang tinggi jika terjadi kerusakan atau kegagalan sistem. Hal ini menjadi tantangan bagi sistem - konsistensi data di beberapa replika. Tanpa konsistensi, sangat mungkin item yang dihapus di keranjang Amazon Anda muncul kembali, menyebabkan pengalaman pengguna yang sangat buruk.</p>
<p>Oleh karena itu, kita membutuhkan tingkat konsistensi data yang berbeda untuk aplikasi yang berbeda. Dan untungnya, Milvus, database untuk AI, menawarkan fleksibilitas dalam tingkat konsistensi dan Anda dapat mengatur tingkat konsistensi yang paling sesuai dengan aplikasi Anda.</p>
<h3 id="Consistency-in-the-Milvus-vector-database" class="common-anchor-header">Konsistensi dalam basis data vektor Milvus</h3><p>Konsep tingkat konsistensi pertama kali diperkenalkan dengan dirilisnya Milvus 2.0. Versi 1.0 dari Milvus bukanlah basis data vektor terdistribusi sehingga kami tidak melibatkan tingkat konsistensi yang dapat disetel. Milvus 1.0 melakukan flush data setiap detik, yang berarti bahwa data baru akan segera terlihat setelah dimasukkan dan Milvus membaca tampilan data yang paling baru pada titik waktu yang tepat ketika pencarian kesamaan vektor atau permintaan kueri datang.</p>
<p>Namun, Milvus telah direfaktor dalam versi 2.0 dan <a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">Milvus 2.0 merupakan database vektor terdistribusi</a> berdasarkan mekanisme pub-sub. Teorema <a href="https://en.wikipedia.org/wiki/PACELC_theorem">PACELC</a> menunjukkan bahwa sistem terdistribusi harus mengorbankan konsistensi, ketersediaan, dan latensi. Selain itu, tingkat konsistensi yang berbeda berfungsi untuk skenario yang berbeda. Oleh karena itu, konsep konsistensi diperkenalkan di <a href="https://milvus.io/blog/2022-1-25-annoucing-general-availability-of-milvus-2-0.md">Milvus 2.0</a> dan mendukung penyetelan tingkat konsistensi.</p>
<h2 id="Four-levels-of-consistency-in-the-Milvus-vector-database" class="common-anchor-header">Empat tingkat konsistensi dalam basis data vektor Milvus<button data-href="#Four-levels-of-consistency-in-the-Milvus-vector-database" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus mendukung empat tingkat konsistensi: kuat, keusangan terbatas, sesi, dan akhirnya. Dan pengguna Milvus dapat menentukan tingkat konsistensi ketika <a href="https://milvus.io/docs/v2.1.x/create_collection.md">membuat koleksi</a> atau melakukan <a href="https://milvus.io/docs/v2.1.x/search.md">pencarian</a> atau <a href="https://milvus.io/docs/v2.1.x/query.md">kueri</a> <a href="https://milvus.io/docs/v2.1.x/search.md">kemiripan vektor</a>. Bagian ini akan terus menjelaskan bagaimana keempat tingkat konsistensi ini berbeda dan skenario mana yang paling cocok untuk mereka.</p>
<h3 id="Strong" class="common-anchor-header">Kuat</h3><p>Strong adalah tingkat konsistensi tertinggi dan paling ketat. Ini memastikan bahwa pengguna dapat membaca data versi terbaru.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Consistency_Strong_5d791eb8b2.png" alt="Strong" class="doc-image" id="strong" />
   </span> <span class="img-wrapper"> <span>Kuat</span> </span></p>
<p>Menurut teorema PACELC, jika tingkat konsistensi diatur ke kuat, latensi akan meningkat. Oleh karena itu, kami merekomendasikan untuk memilih konsistensi yang kuat selama pengujian fungsional untuk memastikan keakuratan hasil pengujian. Dan konsistensi yang kuat juga paling cocok untuk aplikasi yang memiliki permintaan ketat untuk konsistensi data dengan mengorbankan kecepatan pencarian. Contohnya adalah sistem keuangan online yang berurusan dengan pembayaran pesanan dan penagihan.</p>
<h3 id="Bounded-staleness" class="common-anchor-header">Keusangan yang terbatas</h3><p>Bounded staleness, seperti namanya, memungkinkan ketidakkonsistenan data selama periode waktu tertentu. Namun, secara umum, data selalu konsisten secara global di luar periode waktu tersebut.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Consistency_Bounded_c034bc6e51.png" alt="Bounded_staleness" class="doc-image" id="bounded_staleness" />
   </span> <span class="img-wrapper"> <span>Bounded_staleness</span> </span></p>
<p>Bounded staleness cocok untuk skenario yang perlu mengontrol latensi pencarian dan dapat menerima ketidaktampakan data secara sporadis. Misalnya, dalam sistem pemberi rekomendasi seperti mesin rekomendasi video, ketidaktampakan data sesekali memiliki dampak yang sangat kecil pada tingkat penarikan keseluruhan, tetapi dapat secara signifikan meningkatkan kinerja sistem pemberi rekomendasi. Contohnya adalah aplikasi untuk melacak status pesanan online Anda.</p>
<h3 id="Session" class="common-anchor-header">Sesi</h3><p>Session memastikan bahwa semua data yang ditulis dapat langsung dirasakan saat dibaca selama sesi yang sama. Dengan kata lain, ketika Anda menulis data melalui satu klien, data yang baru dimasukkan langsung dapat dicari.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Consistency_Session_6dc4782212.png" alt="Session" class="doc-image" id="session" />
   </span> <span class="img-wrapper"> <span>Sesi</span> </span></p>
<p>Kami merekomendasikan untuk memilih session sebagai tingkat konsistensi untuk skenario-skenario di mana permintaan konsistensi data dalam sesi yang sama sangat tinggi. Contohnya adalah menghapus data entri buku dari sistem perpustakaan, dan setelah konfirmasi penghapusan dan me-refresh halaman (sesi yang berbeda), buku tersebut seharusnya tidak lagi terlihat dalam hasil pencarian.</p>
<h3 id="Eventual" class="common-anchor-header">Akhirnya</h3><p>Tidak ada jaminan urutan pembacaan dan penulisan, dan replika pada akhirnya akan menyatu pada kondisi yang sama karena tidak ada operasi penulisan lebih lanjut yang dilakukan. Di bawah konsistensi akhirnya, replika mulai bekerja pada permintaan baca dengan nilai terbaru yang diperbarui. Konsistensi akhirnya adalah level terlemah di antara keempat level tersebut.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Consistency_Eventual_7c66dd5b6f.png" alt="Eventual" class="doc-image" id="eventual" />
   </span> <span class="img-wrapper"> <span>Akhirnya</span> </span></p>
<p>Namun, menurut teorema PACELC, latensi pencarian dapat sangat dipersingkat dengan mengorbankan konsistensi. Oleh karena itu, konsistensi akhirnya paling cocok untuk skenario yang tidak memiliki permintaan tinggi untuk konsistensi data tetapi membutuhkan kinerja pencarian yang sangat cepat. Contohnya adalah mengambil ulasan dan peringkat produk Amazon dengan konsistensi akhir.</p>
<h2 id="Endnote" class="common-anchor-header">Catatan akhir<button data-href="#Endnote" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Jadi, kembali ke pertanyaan yang diajukan di awal artikel ini, data yang dihapus masih dikembalikan sebagai hasil pencarian karena pengguna belum memilih tingkat konsistensi yang tepat. Nilai default untuk tingkat konsistensi adalah bounded staleness (<code translate="no">Bounded</code>) dalam database vektor Milvus. Oleh karena itu, data yang dibaca mungkin tertinggal dan Milvus mungkin membaca tampilan data sebelum Anda melakukan operasi hapus selama pencarian atau kueri kemiripan. Namun, masalah ini mudah diatasi. Yang perlu Anda lakukan adalah menyetel <a href="https://milvus.io/docs/v2.1.x/tune_consistency.md">tingkat konsistensi</a> ketika membuat koleksi atau melakukan pencarian atau kueri kemiripan vektor. Sederhana!</p>
<p>Dalam posting berikutnya, kami akan mengungkap mekanisme di balik dan menjelaskan bagaimana database vektor Milvus mencapai tingkat konsistensi yang berbeda. Tetap disini!</p>
<h2 id="Whats-next" class="common-anchor-header">Apa yang selanjutnya<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Dengan rilis resmi Milvus 2.1, kami telah menyiapkan serangkaian blog yang memperkenalkan fitur-fitur baru. Baca lebih lanjut dalam seri blog ini:</p>
<ul>
<li><a href="https://milvus.io/blog/2022-08-08-How-to-use-string-data-to-empower-your-similarity-search-applications.md">Cara Menggunakan Data String untuk Memberdayakan Aplikasi Pencarian Kemiripan Anda</a></li>
<li><a href="https://milvus.io/blog/embedded-milvus.md">Menggunakan Milvus yang Disematkan untuk Menginstal dan Menjalankan Milvus secara Instan dengan Python</a></li>
<li><a href="https://milvus.io/blog/in-memory-replicas.md">Tingkatkan Throughput Pembacaan Basis Data Vektor Anda dengan Replika Dalam Memori</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md">Memahami Tingkat Konsistensi dalam Basis Data Vektor Milvus</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database-2.md">Memahami Tingkat Konsistensi dalam Basis Data Vektor Milvus (Bagian II)</a></li>
<li><a href="https://milvus.io/blog/data-security.md">Bagaimana Basis Data Vektor Milvus Memastikan Keamanan Data?</a></li>
</ul>


Memahami Tingkat Konsistensi dalam Basis Data Vektor Milvus

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/in_memory_replica_af1fa21d61.png" alt="Cover_image" class="doc-image" id="cover_image" />
   </span> <span class="img-wrapper"> <span>Gambar sampul</span> </span></p>
<blockquote>
<p>Artikel ini ditulis bersama oleh <a href="https://github.com/congqixia">Congqi Xia</a> dan <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni</a>.</p>
</blockquote>
<p>Dengan rilis resminya, Milvus 2.1 hadir dengan banyak fitur baru untuk memberikan kenyamanan dan pengalaman pengguna yang lebih baik. Meskipun konsep replika dalam memori bukanlah hal yang baru dalam dunia database terdistribusi, namun ini merupakan fitur penting yang dapat membantu Anda meningkatkan kinerja sistem dan meningkatkan ketersediaan sistem dengan cara yang mudah. Oleh karena itu, artikel ini akan menjelaskan apa itu replika in-memory dan mengapa hal ini penting, lalu memperkenalkan cara mengaktifkan fitur baru ini di Milvus, database vektor untuk AI.</p>
<p><strong>Langsung ke:</strong></p>
<ul>
<li><p><a href="#Concepts-related-to-in-memory-replica">Konsep yang terkait dengan replika dalam memori</a></p></li>
<li><p><a href="#What-is-in-memory-replica">Apa yang dimaksud dengan replika dalam memori?</a></p></li>
<li><p><a href="#Why-are-in-memory-replicas-important">Mengapa replika dalam memori penting?</a></p></li>
<li><p><a href="#Enable-in-memory-replicas-in-the-Milvus-vector-database">Mengaktifkan replika dalam memori di database vektor Milvus</a></p></li>
</ul>
<h2 id="Concepts-related-to-in-memory-replica" class="common-anchor-header">Konsep yang terkait dengan replika dalam memori<button data-href="#Concepts-related-to-in-memory-replica" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Sebelum mengenal apa itu replika dalam memori dan mengapa hal ini penting, kita perlu terlebih dahulu memahami beberapa konsep yang relevan termasuk grup replika, replika pecahan, replika streaming, replika historis, dan pemimpin pecahan. Gambar di bawah ini adalah ilustrasi dari konsep-konsep ini.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/diagram_1_525afc706a.jpg" alt="Replica_concepts" class="doc-image" id="replica_concepts" />
   </span> <span class="img-wrapper"> <span>Konsep replika</span> </span></p>
<h3 id="Replica-group" class="common-anchor-header">Kelompok replika</h3><p>Grup replika terdiri dari beberapa <a href="https://milvus.io/docs/v2.1.x/four_layers.md#Query-node">node kueri</a> yang bertanggung jawab untuk menangani data historis dan replika.</p>
<h3 id="Shard-replica" class="common-anchor-header">Replika pecahan</h3><p>Replika pecahan terdiri dari replika streaming dan replika historis, keduanya termasuk dalam <a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md#Shard">pecahan</a> yang sama (yaitu saluran DML). Beberapa replika pecahan membentuk sebuah grup replika. Dan jumlah replika pecahan yang tepat dalam grup replika ditentukan oleh jumlah pecahan dalam koleksi tertentu.</p>
<h3 id="Streaming-replica" class="common-anchor-header">Replika streaming</h3><p>Replika streaming berisi semua <a href="https://milvus.io/docs/v2.1.x/glossary.md#Segment">segmen yang berkembang</a> dari saluran DML yang sama. Secara teknis, replika streaming harus dilayani oleh hanya satu simpul kueri dalam satu replika.</p>
<h3 id="Historical-replica" class="common-anchor-header">Replika historis</h3><p>Replika historis berisi semua segmen tersegel dari saluran DML yang sama. Segmen tersegel dari satu replika historis dapat didistribusikan pada beberapa node kueri dalam grup replika yang sama.</p>
<h3 id="Shard-leader" class="common-anchor-header">Pemimpin pecahan</h3><p>Shard leader adalah simpul kueri yang melayani replika streaming dalam replika pecahan.</p>
<h2 id="What-is-in-memory-replica" class="common-anchor-header">Apa yang dimaksud dengan replika dalam memori?<button data-href="#What-is-in-memory-replica" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Mengaktifkan replika dalam memori memungkinkan Anda memuat data dalam koleksi pada beberapa node kueri sehingga Anda dapat memanfaatkan sumber daya CPU dan memori ekstra. Fitur ini sangat berguna jika Anda memiliki kumpulan data yang relatif kecil tetapi ingin meningkatkan throughput pembacaan dan meningkatkan pemanfaatan sumber daya perangkat keras.</p>
<p>Basis data vektor Milvus menyimpan satu replika untuk setiap segmen dalam memori untuk saat ini. Namun, dengan replika dalam memori, Anda dapat memiliki beberapa replikasi segmen pada node kueri yang berbeda. Ini berarti jika satu node kueri sedang melakukan pencarian pada sebuah segmen, permintaan pencarian baru yang masuk dapat ditugaskan ke node kueri lain yang menganggur karena node kueri ini memiliki replikasi segmen yang sama persis.</p>
<p>Selain itu, jika kita memiliki beberapa replika dalam memori, kita dapat mengatasi situasi ketika sebuah simpul kueri mengalami kerusakan. Sebelumnya, kita harus menunggu segmen dimuat ulang untuk melanjutkan dan mencari di simpul kueri lain. Namun, dengan replikasi in-memory, permintaan pencarian dapat dikirim ulang ke simpul kueri yang baru dengan segera tanpa harus memuat ulang data lagi.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/replication_3_1_2c25513cb9.jpg" alt="Replication" class="doc-image" id="replication" />
   </span> <span class="img-wrapper"> <span>Replikasi</span> </span></p>
<h2 id="Why-are-in-memory-replicas-important" class="common-anchor-header">Mengapa replikasi dalam memori penting?<button data-href="#Why-are-in-memory-replicas-important" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Salah satu manfaat paling signifikan dari mengaktifkan replika dalam memori adalah peningkatan QPS (kueri per detik) dan throughput secara keseluruhan. Selain itu, replika beberapa segmen dapat dipertahankan dan sistem lebih tangguh dalam menghadapi kegagalan.</p>
<h2 id="Enable-in-memory-replicas-in-the-Milvus-vector-database" class="common-anchor-header">Mengaktifkan replika dalam memori dalam basis data vektor Milvus<button data-href="#Enable-in-memory-replicas-in-the-Milvus-vector-database" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Mengaktifkan fitur baru replika dalam memori sangat mudah di database vektor Milvus. Yang perlu Anda lakukan hanyalah menentukan jumlah replika yang Anda inginkan ketika memuat koleksi (misalnya, memanggil <code translate="no">collection.load()</code>).</p>
<p>Pada contoh tutorial berikut, kita anggap Anda telah <a href="https://milvus.io/docs/v2.1.x/create_collection.md">membuat sebuah koleksi</a> bernama "buku" dan <a href="https://milvus.io/docs/v2.1.x/insert_data.md">memasukkan data</a> ke dalamnya. Kemudian Anda dapat menjalankan perintah berikut untuk membuat dua replika saat <a href="https://milvus.io/docs/v2.1.x/load_collection.md">memuat</a> koleksi buku.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> Collection
collection = Collection(<span class="hljs-string">&quot;book&quot;</span>)      <span class="hljs-comment"># Get an existing collection.</span>
collection.load(replica_number=<span class="hljs-number">2</span>) <span class="hljs-comment"># load collection as 2 replicas</span>
<button class="copy-code-btn"></button></code></pre>
<p>Anda dapat secara fleksibel memodifikasi jumlah replika pada contoh kode di atas agar sesuai dengan skenario aplikasi Anda. Kemudian Anda dapat langsung melakukan <a href="https://milvus.io/docs/v2.1.x/search.md">pencarian</a> kesamaan vektor atau <a href="https://milvus.io/docs/v2.1.x/query.md">kueri</a> pada beberapa replika tanpa menjalankan perintah tambahan apa pun. Namun, perlu dicatat bahwa jumlah maksimum replika yang diperbolehkan dibatasi oleh jumlah total memori yang dapat digunakan untuk menjalankan node kueri. Jika jumlah replika yang Anda tentukan melebihi batasan memori yang dapat digunakan, kesalahan akan dikembalikan selama pemuatan data.</p>
<p>Anda juga dapat memeriksa informasi replika dalam memori yang Anda buat dengan menjalankan <code translate="no">collection.get_replicas()</code>. Informasi grup replika dan node kueri serta pecahan yang sesuai akan dikembalikan. Berikut ini adalah contoh keluarannya.</p>
<pre><code translate="no">Replica <span class="hljs-built_in">groups</span>:
- Group: &lt;group_id:435309823872729305&gt;, &lt;group_nodes:(21, 20)&gt;, &lt;shards:[Shard: &lt;channel_name:milvus-zong-rootcoord-dml_27_435367661874184193v0&gt;, &lt;shard_leader:21&gt;, &lt;shard_nodes:[21]&gt;, Shard: &lt;channel_name:milvus-zong-rootcoord-dml_28_435367661874184193v1&gt;, &lt;shard_leader:20&gt;, &lt;shard_nodes:[20, 21]&gt;]&gt;
- Group: &lt;group_id:435309823872729304&gt;, &lt;group_nodes:(25,)&gt;, &lt;shards:[Shard: &lt;channel_name:milvus-zong-rootcoord-dml_28_435367661874184193v1&gt;, &lt;shard_leader:25&gt;, &lt;shard_nodes:[25]&gt;, Shard: &lt;channel_name:milvus-zong-rootcoord-dml_27_435367661874184193v0&gt;, &lt;shard_leader:25&gt;, &lt;shard_nodes:[25]&gt;]&gt;
<button class="copy-code-btn"></button></code></pre>
<h2 id="Whats-next" class="common-anchor-header">Apa selanjutnya<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Dengan rilis resmi Milvus 2.1, kami telah menyiapkan serangkaian blog yang memperkenalkan fitur-fitur baru. Baca lebih lanjut dalam seri blog ini:</p>
<ul>
<li><a href="https://milvus.io/blog/2022-08-08-How-to-use-string-data-to-empower-your-similarity-search-applications.md">Cara Menggunakan Data String untuk Memberdayakan Aplikasi Pencarian Kemiripan Anda</a></li>
<li><a href="https://milvus.io/blog/embedded-milvus.md">Menggunakan Milvus yang Disematkan untuk Menginstal dan Menjalankan Milvus secara Instan dengan Python</a></li>
<li><a href="https://milvus.io/blog/in-memory-replicas.md">Tingkatkan Throughput Pembacaan Basis Data Vektor Anda dengan Replika Dalam Memori</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md">Memahami Tingkat Konsistensi dalam Basis Data Vektor Milvus</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database-2.md">Memahami Tingkat Konsistensi dalam Basis Data Vektor Milvus (Bagian II)</a></li>
<li><a href="https://milvus.io/blog/data-security.md">Bagaimana Basis Data Vektor Milvus Memastikan Keamanan Data?</a></li>
</ul>


Tingkatkan Throughput Pembacaan Basis Data Vektor Anda dengan Replika Dalam Memori

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Benchmark_Quick_Setup_58cc8eed5b.png" alt="Cover" class="doc-image" id="cover" />
   </span> <span class="img-wrapper"> <span>Sampul</span> </span></p>
<p>Baru-baru ini, kami telah memperbarui <a href="https://milvus.io/docs/v2.1.x/benchmark.md">laporan benchmark Milvus 2.1</a>. Pengujian dengan dataset 1 juta vektor telah membuktikan bahwa QPS dapat ditingkatkan secara dramatis dengan menggabungkan kueri <a href="https://milvus.io/docs/v2.1.x/benchmark.md#Terminology">nq</a> kecil.</p>
<p>Berikut adalah beberapa skrip sederhana bagi Anda untuk mereproduksi pengujian dengan mudah.</p>
<h2 id="Procedures" class="common-anchor-header">Prosedur<button data-href="#Procedures" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ol>
<li><p>Menyebarkan Milvus mandiri atau cluster. Dalam kasus ini, alamat IP server Milvus adalah 10.100.31.105.</p></li>
<li><p>Menerapkan sebuah klien. Dalam kasus ini, kita menggunakan Ubuntu 18.04 dan Python 3.8.13 untuk penyebaran. Jalankan kode berikut untuk menginstal PyMilvus 2.1.1.</p></li>
</ol>
<pre><code translate="no">pip install pymilvus==2.1.1
<button class="copy-code-btn"></button></code></pre>
<ol start="3">
<li><p>Unduh dan salin berkas-berkas berikut ini ke direktori kerja yang sama dengan klien. Dalam kasus ini, direktori kerja adalah <code translate="no">/go_ben</code>.</p>
<ul>
<li><p><a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/collection_prepare.py"><code translate="no">collection_prepare.py</code></a></p></li>
<li><p><a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/go_benchmark.py"><code translate="no">go_benchmark.py</code></a></p></li>
<li><p><a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/benchmark"><code translate="no">benchmark</code></a> (untuk Ubuntu) atau <a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/benchmark-mac"><code translate="no">benchmark-mac</code></a> (untuk macOS)</p></li>
</ul>
<p><strong>Catatan:</strong></p>
<ul>
<li><p><code translate="no">benchmark</code> dan <code translate="no">benchmark-mac</code> adalah berkas yang dapat dieksekusi yang dikembangkan dan dikompilasi menggunakan Go SDK 2.1.1. Mereka hanya digunakan untuk melakukan pencarian secara bersamaan.</p></li>
<li><p>Untuk pengguna Ubuntu, silakan unduh <code translate="no">benchmark</code>; untuk pengguna macOS, silakan unduh <code translate="no">benchmark-mac</code>.</p></li>
<li><p>Izin yang dapat dieksekusi diperlukan untuk mengakses <code translate="no">benchmark</code> atau <code translate="no">benchmark-mac</code>.</p></li>
<li><p>Pengguna Mac harus mempercayai file <code translate="no">benchmark-mac</code> dengan mengonfigurasi Keamanan &amp; Privasi di Preferensi Sistem.</p></li>
<li><p>Pengaturan tentang pencarian bersamaan dapat ditemukan dan dimodifikasi dalam kode sumber <code translate="no">go_benchmark.py</code>.</p></li>
</ul></li>
</ol>
<ol start="4">
<li>Buat koleksi dan masukkan data vektor.</li>
</ol>
<pre><code translate="no">root@milvus-pytest:/go_ben<span class="hljs-comment"># python collection_prepare.py 10.100.31.105 </span>
<button class="copy-code-btn"></button></code></pre>
<ol start="5">
<li>Buka <code translate="no">/tmp/collection_prepare.log</code> untuk memeriksa hasil yang sedang berjalan.</li>
</ol>
<pre><code translate="no">...
08/11/2022 17:33:34 PM - INFO - Build index costs 263.626
08/11/2022 17:33:54 PM - INFO - Collection prepared completed
<button class="copy-code-btn"></button></code></pre>
<ol start="6">
<li>Hubungi <code translate="no">benchmark</code> (atau <code translate="no">benchmark-mac</code> di macOS) untuk melakukan pencarian bersamaan.</li>
</ol>
<pre><code translate="no">root@milvus-pytest:/go_ben<span class="hljs-meta"># python go_benchmark.py 10.100.31.105 ./benchmark</span>
[<span class="hljs-meta">write_json_file</span>] <span class="hljs-function">Remove <span class="hljs-title">file</span>(<span class="hljs-params">search_vector_file.json</span>).
[write_json_file] Write json <span class="hljs-keyword">file</span>:search_vector_file.json done.
Params of go_benchmark: [&#x27;./benchmark&#x27;, &#x27;locust&#x27;, &#x27;-u&#x27;, &#x27;10.100.31.105:19530&#x27;, &#x27;-q&#x27;, &#x27;search_vector_file.json&#x27;, &#x27;-s&#x27;, &#x27;</span>{\n  <span class="hljs-string">&quot;collection_name&quot;</span>: <span class="hljs-string">&quot;random_1m&quot;</span>,\n  <span class="hljs-string">&quot;partition_names&quot;</span>: [],\n  <span class="hljs-string">&quot;fieldName&quot;</span>: <span class="hljs-string">&quot;embedding&quot;</span>,\n  <span class="hljs-string">&quot;index_type&quot;</span>: <span class="hljs-string">&quot;HNSW&quot;</span>,\n  <span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&quot;L2&quot;</span>,\n  <span class="hljs-string">&quot;params&quot;</span>: {\n    <span class="hljs-string">&quot;sp_value&quot;</span>: <span class="hljs-number">64</span>,\n    <span class="hljs-string">&quot;dim&quot;</span>: <span class="hljs-number">128</span>\n  },\n  <span class="hljs-string">&quot;limit&quot;</span>: <span class="hljs-number">1</span>,\n  <span class="hljs-string">&quot;expr&quot;</span>: <span class="hljs-literal">null</span>,\n  <span class="hljs-string">&quot;output_fields&quot;</span>: [],\n  <span class="hljs-string">&quot;timeout&quot;</span>: <span class="hljs-number">600</span>\n}<span class="hljs-string">&#x27;, &#x27;</span>-p<span class="hljs-string">&#x27;, &#x27;</span><span class="hljs-number">10&#x27;</span>, <span class="hljs-string">&#x27;-f&#x27;</span>, <span class="hljs-string">&#x27;json&#x27;</span>, <span class="hljs-string">&#x27;-t&#x27;</span>, <span class="hljs-string">&#x27;60&#x27;</span>, <span class="hljs-string">&#x27;-i&#x27;</span>, <span class="hljs-string">&#x27;20&#x27;</span>, <span class="hljs-string">&#x27;-l&#x27;</span>, <span class="hljs-string">&#x27;go_log_file.log&#x27;</span>]
[<span class="hljs-meta">2022-08-11 11:37:39.811</span>][    INFO] - Name      <span class="hljs-meta">#   reqs      # fails  |       Avg       Min       Max    Median  |     req/s  failures/s (benchmark_run.go:212:sample)</span>
[<span class="hljs-meta">2022-08-11 11:37:39.811</span>][    INFO] - go search     <span class="hljs-number">9665</span>     <span class="hljs-number">0</span>(<span class="hljs-number">0.00</span>%)  |    <span class="hljs-number">20.679</span>     <span class="hljs-number">6.499</span>    <span class="hljs-number">81.761</span>    <span class="hljs-number">12.810</span>  |    <span class="hljs-number">483.25</span>        <span class="hljs-number">0.00</span> (benchmark_run.go:<span class="hljs-number">213</span>:sample)
[<span class="hljs-meta">2022-08-11 11:37:59.811</span>][    INFO] - Name      <span class="hljs-meta">#   reqs      # fails  |       Avg       Min       Max    Median  |     req/s  failures/s (benchmark_run.go:212:sample)</span>
[<span class="hljs-meta">2022-08-11 11:37:59.811</span>][    INFO] - go search    <span class="hljs-number">19448</span>     <span class="hljs-number">0</span>(<span class="hljs-number">0.00</span>%)  |    <span class="hljs-number">20.443</span>     <span class="hljs-number">6.549</span>    <span class="hljs-number">78.121</span>    <span class="hljs-number">13.401</span>  |    <span class="hljs-number">489.22</span>        <span class="hljs-number">0.00</span> (benchmark_run.go:<span class="hljs-number">213</span>:sample)
[<span class="hljs-meta">2022-08-11 11:38:19.811</span>][    INFO] - Name      <span class="hljs-meta">#   reqs      # fails  |       Avg       Min       Max    Median  |     req/s  failures/s (benchmark_run.go:212:sample)</span>
[<span class="hljs-meta">2022-08-11 11:38:19.811</span>][    INFO] - go search    <span class="hljs-number">29170</span>     <span class="hljs-number">0</span>(<span class="hljs-number">0.00</span>%)  |    <span class="hljs-number">20.568</span>     <span class="hljs-number">6.398</span>    <span class="hljs-number">76.887</span>    <span class="hljs-number">12.828</span>  |    <span class="hljs-number">486.15</span>        <span class="hljs-number">0.00</span> (benchmark_run.go:<span class="hljs-number">213</span>:sample)
[<span class="hljs-meta">2022-08-11 11:38:19.811</span>][   DEBUG] - go search run finished, parallel: <span class="hljs-number">10</span>(benchmark_run.go:<span class="hljs-number">95</span>:benchmark)
[<span class="hljs-meta">2022-08-11 11:38:19.811</span>][    INFO] - Name      <span class="hljs-meta">#   reqs      # fails  |       Avg       Min       Max    Median  |     req/s  failures/s (benchmark_run.go:159:samplingLoop)</span>
[<span class="hljs-meta">2022-08-11 11:38:19.811</span>][    INFO] - go search    <span class="hljs-number">29180</span>     <span class="hljs-number">0</span>(<span class="hljs-number">0.00</span>%)  |    <span class="hljs-number">20.560</span>     <span class="hljs-number">6.398</span>    <span class="hljs-number">81.761</span>    <span class="hljs-number">13.014</span>  |    <span class="hljs-number">486.25</span>        <span class="hljs-number">0.00</span> (benchmark_run.go:<span class="hljs-number">160</span>:samplingLoop)
Result of go_benchmark: {<span class="hljs-string">&#x27;response&#x27;</span>: True, <span class="hljs-string">&#x27;err_code&#x27;</span>: <span class="hljs-number">0</span>, <span class="hljs-string">&#x27;err_message&#x27;</span>: <span class="hljs-string">&#x27;&#x27;</span>} 
<button class="copy-code-btn"></button></code></pre>
<ol start="7">
<li>Buka file <code translate="no">go_log_file.log</code> di bawah direktori saat ini untuk memeriksa log pencarian terperinci. Berikut ini adalah informasi pencarian yang dapat Anda temukan di log pencarian.<ul>
<li><p>reqs: jumlah permintaan pencarian dari saat konkurensi terjadi hingga saat ini (rentang waktu saat ini)</p></li>
<li><p>gagal: jumlah permintaan yang gagal sebagai persentase dari reqs dalam rentang waktu saat ini</p></li>
<li><p>Avg: waktu respons permintaan rata-rata dalam rentang waktu saat ini (unit: milidetik)</p></li>
<li><p>Min: waktu respons permintaan minimum dalam rentang waktu saat ini (unit: milidetik)</p></li>
<li><p>Maks: waktu respons permintaan maksimum dalam rentang waktu saat ini (unit: milidetik)</p></li>
<li><p>Median: waktu respons permintaan rata-rata dalam rentang waktu saat ini (unit: milidetik)</p></li>
<li><p>req/s: jumlah permintaan per detik, yaitu QPS</p></li>
<li><p>kegagalan/s: jumlah rata-rata permintaan yang gagal per detik dalam rentang waktu saat ini</p></li>
</ul></li>
</ol>
<h2 id="Downloading-Scripts-and-Executable-Files" class="common-anchor-header">Mengunduh Skrip dan File yang Dapat Dieksekusi<button data-href="#Downloading-Scripts-and-Executable-Files" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p><a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/collection_prepare.py">collection_prepare.py</a></p></li>
<li><p><a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/go_benchmark.py">go_benchmark.py</a></p></li>
<li><p><a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/benchmark">benchmark</a> untuk Ubuntu</p></li>
<li><p><a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/benchmark-mac">benchmark-mac</a> untuk macOS</p></li>
</ul>
<h2 id="Whats-next" class="common-anchor-header">Apa yang selanjutnya<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Dengan dirilisnya Milvus 2.1 secara resmi, kami telah menyiapkan serangkaian blog yang memperkenalkan fitur-fitur baru. Baca lebih lanjut dalam seri blog ini:</p>
<ul>
<li><a href="https://milvus.io/blog/2022-08-08-How-to-use-string-data-to-empower-your-similarity-search-applications.md">Cara Menggunakan Data String untuk Memberdayakan Aplikasi Pencarian Kemiripan Anda</a></li>
<li><a href="https://milvus.io/blog/embedded-milvus.md">Menggunakan Milvus yang Disematkan untuk Menginstal dan Menjalankan Milvus secara Instan dengan Python</a></li>
<li><a href="https://milvus.io/blog/in-memory-replicas.md">Tingkatkan Throughput Pembacaan Basis Data Vektor Anda dengan Replika Dalam Memori</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md">Memahami Tingkat Konsistensi dalam Basis Data Vektor Milvus</a></li>
<li><a href="https://milvus.io/blog/data-security.md">Bagaimana Basis Data Vektor Milvus Memastikan Keamanan Data?</a></li>
</ul>


Panduan Singkat untuk Membandingkan Milvus 2.1

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/embeddded_milvus_1_8132468cac.png" alt="Cover" class="doc-image" id="cover" />
   </span> <span class="img-wrapper"> <span>Sampul</span> </span></p>
<blockquote>
<p>Artikel ini ditulis oleh <a href="https://github.com/soothing-rain/">Alex Gao</a> dan <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni</a>.</p>
</blockquote>
<p>Milvus adalah basis data vektor sumber terbuka untuk aplikasi AI. Milvus menyediakan berbagai metode instalasi termasuk membangun dari kode sumber, dan menginstal Milvus dengan Docker Compose/Helm/APT/YUM/Ansible. Pengguna dapat memilih salah satu metode instalasi tergantung pada sistem operasi dan preferensi mereka. Namun, ada banyak ilmuwan data dan insinyur AI di komunitas Milvus yang bekerja dengan Python dan mendambakan metode instalasi yang jauh lebih sederhana daripada yang saat ini tersedia.</p>
<p>Oleh karena itu, kami merilis Milvus yang disematkan, versi Python yang mudah digunakan, bersama dengan Milvus 2.1 untuk memberdayakan lebih banyak pengembang Python di komunitas kami. Artikel ini memperkenalkan apa itu embedded Milvus dan memberikan instruksi tentang cara menginstal dan menggunakannya.</p>
<p><strong>Langsung ke:</strong></p>
<ul>
<li><a href="#An-overview-of-embedded-Milvus">Gambaran umum tentang Milvus tertanam</a><ul>
<li><a href="#When-to-use-embedded-Milvus">Kapan menggunakan Milvus yang disematkan?</a></li>
<li><a href="#A-comparison-of-different-modes-of-Milvus">Perbandingan berbagai mode Milvus yang berbeda</a></li>
</ul></li>
<li><a href="#How-to-install-embedded-Milvus">Cara memasang Milvus tertanam</a></li>
<li><a href="#Start-and-stop-embedded-Milvus">Memulai dan menghentikan Milvus tertanam</a></li>
</ul>
<h2 id="An-overview-of-embedded-Milvus" class="common-anchor-header">Gambaran umum tentang Milvus tertanam<button data-href="#An-overview-of-embedded-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><a href="https://github.com/milvus-io/embd-milvus">Embedded Milvus</a> memungkinkan Anda untuk memasang dan menggunakan Milvus dengan Python dengan cepat. Ini dapat dengan cepat memunculkan instance Milvus dan memungkinkan Anda untuk memulai dan menghentikan layanan Milvus kapan pun Anda mau. Semua data dan log tetap tersimpan meskipun Anda menghentikan Milvus yang disematkan.</p>
<p>Embedded Milvus sendiri tidak memiliki ketergantungan internal dan tidak memerlukan pra-instalasi dan menjalankan ketergantungan pihak ketiga seperti etcd, MinIO, Pulsar, dll.</p>
<p>Semua yang Anda lakukan dengan Milvus tertanam, dan setiap bagian dari kode yang Anda tulis untuknya dapat dengan aman dimigrasikan ke mode Milvus lainnya - mandiri, cluster, versi cloud, dll. Hal ini mencerminkan salah satu fitur yang paling khas dari embedded Milvus - <strong>"Tulis sekali, jalankan di mana saja"</strong>.</p>
<h3 id="When-to-use-embedded-Milvus" class="common-anchor-header">Kapan menggunakan Milvus yang disematkan?</h3><p>Embedded Milvus dan <a href="https://milvus.io/docs/v2.1.x/install-pymilvus.md">PyMilvus</a> dibangun untuk tujuan yang berbeda. Anda dapat mempertimbangkan untuk memilih Milvus tertanam dalam skenario berikut:</p>
<ul>
<li><p>Anda ingin menggunakan Milvus tanpa menginstal Milvus dengan cara apa pun yang disediakan <a href="https://milvus.io/docs/v2.1.x/install_standalone-docker.md">di sini</a>.</p></li>
<li><p>Anda ingin menggunakan Milvus tanpa menyimpan proses Milvus yang sudah berjalan lama di mesin Anda.</p></li>
<li><p>Anda ingin menggunakan Milvus dengan cepat tanpa memulai proses Milvus yang terpisah dan komponen-komponen lain yang dibutuhkan seperti etcd, MinIO, Pulsar, dll.</p></li>
</ul>
<p>Disarankan agar Anda <strong>TIDAK</strong> menggunakan Milvus tertanam:</p>
<ul>
<li><p>Dalam lingkungan produksi.<em>(Untuk menggunakan Milvus untuk produksi, pertimbangkan Milvus cluster atau <a href="https://zilliz.com/cloud">Zilliz cloud</a>, layanan Milvus yang dikelola secara penuh</em>)<em>.</em></p></li>
<li><p>Jika Anda memiliki permintaan yang tinggi untuk kinerja.<em>(Secara komparatif, Milvus yang tertanam mungkin tidak memberikan kinerja terbaik</em>)<em>.</em></p></li>
</ul>
<h3 id="A-comparison-of-different-modes-of-Milvus" class="common-anchor-header">Perbandingan berbagai mode Milvus yang berbeda</h3><p>Tabel di bawah ini membandingkan beberapa mode Milvus: mandiri, cluster, Milvus tertanam, dan Zilliz Cloud, layanan Milvus yang dikelola sepenuhnya.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/comparison_ebcd7c5b07.jpeg" alt="comparison" class="doc-image" id="comparison" />
   </span> <span class="img-wrapper"> <span>perbandingan</span> </span></p>
<h2 id="How-to-install-embedded-Milvus" class="common-anchor-header">Bagaimana cara menginstal Milvus tertanam?<button data-href="#How-to-install-embedded-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Sebelum menginstal Milvus tertanam, Anda harus terlebih dahulu memastikan bahwa Anda telah menginstal Python 3.6 atau yang lebih baru. Embedded Milvus mendukung sistem operasi berikut ini:</p>
<ul>
<li><p>Ubuntu 18.04</p></li>
<li><p>Mac x86_64 &gt;= 10.4</p></li>
<li><p>Mac M1 &gt;= 11.0</p></li>
</ul>
<p>Jika persyaratan terpenuhi, Anda dapat menjalankan <code translate="no">$ python3 -m pip install milvus</code> untuk menginstal Milvus tertanam. Anda juga dapat menambahkan versi pada perintah untuk menginstal versi tertentu dari embedded Milvus. Sebagai contoh, jika Anda ingin menginstal versi 2.1.0, jalankan <code translate="no">$ python3 -m pip install milvus==2.1.0</code>. Dan nanti ketika versi baru Milvus tertanam dirilis, Anda juga dapat menjalankan <code translate="no">$ python3 -m pip install --upgrade milvus</code> untuk mengupgrade Milvus tertanam ke versi terbaru.</p>
<p>Jika Anda adalah pengguna lama Milvus yang telah menginstal PyMilvus sebelumnya dan ingin menginstal embedded Milvus, Anda dapat menjalankan <code translate="no">$ python3 -m pip install --no-deps milvus</code>.</p>
<p>Setelah menjalankan perintah instalasi, Anda perlu membuat folder data untuk embedded Milvus di bawah <code translate="no">/var/bin/e-milvus</code> dengan menjalankan perintah berikut:</p>
<pre><code translate="no"><span class="hljs-built_in">sudo</span> <span class="hljs-built_in">mkdir</span> -p /var/bin/e-milvus
<span class="hljs-built_in">sudo</span> <span class="hljs-built_in">chmod</span> -R 777 /var/bin/e-milvus
<button class="copy-code-btn"></button></code></pre>
<h2 id="Start-and-stop-embedded-Milvus" class="common-anchor-header">Memulai dan menghentikan Milvus tertanam<button data-href="#Start-and-stop-embedded-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Ketika instalasi berhasil, Anda dapat memulai layanan.</p>
<p>Jika Anda menjalankan Milvus tertanam untuk pertama kalinya, Anda perlu mengimpor Milvus dan mengatur Milvus tertanam terlebih dahulu.</p>
<pre><code translate="no">$ python3
Python 3.9.10 (main, Jan 15 2022, 11:40:53)
[Clang 13.0.0 (clang-1300.0.29.3)] on darwin
Type <span class="hljs-string">&quot;help&quot;</span>, <span class="hljs-string">&quot;copyright&quot;</span>, <span class="hljs-string">&quot;credits&quot;</span> or <span class="hljs-string">&quot;license&quot;</span> <span class="hljs-keyword">for</span> more information.
&gt;&gt;&gt; import milvus
&gt;&gt;&gt; milvus.before()
please <span class="hljs-keyword">do</span> the following <span class="hljs-keyword">if</span> you have not already <span class="hljs-keyword">done</span> so:
1. install required dependencies: bash /var/bin/e-milvus/lib/install_deps.sh
2. <span class="hljs-built_in">export</span> LD_PRELOAD=/SOME_PATH/embd-milvus.so
3. <span class="hljs-built_in">export</span> LD_LIBRARY_PATH=<span class="hljs-variable">$LD_LIBRARY_PATH</span>:/usr/lib:/usr/local/lib:/var/bin/e-milvus/lib/
&gt;&gt;&gt;
<button class="copy-code-btn"></button></code></pre>
<p>Jika Anda telah berhasil menjalankan embedded Milvus sebelumnya dan kembali untuk menjalankannya kembali, Anda dapat langsung menjalankan <code translate="no">milvus.start()</code> setelah mengimpor Milvus.</p>
<pre><code translate="no">$ python3
Python <span class="hljs-number">3.9</span><span class="hljs-number">.10</span> (main, Jan <span class="hljs-number">15</span> <span class="hljs-number">2022</span>, <span class="hljs-number">11</span>:<span class="hljs-number">40</span>:<span class="hljs-number">53</span>)
[Clang <span class="hljs-number">13.0</span><span class="hljs-number">.0</span> (clang-<span class="hljs-number">1300.0</span><span class="hljs-number">.29</span><span class="hljs-number">.3</span>)] on darwinType <span class="hljs-string">&quot;help&quot;</span>, <span class="hljs-string">&quot;copyright&quot;</span>, <span class="hljs-string">&quot;credits&quot;</span> <span class="hljs-keyword">or</span> <span class="hljs-string">&quot;license&quot;</span> <span class="hljs-keyword">for</span> more information.
<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">import</span> milvus
<span class="hljs-meta">&gt;&gt;&gt; </span>milvus.start()
&gt;&gt;&gt;
<button class="copy-code-btn"></button></code></pre>
<p>Anda akan melihat output berikut jika Anda telah berhasil memulai layanan Milvus tertanam.</p>
<pre><code translate="no">---<span class="hljs-title class_">Milvus</span> <span class="hljs-title class_">Proxy</span> successfully initialized and ready to serve!---
<button class="copy-code-btn"></button></code></pre>
<p>Setelah layanan dimulai, Anda dapat membuka jendela terminal lain dan menjalankan contoh kode &quot;<a href="https://github.com/milvus-io/embd-milvus/blob/main/milvus/examples/hello_milvus.py">Hello Milvus</a>&quot; untuk bermain-main dengan embedded Milvus!</p>
<pre><code translate="no"><span class="hljs-comment"># Download hello_milvus script</span>
$ wget https://raw.githubusercontent.com/milvus-io/pymilvus/v2.1.0/examples/hello_milvus.py
<span class="hljs-comment"># Run Hello Milvus </span>
$ python3 hello_milvus.py
<button class="copy-code-btn"></button></code></pre>
<p>Setelah Anda selesai menggunakan embedded Milvus, kami sarankan untuk menghentikannya secara halus dan membersihkan variabel lingkungan dengan menjalankan perintah berikut atau tekan Ctrl-D.</p>
<pre><code translate="no">&gt;&gt;&gt; milvus.stop()
<span class="hljs-keyword">if</span> you need to clean up the environment variables, run:
<span class="hljs-built_in">export</span> LD_PRELOAD=
<span class="hljs-built_in">export</span> LD_LIBRARY_PATH=
&gt;&gt;&gt;
&gt;&gt;&gt; <span class="hljs-built_in">exit</span>()
<button class="copy-code-btn"></button></code></pre>
<h2 id="Whats-next" class="common-anchor-header">Apa yang selanjutnya<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Dengan dirilisnya Milvus 2.1 secara resmi, kami telah menyiapkan serangkaian blog yang memperkenalkan fitur-fitur baru. Baca lebih lanjut di seri blog ini:</p>
<ul>
<li><a href="https://milvus.io/blog/2022-08-08-How-to-use-string-data-to-empower-your-similarity-search-applications.md">Cara Menggunakan Data String untuk Memberdayakan Aplikasi Pencarian Kemiripan Anda</a></li>
<li><a href="https://milvus.io/blog/embedded-milvus.md">Menggunakan Milvus yang Disematkan untuk Menginstal dan Menjalankan Milvus secara Instan dengan Python</a></li>
<li><a href="https://milvus.io/blog/in-memory-replicas.md">Tingkatkan Throughput Pembacaan Basis Data Vektor Anda dengan Replika Dalam Memori</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md">Memahami Tingkat Konsistensi dalam Basis Data Vektor Milvus</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database-2.md">Memahami Tingkat Konsistensi dalam Basis Data Vektor Milvus (Bagian II)</a></li>
<li><a href="https://milvus.io/blog/data-security.md">Bagaimana Basis Data Vektor Milvus Memastikan Keamanan Data?</a></li>
</ul>


Menggunakan Milvus Tertanam untuk Menginstal dan Menjalankan Milvus dengan Python Secara Instan

Cara Menggunakan Data String untuk Memberdayakan Aplikasi Pencarian Kemiripan Anda

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/What_s_New_in_2_1_2_a0660df2a5.png" alt="What's new in Milvus 2.1 - Towards simplicity and speed" class="doc-image" id="what's-new-in-milvus-2.1---towards-simplicity-and-speed" />
   </span> <span class="img-wrapper"> <span>Apa yang baru di Milvus 2.1 - Menuju kesederhanaan dan kecepatan</span> </span></p>
<p>Kami sangat senang mengumumkan bahwa<a href="https://milvus.io/docs/v2.1.x/release_notes.md">rilis</a> Milvus 2.1 telah tersedia setelah enam bulan kerja keras dari semua kontributor komunitas Milvus. Iterasi utama dari database vektor yang populer ini menekankan pada <strong>performa</strong> dan <strong>kegunaan</strong>, dua kata kunci terpenting dari fokus kami. Kami menambahkan dukungan untuk string, antrean pesan Kafka, dan Milvus yang disematkan, serta sejumlah peningkatan dalam hal kinerja, skalabilitas, keamanan, dan observabilitas. Milvus 2.1 adalah pembaruan menarik yang akan menjembatani "mil terakhir" dari laptop insinyur algoritma ke layanan pencarian kemiripan vektor tingkat produksi.</p>
<custom-h1>Performa - Peningkatan lebih dari 3,2x lipat</custom-h1><h2 id="5ms-level-latency" class="common-anchor-header">Latensi tingkat 5ms<button data-href="#5ms-level-latency" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus sudah mendukung pencarian perkiraan tetangga terdekat (ANN), sebuah lompatan besar dari metode KNN tradisional. Namun, masalah throughput dan latensi terus menjadi tantangan bagi pengguna yang harus berurusan dengan skenario pencarian data vektor berskala miliaran.</p>
<p>Dalam Milvus 2.1, ada protokol perutean baru yang tidak lagi bergantung pada antrean pesan di tautan pengambilan, yang secara signifikan mengurangi latensi pengambilan untuk set data kecil. Hasil pengujian kami menunjukkan bahwa Milvus sekarang menurunkan tingkat latensi hingga 5ms, yang memenuhi persyaratan tautan online yang penting seperti pencarian kemiripan dan rekomendasi.</p>
<h2 id="Concurrency-control" class="common-anchor-header">Kontrol konkurensi<button data-href="#Concurrency-control" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.1 menyempurnakan model konkurensinya dengan memperkenalkan model evaluasi biaya dan penjadwal konkurensi yang baru. Sekarang ini menyediakan kontrol konkurensi, yang memastikan bahwa tidak akan ada banyak permintaan bersamaan yang bersaing untuk mendapatkan sumber daya CPU dan cache, dan juga tidak akan ada CPU yang kurang dimanfaatkan karena tidak ada cukup permintaan. Lapisan penjadwal cerdas yang baru di Milvus 2.1 juga menggabungkan kueri small-nq yang memiliki parameter permintaan yang konsisten, sehingga menghasilkan peningkatan kinerja 3,2x lipat dalam skenario dengan small-nq dan konkurensi kueri yang tinggi.</p>
<h2 id="In-memory-replicas" class="common-anchor-header">Replika dalam memori<button data-href="#In-memory-replicas" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.1 menghadirkan replika in-memory yang meningkatkan skalabilitas dan ketersediaan untuk dataset kecil. Mirip dengan replika hanya-baca di database tradisional, replika dalam memori dapat diskalakan secara horizontal dengan menambahkan mesin ketika QPS baca tinggi. Dalam pengambilan vektor untuk dataset kecil, sistem rekomendasi sering kali perlu menyediakan QPS yang melebihi batas kinerja satu mesin. Sekarang dalam skenario ini, throughput sistem dapat ditingkatkan secara signifikan dengan memuat beberapa replika dalam memori. Di masa mendatang, kami juga akan memperkenalkan mekanisme pembacaan lindung nilai berdasarkan replika dalam memori, yang akan dengan cepat meminta salinan fungsional lainnya jika sistem perlu pulih dari kegagalan dan memanfaatkan sepenuhnya redundansi memori untuk meningkatkan ketersediaan sistem secara keseluruhan.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/What_s_New_in_Milvus_2_1_Figure_1_excalidraw_1f7fe3c998.png" alt="In-memory replicas allow query services to be based on separate
copies of the same data." class="doc-image" id="in-memory-replicas-allow-query-services-to-be-based-on-separate-copies-of-the-same-data." />
   </span> <span class="img-wrapper"> <span>Replika dalam memori memungkinkan layanan kueri didasarkan pada salinan terpisah dari data yang sama.</span> </span></p>
<h2 id="Faster-data-loading" class="common-anchor-header">Pemuatan data yang lebih cepat<button data-href="#Faster-data-loading" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Peningkatan kinerja terakhir berasal dari pemuatan data. Milvus 2.1 sekarang mengompres <a href="https://milvus.io/docs/v2.1.x/glossary.md#Log-snapshot">log biner</a> dengan Zstandard (zstd), yang secara signifikan mengurangi ukuran data dalam penyimpanan objek dan pesan serta overhead jaringan selama pemuatan data. Selain itu, goroutine pools kini diperkenalkan sehingga Milvus dapat memuat segmen secara bersamaan dengan jejak memori yang terkendali dan meminimalkan waktu yang dibutuhkan untuk pulih dari kegagalan dan memuat data.</p>
<p>Hasil benchmark lengkap dari Milvus 2.1 akan segera dirilis di situs web kami. Nantikan terus.</p>
<h2 id="String-and-scalar-index-support" class="common-anchor-header">Dukungan indeks string dan skalar<button data-href="#String-and-scalar-index-support" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Dengan versi 2.1, Milvus sekarang mendukung string panjang variabel (VARCHAR) sebagai tipe data skalar. VARCHAR dapat digunakan sebagai kunci utama yang dapat dikembalikan sebagai output, dan juga dapat bertindak sebagai filter atribut. <a href="https://milvus.io/docs/v2.1.x/hybridsearch.md">Pemfilteran atribut</a> adalah salah satu fungsi paling populer yang dibutuhkan oleh pengguna Milvus. Jika Anda sering menemukan diri Anda ingin &quot;menemukan produk yang paling mirip dengan pengguna dalam kisaran harga <span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mo>200-200</mo></mrow><annotation encoding="application/x-tex">-</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.7278em;vertical-align:-0.0833em;"></span><span class="mord">200-300</span></span></span></span>&quot;, atau &quot;menemukan artikel yang memiliki kata kunci 'database vektor' dan terkait dengan topik cloud-native&quot;, Anda akan menyukai Milvus 2.1.</p>
<p>Milvus 2.1 juga mendukung indeks terbalik skalar untuk meningkatkan kecepatan penyaringan berdasarkan<a href="https://github.com/s-yata/marisa-trie">MARISA-Tries</a> yang<a href="https://www.cs.le.ac.uk/people/ond1/XMLcomp/confersWEA06_LOUDS.pdf">ringkas</a>sebagai struktur data. Semua data sekarang dapat dimuat ke dalam memori dengan jejak yang sangat rendah, yang memungkinkan perbandingan, penyaringan, dan pencocokan awalan pada string dengan lebih cepat. Hasil pengujian kami menunjukkan bahwa kebutuhan memori MARISA-tries hanya 10% dari kebutuhan memori kamus Python untuk memuat semua data ke dalam memori dan menyediakan kemampuan query.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/What_s_new_in_Milvus_Figure_2_excalidraw_a1149aca96.png" alt="Milvus 2.1 combines MARISA-Trie with inverted index to significantly improve filtering speed." class="doc-image" id="milvus-2.1-combines-marisa-trie-with-inverted-index-to-significantly-improve-filtering-speed." />
   </span> <span class="img-wrapper"> <span>Milvus 2.1 menggabungkan MARISA-Trie dengan indeks terbalik untuk meningkatkan kecepatan penyaringan secara signifikan</span> </span>.</p>
<p>Di masa depan, Milvus akan terus berfokus pada pengembangan yang berhubungan dengan kueri skalar, mendukung lebih banyak jenis indeks skalar dan operator kueri, dan menyediakan kemampuan kueri skalar berbasis disk, semuanya sebagai bagian dari upaya berkelanjutan untuk mengurangi biaya penyimpanan dan penggunaan data skalar.</p>
<custom-h1>Peningkatan kegunaan</custom-h1><h2 id="Kafka-support" class="common-anchor-header">Dukungan Kafka<button data-href="#Kafka-support" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Komunitas kami telah lama meminta dukungan untuk <a href="https://kafka.apache.org">Apache Kafka</a> sebagai <a href="https://milvus.io/docs/v2.1.x/deploy_pulsar.md">penyimpanan pesan</a> di Milvus. Milvus 2.1 sekarang menawarkan pilihan untuk menggunakan<a href="https://pulsar.apache.org">Pulsar</a> atau Kafka sebagai penyimpanan pesan berdasarkan konfigurasi pengguna, berkat desain abstraksi dan enkapsulasi Milvus dan Go Kafka SDK yang dikontribusikan oleh Confluent.</p>
<h2 id="Production-ready-Java-SDK" class="common-anchor-header">SDK Java yang siap produksi<button data-href="#Production-ready-Java-SDK" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Dengan Milvus 2.1, <a href="https://github.com/milvus-io/milvus-sdk-java">Java SDK</a> kami sekarang telah resmi dirilis. Java SDK memiliki kemampuan yang sama persis dengan Python SDK, dengan kinerja konkurensi yang lebih baik. Pada langkah selanjutnya, kontributor komunitas kami akan secara bertahap meningkatkan dokumentasi dan kasus penggunaan untuk Java SDK, dan membantu mendorong Go dan RESTful SDK ke tahap siap produksi.</p>
<h2 id="Observability-and-maintainability" class="common-anchor-header">Observabilitas dan pemeliharaan<button data-href="#Observability-and-maintainability" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.1 menambahkan<a href="https://milvus.io/docs/v2.1.x/metrics_dashboard.md">metrik</a> pemantauan penting seperti jumlah penyisipan vektor, latensi/throughput pencarian, overhead memori node, dan overhead CPU. Selain itu, versi baru ini juga secara signifikan mengoptimalkan penyimpanan log dengan menyesuaikan level log dan mengurangi pencetakan log yang tidak berguna.</p>
<h2 id="Embedded-Milvus" class="common-anchor-header">Milvus Tertanam<button data-href="#Embedded-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus telah sangat menyederhanakan penyebaran layanan pengambilan data vektor besar berskala besar, tetapi bagi para ilmuwan yang ingin memvalidasi algoritme dalam skala yang lebih kecil, Docker atau K8 masih terlalu rumit. Dengan diperkenalkannya <a href="https://github.com/milvus-io/embd-milvus">Milvus</a> tertanam, Anda sekarang dapat menginstal Milvus menggunakan pip, seperti halnya Pyrocksb dan Pysqlite. Embedded Milvus mendukung semua fungsi dari versi cluster dan versi mandiri, sehingga Anda dapat dengan mudah beralih dari laptop ke lingkungan produksi terdistribusi tanpa mengubah satu baris kode pun. Para insinyur algoritme akan mendapatkan pengalaman yang jauh lebih baik ketika membangun prototipe dengan Milvus.</p>
<custom-h1>Coba pencarian vektor yang belum pernah ada sebelumnya sekarang</custom-h1><p>Selain itu, Milvus 2.1 juga memiliki beberapa peningkatan besar dalam hal stabilitas dan skalabilitas, dan kami menantikan penggunaan dan umpan balik Anda.</p>
<h2 id="Whats-next" class="common-anchor-header">Apa yang berikutnya<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li>Lihat <a href="https://milvus.io/docs/v2.1.x/release_notes.md">Catatan Rilis</a> terperinci untuk mengetahui semua perubahan di Milvus 2.1</li>
<li><a href="https://milvus.io/docs/v2.1.x/install_standalone-docker.md">Instal</a>Milvus 2.1 dan cobalah fitur-fitur barunya</li>
<li>Bergabunglah dengan <a href="https://slack.milvus.io/">komunitas Slack</a> kami dan diskusikan fitur-fitur baru dengan ribuan pengguna Milvus di seluruh dunia</li>
<li>Ikuti kami di <a href="https://twitter.com/milvusio">Twitter</a> dan<a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn</a> untuk mendapatkan informasi terbaru ketika blog kami mengenai fitur-fitur baru yang spesifik telah dirilis</li>
</ul>
<blockquote>
<p>Diedit oleh <a href="https://github.com/songxianj">Songxian Jiang</a></p>
</blockquote>


Apa yang baru di Milvus 2.1 - Menuju kesederhanaan dan kecepatan

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Frame_1282_edc1fb7d99.png" alt="cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>gambar sampul</span> </span></p>
<p>Jika Anda mencari lemari pakaian yang pas dengan kamar tidur atau kamar pas Anda, saya yakin kebanyakan orang akan memikirkan lemari pakaian yang dibuat sesuai ukuran. Namun, tidak semua orang memiliki anggaran sejauh itu. Lalu bagaimana dengan yang sudah jadi? Masalah dengan jenis lemari pakaian ini adalah kemungkinan besar tidak sesuai dengan harapan Anda karena tidak cukup fleksibel untuk memenuhi kebutuhan penyimpanan Anda yang unik. Ditambah lagi, saat mencari secara online, agak sulit untuk merangkum jenis lemari pakaian tertentu yang Anda cari dengan kata kunci. Sangat mungkin, kata kunci yang Anda ketik di kotak pencarian (misalnya Lemari pakaian dengan baki perhiasan) mungkin sangat berbeda dengan apa yang didefinisikan di mesin pencari (misalnya Lemari pakaian dengan <a href="https://www.ikea.com/us/en/p/komplement-pull-out-tray-with-insert-black-brown-s79249366/">baki tarik dengan sisipan</a>).</p>
<p>Namun berkat teknologi yang muncul, ada solusinya! IKEA, konglomerat ritel furnitur, menyediakan alat desain populer lemari <a href="https://www.ikea.com/us/en/rooms/bedroom/how-to/how-to-design-your-perfect-pax-wardrobe-pub8b76dda0">pakaian PAX</a> yang memungkinkan pengguna untuk memilih dari sejumlah lemari pakaian yang sudah jadi dan menyesuaikan warna, ukuran, dan desain interior lemari pakaian. Apakah Anda membutuhkan ruang gantung, beberapa rak atau laci internal, sistem kustomisasi lemari pakaian yang cerdas ini selalu dapat memenuhi kebutuhan Anda.</p>
<p>Untuk menemukan atau membangun lemari pakaian ideal Anda dengan menggunakan sistem desain lemari pakaian pintar ini, Anda perlu</p>
<ol>
<li>Tentukan persyaratan dasar - bentuk (normal, berbentuk L, atau berbentuk U), panjang dan kedalaman lemari pakaian.</li>
<li>Tentukan kebutuhan penyimpanan Anda dan pengaturan interior lemari pakaian (mis. Ruang gantung, rak celana yang bisa ditarik, dll.).</li>
<li>Tambahkan atau hapus bagian dari lemari pakaian seperti laci atau rak.</li>
</ol>
<p>Kemudian desain Anda selesai. Sederhana dan mudah!</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Pax_system_ff4c3fa182.png" alt="pax system" class="doc-image" id="pax-system" />
   </span> <span class="img-wrapper"> <span>sistem pax</span> </span></p>
<p>Komponen yang sangat penting yang memungkinkan sistem desain lemari pakaian adalah <a href="https://zilliz.com/learn/what-is-vector-database">database vektor</a>. Oleh karena itu, artikel ini bertujuan untuk memperkenalkan alur kerja dan solusi pencarian kemiripan yang digunakan untuk membangun sistem kustomisasi lemari pakaian cerdas yang didukung oleh pencarian kemiripan vektor.</p>
<p>Langsung ke:</p>
<ul>
<li><a href="#System-overview">Gambaran umum sistem</a></li>
<li><a href="#Data-flow">Aliran data</a></li>
<li><a href="#System-demo">Demo sistem</a></li>
</ul>
<h2 id="System-Overview" class="common-anchor-header">Gambaran Umum Sistem<button data-href="#System-Overview" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Untuk menghadirkan alat kustomisasi lemari pakaian yang cerdas, pertama-tama kita perlu mendefinisikan logika bisnis dan memahami atribut barang dan perjalanan pengguna. Lemari pakaian beserta komponennya seperti laci, baki, rak, semuanya merupakan data yang tidak terstruktur. Oleh karena itu, langkah kedua adalah memanfaatkan algoritme dan aturan AI, pengetahuan sebelumnya, deskripsi barang, dan banyak lagi, untuk mengubah data tidak terstruktur tersebut menjadi jenis data yang dapat dipahami oleh komputer - vektor!</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Customization_tool_overview_86d62e1730.png" alt="Customization tool overview" class="doc-image" id="customization-tool-overview" />
   </span> <span class="img-wrapper"> <span>Gambaran umum alat kustomisasi</span> </span></p>
<p>Dengan vektor yang dihasilkan, kita membutuhkan database vektor dan mesin pencari yang kuat untuk memprosesnya.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/tool_architecutre_33fb646954.png" alt="tool architecture" class="doc-image" id="tool-architecture" />
   </span> <span class="img-wrapper"> <span>arsitektur alat</span> </span></p>
<p>Alat kustomisasi memanfaatkan beberapa mesin pencari dan basis data yang paling populer: Elasticsearch, <a href="https://milvus.io/">Milvus</a>, dan PostgreSQL.</p>
<h3 id="Why-Milvus" class="common-anchor-header">Mengapa Milvus?</h3><p>Komponen lemari pakaian mengandung informasi yang sangat kompleks, seperti warna, bentuk, dan pengaturan interior, dll. Namun, cara tradisional untuk menyimpan data lemari pakaian dalam basis data relasional masih jauh dari cukup. Cara yang populer adalah dengan menggunakan teknik penyematan untuk mengubah lemari pakaian menjadi vektor. Oleh karena itu, kita perlu mencari jenis database baru yang dirancang khusus untuk penyimpanan vektor dan pencarian kemiripan. Setelah menyelidiki beberapa solusi populer, basis data vektor <a href="https://github.com/milvus-io/milvus">Milvus</a> dipilih karena kinerjanya yang sangat baik, stabilitas, kompatibilitas, dan kemudahan penggunaannya. Bagan di bawah ini adalah perbandingan beberapa solusi pencarian vektor yang populer.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Solution_comparison_d96b8f1dd5.png" alt="solution comparison" class="doc-image" id="solution-comparison" />
   </span> <span class="img-wrapper"> <span>perbandingan solusi</span> </span></p>
<h3 id="System-workflow" class="common-anchor-header">Alur kerja sistem</h3><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/System_workflow_250c275ec1.png" alt="System workflow" class="doc-image" id="system-workflow" />
   </span> <span class="img-wrapper"> <span>Alur kerja sistem</span> </span></p>
<p>Elasticsearch digunakan untuk penyaringan kasar berdasarkan ukuran lemari pakaian, warna, dll. Kemudian hasil yang disaring melalui Milvus database vektor untuk pencarian kemiripan dan hasilnya diberi peringkat berdasarkan jarak/kemiripan dengan vektor kueri. Akhirnya, hasilnya dikonsolidasikan dan disempurnakan lebih lanjut berdasarkan wawasan bisnis.</p>
<h2 id="Data-flow" class="common-anchor-header">Aliran data<button data-href="#Data-flow" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Sistem kustomisasi lemari pakaian sangat mirip dengan mesin pencari tradisional dan sistem pemberi rekomendasi. Ini terdiri dari tiga bagian:</p>
<ul>
<li>Persiapan data offline termasuk definisi dan pembuatan data.</li>
<li>Layanan online termasuk pemanggilan kembali dan pemeringkatan.</li>
<li>Pemrosesan pasca data berdasarkan logika bisnis.</li>
</ul>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/data_flow_d0d9fa0fca.png" alt="Data flow" class="doc-image" id="data-flow" />
   </span> <span class="img-wrapper"> <span>Aliran data</span> </span></p>
<h3 id="Offline-data-flow" class="common-anchor-header">Aliran data offline</h3><ol>
<li>Mendefinisikan data menggunakan wawasan bisnis.</li>
<li>Gunakan pengetahuan sebelumnya untuk menentukan cara menggabungkan berbagai komponen dan membentuknya menjadi sebuah lemari pakaian.</li>
<li>Mengenali label fitur dari lemari pakaian dan mengkodekan fitur ke dalam data Elasticsearch di file <code translate="no">.json</code>.</li>
<li>Siapkan data penarikan dengan mengkodekan data yang tidak terstruktur ke dalam vektor.</li>
<li>Gunakan Milvus database vektor untuk mengurutkan hasil pemanggilan yang diperoleh pada langkah sebelumnya.</li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/offline_data_flow_f91ac9cf4c.png" alt="offline data flow" class="doc-image" id="offline-data-flow" />
   </span> <span class="img-wrapper"> <span>Aliran data offline</span> </span></p>
<h3 id="Online-data-flow" class="common-anchor-header">Aliran data online</h3><ol>
<li>Menerima permintaan kueri dari pengguna dan mengumpulkan profil pengguna.</li>
<li>Pahami permintaan pengguna dengan mengidentifikasi kebutuhan mereka akan lemari pakaian.</li>
<li>Pencarian kasar menggunakan Elasticsearch.</li>
<li>Beri skor dan rangking hasil yang diperoleh dari pencarian kasar berdasarkan perhitungan kemiripan vektor di Milvus.</li>
<li>Memproses dan mengatur hasil pada platform back-end untuk menghasilkan hasil akhir.</li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/online_data_flow_1f2af25cc3.png" alt="online data flow" class="doc-image" id="online-data-flow" />
   </span> <span class="img-wrapper"> <span>Aliran data online</span> </span></p>
<h3 id="Data-post-processing" class="common-anchor-header">Pasca-pemrosesan data</h3><p>Logika bisnis bervariasi di antara setiap perusahaan. Anda dapat menambahkan sentuhan akhir pada hasil dengan menerapkan logika bisnis perusahaan Anda.</p>
<h2 id="System-demo" class="common-anchor-header">Demo sistem<button data-href="#System-demo" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Sekarang mari kita lihat bagaimana sistem yang kita bangun bekerja.</p>
<p>Antarmuka pengguna (UI) menampilkan kemungkinan kombinasi yang berbeda dari komponen-komponen lemari pakaian.</p>
<p>Setiap komponen diberi label berdasarkan fiturnya (ukuran, warna, dll.) dan disimpan dalam Elasticsearch (ES). Ketika menyimpan label di ES, ada empat bidang data utama yang harus diisi: ID, tag, jalur penyimpanan, dan bidang pendukung lainnya. ES dan data berlabel digunakan untuk pemanggilan kembali granular dan penyaringan atribut.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/es_d5b0639610.png" alt="es" class="doc-image" id="es" />
   </span> <span class="img-wrapper"> <span>es</span> </span></p>
<p>Kemudian algoritme AI yang berbeda digunakan untuk mengkodekan lemari pakaian ke dalam satu set vektor. Kumpulan vektor tersebut disimpan di Milvus untuk pencarian dan pemeringkatan kemiripan. Langkah ini memberikan hasil yang lebih halus dan akurat.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Milvus_38dd93a439.jpeg" alt="Milvus" class="doc-image" id="milvus" />
   </span> <span class="img-wrapper"> <span>Milvus</span> </span></p>
<p>Elasticsearch, Milvus, dan komponen sistem lainnya secara keseluruhan membentuk platform desain kustomisasi secara keseluruhan. Untuk mengingat kembali, bahasa khusus domain (DSL) di Elasticsearch dan Milvus adalah sebagai berikut.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/dsl_df60097d23.png" alt="dsl" class="doc-image" id="dsl" />
   </span> <span class="img-wrapper"> <span>dsl</span> </span></p>
<h2 id="Looking-for-more-resources" class="common-anchor-header">Mencari sumber daya lainnya?<button data-href="#Looking-for-more-resources" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Pelajari bagaimana basis data vektor Milvus dapat mendukung lebih banyak aplikasi AI:</p>
<ul>
<li><a href="https://milvus.io/blog/2022-06-23-How-Short-video-Platform-Likee-Removes-Duplicate-Videos-with-Milvus.md">Bagaimana Platform Video Pendek Likee Menghapus Video Duplikat dengan Milvus</a></li>
<li><a href="https://milvus.io/blog/2022-06-20-Zhentu-the-Photo-Fraud-Detector-Based-on-Milvus.md">Zhentu - Pendeteksi Penipuan Foto Berdasarkan Milvus</a></li>
</ul>


Membangun Sistem Kustomisasi Lemari Pakaian Cerdas yang Didukung oleh Basis Data Vektor Milvus

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/How_Short_video_Platform_Likee_Removes_Duplicate_Videos_with_Milvus_07bd75ec82.png" alt="Cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>Gambar sampul depan</span> </span></p>
<blockquote>
<p>Artikel ini ditulis oleh Xinyang Guo dan Baoyu Han, insinyur di BIGO, dan diterjemahkan oleh <a href="https://www.linkedin.cn/incareer/in/rosie-zhang-694528149">Rosie Zhang</a>.</p>
</blockquote>
<p><a href="https://www.bigo.sg/">BIGO Technology</a> (BIGO) adalah salah satu perusahaan teknologi Singapura dengan pertumbuhan tercepat. Didukung oleh teknologi kecerdasan buatan, produk dan layanan berbasis video BIGO telah mendapatkan popularitas yang luar biasa di seluruh dunia, dengan lebih dari 400 juta pengguna di lebih dari 150 negara. Produk dan layanan tersebut termasuk <a href="https://www.bigo.tv/bigo_intro/en.html?hk=true">Bigo Live</a> (live streaming) dan <a href="https://likee.video/">Likee</a> (video berdurasi pendek).</p>
<p>Likee adalah platform pembuatan video pendek global di mana pengguna dapat berbagi momen, mengekspresikan diri, dan terhubung dengan dunia. Untuk meningkatkan pengalaman pengguna dan merekomendasikan konten yang lebih berkualitas kepada pengguna, Likee perlu menyaring video duplikat dari sejumlah besar video yang dibuat oleh pengguna setiap harinya, yang mana hal ini bukanlah tugas yang mudah.</p>
<p>Blog ini menyajikan bagaimana BIGO menggunakan <a href="https://milvus.io">Milvus</a>, database vektor sumber terbuka, untuk menghapus video duplikat secara efektif.</p>
<p><strong>Langsung ke:</strong></p>
<ul>
<li><a href="#Overview">Gambaran Umum</a></li>
<li><a href="#Video-deduplication-workflow">Alur kerja deduplikasi video</a></li>
<li><a href="#System-architecture">Arsitektur Sistem</a></li>
<li><a href="#Using-Milvus-vector-database-to-power-similarity-search">Menggunakan Milvus untuk mendukung pencarian kemiripan</a></li>
</ul>
<custom-h1>Gambaran Umum</custom-h1><p>Milvus adalah basis data vektor sumber terbuka yang menampilkan pencarian vektor yang sangat cepat. Didukung oleh Milvus, Likee dapat menyelesaikan pencarian dalam waktu 200 ms sekaligus memastikan tingkat penarikan yang tinggi. Sementara itu, dengan menskalakan <a href="https://milvus.io/docs/v2.0.x/scaleout.md#Scale-a-Milvus-Cluster">Milvus secara horizontal</a>, Likee berhasil meningkatkan hasil pencarian vektor, sehingga meningkatkan efisiensinya.</p>
<custom-h1>Alur kerja deduplikasi video</custom-h1><p>Bagaimana cara Likee mengidentifikasi video duplikat? Setiap kali video kueri dimasukkan ke dalam sistem Likee, video tersebut akan dipotong menjadi 15-20 frame dan setiap frame akan diubah menjadi vektor fitur. Kemudian Likee mencari dalam database 700 juta vektor untuk menemukan K vektor yang paling mirip. Masing-masing dari K vektor teratas berhubungan dengan sebuah video dalam database. Likee selanjutnya melakukan pencarian yang disempurnakan untuk mendapatkan hasil akhir dan menentukan video yang akan dihapus.</p>
<custom-h1>Arsitektur sistem</custom-h1><p>Mari kita lihat lebih dekat bagaimana sistem de-duplikasi video Likee bekerja menggunakan Milvus. Seperti yang ditunjukkan pada diagram di bawah ini, video baru yang diunggah ke Likee akan ditulis ke Kafka, sebuah sistem penyimpanan data, secara real-time dan dikonsumsi oleh konsumen Kafka. Vektor fitur dari video-video ini diekstraksi melalui model pembelajaran mendalam, di mana data tidak terstruktur (video) diubah menjadi vektor fitur. Vektor fitur ini akan dikemas oleh sistem dan dikirim ke auditor kemiripan.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Likee_1_6f7ebcd8fc.png" alt="Architechure of Likee's video de-duplication system" class="doc-image" id="architechure-of-likee's-video-de-duplication-system" />
   </span> <span class="img-wrapper"> <span>Arsitektur sistem de-duplikasi video Likee</span> </span></p>
<p>Vektor fitur yang diekstraksi akan diindeks oleh Milvus dan disimpan di Ceph, sebelum <a href="https://milvus.io/blog/deep-dive-5-real-time-query.md">dimuat oleh simpul kueri Milvus</a> untuk pencarian lebih lanjut. ID video yang sesuai dari vektor fitur ini juga akan disimpan secara bersamaan di TiDB atau Pika sesuai dengan kebutuhan yang sebenarnya.</p>
<h3 id="Using-Milvus-vector-database-to-power-similarity-search" class="common-anchor-header">Menggunakan basis data vektor Milvus untuk mendukung pencarian kemiripan</h3><p>Ketika mencari vektor yang mirip, miliaran data yang ada, bersama dengan sejumlah besar data baru yang dihasilkan setiap hari, menimbulkan tantangan besar pada fungsionalitas mesin pencari vektor. Setelah melakukan analisis menyeluruh, Likee akhirnya memilih Milvus, mesin pencari vektor terdistribusi dengan kinerja tinggi dan tingkat recall yang tinggi, untuk melakukan pencarian kemiripan vektor.</p>
<p>Seperti yang ditunjukkan pada diagram di bawah ini, prosedur pencarian kemiripan adalah sebagai berikut:</p>
<ol>
<li><p>Pertama, Milvus melakukan pencarian batch untuk mengingat 100 vektor yang mirip untuk setiap vektor fitur yang diekstrak dari video baru. Setiap vektor yang mirip terikat dengan ID video yang sesuai.</p></li>
<li><p>Kedua, dengan membandingkan ID video, Milvus menghapus video duplikat dan mengambil vektor fitur dari video yang tersisa dari TiDB atau Pika.</p></li>
<li><p>Terakhir, Milvus menghitung dan memberi nilai kemiripan antara setiap set vektor fitur yang diambil dan vektor fitur dari video kueri. ID video dengan skor tertinggi dikembalikan sebagai hasilnya. Dengan demikian pencarian kemiripan video selesai.</p></li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/02_a24d251c8f.png" alt="Procedure of a similarity search" class="doc-image" id="procedure-of-a-similarity-search" />
   </span> <span class="img-wrapper"> <span>Prosedur pencarian kemiripan</span> </span></p>
<p>Sebagai mesin pencari vektor berkinerja tinggi, Milvus telah melakukan pekerjaan yang luar biasa dalam sistem de-duplikasi video Likee, yang sangat mendorong pertumbuhan bisnis video pendek BIGO. Dalam hal bisnis video, ada banyak skenario lain di mana Milvus dapat diterapkan, seperti pemblokiran konten ilegal atau rekomendasi video yang dipersonalisasi. Baik BIGO maupun Milvus menantikan kerja sama di masa depan di lebih banyak bidang.</p>


Bagaimana Platform Video Pendek Likee Menghapus Video Duplikat dengan Milvus

Pencarian Kemiripan yang Terukur dan Sangat Cepat dengan Basis Data Vektor Milvus

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/zhentu_0ae11c98ee.png" alt="cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>gambar sampul</span> </span></p>
<blockquote>
<p>Artikel ini ditulis oleh Yan Shi dan Minwei Tang, insinyur algoritme senior di BestPay, dan diterjemahkan oleh <a href="https://www.linkedin.cn/incareer/in/rosie-zhang-694528149">Rosie Zhang</a>.</p>
</blockquote>
<p>Dalam beberapa tahun terakhir, seiring dengan semakin lazimnya e-commerce dan transaksi online di seluruh dunia, penipuan e-commerce juga berkembang pesat. Dengan menggunakan foto yang dihasilkan komputer dan bukan foto asli untuk lolos verifikasi identitas pada platform bisnis online, penipu membuat akun palsu dalam jumlah besar dan menguangkan penawaran khusus bisnis (misalnya hadiah keanggotaan, kupon, token), yang menyebabkan kerugian yang tidak dapat diperbaiki baik bagi konsumen maupun bisnis.</p>
<p>Metode pengendalian risiko tradisional tidak lagi efektif dalam menghadapi sejumlah besar data. Untuk mengatasi masalah tersebut, <a href="https://www.bestpay.com.cn">BestPay</a> menciptakan pendeteksi penipuan foto, yaitu Zhentu (artinya mendeteksi gambar dalam bahasa Mandarin), berdasarkan teknologi deep learning (DL) dan digital image processing (DIP). Zhentu dapat digunakan untuk berbagai skenario yang melibatkan pengenalan gambar, dengan salah satu cabang penting adalah identifikasi izin usaha palsu. Jika foto izin usaha yang dikirimkan oleh pengguna sangat mirip dengan foto lain yang sudah ada di perpustakaan foto platform, kemungkinan besar pengguna telah mencuri foto tersebut di suatu tempat atau telah memalsukan lisensi untuk tujuan penipuan.</p>
<p>Algoritme tradisional untuk mengukur kemiripan gambar, seperti <a href="https://en.wikipedia.org/wiki/Peak_signal-to-noise_ratio">PSNR</a> dan ORB, lambat dan tidak akurat, dan hanya dapat digunakan untuk tugas-tugas offline. Di sisi lain, deep learning mampu memproses data gambar berskala besar secara real-time dan merupakan metode terbaik untuk mencocokkan gambar yang mirip. Dengan upaya bersama dari tim R&amp;D BestPay dan <a href="https://milvus.io/">komunitas Milvus</a>, sebuah sistem pendeteksi penipuan foto dikembangkan sebagai bagian dari Zhentu. Sistem ini berfungsi dengan mengubah data gambar dalam jumlah besar menjadi vektor fitur melalui model pembelajaran mendalam dan memasukkannya ke dalam <a href="https://milvus.io/">Milvus</a>, mesin pencari vektor. Dengan Milvus, sistem pendeteksi ini dapat mengindeks triliunan vektor dan secara efisien mengambil foto yang serupa di antara puluhan juta gambar.</p>
<p><strong>Langsung ke:</strong></p>
<ul>
<li><a href="#an-overview-of-zhentu">Gambaran umum tentang Zhentu</a></li>
<li><a href="#system-structure">Struktur sistem</a></li>
<li><a href="#deployment"><strong>Penerapan</strong></a></li>
<li><a href="#real-world-performance"><strong>Kinerja dunia nyata</strong></a></li>
<li><a href="#reference"><strong>Referensi</strong></a></li>
<li><a href="#about-bestpay"><strong>Tentang BestPay</strong></a></li>
</ul>
<h2 id="An-overview-of-Zhentu" class="common-anchor-header">Gambaran umum tentang Zhentu<button data-href="#An-overview-of-Zhentu" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Zhentu adalah produk kontrol risiko visual multimedia yang dirancang sendiri oleh BestPay yang terintegrasi secara mendalam dengan pembelajaran mesin (ML) dan teknologi pengenalan gambar jaringan saraf. Algoritme bawaannya dapat secara akurat mengidentifikasi penipu selama otentikasi pengguna dan merespons pada tingkat milidetik. Dengan teknologi terdepan di industri dan solusi inovatifnya, Zhentu telah memenangkan lima paten dan dua hak cipta perangkat lunak. Sekarang ini digunakan di sejumlah bank dan lembaga keuangan untuk membantu mengidentifikasi potensi risiko sebelumnya.</p>
<h2 id="System-structure" class="common-anchor-header">Struktur sistem<button data-href="#System-structure" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>BestPay saat ini memiliki lebih dari 10 juta foto izin usaha, dan volume aktualnya masih terus bertambah secara eksponensial seiring dengan pertumbuhan bisnis. Untuk mengambil foto yang mirip dengan cepat dari database yang begitu besar, Zhentu telah memilih Milvus sebagai mesin penghitung kemiripan vektor fitur. Struktur umum sistem deteksi penipuan foto ditunjukkan pada diagram di bawah ini.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Structure_of_the_photo_fraud_detection_system_cf5d20d431.png" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<p>Prosedurnya dapat dibagi menjadi empat langkah:</p>
<ol>
<li><p>Pra-pemrosesan gambar. Pra-pemrosesan, termasuk pengurangan noise, penghilangan noise, dan peningkatan kontras, memastikan integritas informasi asli dan penghilangan informasi yang tidak berguna dari sinyal gambar.</p></li>
<li><p>Ekstraksi vektor fitur. Model pembelajaran mendalam yang dilatih secara khusus digunakan untuk mengekstrak vektor fitur gambar. Mengubah gambar menjadi vektor untuk pencarian kemiripan lebih lanjut adalah operasi rutin.</p></li>
<li><p>Normalisasi. Normalisasi vektor fitur yang diekstraksi membantu meningkatkan efisiensi pemrosesan selanjutnya.</p></li>
<li><p>Pencarian vektor dengan Milvus. Memasukkan vektor fitur yang telah dinormalisasi ke dalam basis data Milvus untuk pencarian kemiripan vektor.</p></li>
</ol>
<h2 id="Deployment" class="common-anchor-header"><strong>Penerapan</strong><button data-href="#Deployment" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Berikut ini adalah penjelasan singkat tentang bagaimana sistem pendeteksi penipuan foto Zhentu digunakan.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/milvus_architecture_ea45a5ab53.png" alt="Milvus system architecture" class="doc-image" id="milvus-system-architecture" />
   </span> <span class="img-wrapper"> <span>Arsitektur sistem Milvus</span> </span></p>
<p>Kami menerapkan <a href="https://milvus.io/docs/v2.0.x/install_cluster-helm.md">cluster Milvus</a> kami <a href="https://milvus.io/docs/v2.0.x/install_cluster-helm.md">di Kubernetes</a> untuk memastikan ketersediaan tinggi dan sinkronisasi layanan cloud secara real-time. Langkah-langkah umumnya adalah sebagai berikut:</p>
<ol>
<li><p>Lihat sumber daya yang tersedia. Jalankan perintah <code translate="no">kubectl describe nodes</code> untuk melihat sumber daya yang dapat dialokasikan oleh klaster Kubernetes ke kasus yang dibuat.</p></li>
<li><p>Alokasikan sumber daya. Jalankan perintah <code translate="no">kubect`` -- apply xxx.yaml</code> untuk mengalokasikan sumber daya memori dan CPU untuk komponen cluster Milvus menggunakan Helm.</p></li>
<li><p>Menerapkan konfigurasi baru. Jalankan perintah <code translate="no">helm upgrade my-release milvus/milvus --reuse-values -fresources.yaml</code>.</p></li>
<li><p>Terapkan konfigurasi baru ke cluster Milvus. Cluster yang digunakan dengan cara ini tidak hanya memungkinkan kita untuk menyesuaikan kapasitas sistem sesuai dengan kebutuhan bisnis yang berbeda, tetapi juga memenuhi persyaratan kinerja tinggi untuk pengambilan data vektor yang sangat besar.</p></li>
</ol>
<p>Anda dapat <a href="https://milvus.io/docs/v2.0.x/configure-docker.md">mengonfigurasi Milvus</a> untuk mengoptimalkan kinerja pencarian untuk berbagai jenis data dari skenario bisnis yang berbeda, seperti yang ditunjukkan dalam dua contoh berikut.</p>
<p>Dalam <a href="https://milvus.io/docs/v2.0.x/build_index.md">membangun indeks vektor</a>, kami memparameterkan indeks sesuai dengan skenario sistem yang sebenarnya sebagai berikut:</p>
<pre><code translate="no" class="language-Python">index = {<span class="hljs-string">&quot;index_type&quot;</span>: <span class="hljs-string">&quot;IVF_PQ&quot;</span>, <span class="hljs-string">&quot;params&quot;</span>: {<span class="hljs-string">&quot;nlist&quot;</span>: <span class="hljs-number">2048</span>}, <span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&quot;IP&quot;</span>}
<button class="copy-code-btn"></button></code></pre>
<p><a href="https://milvus.io/docs/v2.0.x/index.md#IVF_PQ">IVF_PQ</a> melakukan pengelompokan indeks IVF sebelum mengkuantifikasi hasil kali vektor. Ini fitur permintaan disk berkecepatan tinggi dan konsumsi memori yang sangat rendah, yang memenuhi kebutuhan aplikasi dunia nyata Zhentu.</p>
<p>Selain itu, kami menetapkan parameter pencarian optimal sebagai berikut:</p>
<pre><code translate="no" class="language-Python">search_params = {<span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&quot;IP&quot;</span>, <span class="hljs-string">&quot;params&quot;</span>: {<span class="hljs-string">&quot;nprobe&quot;</span>: <span class="hljs-number">32</span>}}
<button class="copy-code-btn"></button></code></pre>
<p>Karena vektor sudah dinormalisasi sebelum dimasukkan ke dalam Milvus, inner product (IP) dipilih untuk menghitung jarak antara dua vektor. Eksperimen telah membuktikan bahwa tingkat penarikan kembali meningkat sekitar 15% dengan menggunakan IP dibandingkan dengan menggunakan jarak Euclidean (L2).</p>
<p>Contoh-contoh di atas menunjukkan bahwa kita dapat menguji dan mengatur parameter Milvus sesuai dengan skenario bisnis dan persyaratan kinerja yang berbeda.</p>
<p>Selain itu, Milvus tidak hanya mengintegrasikan pustaka indeks yang berbeda, tetapi juga mendukung berbagai jenis indeks dan metode penghitungan kemiripan. Milvus juga menyediakan SDK resmi dalam berbagai bahasa dan API yang kaya untuk penyisipan, kueri, dll., yang memungkinkan grup bisnis front-end kami untuk menggunakan SDK untuk memanggil pusat kendali risiko.</p>
<h2 id="Real-world-performance" class="common-anchor-header"><strong>Performa dunia nyata</strong><button data-href="#Real-world-performance" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Sejauh ini, sistem pendeteksi penipuan foto telah berjalan dengan mantap, membantu bisnis untuk mengidentifikasi calon penipu. Pada tahun 2021, sistem ini mendeteksi lebih dari 20.000 lisensi palsu sepanjang tahun. Dalam hal kecepatan kueri, kueri vektor tunggal di antara puluhan juta vektor membutuhkan waktu kurang dari 1 detik, dan waktu rata-rata kueri batch kurang dari 0,08 detik. Pencarian berkinerja tinggi dari Milvus memenuhi kebutuhan bisnis akan akurasi dan konkurensi.</p>
<h2 id="Reference" class="common-anchor-header"><strong>Referensi</strong><button data-href="#Reference" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Aglave P, Kolkure V S. Implementasi Metode Ekstraksi Fitur Berkinerja Tinggi Menggunakan Algoritma Berorientasi Cepat dan Berputar Singkat [J]. Int. J. Res. Eng. Technol, 2015, 4: 394-397.</p>
<h2 id="About-BestPay" class="common-anchor-header"><strong>Tentang BestPay</strong><button data-href="#About-BestPay" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>China Telecom BestPay Co, Ltd adalah anak perusahaan yang sepenuhnya dimiliki oleh China Telecom. Perusahaan ini mengoperasikan bisnis pembayaran dan keuangan. BestPay berkomitmen untuk menggunakan teknologi mutakhir seperti data besar, kecerdasan buatan, dan komputasi awan untuk memberdayakan inovasi bisnis, menyediakan produk cerdas, solusi pengendalian risiko, dan layanan lainnya. Hingga Januari 2016, aplikasi BestPay telah menarik lebih dari 200 juta pengguna dan menjadi operator platform pembayaran terbesar ketiga di Tiongkok, setelah Alipay dan WeChat Payment.</p>


Zhentu - Pendeteksi Penipuan Foto Berdasarkan Milvus

Rakit atau tidak? Solusi Terbaik untuk Konsistensi Data dalam Database Cloud-native

Apa yang Mendukung Pencarian Kemiripan di Basis Data Vektor Milvus?

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Deep_Dive_7_baae830823.png" alt="Cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>Gambar sampul depan</span> </span></p>
<blockquote>
<p>Artikel ini diterjemahkan oleh <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni</a>.</p>
</blockquote>
<p><a href="https://milvus.io/docs/v2.0.x/query.md">Kueri vektor</a> di Milvus adalah proses pengambilan vektor melalui pemfilteran skalar berdasarkan ekspresi boolean. Dengan pemfilteran skalar, pengguna dapat membatasi hasil kueri mereka dengan kondisi tertentu yang diterapkan pada atribut data. Sebagai contoh, jika pengguna mencari film yang dirilis pada tahun 1990-2010 dan memiliki skor lebih tinggi dari 8.5, maka hanya film yang memiliki atribut (tahun rilis dan skor) yang memenuhi syarat.</p>
<p>Tulisan ini bertujuan untuk melihat bagaimana sebuah kueri diselesaikan di Milvus mulai dari input ekspresi kueri hingga pembuatan rencana kueri dan eksekusi kueri.</p>
<p><strong>Langsung ke:</strong></p>
<ul>
<li><a href="#Query-expression">Ekspresi kueri</a></li>
<li><a href="#Plan-AST-generation">Rencana pembuatan AST</a></li>
<li><a href="#Query-execution">Eksekusi kueri</a></li>
</ul>
<h2 id="Query-expression" class="common-anchor-header">Ekspresi kueri<button data-href="#Query-expression" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Ekspresi kueri dengan pemfilteran atribut di Milvus mengadopsi sintaks EBNF (Extended Backus-Naur form). Gambar di bawah ini adalah aturan ekspresi di Milvus.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Expression_Syntax_966493a5be.png" alt="Expression Syntax" class="doc-image" id="expression-syntax" />
   </span> <span class="img-wrapper"> <span>Sintaks Ekspresi</span> </span></p>
<p>Ekspresi logika dapat dibuat dengan menggunakan kombinasi operator logika biner, operator logika unary, ekspresi logika, dan ekspresi tunggal. Karena sintaks EBNF itu sendiri bersifat rekursif, sebuah ekspresi logis dapat merupakan hasil kombinasi atau bagian dari ekspresi logis yang lebih besar. Ekspresi logika dapat berisi banyak ekspresi sub-logika. Aturan yang sama berlaku di Milvus. Jika pengguna perlu memfilter atribut dari hasil dengan banyak kondisi, pengguna dapat membuat set kondisi pemfilteran sendiri dengan mengkombinasikan operator dan ekspresi logika yang berbeda.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Boolean_expression_1_dce12f8483.png" alt="Boolean expression" class="doc-image" id="boolean-expression" />
   </span> <span class="img-wrapper"> <span>Ekspresi Boolean</span> </span></p>
<p>Gambar di atas menunjukkan bagian dari <a href="https://milvus.io/docs/v2.0.x/boolean.md">aturan ekspresi Boolean</a> di Milvus. Operator logika unary dapat ditambahkan ke sebuah ekspresi. Saat ini Milvus hanya mendukung operator logika unary &quot;not&quot;, yang mengindikasikan bahwa sistem perlu mengambil vektor-vektor yang nilai medan skalarnya tidak memenuhi hasil perhitungan. Operator logika biner termasuk &quot;dan&quot; dan &quot;atau&quot;. Ekspresi tunggal termasuk ekspresi istilah dan ekspresi perbandingan.</p>
<p>Perhitungan aritmatika dasar seperti penjumlahan, pengurangan, perkalian, dan pembagian juga didukung selama kueri di Milvus. Gambar berikut ini menunjukkan urutan operasi. Operator didaftar dari atas ke bawah dalam urutan prioritas.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Precedence_b8cfbdf17b.png" alt="Precedence" class="doc-image" id="precedence" />
   </span> <span class="img-wrapper"> <span>Prioritas</span> </span></p>
<h3 id="How-a-query-expression-on-certain-films-is-processed-in-Milvus" class="common-anchor-header">Bagaimana ekspresi kueri pada film tertentu diproses di Milvus?</h3><p>Misalkan ada banyak sekali data film yang tersimpan di Milvus dan pengguna ingin menanyakan film tertentu. Sebagai contoh, setiap data film yang disimpan di Milvus memiliki lima bidang berikut: ID film, tahun rilis, jenis film, skor, dan poster. Dalam contoh ini, tipe data dari ID film dan tahun rilis adalah int64, sedangkan skor film adalah data float point. Selain itu, poster film disimpan dalam format vektor float-point, dan tipe film dalam format data string. Khususnya, dukungan untuk tipe data string adalah fitur baru dalam Milvus 2.1.</p>
<p>Sebagai contoh, jika pengguna ingin meminta film dengan skor lebih tinggi dari 8,5. Film-film tersebut juga harus dirilis selama satu dekade sebelum tahun 2000 hingga satu dekade setelah tahun 2000 atau jenis filmnya adalah film komedi atau film aksi, pengguna harus memasukkan ekspresi predikat berikut ini: <code translate="no">score &gt; 8.5 &amp;&amp; (2000 - 10 &lt; release_year &lt; 2000 + 10 || type in [comedy,action])</code>.</p>
<p>Setelah menerima ekspresi kueri, sistem akan menjalankannya dengan urutan sebagai berikut:</p>
<ol>
<li>Kueri untuk film dengan skor lebih tinggi dari 8,5. Hasil kueri disebut &quot;hasil1&quot;.</li>
<li>Hitung 2000 - 10 untuk mendapatkan "result2" (1990).</li>
<li>Hitung 2000 + 10 untuk mendapatkan "result3" (2010).</li>
<li>Kueri untuk film dengan nilai <code translate="no">release_year</code> lebih besar dari &quot;result2&quot; dan lebih kecil dari &quot;result3&quot;. Dengan kata lain, sistem perlu melakukan kueri untuk film yang dirilis antara tahun 1990 dan 2010. Hasil kueri disebut &quot;result4&quot;.</li>
<li>Kueri untuk film yang merupakan film komedi atau film aksi. Hasil kueri disebut &quot;result5&quot;.</li>
<li>Kombinasikan "result4" dan "result5" untuk mendapatkan film yang dirilis antara tahun 1990 dan 2010 atau termasuk dalam kategori film komedi atau aksi. Hasilnya disebut &quot;result6&quot;.</li>
<li>Ambil bagian yang sama dari "result1" dan "result6" untuk mendapatkan hasil akhir yang memenuhi semua persyaratan.</li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Frame_1_16_00972a6e5d.png" alt="Film example" class="doc-image" id="film-example" />
   </span> <span class="img-wrapper"> <span>Contoh film</span> </span></p>
<h2 id="Plan-AST-generation" class="common-anchor-header">Rencanakan pembuatan AST<button data-href="#Plan-AST-generation" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus memanfaatkan alat sumber terbuka <a href="https://www.antlr.org/">ANTLR</a> (ANother Tool for Language Recognition) untuk membuat rencana AST (pohon sintaksis abstrak). ANTLR adalah generator pengurai yang kuat untuk membaca, memproses, mengeksekusi, atau menerjemahkan struktur teks atau file biner. Lebih khusus lagi, ANTLR dapat menghasilkan parser untuk membangun dan menjalankan pohon parsing berdasarkan sintaks atau aturan yang telah ditentukan sebelumnya. Gambar berikut ini adalah contoh di mana ekspresi masukannya adalah &quot;SP=100;&quot;. LEXER, fungsionalitas pengenalan bahasa bawaan dalam ANTLR, menghasilkan empat token untuk ekspresi input - &quot;SP&quot;, &quot;=&quot;, &quot;100&quot;, dan &quot;;&quot;. Kemudian alat ini akan mem-parsing keempat token tersebut untuk menghasilkan pohon parsing yang sesuai.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/parse_tree_b2c3fb0b36.png" alt="parse tree" class="doc-image" id="parse-tree" />
   </span> <span class="img-wrapper"> <span>pohon penguraian</span> </span></p>
<p>Mekanisme walker adalah bagian yang sangat penting dalam alat ANTLR. Ini dirancang untuk berjalan melalui semua pohon parsing untuk memeriksa apakah setiap node mematuhi aturan sintaks, atau untuk mendeteksi kata-kata sensitif tertentu. Beberapa API yang relevan tercantum dalam gambar di bawah ini. Karena ANTLR dimulai dari simpul akar dan turun melalui setiap sub-simpul hingga ke bawah, maka tidak perlu membedakan urutan cara menelusuri pohon parsing.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/parse_tree_walker_9a27942502.png" alt="parse tree walker" class="doc-image" id="parse-tree-walker" />
   </span> <span class="img-wrapper"> <span>pejalan pohon parsing</span> </span></p>
<p>Milvus menghasilkan PlanAST untuk kueri dengan cara yang mirip dengan ANTLR. Namun, menggunakan ANTLR membutuhkan pendefinisian ulang aturan sintaks yang agak rumit. Oleh karena itu, Milvus mengadopsi salah satu aturan yang paling umum - aturan ekspresi Boolean, dan bergantung pada paket <a href="https://github.com/antonmedv/expr">Expr</a> yang bersumber terbuka di GitHub untuk melakukan kueri dan mengurai sintaks ekspresi kueri.</p>
<p>Selama kueri dengan pemfilteran atribut, Milvus akan menghasilkan pohon rencana primitif yang belum terpecahkan menggunakan pengurai semut, metode penguraian yang disediakan oleh Expr, setelah menerima ekspresi kueri. Pohon rencana primitif yang akan kita dapatkan adalah pohon biner sederhana. Kemudian pohon rencana tersebut akan di-tuning oleh Expr dan pengoptimal bawaan di Milvus. Pengoptimal di Milvus sangat mirip dengan mekanisme walker yang telah disebutkan sebelumnya. Karena fungsionalitas pengoptimalan pohon rencana yang disediakan oleh Expr cukup canggih, beban pengoptimal bawaan Milvus sangat diringankan. Pada akhirnya, penganalisis menganalisis pohon rencana yang dioptimalkan dengan cara rekursif untuk menghasilkan AST rencana dalam struktur <a href="https://developers.google.com/protocol-buffers">penyangga protokol</a> (protobuf).</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/plan_AST_workflow_3e50b7a0d4.png" alt="plan AST workflow" class="doc-image" id="plan-ast-workflow" />
   </span> <span class="img-wrapper"> <span>merencanakan alur kerja AST</span> </span></p>
<h2 id="Query-execution" class="common-anchor-header">Eksekusi kueri<button data-href="#Query-execution" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Eksekusi kueri pada dasarnya adalah eksekusi plan AST yang dihasilkan pada langkah sebelumnya.</p>
<p>Dalam Milvus, plan AST didefinisikan dalam sebuah struktur protobuf. Gambar di bawah ini adalah pesan dengan struktur protobuf. Ada enam jenis ekspresi, di antaranya ekspresi biner dan ekspresi unary yang selanjutnya dapat memiliki ekspresi logika biner dan ekspresi logika unary.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Protobuf1_232132dcf2.png" alt="protobuf1" class="doc-image" id="protobuf1" />
   </span> <span class="img-wrapper"> <span>protobuf1</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/protobuf2_193f92f033.png" alt="protobuf2" class="doc-image" id="protobuf2" />
   </span> <span class="img-wrapper"> <span>protobuf2</span> </span></p>
<p>Gambar di bawah ini adalah gambar UML dari ekspresi kueri. Gambar ini menunjukkan kelas dasar dan kelas turunan dari setiap ekspresi. Setiap kelas dilengkapi dengan metode untuk menerima parameter pengunjung. Ini adalah pola desain pengunjung yang khas. Milvus menggunakan pola ini untuk mengeksekusi rancangan AST karena keuntungan terbesarnya adalah pengguna tidak perlu melakukan apa pun pada ekspresi primitif tetapi dapat secara langsung mengakses salah satu metode dalam pola untuk memodifikasi kelas ekspresi kueri tertentu dan elemen-elemen yang relevan.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/UML_1238bc30e1.png" alt="UML" class="doc-image" id="uml" />
   </span> <span class="img-wrapper"> <span>UML</span> </span></p>
<p>Ketika mengeksekusi sebuah plan AST, Milvus pertama-tama menerima sebuah node plan tipe proto. Kemudian node rencana tipe segcore diperoleh melalui proto parser C++ internal. Setelah mendapatkan dua jenis node rencana, Milvus menerima serangkaian akses kelas dan kemudian memodifikasi dan mengeksekusi dalam struktur internal node rencana. Terakhir, Milvus mencari semua node rencana eksekusi untuk mendapatkan hasil yang disaring. Hasil akhirnya adalah keluaran dalam format bitmask. Bitmask adalah sebuah larik angka bit ("0" dan "1"). Data yang memenuhi persyaratan filter ditandai sebagai "1" dalam bitmask, sedangkan yang tidak memenuhi persyaratan ditandai sebagai "0" dalam bitmask.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/execute_workflow_d89f1ee925.png" alt="execute workflow" class="doc-image" id="execute-workflow" />
   </span> <span class="img-wrapper"> <span>jalankan alur kerja</span> </span></p>
<h2 id="About-the-Deep-Dive-Series" class="common-anchor-header">Tentang Seri Deep Dive<button data-href="#About-the-Deep-Dive-Series" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Dengan <a href="https://milvus.io/blog/2022-1-25-annoucing-general-availability-of-milvus-2-0.md">pengumuman resmi ketersediaan umum</a> Milvus 2.0, kami menyusun seri blog Milvus Deep Dive ini untuk memberikan interpretasi mendalam tentang arsitektur dan kode sumber Milvus. Topik-topik yang dibahas dalam seri blog ini meliputi:</p>
<ul>
<li><a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">Gambaran umum arsitektur Milvus</a></li>
<li><a href="https://milvus.io/blog/deep-dive-2-milvus-sdk-and-api.md">API dan SDK Python</a></li>
<li><a href="https://milvus.io/blog/deep-dive-3-data-processing.md">Pemrosesan data</a></li>
<li><a href="https://milvus.io/blog/deep-dive-4-data-insertion-and-data-persistence.md">Manajemen data</a></li>
<li><a href="https://milvus.io/blog/deep-dive-5-real-time-query.md">Kueri waktu nyata</a></li>
<li><a href="https://milvus.io/blog/deep-dive-7-query-expression.md">Mesin eksekusi skalar</a></li>
<li><a href="https://milvus.io/blog/deep-dive-6-oss-qa.md">Sistem QA</a></li>
<li><a href="https://milvus.io/blog/deep-dive-8-knowhere.md">Mesin eksekusi vektor</a></li>
</ul>


Bagaimana Basis Data Memahami dan Menjalankan Kueri Anda?

Jaminan Kualitas Perangkat Lunak Sumber Terbuka (OSS) - Studi Kasus Milvus

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220516_163732_d40acac221.png" alt="Cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>Gambar sampul</span> </span></p>
<p>Baru-baru ini kami mencapai tonggak sejarah yang luar biasa dalam perjalanan basis data vektor - lebih dari 10 ribu bintang di <a href="https://github.com/milvus-io/milvus">repositori GitHub Milvus.</a> Terima kasih kepada Anda semua yang telah mendukung kami dengan memberikan bintang ⭐️.</p>
<p>Sudah 2,5 tahun yang luar biasa sejak Milvus menjadi proyek sumber terbuka. Ketika kami pertama kali memulai, sangat sedikit orang yang mengerti apa itu basis data vektor, apalagi berbicara tentang bagaimana basis data vektor dapat memungkinkan dan mempercepat adopsi AI dalam kehidupan sehari-hari. Basis data vektor Milvus membawa visi kami untuk mendefinisikan dan membangun basis data generasi berikutnya untuk AI. Kami menggabungkan algoritme SOTA dengan teknologi cloud dalam proyek Milvus sehingga para pengembang dapat membangun aplikasi AI dengan mudah menggunakan basis data vektor Milvus.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Milvus_0_10000_d50a914332.gif" alt="Gif2" class="doc-image" id="gif2" />
   </span> <span class="img-wrapper"> <span>Gif2</span> </span></p>
<div align="center">Klik <a href="https://www.youtube.com/watch?v=zIAX_oPI2Jk&ab_channel=Milvus-VectorDatabase">di sini</a> untuk menonton video lengkap visualisasi pengembangan repositori Milvus.</div>
<p><br/></p>
<p>Ada banyak <a href="https://github.com/milvus-io/milvus">proyek brilian</a> yang menjadi fondasi Milvus, dan kami bersyukur bisa berdiri di pundak para raksasa. Tanpa mereka, Milvus tidak akan pernah ada.</p>
<p>Kami juga sangat berterima kasih kepada komunitas kami yang luar biasa, yang telah membantu membuka babak baru yang menarik untuk jenis database baru ini. Sebelum kita melihat ke depan, kami ingin meluangkan waktu sejenak untuk merefleksikan perjalanan ini, melihat tonggak-tonggak sejarah kami dan mengakui dan berterima kasih kepada para pengembang kami:</p>
<ul>
<li>Kami bergabung dengan LF AI &amp; Data Foundation pada tingkat <a href="https://lfaidata.foundation/blog/2020/04/02/milvus-joins-lf-ai-as-new-incubation-project/">inkubasi</a>, menemukan rumah kami bersama banyak proyek AI dan data open source lainnya. Sekarang Milvus sudah menjadi <a href="https://lfaidata.foundation/blog/2021/06/23/lf-ai-data-foundation-announces-graduation-of-milvus-project/">proyek kelulusan</a>.</li>
<li>Kami telah merilis dua rilis utama: <a href="https://milvus.io/docs/v1.0.0/announcement.md">Milvus 1.0</a> dan <a href="https://milvus.io/docs/v2.0.x/comparison.md">Milvus 2.0</a>.</li>
<li>Sebuah makalah SIGMOD telah diterbitkan: <a href="https://dl.acm.org/doi/abs/10.1145/3448016.3457550">Milvus: Sistem Manajemen Data Vektor yang Dibangun Khusus</a>.</li>
<li>Saat ini, kami memiliki lebih dari 10.000 anggota komunitas dan lebih dari 220 kontributor di seluruh dunia.</li>
<li>Ada lebih dari <a href="https://milvus.io/">1000 pengguna perusahaan</a> yang mengadopsi Milvus. Di antara mereka, ada banyak pemimpin industri.</li>
</ul>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Milvus_10000_star_timeline_3sec_de1a7c906a.gif" alt="Timeline gif" class="doc-image" id="timeline-gif" />
   </span> <span class="img-wrapper"> <span>Garis waktu gif</span> </span></p>
<p>Semua ini hanya dimungkinkan oleh setiap orang yang berkontribusi. Terima kasih atas pull request, laporan masalah, email, pertemuan, dan berbagi pengetahuan Anda tentang Milvus. Anda semua memainkan peran penting dalam kemajuan Milvus.</p>
<h2 id="Special-event" class="common-anchor-header">Acara khusus<button data-href="#Special-event" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Untuk tonggak sejarah yang istimewa ini, kami telah menyiapkan hadiah kecil sebagai ucapan terima kasih - <a href="https://assets.zilliz.com/10_K_stars_2b2e0e0b36.png">wallpaper desktop yang dapat diunduh</a>. Semoga Anda menikmatinya!</p>
<p>Kami akan sangat senang jika Anda membantu <a href="https://twitter.com/milvusio">menyebarkannya</a>! ❤️</p>


Langkah Kecil untuk Milvus - 10.000 Bintang

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/deep_dive_5_5e9175c7f7.png" alt="Cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>Gambar sampul depan</span> </span></p>
<blockquote>
<p>Artikel ini ditulis oleh <a href="https://github.com/xige-16">Xi Ge</a> dan diterjemahkan oleh <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni</a>.</p>
</blockquote>
<p>Pada artikel sebelumnya, kita telah membahas tentang <a href="https://milvus.io/blog/deep-dive-4-data-insertion-and-data-persistence.md">penyisipan data dan persistensi data</a> di Milvus. Dalam artikel ini, kami akan terus menjelaskan bagaimana <a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">berbagai komponen</a> dalam Milvus berinteraksi satu sama lain untuk menyelesaikan kueri data real-time.</p>
<p><em>Beberapa sumber daya yang berguna sebelum memulai tercantum di bawah ini. Kami sarankan untuk membacanya terlebih dahulu untuk lebih memahami topik dalam artikel ini.</em></p>
<ul>
<li><a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">Mendalami arsitektur Milvus</a></li>
<li><a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md#Data-Model">Model data Milvus</a></li>
<li><a href="https://milvus.io/docs/v2.0.x/four_layers.md">Peran dan fungsi dari setiap komponen Milvus</a></li>
<li><a href="https://milvus.io/blog/deep-dive-3-data-processing.md">Pemrosesan data di Milvus</a></li>
<li><a href="https://milvus.io/blog/deep-dive-4-data-insertion-and-data-persistence.md">Penyisipan data dan persistensi data di Milvus</a></li>
</ul>
<h2 id="Load-data-to-query-node" class="common-anchor-header">Memuat data ke simpul kueri<button data-href="#Load-data-to-query-node" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Sebelum sebuah query dieksekusi, data harus dimuat ke dalam node query terlebih dahulu.</p>
<p>Ada dua jenis data yang dimuat ke node kueri: data streaming dari <a href="https://milvus.io/docs/v2.0.x/four_layers.md#Log-broker">log broker</a>, dan data historis dari <a href="https://milvus.io/docs/v2.0.x/four_layers.md#Object-storage">penyimpanan objek</a> (juga disebut penyimpanan persisten di bawah).</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/flowchart_b1c51dfdaa.png" alt="Flowchart" class="doc-image" id="flowchart" />
   </span> <span class="img-wrapper"> <span>Diagram alir</span> </span></p>
<p>Data coord bertanggung jawab untuk menangani data streaming yang secara terus menerus dimasukkan ke dalam Milvus. Ketika pengguna Milvus memanggil <code translate="no">collection.load()</code> untuk memuat sebuah koleksi, query coord akan menanyakan kepada data coord untuk mengetahui segmen mana yang telah disimpan dalam penyimpanan dan checkpoint yang sesuai. Checkpoint adalah tanda yang menandakan bahwa segmen yang disimpan sebelum checkpoint akan dikonsumsi, sementara yang setelah checkpoint tidak.</p>
<p>Kemudian, koordinat kueri mengeluarkan strategi alokasi berdasarkan informasi dari koordinat data: baik berdasarkan segmen atau saluran. Pengalokasi segmen bertanggung jawab untuk mengalokasikan segmen dalam penyimpanan persisten (data batch) ke node kueri yang berbeda. Misalnya, pada gambar di atas, pengalokasi segmen mengalokasikan segmen 1 dan 3 (S1, S3) ke node kueri 1, dan segmen 2 dan 4 (S2, S4) ke node kueri 2. Pengalokasi saluran menetapkan node kueri yang berbeda untuk mengawasi beberapa <a href="https://milvus.io/docs/v2.0.x/data_processing.md#Data-insertion">saluran</a> manipulasi data (DMChannels) di broker log. Misalnya, pada gambar di atas, pengalokasi saluran menetapkan node kueri 1 untuk menonton saluran 1 (Ch1), dan node kueri 2 untuk menonton saluran 2 (Ch2).</p>
<p>Dengan strategi alokasi, setiap node kueri memuat data segmen dan menonton saluran yang sesuai. Pada simpul kueri 1 pada gambar, data historis (data batch), dimuat melalui S1 dan S3 yang dialokasikan dari penyimpanan persisten. Sementara itu, simpul kueri 1 memuat data tambahan (data streaming) dengan berlangganan saluran 1 di broker log.</p>
<h2 id="Data-management-in-query-node" class="common-anchor-header">Manajemen data di simpul kueri<button data-href="#Data-management-in-query-node" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Sebuah simpul kueri perlu mengelola data historis dan data tambahan. Data historis disimpan dalam <a href="https://milvus.io/blog/deep-dive-4-data-insertion-and-data-persistence.md#Sealed-segment">segmen tertutup</a> sementara data tambahan disimpan dalam <a href="https://milvus.io/blog/deep-dive-4-data-insertion-and-data-persistence.md#Growing-segment">segmen</a> yang terus bertambah.</p>
<h3 id="Historical-data-management" class="common-anchor-header">Manajemen data historis</h3><p>Ada dua pertimbangan utama untuk manajemen data historis: keseimbangan beban dan kegagalan simpul kueri.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/load_balance_c77e22bb5c.png" alt="Load balance" class="doc-image" id="load-balance" />
   </span> <span class="img-wrapper"> <span>Keseimbangan beban</span> </span></p>
<p>Sebagai contoh, seperti yang ditunjukkan dalam ilustrasi, simpul kueri 4 telah dialokasikan lebih banyak segmen tertutup daripada simpul kueri lainnya. Kemungkinan besar, hal ini akan membuat node kueri 4 menjadi hambatan yang memperlambat seluruh proses kueri. Untuk mengatasi masalah ini, sistem perlu mengalokasikan beberapa segmen di simpul kueri 4 ke simpul kueri lainnya. Ini disebut keseimbangan beban.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Query_node_failover_3278c0e307.png" alt="Query node failover" class="doc-image" id="query-node-failover" />
   </span> <span class="img-wrapper"> <span>Peralihan simpul kueri</span> </span></p>
<p>Situasi lain yang mungkin terjadi diilustrasikan pada gambar di atas. Salah satu node, node kueri 4, tiba-tiba mati. Dalam kasus ini, beban (segmen yang dialokasikan ke node kueri 4) perlu ditransfer ke node kueri lain yang berfungsi untuk memastikan keakuratan hasil kueri.</p>
<h3 id="Incremental-data-management" class="common-anchor-header">Manajemen data tambahan</h3><p>Node kueri mengawasi DMChannels untuk menerima data tambahan. Flowgraph diperkenalkan dalam proses ini. Pertama-tama menyaring semua pesan penyisipan data. Hal ini untuk memastikan bahwa hanya data dalam partisi tertentu yang dimuat. Setiap koleksi dalam Milvus memiliki saluran yang sesuai, yang digunakan bersama oleh semua partisi dalam koleksi tersebut. Oleh karena itu, flowgraph diperlukan untuk menyaring data yang disisipkan jika pengguna Milvus hanya perlu memuat data pada partisi tertentu. Jika tidak, data di semua partisi dalam koleksi akan dimuat ke simpul kueri.</p>
<p>Setelah disaring, data tambahan dimasukkan ke dalam segmen yang sedang berkembang, dan selanjutnya diteruskan ke node waktu server.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/flow_graph_dc58651367.png" alt="Flowgraph" class="doc-image" id="flowgraph" />
   </span> <span class="img-wrapper"> <span>Diagram alir</span> </span></p>
<p>Selama penyisipan data, setiap pesan penyisipan diberi stempel waktu. Pada DMChannel yang ditunjukkan pada gambar di atas, data disisipkan secara berurutan, dari kiri ke kanan. Cap waktu untuk pesan penyisipan pertama adalah 1; yang kedua, 2; dan yang ketiga, 6. Pesan keempat yang ditandai dengan warna merah bukanlah pesan penyisipan, melainkan pesan penanda waktu. Hal ini untuk menandakan bahwa data yang disisipkan dengan timestamp yang lebih kecil dari timetick ini sudah ada di dalam log broker. Dengan kata lain, data yang disisipkan setelah pesan timetick ini harus memiliki timestamp yang nilainya lebih besar dari timetick ini. Sebagai contoh, pada gambar di atas, ketika simpul kueri melihat bahwa timetick saat ini adalah 5, ini berarti semua pesan penyisipan yang nilai timestamp-nya kurang dari 5 dimuat ke simpul kueri.</p>
<p>Node waktu server memberikan nilai <code translate="no">tsafe</code> yang diperbarui setiap kali menerima timetick dari node penyisipan. <code translate="no">tsafe</code> berarti waktu aman, dan semua data yang disisipkan sebelum titik waktu ini dapat ditanyakan. Sebagai contoh, jika <code translate="no">tsafe</code> = 9, data yang disisipkan dengan cap waktu yang lebih kecil dari 9 semuanya dapat ditanyakan.</p>
<h2 id="Real-time-query-in-Milvus" class="common-anchor-header">Kueri waktu nyata di Milvus<button data-href="#Real-time-query-in-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Kueri real-time di Milvus diaktifkan oleh pesan kueri. Pesan kueri dimasukkan ke dalam perantara log oleh proksi. Kemudian node kueri mendapatkan pesan kueri dengan melihat saluran kueri di log broker.</p>
<h3 id="Query-message" class="common-anchor-header">Pesan kueri</h3><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/query_message_4d57814f47.png" alt="Query message" class="doc-image" id="query-message" />
   </span> <span class="img-wrapper"> <span>Pesan kueri</span> </span></p>
<p>Pesan kueri mencakup informasi penting berikut tentang kueri:</p>
<ul>
<li><code translate="no">msgID</code>: ID pesan, ID pesan kueri yang ditetapkan oleh sistem.</li>
<li><code translate="no">collectionID</code>: ID koleksi yang akan ditanyakan (jika ditentukan oleh pengguna).</li>
<li><code translate="no">execPlan</code>: Rencana eksekusi terutama digunakan untuk pemfilteran atribut dalam kueri.</li>
<li><code translate="no">service_ts</code>: Stempel waktu layanan akan diperbarui bersama dengan <code translate="no">tsafe</code> yang disebutkan di atas. Stempel waktu layanan menandakan pada titik mana layanan masuk. Semua data yang dimasukkan sebelum <code translate="no">service_ts</code> tersedia untuk kueri.</li>
<li><code translate="no">travel_ts</code>: Stempel waktu perjalanan menentukan rentang waktu di masa lalu. Dan kueri akan dilakukan pada data yang ada pada periode waktu yang ditentukan oleh <code translate="no">travel_ts</code>.</li>
<li><code translate="no">guarantee_ts</code>: Guarantee timestamp menentukan periode waktu setelah kueri perlu dilakukan. Query hanya akan dilakukan ketika <code translate="no">service_ts</code> &gt; <code translate="no">guarantee_ts</code>.</li>
</ul>
<h3 id="Real-time-query" class="common-anchor-header">Kueri waktu nyata</h3><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/query_process_7f676972d8.png" alt="Query process" class="doc-image" id="query-process" />
   </span> <span class="img-wrapper"> <span>Proses kueri</span> </span></p>
<p>Ketika pesan kueri diterima, Milvus pertama-tama menilai apakah waktu layanan saat ini, <code translate="no">service_ts</code>, lebih besar daripada cap waktu jaminan, <code translate="no">guarantee_ts</code>, dalam pesan kueri. Jika ya, permintaan akan dieksekusi. Kueri akan dilakukan secara paralel pada data historis dan data tambahan. Karena mungkin ada tumpang tindih data antara data streaming dan data batch, tindakan yang disebut "pengurangan lokal" diperlukan untuk menyaring hasil kueri yang berlebihan.</p>
<p>Namun, jika waktu layanan saat ini lebih kecil dari stempel waktu jaminan dalam pesan kueri yang baru dimasukkan, pesan kueri akan menjadi pesan yang belum terselesaikan dan menunggu untuk diproses sampai waktu layanan menjadi lebih besar dari stempel waktu jaminan.</p>
<p>Hasil kueri pada akhirnya didorong ke saluran hasil. Proxy memperoleh hasil query dari saluran tersebut. Demikian juga, proxy akan melakukan "pengurangan global" juga karena menerima hasil dari beberapa node kueri dan hasil kueri mungkin berulang.</p>
<p>Untuk memastikan bahwa proxy telah menerima semua hasil kueri sebelum mengembalikannya ke SDK, pesan hasil juga akan menyimpan catatan informasi termasuk segmen tertutup yang dicari, DMChannels yang dicari, dan segmen tertutup global (semua segmen pada semua node kueri). Sistem dapat menyimpulkan bahwa proxy telah menerima semua hasil kueri hanya jika kedua kondisi berikut terpenuhi:</p>
<ul>
<li>Gabungan semua segmen tersegel yang dicari yang dicatat dalam semua pesan hasil lebih besar dari segmen tersegel global,</li>
<li>Semua DMChannels dalam koleksi ditanyakan.</li>
</ul>
<p>Pada akhirnya, proxy mengembalikan hasil akhir setelah "pengurangan global" ke Milvus SDK.</p>
<h2 id="About-the-Deep-Dive-Series" class="common-anchor-header">Tentang Seri Deep Dive<button data-href="#About-the-Deep-Dive-Series" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Dengan <a href="https://milvus.io/blog/2022-1-25-annoucing-general-availability-of-milvus-2-0.md">pengumuman resmi ketersediaan umum</a> Milvus 2.0, kami menyusun seri blog Milvus Deep Dive ini untuk memberikan interpretasi mendalam tentang arsitektur dan kode sumber Milvus. Topik-topik yang dibahas dalam seri blog ini meliputi:</p>
<ul>
<li><a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">Gambaran umum arsitektur Milvus</a></li>
<li><a href="https://milvus.io/blog/deep-dive-2-milvus-sdk-and-api.md">API dan SDK Python</a></li>
<li><a href="https://milvus.io/blog/deep-dive-3-data-processing.md">Pemrosesan data</a></li>
<li><a href="https://milvus.io/blog/deep-dive-4-data-insertion-and-data-persistence.md">Manajemen data</a></li>
<li><a href="https://milvus.io/blog/deep-dive-5-real-time-query.md">Kueri waktu nyata</a></li>
<li><a href="https://milvus.io/blog/deep-dive-7-query-expression.md">Mesin eksekusi skalar</a></li>
<li><a href="https://milvus.io/blog/deep-dive-6-oss-qa.md">Sistem QA</a></li>
<li><a href="https://milvus.io/blog/deep-dive-8-knowhere.md">Mesin eksekusi vektor</a></li>
</ul>


Menggunakan Basis Data Vektor Milvus untuk Kueri Waktu Nyata

Penyisipan Data dan Persistensi Data dalam Basis Data Vektor

Bagaimana Data Diproses dalam Basis Data Vektor?

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220322_175856_e8e7bea7dc.png" alt="Cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>Gambar sampul</span> </span></p>
<p>Oleh <a href="https://github.com/XuanYang-cn">Xuan Yang</a></p>
<h2 id="Background" class="common-anchor-header">Latar Belakang<button data-href="#Background" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Ilustrasi berikut menggambarkan interaksi antara SDK dan Milvus melalui gRPC. Bayangkan Milvus adalah sebuah kotak hitam. Buffer Protokol digunakan untuk mendefinisikan antarmuka server, dan struktur informasi yang dibawanya. Oleh karena itu, semua operasi dalam kotak hitam Milvus didefinisikan oleh Protocol API.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/SDK_10c9673111.png" alt="Interaction" class="doc-image" id="interaction" />
   </span> <span class="img-wrapper"> <span>Interaksi</span> </span></p>
<h2 id="Milvus-Protocol-API" class="common-anchor-header">API Protokol Milvus<button data-href="#Milvus-Protocol-API" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus Protocol API terdiri dari <code translate="no">milvus.proto</code>, <code translate="no">common.proto</code>, dan <code translate="no">schema.proto</code>, yang merupakan file Protocol Buffer yang diakhiri dengan <code translate="no">.proto</code>. Untuk memastikan operasi yang tepat, SDK harus berinteraksi dengan Milvus dengan file Buffer Protokol ini.</p>
<h3 id="milvusproto" class="common-anchor-header">milvus.proto</h3><p><code translate="no">milvus.proto</code> adalah komponen penting dari API Protokol Milvus karena mendefinisikan <code translate="no">MilvusService</code>, yang selanjutnya mendefinisikan semua antarmuka RPC Milvus.</p>
<p>Contoh kode berikut ini menunjukkan antarmuka <code translate="no">CreatePartitionRequest</code>. Antarmuka ini memiliki dua parameter tipe string utama <code translate="no">collection_name</code> dan <code translate="no">partition_name</code>, yang digunakan untuk memulai permintaan pembuatan partisi.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/code_d5f034d58d.png" alt="CreatePartitionRequest" class="doc-image" id="createpartitionrequest" />
   </span> <span class="img-wrapper"> <span>CreatePartitionRequest</span> </span></p>
<p>Lihat contoh Protokol di <a href="https://github.com/milvus-io/milvus-proto/blob/44f59db22b27cc55e4168c8e53b6e781c010a713/proto/milvus.proto">Repositori GitHub PyMilvus</a> pada baris 19.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/create_partition_938691f07f.png" alt="Example" class="doc-image" id="example" />
   </span> <span class="img-wrapper"> <span>Contoh</span> </span></p>
<p>Anda dapat menemukan definisi dari <code translate="no">CreatePartitionRequest</code> di sini.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220321_112254_4ec4f35bd3.png" alt="Definition" class="doc-image" id="definition" />
   </span> <span class="img-wrapper"> <span>Definisi</span> </span></p>
<p>Kontributor yang ingin mengembangkan fitur Milvus atau SDK dalam bahasa pemrograman yang berbeda dipersilahkan untuk menemukan semua antarmuka yang ditawarkan Milvus melalui RPC.</p>
<h3 id="commonproto" class="common-anchor-header">common.proto</h3><p><code translate="no">common.proto</code> mendefinisikan jenis-jenis informasi yang umum, termasuk <code translate="no">ErrorCode</code>, dan <code translate="no">Status</code>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220321_112303_eaafc432a8.png" alt="common.proto" class="doc-image" id="common.proto" />
   </span> <span class="img-wrapper"> <span>common.proto</span> </span></p>
<h3 id="schemaproto" class="common-anchor-header">schema.proto</h3><p><code translate="no">schema.proto</code> mendefinisikan skema dalam parameter. Contoh kode berikut ini adalah contoh dari <code translate="no">CollectionSchema</code>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220321_112313_df4ebe36e7.png" alt="schema.proto" class="doc-image" id="schema.proto" />
   </span> <span class="img-wrapper"> <span>schema.proto</span> </span></p>
<p><code translate="no">milvus.proto</code>, <code translate="no">common.proto</code>, dan <code translate="no">schema.proto</code> bersama-sama membentuk API Milvus, mewakili semua operasi yang dapat dipanggil melalui RPC.</p>
<p>Jika Anda menggali kode sumber dan mengamati dengan seksama, Anda akan menemukan bahwa ketika antarmuka seperti <code translate="no">create_index</code> dipanggil, mereka sebenarnya memanggil beberapa antarmuka RPC seperti <code translate="no">describe_collection</code> dan <code translate="no">describe_index</code>. Banyak antarmuka luar Milvus adalah kombinasi dari beberapa antarmuka RPC.</p>
<p>Setelah memahami perilaku RPC, Anda kemudian dapat mengembangkan fitur-fitur baru untuk Milvus melalui kombinasi. Anda dipersilahkan untuk menggunakan imajinasi dan kreativitas Anda dan berkontribusi pada komunitas Milvus.</p>
<h2 id="PyMilvus-20" class="common-anchor-header">PyMilvus 2.0<button data-href="#PyMilvus-20" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="Object-relational-mapping-ORM" class="common-anchor-header">Pemetaan relasional objek (ORM)</h3><p>Secara singkatnya, Object-relational mapping (ORM) mengacu pada saat Anda beroperasi pada sebuah objek lokal, operasi tersebut akan mempengaruhi objek yang terkait di server. API gaya ORM PyMilvus memiliki karakteristik sebagai berikut:</p>
<ol>
<li>Beroperasi langsung pada objek.</li>
<li>Mengisolasi logika layanan dan detail akses data.</li>
<li>API ini menyembunyikan kompleksitas implementasi, dan Anda dapat menjalankan skrip yang sama di berbagai instance Milvus terlepas dari pendekatan penerapan atau implementasinya.</li>
</ol>
<h3 id="ORM-style-API" class="common-anchor-header">API bergaya ORM</h3><p>Salah satu esensi dari ORM-style API terletak pada kontrol koneksi Milvus. Sebagai contoh, Anda dapat menentukan alias untuk beberapa server Milvus, dan menyambungkan atau memutuskan koneksi dari server-server tersebut hanya dengan menggunakan alias mereka. Anda bahkan dapat menghapus alamat server lokal, dan mengontrol objek tertentu melalui koneksi tertentu secara tepat.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220321_112320_d5ff08a582.png" alt="Control Connection" class="doc-image" id="control-connection" />
   </span> <span class="img-wrapper"> <span>Mengontrol Koneksi</span> </span></p>
<p>Fitur lain dari API gaya ORM adalah, setelah abstraksi, semua operasi dapat dilakukan secara langsung pada objek, termasuk koleksi, partisi, dan indeks.</p>
<p>Anda dapat mengabstraksikan objek koleksi dengan mengambil objek yang sudah ada atau membuat yang baru. Anda juga dapat menetapkan koneksi Milvus ke objek tertentu menggunakan connection alias, sehingga Anda dapat beroperasi pada objek-objek ini secara lokal.</p>
<p>Untuk membuat objek partisi, Anda dapat membuatnya dengan objek koleksi induknya, atau Anda dapat melakukannya seperti ketika Anda membuat objek koleksi. Metode-metode ini juga dapat digunakan pada objek indeks.</p>
<p>Jika objek partisi atau objek indeks ini ada, Anda bisa mendapatkannya melalui objek koleksi induknya.</p>
<h2 id="About-the-Deep-Dive-Series" class="common-anchor-header">Tentang Seri Deep Dive<button data-href="#About-the-Deep-Dive-Series" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Dengan <a href="https://milvus.io/blog/2022-1-25-annoucing-general-availability-of-milvus-2-0.md">pengumuman resmi ketersediaan umum</a> Milvus 2.0, kami menyusun seri blog Milvus Deep Dive ini untuk memberikan interpretasi mendalam tentang arsitektur dan kode sumber Milvus. Topik-topik yang dibahas dalam seri blog ini meliputi:</p>
<ul>
<li><a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">Gambaran umum arsitektur Milvus</a></li>
<li><a href="https://milvus.io/blog/deep-dive-2-milvus-sdk-and-api.md">API dan SDK Python</a></li>
<li><a href="https://milvus.io/blog/deep-dive-3-data-processing.md">Pemrosesan data</a></li>
<li><a href="https://milvus.io/blog/deep-dive-4-data-insertion-and-data-persistence.md">Manajemen data</a></li>
<li><a href="https://milvus.io/blog/deep-dive-5-real-time-query.md">Kueri waktu nyata</a></li>
<li><a href="https://milvus.io/blog/deep-dive-7-query-expression.md">Mesin eksekusi skalar</a></li>
<li><a href="https://milvus.io/blog/deep-dive-6-oss-qa.md">Sistem QA</a></li>
<li><a href="https://milvus.io/blog/deep-dive-8-knowhere.md">Mesin eksekusi vektor</a></li>
</ul>


Pengantar ke Milvus Python SDK dan API

Membangun Basis Data Vektor untuk Pencarian Kemiripan yang Dapat Diskalakan

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Attu_3ff9a76156.png" alt="Binlog Cover Image" class="doc-image" id="binlog-cover-image" />
   </span> <span class="img-wrapper"> <span>Gambar Sampul Binlog</span> </span></p>
<p>Draf oleh <a href="https://github.com/czhen-zilliz">Zhen Chen</a> dan transkreasi oleh <a href="https://github.com/LocoRichard">Lichen Wang</a>.</p>
<p style="font-size: 12px;color: #4c5a67">Klik <a href="https://zilliz.com/blog/manage-your-milvus-vector-database-with-one-click-simplicity">di sini</a> untuk melihat tulisan aslinya.</p> 
<p>Dalam menghadapi permintaan yang berkembang pesat untuk pemrosesan data yang tidak terstruktur, Milvus 2.0 menonjol. Ini adalah sistem basis data vektor berorientasi AI yang dirancang untuk skenario produksi besar-besaran. Terlepas dari semua SDK Milvus dan Milvus CLI, antarmuka baris perintah untuk Milvus, adakah alat yang memungkinkan pengguna untuk mengoperasikan Milvus secara lebih intuitif? Jawabannya adalah YA. Zilliz telah mengumumkan sebuah antarmuka pengguna grafis - Attu - khusus untuk Milvus. Pada artikel ini, kami ingin menunjukkan kepada Anda langkah demi langkah cara melakukan pencarian kemiripan vektor dengan Attu.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/map_aa1cda30d4.png" alt="Attu island" class="doc-image" id="attu-island" />
   </span> <span class="img-wrapper"> <span>Pulau Attu</span> </span></p>
<p>Dibandingkan dengan Milvus CLI yang menghadirkan kesederhanaan penggunaan, Attu memiliki lebih banyak fitur:</p>
<ul>
<li>Penginstal untuk OS Windows, macOS, dan OS Linux;</li>
<li>GUI yang intuitif untuk penggunaan Milvus yang lebih mudah;</li>
<li>Cakupan fungsi utama Milvus;</li>
<li>Plugin untuk perluasan fungsi yang disesuaikan;</li>
<li>Informasi topologi sistem yang lengkap untuk memudahkan pemahaman dan administrasi instance Milvus.</li>
</ul>
<h2 id="Installation" class="common-anchor-header">Instalasi<button data-href="#Installation" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Anda dapat menemukan rilis terbaru Attu di <a href="https://github.com/zilliztech/attu/releases">GitHub</a>. Attu menawarkan pemasang yang dapat dieksekusi untuk sistem operasi yang berbeda. Ini adalah proyek sumber terbuka dan menerima kontribusi dari semua orang.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/installation_bbe62873af.png" alt="Installation" class="doc-image" id="installation" />
   </span> <span class="img-wrapper"> <span>Instalasi</span> </span></p>
<p>Anda juga dapat menginstal Attu melalui Docker.</p>
<pre><code translate="no" class="language-shell">docker run -p <span class="hljs-number">8000</span>:<span class="hljs-number">3000</span> -e <span class="hljs-variable constant_">HOST_URL</span>=<span class="hljs-attr">http</span>:<span class="hljs-comment">//{ attu IP }:8000 -e MILVUS_URL={milvus server IP}:19530 zilliz/attu:latest</span>
<button class="copy-code-btn"></button></code></pre>
<p><code translate="no">attu IP</code> <code translate="no">milvus server IP</code> adalah alamat IP lingkungan tempat Attu berjalan, dan adalah alamat IP lingkungan tempat Milvus berjalan.</p>
<p>Setelah berhasil menginstal Attu, Anda dapat memasukkan IP dan Port Milvus di antarmuka untuk memulai Attu.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/connect_1fde46d9d5.png" alt="Connect Milvus with Attu" class="doc-image" id="connect-milvus-with-attu" />
   </span> <span class="img-wrapper"> <span>Menghubungkan Milvus dengan Attu</span> </span></p>
<h2 id="Feature-overview" class="common-anchor-header">Ikhtisar fitur<button data-href="#Feature-overview" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/overview_591e230514.png" alt="Overview page" class="doc-image" id="overview-page" />
   </span> <span class="img-wrapper"> <span>Halaman Ikhtisar</span> </span></p>
<p>Antarmuka Attu terdiri dari halaman <strong>Ikhtisar</strong>, halaman <strong>Koleksi</strong>, halaman <strong>Pencarian Vektor</strong>, dan halaman <strong>Tampilan Sistem</strong>, masing-masing sesuai dengan empat ikon pada panel navigasi sisi kiri.</p>
<p>Halaman <strong>Ikhtisar</strong> menunjukkan koleksi yang dimuat. Sementara halaman <strong>Koleksi</strong> mencantumkan semua koleksi dan menunjukkan apakah koleksi tersebut dimuat atau dirilis.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/collection_42656fe308.png" alt="Collection page" class="doc-image" id="collection-page" />
   </span> <span class="img-wrapper"> <span>Halaman Koleksi</span> </span></p>
<p>Halaman <strong>Pencarian Vektor</strong> dan <strong>Tampilan Sistem</strong> adalah plugin dari Attu. Konsep dan penggunaan plugin akan diperkenalkan di bagian akhir blog ini.</p>
<p>Anda dapat melakukan pencarian kemiripan vektor di halaman <strong>Pencarian Vektor</strong>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/vector_search_be7365687c.png" alt="Vector Search page" class="doc-image" id="vector-search-page" />
   </span> <span class="img-wrapper"> <span>Halaman Pencarian Vektor</span> </span></p>
<p>Pada halaman <strong>System View</strong>, Anda dapat memeriksa struktur topologi Milvus.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/system_view_e1df15023d.png" alt="System View page" class="doc-image" id="system-view-page" />
   </span> <span class="img-wrapper"> <span>Halaman Tampilan Sistem</span> </span></p>
<p>Anda juga dapat memeriksa informasi rinci dari setiap node dengan mengklik node tersebut.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/node_view_5bbc25f9b2.png" alt="Node view" class="doc-image" id="node-view" />
   </span> <span class="img-wrapper"> <span>Tampilan simpul</span> </span></p>
<h2 id="Demonstration" class="common-anchor-header">Demonstrasi<button data-href="#Demonstration" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Mari jelajahi Attu dengan dataset uji coba.</p>
<p>Periksa <a href="https://github.com/zilliztech/attu/tree/main/examples">repositori GitHub</a> kami untuk dataset yang digunakan dalam pengujian berikut ini.</p>
<p>Pertama, buatlah koleksi bernama test dengan empat bidang berikut ini:</p>
<ul>
<li>Nama Bidang: id, bidang kunci utama</li>
<li>Nama Bidang: vektor, bidang vektor, vektor mengambang, Dimensi: 128</li>
<li>Nama Field: merek, bidang skalar, Int64</li>
<li>Nama Bidang: warna, bidang skalar, Int64</li>
</ul>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/create_collection_95dfa15354.png" alt="Create a collection" class="doc-image" id="create-a-collection" />
   </span> <span class="img-wrapper"> <span>Membuat koleksi</span> </span></p>
<p>Memuat koleksi untuk pencarian setelah berhasil dibuat.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/load_collection_fec39171df.png" alt="Load the collection" class="doc-image" id="load-the-collection" />
   </span> <span class="img-wrapper"> <span>Memuat koleksi</span> </span></p>
<p>Anda sekarang dapat memeriksa koleksi yang baru dibuat di halaman <strong>Ikhtisar.</strong> </p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/check_collection_163b05477e.png" alt="Check the collection" class="doc-image" id="check-the-collection" />
   </span> <span class="img-wrapper"> <span>Memeriksa koleksi</span> </span></p>
<p>Mengimpor dataset pengujian ke dalam Milvus.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/import_data_1_f73d71be85.png" alt="Import data" class="doc-image" id="import-data" />
   </span> <span class="img-wrapper"> <span>Mengimpor data</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/import_data_2_4b3c3c3c25.png" alt="Import data" class="doc-image" id="import-data" />
   </span> <span class="img-wrapper"> <span>Mengimpor data</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/import_data_3_0def4e8550.png" alt="Import data" class="doc-image" id="import-data" />
   </span> <span class="img-wrapper"> <span>Mengimpor data</span> </span></p>
<p>Klik nama koleksi di halaman Ikhtisar atau Koleksi untuk masuk ke antarmuka kueri untuk memeriksa data yang diimpor.</p>
<p>Tambahkan filter, tentukan ekspresi <code translate="no">id != 0</code>, klik <strong>Terapkan Filter</strong>, dan klik <strong>Kueri</strong>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/query_data_24d9f71ccc.png" alt="Query data" class="doc-image" id="query-data" />
   </span> <span class="img-wrapper"> <span>Kueri data</span> </span></p>
<p>Anda akan menemukan kelima puluh entri entitas berhasil diimpor.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/query_result_bcbbd17084.png" alt="Query result" class="doc-image" id="query-result" />
   </span> <span class="img-wrapper"> <span>Hasil kueri</span> </span></p>
<p>Mari kita coba pencarian kemiripan vektor.</p>
<p>Salin satu vektor dari <code translate="no">search_vectors.csv</code> dan tempelkan di bidang <strong>Nilai Vektor</strong>. Pilih koleksi dan bidangnya. Klik <strong>Cari</strong>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/search_data_5af3a1db53.png" alt="Search data" class="doc-image" id="search-data" />
   </span> <span class="img-wrapper"> <span>Cari data</span> </span></p>
<p>Anda kemudian dapat memeriksa hasil pencarian. Tanpa menyusun skrip apa pun, Anda dapat mencari dengan Milvus dengan mudah.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/search_result_961886efab.png" alt="Search result" class="doc-image" id="search-result" />
   </span> <span class="img-wrapper"> <span>Hasil pencarian</span> </span></p>
<p>Terakhir, mari kita periksa halaman <strong>System View</strong>.</p>
<p>Dengan Metrics API yang dienkapsulasi dalam Milvus Node.js SDK, Anda dapat memeriksa status sistem, relasi node, dan status node.</p>
<p>Sebagai fitur eksklusif dari Attu, halaman System Overview menyertakan grafik topologi sistem yang lengkap. Dengan mengklik setiap node, Anda dapat memeriksa statusnya (refresh setiap 10 detik).</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/topological_graph_d0c5c17586.png" alt="Milvus node topological graph" class="doc-image" id="milvus-node-topological-graph" />
   </span> <span class="img-wrapper"> <span>Grafik topologi node Milvus</span> </span></p>
<p>Klik pada setiap node untuk masuk ke <strong>Tampilan Daftar Node</strong>. Anda dapat memeriksa semua node anak dari node koordinat. Dengan mengurutkan, Anda dapat mengidentifikasi node dengan penggunaan CPU atau memori yang tinggi dengan cepat, dan menemukan masalah pada sistem.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/node_list_64fc610a8d.png" alt="Milvus node list" class="doc-image" id="milvus-node-list" />
   </span> <span class="img-wrapper"> <span>Daftar simpul Milvus</span> </span></p>
<h2 id="Whats-more" class="common-anchor-header">Apa lagi<button data-href="#Whats-more" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Seperti yang telah disebutkan sebelumnya, halaman <strong>Pencarian Vektor</strong> dan <strong>Tampilan Sistem</strong> adalah plugin dari Attu. Kami mendorong pengguna untuk mengembangkan plugin mereka sendiri di Attu agar sesuai dengan skenario aplikasi mereka. Di dalam kode sumber, ada folder yang dibuat khusus untuk kode plugin.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/plugins_a2d98e4e5b.png" alt="Plugins" class="doc-image" id="plugins" />
   </span> <span class="img-wrapper"> <span>Plugin</span> </span></p>
<p>Anda dapat merujuk ke salah satu plugin untuk mempelajari cara membuat plugin. Dengan mengatur file konfigurasi berikut, Anda dapat menambahkan plugin ke Attu.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/add_plugins_e3ef53cc0d.png" alt="Add plugins to Attu" class="doc-image" id="add-plugins-to-attu" />
   </span> <span class="img-wrapper"> <span>Menambahkan plugin ke Attu</span> </span></p>
<p>Anda dapat melihat <a href="https://github.com/zilliztech/attu/tree/main/doc">Attu GitHub Repo</a> dan <a href="https://milvus.io/docs/v2.0.x/attu.md">Dokumen Teknis Milvus</a> untuk instruksi terperinci.</p>
<p>Attu adalah proyek sumber terbuka. Semua kontribusi diterima. Anda juga dapat <a href="https://github.com/zilliztech/attu/issues">mengajukan masalah</a> jika Anda memiliki masalah dengan Attu.</p>
<p>Kami sangat berharap Attu dapat memberikan Anda pengalaman pengguna yang lebih baik dengan Milvus. Dan jika Anda menyukai Attu, atau memiliki masukan tentang penggunaannya, Anda dapat mengisi <a href="https://wenjuan.feishu.cn/m/cfm?t=suw4QnODU1ui-ok7r">Survei Pengguna Attu</a> untuk membantu kami mengoptimalkan Attu untuk pengalaman pengguna yang lebih baik.</p>


Kelola Basis Data Vektor Milvus Anda dengan Kemudahan Sekali Klik

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Load_balance_b2f35a5577.png" alt="Binlog Cover Image" class="doc-image" id="binlog-cover-image" />
   </span> <span class="img-wrapper"> <span>Gambar Sampul Binlog</span> </span></p>
<p>Oleh <a href="https://github.com/xige-16">Xi Ge</a>.</p>
<p>Dalam artikel blog sebelumnya, kami telah memperkenalkan fungsi Penghapusan, Bitset, dan Pemadatan di Milvus 2.0 secara berturut-turut. Sebagai penutup dari seri ini, kami ingin berbagi desain di balik Load Balance, sebuah fungsi penting dalam cluster terdistribusi Milvus.</p>
<h2 id="Implementation" class="common-anchor-header">Implementasi<button data-href="#Implementation" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Ketika jumlah dan ukuran segmen yang disangga di node kueri berbeda, kinerja pencarian di seluruh node kueri juga dapat bervariasi. Kasus terburuk dapat terjadi ketika beberapa node kueri kelelahan mencari data dalam jumlah besar, tetapi node kueri yang baru dibuat tetap menganggur karena tidak ada segmen yang didistribusikan kepada mereka, menyebabkan pemborosan sumber daya CPU yang sangat besar dan penurunan besar dalam kinerja pencarian.</p>
<p>Untuk menghindari keadaan seperti itu, koordinator kueri (query coord) diprogram untuk mendistribusikan segmen secara merata ke setiap node kueri sesuai dengan penggunaan RAM node. Oleh karena itu, sumber daya CPU dikonsumsi secara merata di seluruh node, sehingga secara signifikan meningkatkan kinerja pencarian.</p>
<h3 id="Trigger-automatic-load-balance" class="common-anchor-header">Memicu keseimbangan beban otomatis</h3><p>Menurut nilai default dari konfigurasi <code translate="no">queryCoord.balanceIntervalSeconds</code>, koordinat kueri memeriksa penggunaan RAM (dalam persentase) dari semua node kueri setiap 60 detik. Jika salah satu dari kondisi berikut ini terpenuhi, koordinat kueri mulai menyeimbangkan beban kueri di seluruh node kueri:</p>
<ol>
<li>Penggunaan RAM dari node kueri mana pun dalam klaster lebih besar dari <code translate="no">queryCoord.overloadedMemoryThresholdPercentage</code> (default: 90);</li>
<li>Atau nilai absolut dari perbedaan penggunaan RAM dari dua node kueri lebih besar dari <code translate="no">queryCoord.memoryUsageMaxDifferencePercentage</code> (default: 30).</li>
</ol>
<p>Setelah segmen ditransfer dari node kueri sumber ke node kueri tujuan, segmen tersebut juga harus memenuhi kedua kondisi berikut:</p>
<ol>
<li>Penggunaan RAM node kueri tujuan tidak lebih besar dari <code translate="no">queryCoord.overloadedMemoryThresholdPercentage</code> (default: 90);</li>
<li>Nilai absolut dari perbedaan penggunaan RAM node kueri sumber dan tujuan setelah penyeimbangan beban lebih kecil daripada sebelum penyeimbangan beban.</li>
</ol>
<p>Dengan kondisi di atas terpenuhi, koordinat kueri melanjutkan untuk menyeimbangkan beban kueri di seluruh node.</p>
<h2 id="Load-balance" class="common-anchor-header">Keseimbangan beban<button data-href="#Load-balance" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Ketika keseimbangan beban dipicu, koordinat kueri pertama-tama memuat segmen target ke node kueri tujuan. Kedua node kueri mengembalikan hasil pencarian dari segmen target pada setiap permintaan pencarian pada saat ini untuk menjamin kelengkapan hasil.</p>
<p>Setelah node kueri tujuan berhasil memuat segmen target, koordinat kueri menerbitkan <code translate="no">sealedSegmentChangeInfo</code> ke Saluran Kueri. Seperti yang ditunjukkan di bawah ini, <code translate="no">onlineNodeID</code> dan <code translate="no">onlineSegmentIDs</code> menunjukkan simpul kueri yang memuat segmen dan segmen yang dimuat masing-masing, dan <code translate="no">offlineNodeID</code> dan <code translate="no">offlineSegmentIDs</code> menunjukkan simpul kueri yang perlu melepaskan segmen dan segmen yang akan dilepaskan masing-masing.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220228_145413_f253cec15b.png" alt="sealedSegmentChangeInfo" class="doc-image" id="sealedsegmentchangeinfo" />
   </span> <span class="img-wrapper"> <span>sealedSegmentChangeInfo</span> </span></p>
<p>Setelah menerima <code translate="no">sealedSegmentChangeInfo</code>, node kueri sumber kemudian melepaskan segmen target.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220228_145436_2604bc57a5.png" alt="Load Balance Workflow" class="doc-image" id="load-balance-workflow" />
   </span> <span class="img-wrapper"> <span>Alur Kerja Keseimbangan Beban</span> </span></p>
<p>Seluruh proses berhasil ketika node kueri sumber melepaskan segmen target. Dengan menyelesaikannya, beban kueri diatur seimbang di seluruh node kueri, yang berarti penggunaan RAM semua node kueri tidak lebih besar dari <code translate="no">queryCoord.overloadedMemoryThresholdPercentage</code>, dan nilai absolut dari perbedaan penggunaan RAM node kueri sumber dan tujuan setelah penyeimbangan beban lebih kecil daripada sebelum penyeimbangan beban.</p>
<h2 id="Whats-next" class="common-anchor-header">Apa selanjutnya?<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Dalam blog seri fitur baru 2.0, kami bertujuan untuk menjelaskan desain fitur-fitur baru. Baca lebih lanjut dalam seri blog ini!</p>
<ul>
<li><a href="https://milvus.io/blog/2022-02-07-how-milvus-deletes-streaming-data-in-distributed-cluster.md">Bagaimana Milvus Menghapus Data Streaming dalam Cluster Terdistribusi</a></li>
<li><a href="https://milvus.io/blog/2022-2-21-compact.md">Bagaimana Cara Memadatkan Data di Milvus?</a></li>
<li><a href="https://milvus.io/blog/2022-02-28-how-milvus-balances-query-load-across-nodes.md">Bagaimana Milvus Menyeimbangkan Beban Kueri di Seluruh Node?</a></li>
<li><a href="https://milvus.io/blog/2022-2-14-bitset.md">Bagaimana Bitset Mengaktifkan Keserbagunaan Pencarian Kesamaan Vektor</a></li>
</ul>
<p>Ini adalah bagian akhir dari seri blog fitur baru Milvus 2.0. Setelah seri ini, kami merencanakan seri baru Milvus <a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">Deep Dive</a>, yang memperkenalkan arsitektur dasar Milvus 2.0. Mohon untuk terus mengikuti perkembangannya.</p>


Bagaimana Milvus Menyeimbangkan Beban Kueri di Seluruh Node?

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Compact_173a08ec1c.png" alt="Binlog Cover Image" class="doc-image" id="binlog-cover-image" />
   </span> <span class="img-wrapper"> <span>Gambar Sampul Binlog</span> </span></p>
<p>Oleh <a href="https://github.com/sunby">Bingyi Sun</a> dan <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni</a>.</p>
<p>Dengan <a href="https://milvus.io/blog/2022-1-25-annoucing-general-availability-of-milvus-2-0.md">dirilisnya</a> Milvus 2.0 GA secara <a href="https://milvus.io/blog/2022-1-25-annoucing-general-availability-of-milvus-2-0.md">resmi</a>, sejumlah fitur baru telah didukung. Di antaranya, pemadatan adalah salah satu fitur baru yang dapat membantu Anda menghemat ruang penyimpanan.</p>
<p>Pemadatan mengacu pada proses penggabungan segmen kecil menjadi segmen besar dan membersihkan data yang terhapus secara logis. Dengan kata lain, pemadatan mengurangi penggunaan ruang disk dengan membersihkan entitas yang dihapus atau kedaluwarsa dalam binlog. Ini adalah tugas latar belakang yang dipicu oleh <a href="https://milvus.io/docs/v2.0.x/four_layers.md#Data-coordinator-data-coord">data coord</a> dan dieksekusi oleh <a href="https://milvus.io/docs/v2.0.x/four_layers.md#Data-node">simpul data</a> di Milvus.</p>
<p>Artikel ini membedah konsep dan implementasi pemadatan di Milvus.</p>
<h2 id="What-is-compaction" class="common-anchor-header">Apa itu pemadatan?<button data-href="#What-is-compaction" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Sebelum membahas lebih dalam tentang bagaimana mengimplementasikan pemadatan di Milvus 2.0, sangat penting untuk mengetahui apa itu pemadatan di Milvus.</p>
<p>Sering kali, sebagai pengguna Milvus, Anda mungkin merasa terganggu dengan penggunaan ruang hard disk yang semakin meningkat. Masalah lainnya adalah segmen dengan kurang dari 1.024 baris tidak diindeks dan hanya mendukung pencarian brute-force untuk memproses kueri. Segmen kecil yang disebabkan oleh flush otomatis atau flush yang diminta oleh pengguna dapat menghambat efisiensi kueri.</p>
<p>Oleh karena itu, untuk mengatasi dua masalah yang disebutkan di atas dan membantu mengurangi penggunaan disk serta meningkatkan efisiensi kueri, Milvus mendukung pemadatan.</p>
<p>Basis data seperti <a href="https://github.com/google/leveldb">LevelDB</a> dan <a href="http://rocksdb.org/">RocksDB</a> menambahkan data ke tabel string yang diurutkan (SSTables). Rata-rata pembacaan disk per kueri meningkat seiring dengan jumlah SSTables, yang menyebabkan kueri tidak efisien. Untuk mengurangi amplifikasi pembacaan dan membebaskan ruang hard drive, basis data ini memadatkan SSTables menjadi satu. Proses pemadatan berjalan di latar belakang secara otomatis.</p>
<p>Demikian pula, Milvus menambahkan data yang disisipkan dan dihapus ke <a href="https://github.com/milvus-io/milvus/blob/master/docs/developer_guides/chap08_binlog.md">binlog</a>. Seiring bertambahnya jumlah binlog, semakin banyak ruang hard disk yang digunakan. Untuk membebaskan ruang hard disk, Milvus memadatkan binlog dari data yang dihapus dan disisipkan. Jika sebuah entitas disisipkan namun kemudian dihapus, maka entitas tersebut tidak lagi ada dalam binlog yang mencatat penyisipan atau penghapusan data setelah dipadatkan. Selain itu, Milvus juga memadatkan <a href="https://milvus.io/docs/v2.0.x/glossary.md#Segment">segmen</a> - file data yang secara otomatis dibuat oleh Milvus untuk menampung data yang disisipkan.</p>
<h2 id="How-to-configure-compaction" class="common-anchor-header">Bagaimana cara mengkonfigurasi pemadatan?<button data-href="#How-to-configure-compaction" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Konfigurasi pemadatan di Milvus terutama melibatkan dua parameter: <code translate="no">dataCoord.enableCompaction</code> dan <code translate="no">common.retentionDuration</code>.</p>
<p><code translate="no">dataCoord.enableCompaction</code> menentukan apakah akan mengaktifkan pemadatan. Nilai defaultnya adalah <code translate="no">true</code>.</p>
<p><code translate="no">common.retentionDuration</code> menentukan periode ketika pemadatan tidak berjalan. Satuannya adalah detik. Ketika Anda memadatkan data, semua entitas yang dihapus tidak akan tersedia untuk pencarian dengan Penelusuran Waktu. Oleh karena itu, jika Anda berencana untuk mencari dengan Time Travel, Anda harus menentukan periode waktu di mana pemadatan tidak berjalan dan tidak memengaruhi data yang dihapus. Untuk memastikan hasil pencarian yang akurat dengan Time Travel, Milvus menyimpan data yang dioperasikan dalam periode yang ditentukan oleh <code translate="no">common.retentionDuration</code>. Artinya, data yang dioperasikan dalam periode ini tidak akan dipadatkan. Untuk lebih jelasnya, lihat <a href="https://milvus.io/docs/v2.0.x/timetravel.md">Mencari dengan Perjalanan Waktu</a>.</p>
<p>Pemadatan diaktifkan di Milvus secara default. Jika Anda menonaktifkan pemadatan tetapi kemudian ingin mengaktifkannya secara manual, Anda dapat mengikuti langkah-langkah di bawah ini:</p>
<ol>
<li>Panggil metode <code translate="no">collection.compact()</code> untuk memicu proses pemadatan global secara manual. Namun, harap dicatat bahwa operasi ini mungkin membutuhkan waktu yang lama.</li>
<li>Setelah memanggil metode tersebut, ID pemadatan akan dikembalikan. Lihat status pemadatan dengan memanggil metode <code translate="no">collection.get_compaction_state()</code>.</li>
</ol>
<p>Setelah pemadatan diaktifkan, pemadatan akan berjalan di latar belakang secara otomatis. Karena proses pemadatan mungkin membutuhkan waktu lama, permintaan pemadatan diproses secara asinkron untuk menghemat waktu.</p>
<h2 id="How-to-implement-compaction" class="common-anchor-header">Bagaimana cara menerapkan pemadatan?<button data-href="#How-to-implement-compaction" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Di Milvus, Anda dapat mengimplementasikan pemadatan secara manual atau otomatis.</p>
<p>Pemadatan binlog atau segmen secara manual tidak memerlukan pemenuhan kondisi pemicu. Oleh karena itu, jika Anda menggunakan pemadatan secara manual, binlog atau segmen akan dipadatkan apa pun yang terjadi.</p>
<p>Namun, jika Anda ingin mengaktifkan pemadatan otomatis, kondisi pemicu pemadatan tertentu harus dipenuhi agar sistem dapat memadatkan segmen atau binlog Anda.</p>
<p>Secara umum, ada dua jenis objek yang dapat dipadatkan di Milvus: binglog dan segmen.</p>
<h2 id="Binlog-compaction" class="common-anchor-header">Pemadatan binlog<button data-href="#Binlog-compaction" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Binlog adalah log biner, atau unit yang lebih kecil dalam segmen, yang mencatat dan menangani pembaruan dan perubahan yang dilakukan pada data dalam database vektor Milvus. Data dari sebuah segmen disimpan dalam beberapa binlog. Pemadatan binlog melibatkan dua jenis binlog di Milvus: binlog sisipan dan binlog delta.</p>
<p>Delta binlog dihasilkan ketika data dihapus, sementara insert binlog dihasilkan dalam tiga keadaan berikut.</p>
<ul>
<li>Ketika data yang disisipkan ditambahkan, segmen mencapai batas atas ukuran dan secara otomatis dibuang ke disk.</li>
<li>DataCoord secara otomatis mengosongkan segmen yang tidak disegel dalam waktu yang lama.</li>
<li>Beberapa API seperti <code translate="no">collection.num_entities</code>, <code translate="no">collection.load()</code>, dan banyak lagi secara otomatis memanggil flush untuk menulis segmen ke disk.</li>
</ul>
<p>Oleh karena itu, pemadatan binlog, seperti namanya, mengacu pada pemadatan binlog di dalam sebuah segmen. Lebih khusus lagi, selama pemadatan binlog, semua binlog delta dan binlog sisipan yang tidak dipertahankan akan dipadatkan.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/binlog_compaction_d7f8f910c8.png" alt="Binlog compaction" class="doc-image" id="binlog-compaction" />
   </span> <span class="img-wrapper"> <span>Pemadatan binlog</span> </span></p>
<p>Ketika sebuah segmen di-flush ke disk, atau ketika Milvus meminta pemadatan global karena pemadatan tidak berjalan dalam waktu yang lama, setidaknya satu dari dua kondisi berikut ini harus dipenuhi untuk memicu pemadatan otomatis:</p>
<ol>
<li>Baris dalam delta binlog lebih dari 20% dari total baris.</li>
<li>Ukuran delta binlog melebihi 10 MB.</li>
</ol>
<h2 id="Segment-compaction" class="common-anchor-header">Pemadatan segmen<button data-href="#Segment-compaction" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><a href="https://milvus.io/docs/v2.0.x/glossary.md#Segment">Segmen</a> adalah file data yang secara otomatis dibuat oleh Milvus untuk menampung data yang disisipkan. Ada dua jenis segmen dalam Milvus: segmen yang berkembang dan segmen tertutup.</p>
<p>Segmen yang sedang berkembang terus menerima data yang baru disisipkan hingga disegel. Segmen tertutup tidak lagi menerima data baru, dan akan dibuang ke penyimpanan objek, sehingga data baru dapat disisipkan ke dalam segmen tumbuh yang baru dibuat.</p>
<p>Oleh karena itu, pemadatan segmen mengacu pada pemadatan beberapa segmen yang disegel. Lebih khusus lagi, selama pemadatan segmen, segmen kecil dipadatkan menjadi segmen yang lebih besar.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/segment_compaction_92eecc0e55.jpeg" alt="Segment compaction" class="doc-image" id="segment-compaction" />
   </span> <span class="img-wrapper"> <span>Pemadatan segmen</span> </span></p>
<p>Setiap segmen yang dihasilkan setelah pemadatan tidak dapat melebihi batas atas ukuran segmen, yaitu 512 MB secara default. Baca <a href="https://milvus.io/docs/v2.0.x/system_configuration.md">konfigurasi sistem</a> untuk mempelajari cara memodifikasi batas atas ukuran segmen.</p>
<p>Ketika sebuah segmen di-flash ke disk, atau ketika Milvus meminta pemadatan global karena pemadatan tidak berjalan dalam waktu yang lama, kondisi berikut ini perlu dipenuhi untuk memicu pemadatan otomatis:</p>
<ul>
<li>Segmen yang lebih kecil dari 0,5 * <code translate="no">MaxSegmentSize</code> lebih dari 10.</li>
</ul>
<h2 id="Whats-next" class="common-anchor-header">Apa selanjutnya?<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Apa selanjutnya setelah mempelajari dasar-dasar pemadatan di Milvus? Saat ini, tidak semua parameter untuk mengkonfigurasi pemadatan ada di file <code translate="no">milvus.yaml</code>, dan strategi pembuatan rencana masih sangat sederhana. Datang dan berkontribusi pada Milvus, <a href="https://github.com/milvus-io">proyek sumber terbuka</a> jika Anda tertarik!</p>
<p>Selain itu, dalam blog seri fitur baru 2.0, kami bertujuan untuk menjelaskan desain dari fitur-fitur baru. Baca lebih lanjut dalam seri blog ini!</p>
<ul>
<li><a href="https://milvus.io/blog/2022-02-07-how-milvus-deletes-streaming-data-in-distributed-cluster.md">Bagaimana Milvus Menghapus Data Streaming dalam Cluster Terdistribusi</a></li>
<li><a href="https://milvus.io/blog/2022-2-21-compact.md">Bagaimana Cara Memadatkan Data di Milvus?</a></li>
<li><a href="https://milvus.io/blog/2022-02-28-how-milvus-balances-query-load-across-nodes.md">Bagaimana Milvus Menyeimbangkan Beban Kueri di Seluruh Node?</a></li>
<li><a href="https://milvus.io/blog/2022-2-14-bitset.md">Bagaimana Bitset Mengaktifkan Keserbagunaan Pencarian Kesamaan Vektor</a></li>
</ul>
<h2 id="About-the-author" class="common-anchor-header">Tentang penulis<button data-href="#About-the-author" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Bingyi Sun, Senior Software Engineer dari proyek Milvus, meraih gelar Master di bidang rekayasa perangkat lunak di Shanghai Jiao Tong University. Dia bertanggung jawab untuk mengembangkan komponen terkait penyimpanan di Milvus 2.0. Bidang yang diminatinya adalah basis data dan sistem terdistribusi. Dia adalah penggemar berat proyek open source dan seorang gourmet yang suka bermain video game dan membaca di waktu luangnya.</p>


Bagaimana Cara Memadatkan Data di Milvus?

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Bitset_cd54487e7b.png" alt="Bitset Cover Image" class="doc-image" id="bitset-cover-image" />
   </span> <span class="img-wrapper"> <span>Gambar Sampul Bitset</span> </span></p>
<p>Oleh <a href="https://github.com/cydrain">Yudong Cai</a> dan <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni</a>.</p>
<p>Berbagai <a href="https://milvus.io/blog/2022-1-27-milvus-2-0-a-glimpse-at-new-features.md">fitur penting baru</a> dari database vektor disediakan bersama dengan <a href="https://milvus.io/blog/2022-1-25-annoucing-general-availability-of-milvus-2-0.md">rilis</a> Milvus 2.0. Di antara fitur-fitur baru tersebut, <a href="https://milvus.io/docs/v2.0.x/timetravel_ref.md">Perjalanan Waktu</a>, pemfilteran atribut, dan <a href="https://milvus.io/blog/2022-02-07-how-milvus-deletes-streaming-data-in-distributed-cluster.md">operasi penghapusan</a> saling berkorelasi karena ketiga fitur ini dicapai dengan satu mekanisme yang sama - bitset.</p>
<p>Oleh karena itu, artikel ini bertujuan untuk memperjelas konsep bitset di Milvus dan menjelaskan bagaimana cara kerjanya untuk mendukung operasi hapus, Perjalanan Waktu, dan pemfilteran atribut dengan tiga contoh.</p>
<h2 id="What-is-bitset" class="common-anchor-header">Apa yang dimaksud dengan bitset?<button data-href="#What-is-bitset" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Bitset adalah sebuah larik angka bit ("0" dan "1") yang dapat digunakan untuk merepresentasikan informasi data tertentu. Dengan bitset, Anda dapat menyimpan jenis data tertentu secara ringkas dan efisien daripada menyimpannya dalam bentuk Ints, float, atau karakter. Bitset bekerja berdasarkan <a href="https://milvus.io/docs/v2.0.x/boolean.md">logika boolean</a>, yang menyatakan bahwa nilai output adalah valid atau tidak valid, biasanya dilambangkan dengan "1" dan "0". "1" berarti valid, dan "0" berarti tidak valid. Karena bitset sangat efisien dan dapat menghemat penyimpanan, bitset juga dapat digunakan untuk mencapai banyak fitur seperti pemfilteran atribut, operasi hapus, Time Travel, dan banyak lagi.</p>
<p>Mulai dari versi 0.7.0, konsep bitset telah diperkenalkan di Milvus untuk mengaktifkan <a href="https://milvus.io/blog/deleting-data-in-milvus.md">fungsi hapus</a>. Secara lebih spesifik, bitset digunakan untuk menandai jika setiap baris dalam segmen dihapus. Entitas yang dihapus ditandai dengan "1" dalam bitset yang sesuai, dan sebagai hasilnya, entitas yang dihapus tidak akan dihitung selama pencarian atau kueri.</p>
<p>Pada versi Milvus 2.0, penerapan bitset diperluas untuk memungkinkan lebih banyak fitur, seperti penyaringan atribut dan Perjalanan Waktu. Prinsip umum dalam bitset tetap sama. Artinya, jika sebuah entitas ditandai dengan "1" dalam bitset yang sesuai, maka entitas tersebut akan diabaikan selama pencarian atau kueri. Bitset digunakan untuk mengaktifkan 3 fitur di Milvus:</p>
<ul>
<li>Pemfilteran atribut</li>
<li>Penghapusan data</li>
<li>Kueri dengan Perjalanan Waktu</li>
</ul>
<h2 id="How-does-bitset-work-in-Milvus" class="common-anchor-header">Bagaimana cara kerja bitset di Milvus?<button data-href="#How-does-bitset-work-in-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Contoh-contoh di bawah ini digunakan untuk mengilustrasikan bagaimana cara kerja bitset di Milvus.</p>
<h3 id="Prerequisites" class="common-anchor-header">Prasyarat</h3><p>Misalkan ada sebuah segmen dengan delapan entitas dan serangkaian peristiwa bahasa manipulasi data (DML) terjadi dalam urutan yang ditunjukkan pada gambar di bawah ini.</p>
<ul>
<li>Empat dari entitas, yang <code translate="no">primary_keys</code> -nya masing-masing adalah [1, 2, 3, 4], disisipkan ketika cap waktu <code translate="no">ts</code> sama dengan 100.</li>
<li>Empat entitas lainnya, yang <code translate="no">primary_keys</code> -nya adalah [5, 6, 7, 8], disisipkan ketika timestamp <code translate="no">ts</code> sama dengan 200.</li>
<li>Entitas yang <code translate="no">primary_keys</code> -nya [7, 8] dihapus ketika timestamp <code translate="no">ts</code> sama dengan 300.</li>
<li>Hanya entitas yang <code translate="no">primary_keys</code> -nya [1, 3, 5, 7] yang memenuhi ketentuan pemfilteran atribut.</li>
</ul>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/UML_1_0a3605808c.jpg" alt="DML events" class="doc-image" id="dml-events" />
   </span> <span class="img-wrapper"> <span>Peristiwa DML</span> </span></p>
<h3 id="Case-one" class="common-anchor-header">Kasus pertama</h3><p>Misalkan nilai yang ditetapkan pengguna untuk <code translate="no">time_travel</code> adalah 150. Dengan kata lain, pengguna melakukan kueri pada data yang tersimpan di Milvus ketika <code translate="no">ts</code> = 150. Proses pembangkitan bitset diilustrasikan oleh Gambar 1.</p>
<p>Pada tahap penyaringan awal, hasil dari <code translate="no">filter_bitset</code> seharusnya adalah [1, 0, 1, 0, 1, 0, 1, 0] karena entitas [1, 3, 5, 7] merupakan hasil penyaringan yang valid dan ditandai sebagai "1" di dalam bitset. Namun, entitas [4, 5, 6, 7] bahkan tidak dimasukkan ke basis data vektor ketika <code translate="no">ts</code> sama dengan 150. Oleh karena itu, keempat entitas ini harus ditandai sebagai "0" terlepas dari kondisi pemfilteran. Sekarang hasil bitset seharusnya adalah [1, 0, 1, 0, 0, 0, 0, 0]. Karena dalam Milvus, prinsip umum komputasi bitset adalah bahwa entitas yang ditandai dengan "1" dalam bitset diabaikan selama pencarian atau kueri, hasil bitset setelah Perjalanan Waktu dan pemfilteran atribut perlu dibalik agar dapat digabungkan dengan bitmap yang telah dihapus. Hasil yang dibalik dari <code translate="no">filter_bitset</code> haruslah [0, 1, 0, 1, 1, 1, 1, 1].</p>
<p>Sedangkan untuk bitmap penghapusan <code translate="no">del_bitset</code>, nilai awal seharusnya adalah [0, 0, 0, 0, 0, 0, 1, 1]. Namun, entitas 7 dan 8 tidak dihapus sampai <code translate="no">ts</code> bernilai 300. Oleh karena itu, ketika <code translate="no">ts</code> bernilai 150, entitas 7 dan 8 masih valid. Hasilnya, nilai <code translate="no">del_bitset</code> setelah Perjalanan Waktu seharusnya adalah [0, 0, 0, 0, 0, 0, 0, 0].</p>
<p>Sekarang kita memiliki dua bitset setelah Perjalanan Waktu dan pemfilteran atribut: <code translate="no">filter_bitset</code> [0, 1, 0, 1, 1, 1, 1, 1] dan <code translate="no">del_bitset</code> [0, 0, 0, 0, 0, 0, 0, 0].  Gabungkan kedua bitset ini dengan operator logika biner "OR". Nilai akhir dari <code translate="no">result_bitset</code> adalah [0, 1, 0, 1, 1, 1, 1, 1]. Dengan kata lain, hanya entitas 1 dan 3 yang akan dikomputasi pada tahap pencarian atau kueri berikut ini.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/bitset_figure1_1b5852f7a7.jpeg" alt="Figure 1" class="doc-image" id="figure-1" />
   </span> <span class="img-wrapper"> <span>Gambar 1</span> </span></p>
<h3 id="Case-two" class="common-anchor-header">Kasus kedua</h3><p>Misalkan nilai yang ditetapkan pengguna untuk <code translate="no">time_travel</code> adalah 250. Dengan kata lain, pengguna melakukan query pada data yang tersimpan di Milvus ketika <code translate="no">ts</code> = 250. Proses pembangkitan bitset diilustrasikan oleh Gambar 2.</p>
<p>Seperti pada kasus pertama, <code translate="no">filter_bitset</code> yang dihasilkan dari tahap pemfilteran atribut awal seharusnya adalah [1, 0, 1, 0, 1, 0, 1, 0].</p>
<p>Semua entitas [1, 2, 3, 4, 5, 6, 7, 8] dimasukkan ke dalam basis data vektor ketika <code translate="no">ts</code>= 250. Oleh karena itu, hasil sebelumnya dari <code translate="no">filter_bitset</code> tetap sama. Sekali lagi, kita perlu membalik hasil dari <code translate="no">filter_bitset</code>, dan kita akan mendapatkan [0, 1, 0, 1, 0, 1, 0, 1].</p>
<p>Sedangkan untuk penghapusan bitset <code translate="no">del_bitset</code>, nilai awal seharusnya adalah [0, 0, 0, 0, 0, 0, 1, 1]. Namun, entitas 7 dan 8 tidak dihapus sampai <code translate="no">ts</code> bernilai 300. Oleh karena itu, ketika <code translate="no">ts</code> bernilai 250, entitas 7 dan 8 masih valid. Hasilnya, nilai <code translate="no">del_bitset</code> setelah Perjalanan Waktu seharusnya adalah [0, 0, 0, 0, 0, 0, 0, 0].</p>
<p>Sekarang kita memiliki dua bitset setelah Perjalanan Waktu dan pemfilteran atribut: <code translate="no">filter_bitset</code> [0, 1, 0, 1, 0, 1, 0, 1] dan <code translate="no">del_bitset</code> [0, 0, 0, 0, 0, 0, 0, 0].  Gabungkan kedua bitset ini dengan operator logika biner "OR". Nilai akhir dari <code translate="no">result_bitset</code> adalah [0, 1, 0, 1, 0, 1, 0, 1]. Dengan kata lain, hanya entitas [1, 3, 5, 7] yang akan dikomputasi pada tahap pencarian atau kueri berikut ini.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/bitset_figure2_7cbaa7c719.jpeg" alt="Figure 2" class="doc-image" id="figure-2" />
   </span> <span class="img-wrapper"> <span>Gambar 2</span> </span></p>
<h3 id="Case-three" class="common-anchor-header">Kasus ketiga</h3><p>Misalkan nilai yang ditetapkan pengguna untuk <code translate="no">time_travel</code> adalah 350. Dengan kata lain, pengguna melakukan query pada data yang tersimpan di Milvus ketika <code translate="no">ts</code> = 350. Proses pembangkitan bitset diilustrasikan oleh Gambar 3.</p>
<p>Sama seperti kasus pertama dan kedua, <code translate="no">filter_bitset</code> yang dihasilkan dari tahap pemfilteran atribut awal adalah [0, 1, 0, 1, 0, 1, 0, 1].</p>
<p>Semua entitas [1, 2, 3, 4, 5, 6, 7, 8] dimasukkan ke dalam basis data vektor ketika <code translate="no">ts</code>= 350. Oleh karena itu, hasil akhir pembalikan dari <code translate="no">filter_bitset</code> adalah [0, 1, 0, 1, 0, 1, 0, 1], sama seperti pada kasus kedua.</p>
<p>Sedangkan untuk penghapusan bitset <code translate="no">del_bitset</code>, karena entitas 7 dan 8 sudah dihapus ketika <code translate="no">ts</code>=350, oleh karena itu, hasil dari <code translate="no">del_bitset</code> seharusnya adalah [0, 0, 0, 0, 0, 0, 1, 1].</p>
<p>Sekarang kita memiliki dua bitset setelah Perjalanan Waktu dan pemfilteran atribut: <code translate="no">filter_bitset</code> [0, 1, 0, 1, 0, 1, 0, 1] dan <code translate="no">del_bitset</code> [0, 0, 0, 0, 0, 0, 1, 1].  Gabungkan kedua bitset ini dengan operator logika biner "OR". Nilai akhir dari <code translate="no">result_bitset</code> adalah [0, 1, 0, 1, 0, 1, 1, 1]. Dengan kata lain, hanya entitas [1, 3, 5] yang akan dikomputasi pada tahap pencarian atau kueri berikut ini.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/bitset_figure3_dd46a6aecf.jpeg" alt="Figure 3" class="doc-image" id="figure-3" />
   </span> <span class="img-wrapper"> <span>Gambar 3</span> </span></p>
<h2 id="Whats-next" class="common-anchor-header">Apa selanjutnya?<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Dalam blog seri fitur baru 2.0, kami bertujuan untuk menjelaskan desain fitur-fitur baru. Baca lebih lanjut dalam seri blog ini!</p>
<ul>
<li><a href="https://milvus.io/blog/2022-02-07-how-milvus-deletes-streaming-data-in-distributed-cluster.md">Bagaimana Milvus Menghapus Data Streaming dalam Cluster Terdistribusi</a></li>
<li><a href="https://milvus.io/blog/2022-2-21-compact.md">Bagaimana Cara Memadatkan Data di Milvus?</a></li>
<li><a href="https://milvus.io/blog/2022-02-28-how-milvus-balances-query-load-across-nodes.md">Bagaimana Milvus Menyeimbangkan Beban Kueri di Seluruh Node?</a></li>
<li><a href="https://milvus.io/blog/2022-2-14-bitset.md">Bagaimana Bitset Mengaktifkan Keserbagunaan Pencarian Kesamaan Vektor</a></li>
</ul>


Bagaimana Bitset Mengaktifkan Keserbagunaan Pencarian Kesamaan Vektor

<custom-h1>Bagaimana Milvus Menghapus Data Streaming dalam Cluster Terdistribusi</custom-h1><p>Dengan menampilkan pemrosesan batch-and-stream terpadu dan arsitektur cloud-native, Milvus 2.0 memberikan tantangan yang lebih besar dibandingkan pendahulunya dalam pengembangan fungsi DELETE. Berkat desain pemilahan komputasi penyimpanan yang canggih dan mekanisme publikasi/langganan yang fleksibel, kami dengan bangga mengumumkan bahwa kami berhasil mewujudkannya. Di Milvus 2.0, anda dapat menghapus sebuah entitas di dalam koleksi tertentu dengan kunci utamanya sehingga entitas yang dihapus tidak akan lagi terdaftar di dalam hasil pencarian atau kueri.</p>
<p>Harap dicatat bahwa operasi DELETE di Milvus mengacu pada penghapusan logis, sedangkan pembersihan data secara fisik terjadi selama Pemadatan Data. Penghapusan logis tidak hanya meningkatkan kinerja pencarian yang dibatasi oleh kecepatan I/O, tetapi juga memfasilitasi pemulihan data. Data yang dihapus secara logis masih dapat diambil dengan bantuan fungsi Time Travel.</p>
<h2 id="Usage" class="common-anchor-header">Penggunaan<button data-href="#Usage" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Mari kita coba fungsi DELETE di Milvus 2.0 terlebih dahulu. (Contoh berikut ini menggunakan PyMilvus 2.0.0 pada Milvus 2.0.0).</p>
<pre><code translate="no" class="language-python"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> connections, utility, Collection, DataType, FieldSchema, CollectionSchema
<span class="hljs-comment"># Connect to Milvus</span>
connections.connect(
    alias=<span class="hljs-string">&quot;default&quot;</span>, 
    host=<span class="hljs-string">&#x27;x.x.x.x&#x27;</span>, 
    port=<span class="hljs-string">&#x27;19530&#x27;</span>
)
<span class="hljs-comment"># Create a collection with Strong Consistency level</span>
pk_field = FieldSchema(
    name=<span class="hljs-string">&quot;id&quot;</span>, 
    dtype=DataType.INT64, 
    is_primary=<span class="hljs-literal">True</span>, 
)
vector_field = FieldSchema(
    name=<span class="hljs-string">&quot;vector&quot;</span>, 
    dtype=DataType.FLOAT_VECTOR, 
    dim=<span class="hljs-number">2</span>
)
schema = CollectionSchema(
    fields=[pk_field, vector_field], 
    description=<span class="hljs-string">&quot;Test delete&quot;</span>
)
collection_name = <span class="hljs-string">&quot;test_delete&quot;</span>
collection = Collection(
    name=collection_name, 
    schema=schema, 
    using=<span class="hljs-string">&#x27;default&#x27;</span>, 
    shards_num=<span class="hljs-number">2</span>,
    consistency_level=<span class="hljs-string">&quot;Strong&quot;</span>
)
<span class="hljs-comment"># Insert randomly generated vectors</span>
<span class="hljs-keyword">import</span> random
data = [
    [i <span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-number">100</span>)],
    [[random.random() <span class="hljs-keyword">for</span> _ <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-number">2</span>)] <span class="hljs-keyword">for</span> _ <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-number">100</span>)],
]
collection.insert(data)
<span class="hljs-comment"># Query to make sure the entities to delete exist</span>
collection.load()
expr = <span class="hljs-string">&quot;id in [2,4,6,8,10]&quot;</span>
pre_del_res = collection.query(
    expr,
    output_fields = [<span class="hljs-string">&quot;id&quot;</span>, <span class="hljs-string">&quot;vector&quot;</span>]
)
<span class="hljs-built_in">print</span>(pre_del_res)
<span class="hljs-comment"># Delete the entities with the previous expression</span>
collection.delete(expr)
<span class="hljs-comment"># Query again to check if the deleted entities exist</span>
post_del_res = collection.query(
    expr,
    output_fields = [<span class="hljs-string">&quot;id&quot;</span>, <span class="hljs-string">&quot;vector&quot;</span>]
)
<span class="hljs-built_in">print</span>(post_del_res)
<button class="copy-code-btn"></button></code></pre>
<h2 id="Implementation" class="common-anchor-header">Implementasi<button data-href="#Implementation" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Dalam sebuah instance Milvus, sebuah simpul data terutama bertanggung jawab untuk mengemas data streaming (log di log broker) sebagai data historis (snapshot log) dan secara otomatis mem-flush mereka ke penyimpanan objek. Sebuah node kueri mengeksekusi permintaan pencarian pada data lengkap, yaitu data streaming dan data historis.</p>
<p>Untuk memaksimalkan kapasitas penulisan data dari node paralel dalam sebuah cluster, Milvus mengadopsi strategi sharding berdasarkan hashing kunci utama untuk mendistribusikan operasi penulisan secara merata ke node pekerja yang berbeda. Dengan kata lain, proxy akan merutekan pesan-pesan Data Manipulation Language (DML) (yaitu permintaan) dari sebuah entitas ke node data dan node kueri yang sama. Pesan-pesan ini dipublikasikan melalui DML-Channel dan dikonsumsi oleh node data dan node kueri secara terpisah untuk menyediakan layanan pencarian dan kueri secara bersamaan.</p>
<h3 id="Data-node" class="common-anchor-header">Simpul data</h3><p>Setelah menerima pesan INSERT data, simpul data menyisipkan data di segmen yang sedang tumbuh, yang merupakan segmen baru yang dibuat untuk menerima data streaming dalam memori. Jika jumlah baris data atau durasi segmen yang sedang tumbuh mencapai ambang batas, simpul data akan menyegelnya untuk mencegah masuknya data. Simpul data kemudian membuang segmen yang disegel, yang berisi data historis, ke penyimpanan objek. Sementara itu, simpul data menghasilkan filter bloom berdasarkan kunci utama dari data baru, dan membuangnya ke penyimpanan objek bersama dengan segmen yang disegel, menyimpan filter bloom sebagai bagian dari log biner statistik (binlog), yang berisi informasi statistik segmen.</p>
<blockquote>
<p>Bloom filter adalah struktur data probabilistik yang terdiri dari vektor biner panjang dan serangkaian fungsi pemetaan acak. Filter ini dapat digunakan untuk menguji apakah sebuah elemen merupakan anggota dari sebuah himpunan, tetapi mungkin menghasilkan kecocokan positif palsu.           -Wikipedia</p>
</blockquote>
<p>Ketika pesan DELETE data masuk, simpul data menyangga semua filter mekar di pecahan yang sesuai, dan mencocokkannya dengan kunci utama yang disediakan dalam pesan untuk mengambil semua segmen (dari yang tumbuh dan yang disegel) yang mungkin menyertakan entitas yang akan dihapus. Setelah menentukan segmen yang sesuai, simpul data menyangganya di memori untuk menghasilkan binlog Delta untuk merekam operasi penghapusan, dan kemudian membuang binlog tersebut bersama dengan segmen kembali ke penyimpanan objek.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/data_node_2397ad70c3.png" alt="Data Node" class="doc-image" id="data-node" />
   </span> <span class="img-wrapper"> <span>Simpul Data</span> </span></p>
<p>Karena satu pecahan hanya ditugaskan dengan satu DML-Channel, node kueri tambahan yang ditambahkan ke klaster tidak akan dapat berlangganan ke DML-Channel. Untuk memastikan bahwa semua node kueri dapat menerima pesan DELETE, node data menyaring pesan DELETE dari DML-Channel, dan meneruskannya ke Delta-Channel untuk memberi tahu semua node kueri tentang operasi penghapusan.</p>
<h3 id="Query-node" class="common-anchor-header">Node kueri</h3><p>Ketika memuat koleksi dari penyimpanan objek, node kueri pertama-tama mendapatkan titik pemeriksaan setiap pecahan, yang menandai operasi DML sejak operasi flush terakhir. Berdasarkan checkpoint tersebut, simpul kueri memuat semua segmen yang disegel bersama dengan binlog delta dan filter bloom. Dengan semua data dimuat, simpul kueri kemudian berlangganan ke DML-Channel, Delta-Channel, dan Query-Channel.</p>
<p>Jika lebih banyak pesan INSERT data datang setelah koleksi dimuat ke memori, simpul kueri pertama-tama menentukan segmen yang tumbuh sesuai dengan pesan, dan memperbarui filter bloom yang sesuai di memori untuk tujuan kueri saja. Filter bloom yang dikhususkan untuk kueri tersebut tidak akan dibuang ke penyimpanan objek setelah kueri selesai.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/query_node_a78b1d664f.png" alt="Query Node" class="doc-image" id="query-node" />
   </span> <span class="img-wrapper"> <span>Simpul Kueri</span> </span></p>
<p>Seperti disebutkan di atas, hanya sejumlah node kueri tertentu yang dapat menerima pesan DELETE dari DML-Channel, yang berarti hanya mereka yang dapat mengeksekusi permintaan DELETE di segmen yang sedang berkembang. Untuk node kueri yang telah berlangganan DML-Channel, mereka pertama-tama menyaring pesan DELETE di segmen yang sedang berkembang, menemukan entitas dengan mencocokkan kunci utama yang disediakan dengan filter bloom khusus kueri di segmen yang sedang berkembang, dan kemudian mencatat operasi penghapusan di segmen yang sesuai.</p>
<p>Node kueri yang tidak dapat berlangganan ke DML-Channel hanya diizinkan untuk memproses permintaan pencarian atau kueri pada segmen yang disegel karena mereka hanya dapat berlangganan ke Delta-Channel, dan menerima pesan-pesan HAPUS yang diteruskan oleh node data. Setelah mengumpulkan semua pesan DELETE di segmen tertutup dari Delta-Channel, node kueri menemukan entitas dengan mencocokkan kunci utama yang disediakan dengan filter mekar dari segmen tertutup, dan kemudian mencatat operasi penghapusan di segmen yang sesuai.</p>
<p>Pada akhirnya, dalam pencarian atau kueri, node kueri menghasilkan bitset berdasarkan catatan yang dihapus untuk menghilangkan entitas yang dihapus, dan mencari di antara entitas yang tersisa dari semua segmen, terlepas dari status segmen. Terakhir, tingkat konsistensi mempengaruhi visibilitas data yang dihapus. Di bawah Tingkat Konsistensi Kuat (seperti yang ditunjukkan pada contoh kode sebelumnya), entitas yang dihapus langsung tidak terlihat setelah dihapus. Sementara Tingkat Konsistensi Terbatas diadopsi, akan ada beberapa detik latensi sebelum entitas yang dihapus menjadi tidak terlihat.</p>
<h2 id="Whats-next" class="common-anchor-header">Apa selanjutnya?<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Dalam blog seri fitur baru 2.0, kami bertujuan untuk menjelaskan desain dari fitur-fitur baru. Baca lebih lanjut dalam seri blog ini!</p>
<ul>
<li><a href="https://milvus.io/blog/2022-02-07-how-milvus-deletes-streaming-data-in-distributed-cluster.md">Bagaimana Milvus Menghapus Data Streaming dalam Cluster Terdistribusi</a></li>
<li><a href="https://milvus.io/blog/2022-2-21-compact.md">Bagaimana Cara Memadatkan Data di Milvus?</a></li>
<li><a href="https://milvus.io/blog/2022-02-28-how-milvus-balances-query-load-across-nodes.md">Bagaimana Milvus Menyeimbangkan Beban Kueri di Seluruh Node?</a></li>
<li><a href="https://milvus.io/blog/2022-2-14-bitset.md">Bagaimana Bitset Mengaktifkan Keserbagunaan Pencarian Kesamaan Vektor</a></li>
</ul>


Penggunaan

Milvus 2.0 - Sekilas tentang Fitur Baru

<p>Anggota dan Teman-teman Komunitas Milvus yang terhormat:</p>
<p>Hari ini, enam bulan setelah Release Candidate (RC) pertama dipublikasikan, kami dengan senang hati mengumumkan bahwa Milvus 2.0 telah <a href="https://milvus.io/docs/v2.0.x/release_notes.md#v200">tersedia secara umum (GA)</a> dan siap untuk diproduksi! Ini merupakan perjalanan yang panjang, dan kami berterima kasih kepada semua orang - kontributor komunitas, pengguna, dan LF AI &amp; Data Foundation - yang telah membantu kami mewujudkannya.</p>
<p>Kemampuan untuk menangani miliaran data berdimensi tinggi merupakan hal yang sangat penting bagi sistem AI saat ini, dan untuk alasan yang bagus:</p>
<ol>
<li>Data tidak terstruktur menempati volume yang dominan dibandingkan dengan data terstruktur tradisional.</li>
<li>Kesegaran data tidak pernah menjadi lebih penting. Ilmuwan data sangat menginginkan solusi data yang tepat waktu daripada kompromi T+1 tradisional.</li>
<li>Biaya dan kinerja menjadi semakin penting, namun masih ada kesenjangan besar antara solusi yang ada saat ini dengan kasus penggunaan di dunia nyata, oleh karena itu, Milvus 2.0. Milvus adalah database yang membantu menangani data berdimensi tinggi dalam skala besar. Ini dirancang untuk cloud dengan kemampuan untuk berjalan di mana saja. Jika Anda telah mengikuti rilis RC kami, Anda tahu bahwa kami telah menghabiskan banyak upaya untuk membuat Milvus lebih stabil dan lebih mudah digunakan dan dipelihara.</li>
</ol>
<h2 id="Milvus-20-GA-now-offers" class="common-anchor-header">Milvus 2.0 GA sekarang menawarkan<button data-href="#Milvus-20-GA-now-offers" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><strong>Penghapusan entitas</strong></p>
<p>Sebagai sebuah database, Milvus sekarang mendukung <a href="https://milvus.io/docs/v2.0.x/delete_data.md">penghapusan entitas berdasarkan primary key</a> dan akan mendukung penghapusan entitas berdasarkan ekspresi nantinya.</p>
<p><strong>Keseimbangan beban otomatis</strong></p>
<p>Milvus sekarang mendukung kebijakan keseimbangan beban plugin untuk menyeimbangkan beban setiap node kueri dan node data. Berkat pemilahan komputasi dan penyimpanan, keseimbangan akan dilakukan hanya dalam beberapa menit.</p>
<p><strong>Serah terima</strong></p>
<p>Setelah segmen yang berkembang disegel melalui flush, tugas handoff menggantikan segmen yang berkembang dengan segmen historis yang diindeks untuk meningkatkan kinerja pencarian.</p>
<p><strong>Pemadatan data</strong></p>
<p>Pemadatan data adalah tugas latar belakang untuk menggabungkan segmen kecil menjadi segmen besar dan membersihkan data yang dihapus secara logis.</p>
<p><strong>Mendukung penyimpanan data etcd tertanam dan penyimpanan data lokal</strong></p>
<p>Dalam mode mandiri Milvus, kita dapat menghapus ketergantungan etcd/MinIO hanya dengan beberapa konfigurasi. Penyimpanan data lokal juga dapat digunakan sebagai cache lokal untuk menghindari pemuatan semua data ke dalam memori utama.</p>
<p><strong>SDK multi bahasa</strong></p>
<p>Selain <a href="https://github.com/milvus-io/pymilvus">PyMilvus</a>, <a href="https://github.com/milvus-io/milvus-sdk-node">Node.js</a>, <a href="https://github.com/milvus-io/milvus-sdk-java">Java</a> dan <a href="https://github.com/milvus-io/milvus-sdk-go">Go</a> SDK sekarang siap digunakan.</p>
<p><strong>Milvus K8s Operator</strong></p>
<p><a href="https://milvus.io/docs/v2.0.x/install_cluster-milvusoperator.md">Milvus Operator</a> menyediakan solusi yang mudah untuk menerapkan dan mengelola tumpukan layanan Milvus secara penuh, termasuk komponen Milvus dan dependensi yang relevan (misalnya etcd, Pulsar, dan MinIO), ke cluster <a href="https://kubernetes.io/">Kubernetes</a> target dengan cara yang dapat diskalakan dan sangat tersedia.</p>
<p><strong>Alat yang membantu mengelola Milvus</strong></p>
<p>Kami berterima kasih kepada <a href="https://zilliz.com/">Zilliz</a> atas kontribusi alat manajemen yang luar biasa. Kami sekarang memiliki <a href="https://milvus.io/docs/v2.0.x/attu.md">Attu</a>, yang memungkinkan kami untuk berinteraksi dengan Milvus melalui GUI yang intuitif, dan <a href="https://milvus.io/docs/v2.0.x/cli_overview.md">Milvus_CLI</a>, sebuah alat baris perintah untuk mengelola Milvus.</p>
<p>Terima kasih kepada semua kontributor 212, komunitas telah menyelesaikan 6718 komit selama 6 bulan terakhir, dan banyak sekali masalah stabilitas dan kinerja yang telah ditutup. Kami akan membuka laporan tolok ukur stabilitas dan kinerja segera setelah rilis 2.0 GA.</p>
<h2 id="Whats-next" class="common-anchor-header">Apa yang selanjutnya?<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><strong>Fungsionalitas</strong></p>
<p>Dukungan tipe string akan menjadi fitur pembunuh berikutnya untuk Milvus 2.1. Kami juga akan menghadirkan mekanisme time to live (TTL) dan manajemen ACL dasar untuk memenuhi kebutuhan pengguna dengan lebih baik.</p>
<p><strong>Ketersediaan</strong></p>
<p>Kami sedang mengerjakan refactoring mekanisme penjadwalan query coord untuk mendukung replika multi memori untuk setiap segmen. Dengan beberapa replika aktif, Milvus dapat mendukung failover yang lebih cepat dan eksekusi spekulatif untuk mempersingkat waktu henti menjadi beberapa detik.</p>
<p><strong>Kinerja</strong></p>
<p>Hasil benchmark kinerja akan segera ditawarkan di situs web kami. Rilis berikutnya diantisipasi untuk melihat peningkatan kinerja yang mengesankan. Target kami adalah mengurangi separuh latensi pencarian di bawah kumpulan data yang lebih kecil dan menggandakan throughput sistem.</p>
<p><strong>Kemudahan penggunaan</strong></p>
<p>Milvus dirancang untuk berjalan di mana saja. Kami akan mendukung Milvus di MacOS (M1 dan X86) dan di server ARM dalam beberapa rilis kecil berikutnya. Kami juga akan menawarkan PyMilvus yang tertanam sehingga Anda dapat dengan mudah <code translate="no">pip install</code> Milvus tanpa pengaturan lingkungan yang rumit.</p>
<p><strong>Tata kelola komunitas</strong></p>
<p>Kami akan menyempurnakan aturan keanggotaan dan memperjelas persyaratan dan tanggung jawab peran kontributor. Program bimbingan juga sedang dikembangkan; bagi siapa saja yang tertarik dengan basis data cloud-native, pencarian vektor, dan/atau tata kelola komunitas, jangan ragu untuk menghubungi kami.</p>
<p>Kami sangat senang dengan rilis Milvus GA terbaru! Seperti biasa, kami senang mendengar masukan dari Anda. Jika Anda menemukan masalah, jangan ragu untuk menghubungi kami di <a href="https://github.com/milvus-io/milvus">GitHub</a> atau melalui <a href="http://milvusio.slack.com/">Slack</a>.</p>
<p><br/></p>
<p>Salam hangat,</p>
<p>Xiaofan Luan</p>
<p>Pengelola Proyek Milvus</p>
<p><br/></p>
<blockquote>
<p><em>Diedit oleh <a href="https://github.com/claireyuw">Claire Yu</a>.</em></p>
</blockquote>


Mengumumkan Ketersediaan Umum Milvus 2.0

<p>Artikel ini diterjemahkan oleh <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni</a>.</p>
<p>Informasi ada di mana-mana dalam kehidupan kita. Meta (sebelumnya dikenal sebagai Facebook), Instagram, Twitter, dan platform media sosial lainnya membuat aliran informasi menjadi semakin banyak. Oleh karena itu, mesin yang menangani aliran informasi seperti itu telah menjadi hal yang wajib ada di sebagian besar arsitektur sistem. Namun, sebagai pengguna platform media sosial dan aplikasi yang relevan, saya yakin Anda pasti pernah merasa terganggu dengan duplikasi artikel, berita, meme, dan lainnya. Paparan terhadap konten duplikat menghambat proses pencarian informasi dan menyebabkan pengalaman pengguna yang buruk.</p>
<p>Untuk produk yang berurusan dengan aliran informasi, merupakan prioritas tinggi bagi para pengembang untuk menemukan pemroses data yang fleksibel yang dapat diintegrasikan dengan mulus ke dalam arsitektur sistem untuk menduplikasi berita atau iklan yang sama.</p>
<p><a href="https://www.smartnews.com/en/">SmartNews</a>, yang bernilai <a href="https://techcrunch.com/2021/09/15/news-aggregator-smartnews-raises-230-million-valuing-its-business-at-2-billion/">2 miliar dolar AS</a>, adalah perusahaan aplikasi berita yang paling bernilai tinggi di AS. Secara nyata, perusahaan ini dulunya adalah pengguna Milvus, sebuah basis data vektor sumber terbuka, tetapi kemudian berubah menjadi kontributor aktif untuk proyek Milvus.</p>
<p>Artikel ini berbagi cerita tentang SmartNews dan menjelaskan mengapa mereka memutuskan untuk memberikan kontribusi pada proyek Milvus.</p>
<h2 id="An-overview-of-SmartNews" class="common-anchor-header">Gambaran umum tentang SmartNews<button data-href="#An-overview-of-SmartNews" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>SmartNews, yang didirikan pada tahun 2012, berkantor pusat di Tokyo, Jepang. Aplikasi berita yang dikembangkan oleh SmartNews selalu menduduki <a href="https://www.businessinsider.com/guides/smartnews-free-news-app-2018-9">peringkat teratas</a> di pasar Jepang. SmartNews adalah aplikasi berita dengan <a href="https://about.smartnews.com/en/2019/06/12/smartnews-builds-global-momentum-with-over-500-us-growth-new-executives-and-three-new-offices/">pertumbuhan tercepat</a> dan juga memiliki <a href="https://about.smartnews.com/en/2018/07/21/smartnews-reaches-more-than-10-million-monthly-active-users-in-the-united-states-and-japan/">viskositas pengguna yang tinggi</a> di pasar Amerika Serikat. Menurut statistik dari <a href="https://www.appannie.com/en/">APP Annie</a>, durasi sesi rata-rata bulanan SmartNews menduduki peringkat pertama di antara semua aplikasi berita pada akhir Juli 2021, lebih besar dari akumulasi durasi sesi AppleNews dan Google News.</p>
<p>Dengan pertumbuhan basis pengguna dan viskositas yang cepat, SmartNews harus menghadapi lebih banyak tantangan dalam hal mekanisme rekomendasi dan algoritme AI. Tantangan tersebut termasuk memanfaatkan fitur diskrit yang masif dalam machine learning (ML) berskala besar, mempercepat kueri data tak terstruktur dengan pencarian kemiripan vektor, dan masih banyak lagi.</p>
<p>Pada awal tahun 2021, tim algoritma iklan dinamis di SmartNews mengirimkan permintaan kepada tim infrastruktur AI bahwa fungsi penarikan dan kueri iklan perlu dioptimalkan. Setelah dua bulan penelitian, insinyur infrastruktur AI, Shu, memutuskan untuk menggunakan Milvus, database vektor sumber terbuka yang mendukung banyak indeks dan metrik kesamaan serta pembaruan data online. Milvus dipercaya oleh lebih dari seribu organisasi di seluruh dunia.</p>
<h2 id="Advertisement-recommendation-powered-by-vector-similarity-search" class="common-anchor-header">Rekomendasi iklan yang didukung oleh pencarian kemiripan vektor<button data-href="#Advertisement-recommendation-powered-by-vector-similarity-search" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Basis data vektor sumber terbuka Milvus diadopsi dalam sistem Iklan SmartNews untuk mencocokkan dan merekomendasikan iklan dinamis dari kumpulan data berskala 10 juta kepada para penggunanya. Dengan demikian, SmartNews dapat membuat hubungan pemetaan antara dua dataset yang sebelumnya tidak dapat dicocokkan - data pengguna dan data iklan. Pada kuartal kedua 2021, Shu berhasil menerapkan Milvus 1.0 di Kubernetes. Pelajari lebih lanjut tentang cara <a href="https://milvus.io/docs">menggunakan Milvus</a>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/image1_2a88ed162f.png" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<p>Setelah penerapan Milvus 1.0 berhasil, proyek pertama yang menggunakan Milvus adalah proyek penarikan iklan yang diprakarsai oleh tim Iklan di SmartNews. Pada tahap awal, dataset iklan berada pada skala jutaan. Sementara itu, latensi P99 dikontrol secara ketat dalam waktu kurang dari 10 milidetik.</p>
<p>Pada bulan Juni 2021, Shu dan rekan-rekannya di tim algoritme menerapkan Milvus ke lebih banyak skenario bisnis dan mencoba agregasi data serta pembaruan data/indeks online secara real time.</p>
<p>Saat ini, Milvus, basis data vektor sumber terbuka telah digunakan dalam berbagai skenario bisnis di SmartNews, termasuk rekomendasi iklan.</p>
<h2 id="From-a-user-to-an-active-contributor" class="common-anchor-header"><strong>Dari pengguna menjadi kontributor aktif</strong><button data-href="#From-a-user-to-an-active-contributor" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Ketika mengintegrasikan Milvus ke dalam arsitektur produk Smartnews, Shu dan pengembang lainnya mengajukan permintaan fungsi-fungsi seperti memuat ulang, TTL (time-to-live) item, pembaruan/penggantian item, dan banyak lagi. Fungsi-fungsi ini juga diinginkan oleh banyak pengguna di komunitas Milvus. Oleh karena itu, Dennis Zhao, kepala tim infrastruktur AI di SmartNews memutuskan untuk mengembangkan dan menyumbangkan fungsi hot reload ke komunitas. Dennis percaya bahwa "Tim SmartNews telah mendapatkan manfaat dari komunitas Milvus, oleh karena itu, kami lebih dari bersedia untuk berkontribusi jika kami memiliki sesuatu untuk dibagikan kepada komunitas."</p>
<p>Pemuatan ulang data mendukung pengeditan kode saat menjalankan kode. Dengan bantuan data reload, para pengembang tidak perlu lagi berhenti di breakpoint atau memulai ulang aplikasi. Sebaliknya, mereka dapat mengedit kode secara langsung dan melihat hasilnya secara real time.</p>
<p>Pada akhir Juli lalu, Yusup, engineer di SmartNews mengusulkan sebuah ide untuk menggunakan <a href="https://milvus.io/docs/v2.0.x/collection_alias.md#Collection-Alias">collection alias</a> untuk melakukan hot reload.</p>
<p>Membuat alias koleksi mengacu pada menentukan nama alias untuk sebuah koleksi. Sebuah koleksi dapat memiliki beberapa alias. Namun, sebuah alias berhubungan dengan maksimal satu koleksi. Secara sederhana, analogikan sebuah koleksi dengan sebuah loker. Loker, seperti halnya koleksi, memiliki nomor dan posisinya sendiri, yang tidak akan berubah. Namun demikian, Anda selalu dapat memasukkan dan mengeluarkan benda yang berbeda dari loker. Demikian pula, nama koleksi adalah tetap, tetapi data dalam koleksi bersifat dinamis. Anda selalu dapat menyisipkan atau menghapus vektor dalam koleksi, karena penghapusan data didukung dalam <a href="https://milvus.io/docs/v2.0.x/release_notes.md#v200-PreGA">versi</a> Milvus <a href="https://milvus.io/docs/v2.0.x/release_notes.md#v200-PreGA">pra-GA</a>.</p>
<p>Dalam kasus bisnis iklan SmartNews, hampir 100 juta vektor disisipkan atau diperbarui saat vektor iklan dinamis baru dihasilkan. Ada beberapa solusi untuk hal ini:</p>
<ul>
<li>Solusi 1: hapus data lama terlebih dahulu dan masukkan data baru.</li>
<li>Solusi 2: membuat koleksi baru untuk data baru.</li>
<li>Solusi 3: gunakan alias koleksi.</li>
</ul>
<p>Untuk solusi 1, salah satu kekurangan yang paling jelas adalah bahwa hal ini sangat memakan waktu, terutama ketika kumpulan data yang akan diperbarui sangat besar. Biasanya diperlukan waktu berjam-jam untuk memperbarui dataset dalam skala 100 juta.</p>
<p>Sedangkan untuk solusi 2, masalahnya adalah bahwa koleksi baru tidak segera tersedia untuk pencarian. Dengan kata lain, koleksi tidak dapat dicari saat dimuat. Ditambah lagi, Milvus tidak mengizinkan dua koleksi menggunakan nama koleksi yang sama. Beralih ke koleksi baru akan selalu mengharuskan pengguna untuk mengubah kode sisi klien secara manual. Dengan kata lain, pengguna harus merevisi nilai parameter <code translate="no">collection_name</code> setiap kali mereka perlu berpindah antar koleksi.</p>
<p>Solusi 3 adalah solusi terbaik. Anda hanya perlu memasukkan data baru ke dalam koleksi baru dan menggunakan alias koleksi. Dengan demikian, Anda hanya perlu menukar alias koleksi setiap kali Anda perlu berpindah koleksi untuk melakukan pencarian. Anda tidak perlu upaya ekstra untuk merevisi kode. Solusi ini menyelamatkan Anda dari masalah yang disebutkan dalam dua solusi sebelumnya.</p>
<p>Yusup memulai dari permintaan ini dan membantu seluruh tim SmartNews memahami arsitektur Milvus. Setelah satu setengah bulan, proyek Milvus menerima PR tentang hot reload dari Yusup. Dan kemudian, fungsi ini secara resmi tersedia bersamaan dengan rilis Milvus 2.0.0-RC7.</p>
<p>Saat ini, tim infrastruktur AI sedang memimpin untuk menerapkan Milvus 2.0 dan memigrasi semua data secara bertahap dari Milvus 1.0 ke 2.0.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/image2_96c064a627.png" alt="img_collection alias" class="doc-image" id="img_collection-alias" />
   </span> <span class="img-wrapper"> <span>img_collection alias</span> </span></p>
<p>Dukungan untuk collection alias dapat sangat meningkatkan pengalaman pengguna, terutama bagi perusahaan-perusahaan Internet besar dengan volume permintaan pengguna yang besar. Chenglong Li, insinyur data dari komunitas Milvus, yang membantu membangun jembatan antara Milvus dan Smartnews, mengatakan, "Fungsi collection alias muncul dari permintaan bisnis nyata dari SmartNews, pengguna Milvus. Dan SmartNews menyumbangkan kodenya kepada komunitas Milvus. Tindakan timbal balik ini merupakan contoh yang bagus dari semangat open-source: dari komunitas dan untuk komunitas. Kami berharap dapat melihat lebih banyak lagi kontributor seperti SmartNews dan bersama-sama membangun komunitas Milvus yang lebih makmur."</p>
<p>"Saat ini, sebagian dari bisnis periklanan telah mengadopsi Milvus sebagai basis data vektor offline. Perilisan resmi Mivus 2.0 semakin dekat, dan kami berharap dapat menggunakan Milvus untuk membangun sistem yang lebih handal dan menyediakan layanan real-time untuk lebih banyak skenario bisnis." kata Dennis.</p>
<blockquote>
<p>Pembaruan: Milvus 2.0 kini telah tersedia untuk umum! <a href="/blog/id/2022-1-25-annoucing-general-availability-of-milvus-2-0.md">Pelajari lebih lanjut</a></p>
</blockquote>


Kisah SmartNews - dari Pengguna Milvus menjadi Kontributor Aktif

<p>Tahun 2021 merupakan tahun yang luar biasa bagi Milvus sebagai proyek sumber terbuka. Saya ingin meluangkan waktu sejenak untuk berterima kasih kepada semua kontributor dan pengguna Milvus, serta para mitra yang telah berkontribusi pada tahun yang luar biasa ini.</p>
<p><strong>Salah satu momen yang paling mengesankan di tahun ini bagi saya adalah peluncuran Milvus 2.0. Sebelum kami memulai proyek ini, hanya beberapa anggota komunitas yang percaya bahwa kami dapat memberikan database vektor tercanggih di dunia, tetapi sekarang saya dengan bangga mengatakan bahwa Milvus 2.0 GA telah siap untuk diproduksi.</strong></p>
<p>Kami sudah mengerjakan serangkaian tantangan baru dan menarik untuk tahun 2022, tetapi saya pikir akan menyenangkan untuk merayakan beberapa langkah besar yang kami ambil tahun lalu. Berikut ini beberapa di antaranya:</p>
<h2 id="Community-Growth" class="common-anchor-header">Pertumbuhan Komunitas<button data-href="#Community-Growth" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Pertama, berikut ini ringkasan statistik komunitas dari GitHub dan Slack. Pada akhir Desember 2021:</p>
<ul>
<li><p><strong>Kontributor</strong> telah meningkat dari 121 pada Desember 2020 menjadi 209 pada Desember 2021 (naik 172%)</p></li>
<li><p><strong>Bintang</strong> telah meningkat dari 4828 pada Desember 2020 menjadi 9090 pada Desember 2021 (naik 188%)</p></li>
<li><p><strong>Garpu</strong> telah meningkat dari 756 pada Desember 2020 menjadi 1383 pada Desember 2021 (naik 182%)</p></li>
<li><p><strong>Anggota yang mengendur</strong> telah meningkat dari 541 di bulan Desember 2020 menjadi 1233 di bulan Desember 2021 (naik 227%)</p></li>
</ul>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_1_e94deb087f.png" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<h2 id="Community-Governance-and-Advocacy" class="common-anchor-header">Tata Kelola dan Advokasi Komunitas<button data-href="#Community-Governance-and-Advocacy" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Ketika Milvus pertama kali menjadi open source pada Oktober 2019, kami memiliki tim yang relatif kecil dan komunitas yang kecil, jadi secara alami proyek ini sebagian besar diatur oleh beberapa anggota tim inti. Namun, sejak komunitas telah berkembang secara signifikan, kami menyadari bahwa kami membutuhkan sistem yang lebih baik untuk menjalankan proyek ini sehingga kami dapat menerima kontributor baru dengan lebih efisien.</p>
<p>Sebagai hasilnya, kami telah menunjuk 5 pengelola baru pada tahun 2021 untuk melacak pekerjaan yang sedang berlangsung dan masalah yang dilaporkan untuk memastikan bahwa masalah tersebut ditinjau dan digabungkan secara tepat waktu. ID GitHub dari kelima pengelola tersebut adalah @xiaofan-luan; @congqixia; @scsven; @czs007; @yanliang567. Silakan hubungi para pengelola ini jika Anda membutuhkan bantuan dengan PR Anda.</p>
<p>Kami juga telah meluncurkan <a href="https://milvus.io/community/milvus_advocate.md">Program Advokat Milvus</a>, dan kami mengundang lebih banyak orang untuk bergabung dengan kami untuk berbagi pengalaman, menawarkan bantuan kepada anggota komunitas, dan mendapatkan pengakuan sebagai imbalannya.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_2_835f379fb0.png" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<p>(Gambar: Kontributor Milvus GitHub, dibuat dengan <a href="https://github.com/dynamicwebpaige/nanowrimo-2021/blob/main/15_VS_Code_contributors.ipynb">proyek</a> dynamicwebpaige)</p>
<h2 id="Milvus-Project-Announcements-and-Milestones" class="common-anchor-header">Pengumuman dan Pencapaian Proyek Milvus<button data-href="#Milvus-Project-Announcements-and-Milestones" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ol>
<li><strong>Jumlah rilis versi: 14</strong></li>
</ol>
<ul>
<li><a href="https://milvus.io/blog/Whats-Inside-Milvus-1.0.md">Rilis Milvus 1.0</a></li>
<li><a href="https://milvus.io/blog/milvus2.0-redefining-vector-database.md">Milvus 2.0 rilis RC</a></li>
<li><a href="https://milvus.io/docs/v2.0.x/release_notes.md#v200-PreGA">Milvus 2.0 rilis PreGA</a></li>
</ul>
<ol>
<li><strong>Milvus v2.0.0 SDK yang didukung GA</strong></li>
</ol>
<ul>
<li><p>PyMilvus (Tersedia)</p></li>
<li><p>Go SDK (Tersedia)</p></li>
<li><p>Java SDK (Tersedia)</p></li>
<li><p>Node.js SDK (Tersedia)</p></li>
<li><p>C++ SDK (Sedang dikembangkan)</p></li>
</ul>
<ol start="3">
<li><strong>Alat-alat Milvus baru diluncurkan:</strong></li>
</ol>
<ul>
<li><a href="https://github.com/zilliztech/milvus_cli#community">Milvus_CLI</a> (Baris Perintah Milvus)</li>
<li><a href="https://github.com/zilliztech/attu">Attu</a> (GUI Manajemen Milvus)</li>
<li><a href="https://github.com/milvus-io/milvus-operator">Operator Milvus K8s</a></li>
</ul>
<ol start="4">
<li><p><strong><a href="https://lfaidata.foundation/blog/2021/06/23/lf-ai-data-foundation-announces-graduation-of-milvus-project/">Milvus menjadi proyek kelulusan LF AI &amp; Data Foundation.</a></strong></p></li>
<li><p><strong><a href="https://www.cs.purdue.edu/homes/csjgwang/pubs/SIGMOD21_Milvus.pdf">Milvus: Sistem Manajemen Data Vektor yang Dibangun Khusus yang dipublikasikan di SIGMOD'2021</a>)<a href="https://www.cs.purdue.edu/homes/csjgwang/pubs/SIGMOD21_Milvus.pdf">.</a></strong></p></li>
<li><p><strong><a href="https://discuss.milvus.io/">Forum Komunitas Milvus diluncurkan.</a></strong></p></li>
</ol>
<h2 id="Community-Events" class="common-anchor-header">Acara Komunitas<button data-href="#Community-Events" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Kami telah menyelenggarakan dan bergabung dengan banyak acara tahun ini sehingga anggota komunitas global kami dapat bertemu (sebagian besar secara virtual) terlepas dari situasi Covid-19 saat ini. Secara total, kami telah menghadiri 21 konferensi dan menjadi tuan rumah:</p>
<ul>
<li>6 Pertemuan Teknis</li>
<li>7 Jam Kantor Milvus</li>
<li>34 Webinar</li>
<li>3 Pertemuan Offline</li>
</ul>
<p>Kami berencana untuk mengadakan lebih banyak acara di tahun 2022. Jika Anda ingin bergabung dengan acara-acara di dekat Anda, silakan periksa kategori <a href="https://discuss.milvus.io/c/events-and-meetups/13">Acara dan Pertemuan</a> di forum komunitas kami untuk melihat acara yang akan datang dan lokasinya. Jika Anda ingin menjadi pembicara atau pembawa acara untuk acara-acara mendatang, silakan hubungi kami di <a href="mailto:community@milvus.io">community@milvus.io</a>.</p>
<h2 id="Looking-Ahead-to-2022--Roadmap--Announcement" class="common-anchor-header">Menatap ke Depan hingga 2022- Peta Jalan &amp; Pengumuman<button data-href="#Looking-Ahead-to-2022--Roadmap--Announcement" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><strong>Komunitas:</strong></p>
<ol>
<li>Meningkatkan Keanggotaan Proyek Milvus untuk menarik/memilih lebih banyak pengelola dan komite untuk membangun komunitas bersama.</li>
<li>Meluncurkan Program Mentorship untuk menawarkan lebih banyak bantuan kepada pendatang baru yang ingin bergabung dengan komunitas dan berkontribusi.</li>
<li>Meningkatkan tata kelola dokumen komunitas, termasuk <strong>dokumen teknis, panduan pengguna, dan dokumen komunitas</strong>. Pada tahun 2022, diharapkan anggota komunitas dapat menyelesaikan Buku Panduan Milvus bersama-sama sehingga orang-orang dapat belajar cara menggunakan Milvus dengan lebih baik.</li>
<li>Memperkuat kerja sama dan interaksi dengan komunitas open source lainnya, termasuk komunitas AI hulu dan komunitas seperti Kubernetes, MinIO, dll. dan Pulsar yang menjadi andalan Milvus.</li>
<li>Menjadi lebih digerakkan oleh komunitas dengan mengadakan lebih banyak pertemuan rutin SIG. Selain sig-pymilvus yang saat ini sedang berjalan, rencana kami adalah memiliki lebih banyak SIG pada tahun 2022.</li>
</ol>
<p><strong>Proyek Milvus:</strong></p>
<ol>
<li>Penyetelan kinerja</li>
</ol>
<p>Performa yang luar biasa selalu menjadi alasan penting mengapa pengguna memilih Milvus. Pada tahun 2022, kami berencana untuk memulai proyek pengoptimalan kinerja untuk meningkatkan throughput dan delay setidaknya dua kali lipat. Kami juga berencana untuk memperkenalkan replika memori untuk meningkatkan throughput dan stabilitas sistem di bawah kumpulan data yang kecil, dan mendukung GPU untuk mempercepat pembuatan indeks dan penayangan online.</p>
<ol start="2">
<li>Fungsionalitas</li>
</ol>
<p>Milvus 2.0 telah mendukung fungsi-fungsi seperti pencarian hibrida vektor/skalar, penghapusan entitas, dan perjalanan waktu. Kami berencana untuk mendukung fitur-fitur berikut ini dalam dua rilis besar berikutnya:</p>
<ul>
<li>Dukungan untuk tipe data yang lebih kaya: String, Blob, Geospasial, dll.</li>
<li>Kontrol akses berbasis peran</li>
<li>Deduplikasi kunci utama</li>
<li>Dukungan untuk pencarian rentang pada vektor (pencarian dengan jarak &lt; 0,8)</li>
<li>Dukungan Restful API, dan SDK bahasa lainnya</li>
</ul>
<ol start="3">
<li>Kemudahan penggunaan</li>
</ol>
<p>Di tahun mendatang, kami berencana untuk mengembangkan beberapa alat untuk membantu penerapan dan pengelolaan Milvus dengan lebih baik.</p>
<ul>
<li><p>Milvus up:  Komponen penerapan yang membantu pengguna untuk menjalankan Milvus di lingkungan offline tanpa cluster K8. Ini juga membantu untuk menerapkan pemantauan, penelusuran, dan pengembangan Milvus lainnya.</p></li>
<li><p>Attu - Kami akan terus meningkatkan Attu sebagai sistem manajemen cluster kami. Kami berencana untuk menambahkan fungsionalitas seperti diagnosis kesehatan dan pengoptimalan indeks.</p></li>
<li><p>Milvus DM: Alat migrasi data untuk memindahkan vektor dari database atau file lain ke Milvus. Pertama-tama kami akan mendukung FAISS, HNSW, Milvus 1.0/2.0, kemudian basis data lain seperti MySQL dan Elasticsearch.</p></li>
</ul>
<h2 id="About-the-author" class="common-anchor-header">Tentang penulis<button data-href="#About-the-author" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Xiaofan Luan, mitra dan Direktur Teknik Zilliz, serta anggota Komite Penasihat Teknis LF AI &amp; Data Foundation. Dia pernah bekerja di kantor pusat Oracle AS dan Hedvig, sebuah perusahaan rintisan penyimpanan berbasis perangkat lunak. Dia bergabung dengan tim Alibaba Cloud Database dan bertanggung jawab atas pengembangan basis data NoSQL HBase dan Lindorm. Luan memperoleh gelar master di bidang Teknik Komputer Elektronik dari Cornell University.</p>


Milvus pada tahun 2021 - Tinjauan Tahun

<p>Di era ledakan informasi, kita memproduksi suara, gambar, video, dan data tak terstruktur lainnya setiap saat. Bagaimana cara kita menganalisis data yang sangat banyak ini secara efisien? Munculnya jaringan neural memungkinkan data yang tidak terstruktur untuk disematkan sebagai vektor, dan basis data Milvus adalah perangkat lunak layanan data dasar, yang membantu menyelesaikan penyimpanan, pencarian, dan analisis data vektor.</p>
<p>Tetapi bagaimana kita dapat menggunakan database vektor Milvus dengan cepat?</p>
<p>Beberapa pengguna mengeluhkan bahwa API sulit untuk dihafalkan dan berharap ada baris perintah yang sederhana untuk mengoperasikan basis data Milvus.</p>
<p>Kami dengan senang hati memperkenalkan Milvus_CLI, sebuah alat bantu baris perintah yang didedikasikan untuk basis data vektor Milvus.</p>
<p>Milvus_CLI adalah CLI basis data yang mudah digunakan untuk Milvus, yang mendukung koneksi basis data, impor data, ekspor data, dan kalkulasi vektor dengan menggunakan perintah-perintah interaktif dalam shell. Versi terbaru dari Milvus_CLI memiliki fitur-fitur berikut.</p>
<ul>
<li><p>Mendukung semua platform, termasuk Windows, Mac, dan Linux</p></li>
<li><p>Instalasi online dan offline dengan dukungan pip</p></li>
<li><p>Portabel, dapat digunakan di mana saja</p></li>
<li><p>Dibangun di atas Milvus SDK untuk Python</p></li>
<li><p>Dokumen bantuan disertakan</p></li>
<li><p>Mendukung pelengkapan otomatis</p></li>
</ul>
<h2 id="Installation" class="common-anchor-header">Instalasi<button data-href="#Installation" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Anda dapat menginstal Milvus_CLI secara online atau offline.</p>
<h3 id="Install-MilvusCLI-online" class="common-anchor-header">Menginstal Milvus_CLI secara online</h3><p>Jalankan perintah berikut untuk menginstal Milvus_CLI secara online dengan pip. Python 3.8 atau yang lebih baru diperlukan.</p>
<pre><code translate="no">pip install milvus-cli
<button class="copy-code-btn"></button></code></pre>
<h3 id="Install-MilvusCLI-offline" class="common-anchor-header">Menginstal Milvus_CLI secara offline</h3><p>Untuk menginstal Milvus_CLI secara offline, <a href="https://github.com/milvus-io/milvus_cli/releases">unduh</a> tarball terbaru dari halaman rilis terlebih dahulu.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_af0e832119.png" alt="1.png" class="doc-image" id="1.png" />
   </span> <span class="img-wrapper"> <span>1.png</span> </span></p>
<p>Setelah tarball diunduh, jalankan perintah berikut untuk menginstal Milvus_CLI.</p>
<pre><code translate="no">pip install milvus_cli-&lt;version&gt;.tar.gz
<button class="copy-code-btn"></button></code></pre>
<p>Setelah Milvus_CLI terinstal, jalankan <code translate="no">milvus_cli</code>. Perintah <code translate="no">milvus_cli &gt;</code> yang muncul menandakan bahwa baris perintah sudah siap.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/2_b50f5d2a5a.png" alt="2.png" class="doc-image" id="2.png" />
   </span> <span class="img-wrapper"> <span>2.png</span> </span></p>
<p>Jika Anda menggunakan Mac dengan chip M1 atau PC tanpa lingkungan Python, Anda bisa memilih untuk menggunakan aplikasi portabel. Untuk melakukannya, <a href="https://github.com/milvus-io/milvus_cli/releases">unduh</a> file pada halaman rilis yang sesuai dengan OS Anda, jalankan <code translate="no">chmod +x</code> pada file tersebut agar dapat dieksekusi, dan jalankan <code translate="no">./</code> pada file tersebut untuk menjalankannya.</p>
<h4 id="Example" class="common-anchor-header"><strong>Contoh</strong></h4><p>Contoh berikut ini membuat <code translate="no">milvus_cli-v0.1.8-fix2-macOS</code> dapat dieksekusi dan menjalankannya.</p>
<pre><code translate="no"><span class="hljs-built_in">sudo</span> <span class="hljs-built_in">chmod</span> +x milvus_cli-v0.1.8-fix2-macOS
./milvus_cli-v0.1.8-fix2-macOS
<button class="copy-code-btn"></button></code></pre>
<h2 id="Usage" class="common-anchor-header">Penggunaan<button data-href="#Usage" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="Connect-to-Milvus" class="common-anchor-header">Menghubungkan ke Milvus</h3><p>Sebelum menyambungkan ke Milvus, pastikan Milvus telah terinstal pada server Anda. Lihat <a href="https://milvus.io/docs/v2.0.x/install_standalone-docker.md">Instal Milvus Standalone</a> atau <a href="https://milvus.io/docs/v2.0.x/install_cluster-docker.md">Instal Milvus Cluster</a> untuk informasi lebih lanjut.</p>
<p>Jika Milvus terinstal pada hos lokal Anda dengan port default, jalankan <code translate="no">connect</code>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/3_f950d3739a.png" alt="3.png" class="doc-image" id="3.png" />
   </span> <span class="img-wrapper"> <span>3.png</span> </span></p>
<p>Jika tidak, jalankan perintah berikut dengan alamat IP server Milvus Anda. Contoh berikut ini menggunakan <code translate="no">172.16.20.3</code> sebagai alamat IP dan <code translate="no">19530</code> sebagai nomor port.</p>
<pre><code translate="no">connect -h 172.16.20.3
<button class="copy-code-btn"></button></code></pre>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/4_9ff2db9855.png" alt="4.png" class="doc-image" id="4.png" />
   </span> <span class="img-wrapper"> <span>4.png</span> </span></p>
<h3 id="Create-a-collection" class="common-anchor-header">Membuat koleksi</h3><p>Bagian ini memperkenalkan cara membuat koleksi.</p>
<p>Sebuah koleksi terdiri dari entitas dan mirip dengan tabel dalam RDBMS. Lihat <a href="https://milvus.io/docs/v2.0.x/glossary.md">Glosarium</a> untuk informasi lebih lanjut.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/5_95a88c1cbf.png" alt="5.png" class="doc-image" id="5.png" />
   </span> <span class="img-wrapper"> <span>5.png</span> </span></p>
<h4 id="Example" class="common-anchor-header">Contoh</h4><p>Contoh berikut ini membuat koleksi bernama <code translate="no">car</code>. Koleksi <code translate="no">car</code> memiliki empat field yaitu <code translate="no">id</code>, <code translate="no">vector</code>, <code translate="no">color</code>, dan <code translate="no">brand</code>. Bidang kunci utama adalah <code translate="no">id</code>. Lihat <a href="https://milvus.io/docs/v2.0.x/cli_commands.md#create-collection">membuat koleksi</a> untuk informasi lebih lanjut.</p>
<pre><code translate="no">create collection -c car -f <span class="hljs-built_in">id</span>:INT64:primary_field -f vector:FLOAT_VECTOR:<span class="hljs-number">128</span> -f color:INT64:color -f brand:INT64:brand -p <span class="hljs-built_in">id</span> -a -d <span class="hljs-string">&#x27;car_collection&#x27;</span>
<button class="copy-code-btn"></button></code></pre>
<h3 id="List-collections" class="common-anchor-header">Membuat daftar koleksi</h3><p>Jalankan perintah berikut untuk membuat daftar semua koleksi dalam contoh Milvus ini.</p>
<pre><code translate="no">list collections
<button class="copy-code-btn"></button></code></pre>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/6_1331f4c8bc.png" alt="6.png" class="doc-image" id="6.png" />
   </span> <span class="img-wrapper"> <span>6.png</span> </span></p>
<p>Jalankan perintah berikut untuk memeriksa detail koleksi <code translate="no">car</code>.</p>
<pre><code translate="no">describe collection -c car 
<button class="copy-code-btn"></button></code></pre>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/7_1d70beee54.png" alt="7.png" class="doc-image" id="7.png" />
   </span> <span class="img-wrapper"> <span>7.png</span> </span></p>
<h3 id="Calculate-the-distance-between-two-vectors" class="common-anchor-header">Menghitung jarak antara dua vektor</h3><p>Jalankan perintah berikut untuk mengimpor data ke dalam koleksi <code translate="no">car</code>.</p>
<pre><code translate="no"><span class="hljs-keyword">import</span> -c car <span class="hljs-string">&#x27;https://raw.githubusercontent.com/zilliztech/milvus_cli/main/examples/import_csv/vectors.csv&#x27;</span>
<button class="copy-code-btn"></button></code></pre>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/8_7609a4359a.png" alt="8.png" class="doc-image" id="8.png" />
   </span> <span class="img-wrapper"> <span>8.png</span> </span></p>
<p>Jalankan <code translate="no">query</code> dan masukkan <code translate="no">car</code> sebagai nama koleksi dan <code translate="no">id&gt;0</code> sebagai ekspresi kueri saat diminta. ID entitas yang memenuhi kriteria akan dikembalikan seperti yang ditunjukkan pada gambar berikut.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/9_f0755589f6.png" alt="9.png" class="doc-image" id="9.png" />
   </span> <span class="img-wrapper"> <span>9.png</span> </span></p>
<p>Jalankan <code translate="no">calc</code> dan masukkan nilai yang sesuai ketika diminta untuk menghitung jarak antara array vektor.</p>
<h3 id="Delete-a-collection" class="common-anchor-header">Menghapus koleksi</h3><p>Jalankan perintah berikut untuk menghapus koleksi <code translate="no">car</code>.</p>
<pre><code translate="no"><span class="hljs-keyword">delete</span> collection -c car
<button class="copy-code-btn"></button></code></pre>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/10_16b2b01935.png" alt="10.png" class="doc-image" id="10.png" />
   </span> <span class="img-wrapper"> <span>10.png</span> </span></p>
<h2 id="More" class="common-anchor-header">Lainnya<button data-href="#More" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus_CLI tidak terbatas pada fungsi-fungsi sebelumnya. Jalankan <code translate="no">help</code> untuk melihat semua perintah yang disertakan Milvus_CLI dan deskripsinya. Jalankan <code translate="no">&lt;command&gt; --help</code> untuk melihat detail perintah tertentu.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/11_5f31ccb1e8.png" alt="11.png" class="doc-image" id="11.png" />
   </span> <span class="img-wrapper"> <span>11.png</span> </span></p>
<p><strong>Lihat juga:</strong></p>
<p><a href="https://milvus.io/docs/v2.0.x/cli_commands.md">Referensi Perintah Milvus_CLI</a> di bawah Dokumen Milvus</p>
<p>Kami berharap Milvus_CLI dapat membantu Anda menggunakan basis data vektor Milvus dengan mudah. Kami akan terus mengoptimalkan Milvus_CLI dan kontribusi Anda sangat kami harapkan.</p>
<p>Jika Anda memiliki pertanyaan, jangan ragu untuk <a href="https://github.com/zilliztech/milvus_cli/issues">mengajukan</a> pertanyaan di GitHub.</p>


Mulailah dengan Milvus_CLI

Evolusi Basis Data Vektor yang dapat diskalakan di Cloud Milvus

<p>Dalam beberapa tahun terakhir, masalah perlindungan IP telah menjadi pusat perhatian karena kesadaran masyarakat akan pelanggaran IP semakin meningkat. Yang paling terkenal, raksasa teknologi multi-nasional Apple Inc. telah secara aktif <a href="https://en.wikipedia.org/wiki/Apple_Inc._litigation">mengajukan tuntutan hukum terhadap berbagai perusahaan atas pelanggaran IP</a>, termasuk pelanggaran merek dagang, paten, dan desain. Terlepas dari kasus-kasus yang paling terkenal itu, Apple Inc. juga <a href="https://www.smh.com.au/business/apple-bites-over-woolworths-logo-20091005-ghzr.html">mempermasalahkan aplikasi merek dagang oleh Woolworths Limited</a>, sebuah jaringan supermarket Australia, dengan alasan pelanggaran merek dagang pada tahun 2009.  Apple. Inc berargumen bahwa logo merek Australia, sebuah huruf &quot;w&quot; bergaya, menyerupai logo apel mereka sendiri. Oleh karena itu, Apple Inc. merasa keberatan dengan berbagai produk, termasuk perangkat elektronik, yang dijual oleh Woolworths dengan logo tersebut. Kisah ini berakhir dengan Woolworths mengubah logonya dan Apple menarik keberatannya.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Logo_of_Woolworths_b04ece5b20.png" alt="Logo of Woolworths.png" class="doc-image" id="logo-of-woolworths.png" />
   </span> <span class="img-wrapper"> <span>Logo Woolworths.png</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Logo_of_Apple_Inc_181e5bd5f8.png" alt="Logo of Apple Inc.png" class="doc-image" id="logo-of-apple-inc.png" />
   </span> <span class="img-wrapper"> <span>Logo Apple Inc.png</span> </span></p>
<p>Dengan semakin meningkatnya kesadaran akan budaya merek, perusahaan-perusahaan mengawasi dengan lebih cermat setiap ancaman yang akan membahayakan hak kekayaan intelektual (IP) mereka. Pelanggaran hak kekayaan intelektual meliputi:</p>
<ul>
<li>Pelanggaran hak cipta</li>
<li>Pelanggaran paten</li>
<li>Pelanggaran merek dagang</li>
<li>Pelanggaran desain</li>
<li>Cybersquatting</li>
</ul>
<p>Sengketa yang disebutkan di atas antara Apple dan Woolworths terutama mengenai pelanggaran merek dagang, tepatnya kemiripan antara gambar merek dagang kedua entitas tersebut. Untuk menahan diri agar tidak menjadi Woolworths yang lain, pencarian kesamaan merek dagang yang lengkap merupakan langkah penting bagi pelamar baik sebelum pengajuan maupun selama peninjauan aplikasi merek dagang. Pilihan yang paling umum adalah melalui pencarian di <a href="https://tmsearch.uspto.gov/search/search-information">database Kantor Paten dan Merek Dagang Amerika Serikat (USPTO</a> ) yang berisi semua pendaftaran dan aplikasi merek dagang yang aktif dan tidak aktif. Terlepas dari UI yang tidak begitu menarik, proses pencarian ini juga sangat cacat karena sifatnya yang berbasis teks karena mengandalkan kata-kata dan kode Desain Merek Dagang (yang merupakan label anotasi tangan dari fitur desain) untuk mencari gambar.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/image_8_b2fff6ca11.png" alt="8.png" class="doc-image" id="8.png" />
   </span> <span class="img-wrapper"> <span>8.png</span> </span></p>
<p>Artikel ini dengan demikian bermaksud untuk menunjukkan bagaimana membangun sistem pencarian kemiripan merek dagang berbasis gambar yang efisien menggunakan <a href="https://milvus.io">Milvus</a>, sebuah basis data vektor sumber terbuka.</p>
<h2 id="A-vector-similarity-search-system-for-trademarks" class="common-anchor-header">Sistem pencarian kemiripan vektor untuk merek dagang<button data-href="#A-vector-similarity-search-system-for-trademarks" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Untuk membangun sistem pencarian kemiripan vektor untuk merek dagang, Anda perlu melakukan langkah-langkah berikut:</p>
<ol>
<li>Siapkan kumpulan data logo dalam jumlah besar. Kemungkinan, sistem dapat menggunakan kumpulan data seperti <a href="https://developer.uspto.gov/product/trademark-24-hour-box-and-supplemental">ini</a>,).</li>
<li>Latih model ekstraksi fitur gambar menggunakan dataset dan model berbasis data atau algoritme AI.</li>
<li>Ubah logo menjadi vektor menggunakan model atau algoritme yang telah dilatih pada Langkah 2.</li>
<li>Simpan vektor dan lakukan pencarian kemiripan vektor di Milvus, basis data vektor sumber terbuka.</li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/trademark_system_e9700df555.png" alt="Nike.png" class="doc-image" id="nike.png" />
   </span> <span class="img-wrapper"> <span>Nike.png</span> </span></p>
<p>Pada bagian berikut, mari kita lihat lebih dekat dua langkah utama dalam membangun sistem pencarian kemiripan vektor untuk merek dagang: menggunakan model AI untuk ekstraksi fitur gambar, dan menggunakan Milvus untuk pencarian kemiripan vektor. Dalam kasus kami, kami menggunakan VGG16, sebuah jaringan saraf konvolusi (CNN), untuk mengekstrak fitur gambar dan mengubahnya menjadi vektor penyematan.</p>
<h3 id="Using-VGG16-for-image-feature-extraction" class="common-anchor-header">Menggunakan VGG16 untuk ekstraksi fitur gambar</h3><p><a href="https://medium.com/@mygreatlearning/what-is-vgg16-introduction-to-vgg16-f2d63849f615">VGG16</a> adalah CNN yang didesain untuk pengenalan gambar berskala besar. Model ini cepat dan akurat dalam pengenalan gambar dan dapat diterapkan pada gambar dari semua ukuran. Berikut ini adalah dua ilustrasi arsitektur VGG16.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/vgg16_layers_9e621f62cc.png" alt="9.png" class="doc-image" id="9.png" />
   </span> <span class="img-wrapper"> <span>9.png</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/vgg16_architecture_992614e882.png" alt="10.png" class="doc-image" id="10.png" />
   </span> <span class="img-wrapper"> <span>10.png</span> </span></p>
<p>Model VGG16, seperti namanya, adalah CNN dengan 16 lapisan. Semua model VGG, termasuk VGG16 dan VGG19, berisi 5 blok VGG, dengan satu atau lebih lapisan konvolusi di setiap blok VGG. Dan pada akhir setiap blok, lapisan penyatuan maksimum dihubungkan untuk mengurangi ukuran gambar input. Jumlah kernel setara dalam setiap lapisan convolutional tetapi berlipat ganda dalam setiap blok VGG. Oleh karena itu, jumlah kernel dalam model bertambah dari 64 pada blok pertama, menjadi 512 pada blok keempat dan kelima. Semua kernel convolutional<em>berukuran 33 sedangkan kernel pooling berukuran 22.</em>Hal ini kondusif untuk mempertahankan lebih banyak informasi tentang gambar input.</p>
<p>Oleh karena itu, VGG16 adalah model yang cocok untuk pengenalan gambar dari kumpulan data yang sangat besar dalam kasus ini. Anda dapat menggunakan Python, Tensorflow, dan Keras untuk melatih model ekstraksi fitur gambar berdasarkan VGG16.</p>
<h3 id="Using-Milvus-for-vector-similarity-search" class="common-anchor-header">Menggunakan Milvus untuk pencarian kemiripan vektor</h3><p>Setelah menggunakan model VGG16 untuk mengekstrak fitur gambar dan mengonversi gambar logo menjadi vektor penyematan, Anda perlu mencari vektor yang mirip dari kumpulan data yang sangat besar.</p>
<p>Milvus adalah basis data asli cloud yang menampilkan skalabilitas dan elastisitas tinggi. Selain itu, sebagai basis data, Milvus dapat memastikan konsistensi data. Untuk sistem pencarian kemiripan merek dagang seperti ini, data baru seperti pendaftaran merek dagang terbaru diunggah ke sistem secara real time. Dan data yang baru diunggah ini harus segera tersedia untuk pencarian. Oleh karena itu, artikel ini mengadopsi Milvus, basis data vektor sumber terbuka, untuk melakukan pencarian kemiripan vektor.</p>
<p>Saat memasukkan vektor logo, anda bisa membuat koleksi di Milvus untuk berbagai jenis vektor logo sesuai dengan <a href="https://en.wikipedia.org/wiki/International_(Nice)_Classification_of_Goods_and_Services">Klasifikasi Barang dan Jasa Internasional (Nice)</a>, sebuah sistem pengklasifikasian barang dan jasa untuk mendaftarkan merek dagang. Misalnya, Anda dapat memasukkan sekelompok vektor logo merek pakaian ke dalam koleksi bernama &quot;pakaian&quot; di Milvus dan memasukkan sekelompok vektor logo merek teknologi ke dalam koleksi berbeda bernama &quot;teknologi&quot;. Dengan melakukan hal ini, Anda dapat meningkatkan efisiensi dan kecepatan pencarian kemiripan vektor Anda.</p>
<p>Milvus tidak hanya mendukung beberapa indeks untuk pencarian kemiripan vektor, tetapi juga menyediakan API dan alat yang kaya untuk memfasilitasi DevOps. Diagram berikut ini adalah ilustrasi dari <a href="https://milvus.io/docs/v2.0.x/architecture_overview.md">arsitektur Milvus</a>. Anda dapat mempelajari lebih lanjut tentang Milvus dengan membaca <a href="https://milvus.io/docs/v2.0.x/overview.md">pengantarnya</a>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/milvus_architecture_ea45a5ab53.png" alt="11.png" class="doc-image" id="11.png" />
   </span> <span class="img-wrapper"> <span>11.png</span> </span></p>
<h2 id="Looking-for-more-resources" class="common-anchor-header">Mencari lebih banyak sumber daya?<button data-href="#Looking-for-more-resources" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p>Bangun lebih banyak sistem pencarian kemiripan vektor untuk skenario aplikasi lain dengan Milvus:</p>
<ul>
<li><a href="https://milvus.io/blog/dna-sequence-classification-based-on-milvus.md">Klasifikasi Urutan DNA berdasarkan Milvus</a></li>
<li><a href="https://milvus.io/blog/audio-retrieval-based-on-milvus.md">Pengambilan Audio Berdasarkan Milvus</a></li>
<li><a href="https://milvus.io/blog/building-video-search-system-with-milvus.md">4 Langkah untuk Membangun Sistem Pencarian Video</a></li>
<li><a href="https://milvus.io/blog/building-intelligent-chatbot-with-nlp-and-milvus.md">Membangun Sistem QA Cerdas dengan NLP dan Milvus</a></li>
<li><a href="https://milvus.io/blog/molecular-structure-similarity-with-milvus.md">Mempercepat Penemuan Obat Baru</a></li>
</ul></li>
<li><p>Bergabunglah dengan komunitas sumber terbuka kami:</p>
<ul>
<li>Temukan atau kontribusikan Milvus di <a href="https://bit.ly/307b7jC">GitHub</a>.</li>
<li>Berinteraksi dengan komunitas melalui <a href="https://bit.ly/3qiyTEk">Forum</a>.</li>
<li>Terhubung dengan kami di <a href="https://bit.ly/3ob7kd8">Twitter</a>.</li>
</ul></li>
</ul>


Milvus dalam Perlindungan IP: Membangun Sistem Pencarian Kemiripan Merek Dagang dengan Milvus

<p>Untuk membantu Anda memulai dengan cepat menggunakan Milvus, basis data vektor sumber terbuka, kami merilis proyek sumber terbuka terafiliasi lainnya, <a href="https://github.com/milvus-io/bootcamp">Milvus Bootcamp</a> di GitHub. Milvus Bootcamp tidak hanya menyediakan skrip dan data untuk tes benchmark, tetapi juga mencakup proyek yang menggunakan Milvus untuk membangun beberapa MVP (produk yang layak), seperti sistem pencarian gambar terbalik, sistem analisis video, chatbot QA, atau sistem pemberi rekomendasi. Anda dapat mempelajari cara menerapkan pencarian kemiripan vektor di dunia yang penuh dengan data yang tidak terstruktur dan mendapatkan pengalaman langsung di Milvus Bootcamp.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/2_5b60157b4d.png" alt="2.png" class="doc-image" id="2.png" />
   </span> <span class="img-wrapper"> <span>2.png</span> </span></p>
<p>Kami menyediakan layanan front-end dan back-end untuk proyek-proyek di Milvus Bootcamp. Namun, baru-baru ini kami telah membuat keputusan untuk mengubah kerangka kerja web yang diadopsi dari Flask ke FastAPI.</p>
<p>Artikel ini bertujuan untuk menjelaskan motivasi kami di balik perubahan kerangka kerja web yang diadopsi untuk Milvus Bootcamp dengan mengklarifikasi mengapa kami memilih FastAPI daripada Flask.</p>
<h2 id="Web-frameworks-for-Python" class="common-anchor-header">Kerangka kerja web untuk Python<button data-href="#Web-frameworks-for-Python" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Kerangka kerja web mengacu pada kumpulan paket atau modul. Ini adalah seperangkat arsitektur perangkat lunak untuk pengembangan web yang memungkinkan Anda untuk menulis aplikasi atau layanan web dan menyelamatkan Anda dari kesulitan menangani detail tingkat rendah seperti protokol, soket, atau manajemen proses / thread. Menggunakan web framework dapat secara signifikan mengurangi beban kerja dalam mengembangkan aplikasi web karena Anda cukup "menyambungkan" kode Anda ke dalam framework, tanpa perlu perhatian ekstra saat berurusan dengan cache data, akses database, dan verifikasi keamanan data. Untuk informasi lebih lanjut tentang apa itu kerangka kerja web untuk Python, lihat <a href="https://wiki.python.org/moin/WebFrameworks">Kerangka Kerja Web</a>.</p>
<p>Ada berbagai jenis kerangka kerja web Python. Yang paling umum adalah Django, Flask, Tornado, dan FastAPI.</p>
<h3 id="Flask" class="common-anchor-header">Flask</h3><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/3_1abd170939.png" alt="3.png" class="doc-image" id="3.png" />
   </span> <span class="img-wrapper"> <span>3.png</span> </span></p>
<p><a href="https://flask.palletsprojects.com/en/2.0.x/">Flask</a> adalah kerangka kerja mikro ringan yang dirancang untuk Python, dengan inti yang sederhana dan mudah digunakan yang memungkinkan Anda untuk mengembangkan aplikasi web Anda sendiri. Selain itu, inti Flask juga dapat dikembangkan. Oleh karena itu, Flask mendukung ekstensi sesuai permintaan dari berbagai fungsi yang berbeda untuk memenuhi kebutuhan pribadi Anda selama pengembangan aplikasi web. Dengan kata lain, dengan pustaka berbagai plug-in di Flask, Anda dapat mengembangkan situs web yang kuat.</p>
<p>Flask memiliki karakteristik sebagai berikut:</p>
<ol>
<li>Flask adalah sebuah kerangka kerja mikro yang tidak bergantung pada alat atau komponen spesifik lainnya dari pustaka pihak ketiga untuk menyediakan fungsionalitas bersama. Flask tidak memiliki lapisan abstraksi basis data, dan tidak memerlukan validasi formulir. Namun, Flask sangat mudah dikembangkan dan mendukung penambahan fungsionalitas aplikasi dengan cara yang mirip dengan implementasi di dalam Flask itu sendiri. Ekstensi yang relevan termasuk pemetaan objek-relasional, validasi formulir, pemrosesan unggahan, teknologi otentikasi terbuka, dan beberapa alat umum yang dirancang untuk kerangka kerja web.</li>
<li>Flask adalah sebuah kerangka kerja aplikasi web yang berbasis <a href="https://wsgi.readthedocs.io/">WSGI</a> (Web Server Gateway Interface). WSGI adalah antarmuka sederhana yang menghubungkan server web dengan aplikasi web atau kerangka kerja yang didefinisikan untuk bahasa Python.</li>
<li>Flask memiliki dua pustaka fungsi inti, yaitu <a href="https://www.palletsprojects.com/p/werkzeug">Werkzeug</a> dan <a href="https://www.palletsprojects.com/p/jinja">Jinja2</a>. Werkzeug adalah toolkit WSGI yang mengimplementasikan permintaan, objek respons, dan fungsi praktis, yang memungkinkan Anda untuk membangun kerangka kerja web di atasnya. Jinja2 adalah mesin templating berfitur lengkap yang populer untuk Python. Jinja2 memiliki dukungan penuh untuk Unicode, dengan lingkungan eksekusi sandbox terintegrasi yang opsional tetapi diadopsi secara luas.</li>
</ol>
<h3 id="FastAPI" class="common-anchor-header">FastAPI</h3><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/4_05cb0dac4e.png" alt="4.png" class="doc-image" id="4.png" />
   </span> <span class="img-wrapper"> <span>4.png</span> </span></p>
<p><a href="https://fastapi.tiangolo.com/">FastAPI</a> adalah kerangka kerja aplikasi web Python modern yang memiliki tingkat kinerja tinggi yang sama dengan Go dan NodeJS. Inti dari FastAPI didasarkan pada <a href="https://www.starlette.io/">Starlette</a> dan <a href="https://pydantic-docs.helpmanual.io/">Pydantic</a>. Starlette adalah toolkit kerangka kerja <a href="https://asgi.readthedocs.io/">ASGI</a>(Asynchronous Server Gateway Interface) yang ringan untuk membangun layanan <a href="https://docs.python.org/3/library/asyncio.html">Asyncio</a> berkinerja tinggi. Pydantic adalah sebuah pustaka yang mendefinisikan validasi data, serialisasi, dan dokumentasi berdasarkan petunjuk tipe Python.</p>
<p>FastAPI memiliki karakteristik sebagai berikut:</p>
<ol>
<li>FastAPI adalah kerangka kerja aplikasi web berdasarkan ASGI, antarmuka protokol gateway asinkron yang menghubungkan layanan protokol jaringan dan aplikasi Python. FastAPI dapat menangani berbagai jenis protokol umum, termasuk HTTP, HTTP2, dan WebSocket.</li>
<li>FastAPI didasarkan pada Pydantic, yang menyediakan fungsi untuk memeriksa tipe data antarmuka. Anda tidak perlu memverifikasi parameter antarmuka Anda, atau menulis kode tambahan untuk memverifikasi apakah parameternya kosong atau apakah tipe datanya benar. Menggunakan FastAPI secara efektif dapat menghindari kesalahan manusia dalam kode dan meningkatkan efisiensi pengembangan.</li>
<li>FastAPI mendukung dokumen dalam dua format - <a href="https://swagger.io/specification/">OpenAPI</a> (sebelumnya Swagger) dan <a href="https://www.redoc.com/">Redoc</a>. Oleh karena itu, sebagai pengguna Anda tidak perlu menghabiskan waktu ekstra untuk menulis dokumen antarmuka tambahan. Dokumen OpenAPI yang disediakan oleh FastAPI ditunjukkan pada gambar di bawah ini.</li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/5_d91d34cb0f.png" alt="5.png" class="doc-image" id="5.png" />
   </span> <span class="img-wrapper"> <span>5.png</span> </span></p>
<h3 id="Flask-Vs-FastAPI" class="common-anchor-header">Flask Vs. FastAPI</h3><p>Tabel di bawah ini menunjukkan perbedaan antara Flask dan FastAPI dalam beberapa aspek.</p>
<table>
<thead>
<tr><th></th><th><strong>FastAPI</strong></th><th><strong>Flask</strong></th></tr>
</thead>
<tbody>
<tr><td><strong>Gerbang antarmuka</strong></td><td>ASGI</td><td>WSGI</td></tr>
<tr><td><strong>Kerangka kerja asinkron</strong></td><td>✅</td><td>❌</td></tr>
<tr><td><strong>Kinerja</strong></td><td>Lebih cepat</td><td>Lebih lambat</td></tr>
<tr><td><strong>Dokumen interaktif</strong></td><td>OpenAPI, Redoc</td><td>Tidak ada</td></tr>
<tr><td><strong>Verifikasi data</strong></td><td>✅</td><td>❌</td></tr>
<tr><td><strong>Biaya pengembangan</strong></td><td>Lebih rendah</td><td>Lebih tinggi</td></tr>
<tr><td><strong>Kemudahan penggunaan</strong></td><td>Lebih rendah</td><td>Lebih tinggi</td></tr>
<tr><td><strong>Fleksibilitas</strong></td><td>Kurang fleksibel</td><td>Lebih fleksibel</td></tr>
<tr><td><strong>Komunitas</strong></td><td>Lebih kecil</td><td>Lebih aktif</td></tr>
</tbody>
</table>
<h2 id="Why-FastAPI" class="common-anchor-header">Mengapa FastAPI?<button data-href="#Why-FastAPI" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Sebelum memutuskan kerangka kerja aplikasi web Python mana yang akan dipilih untuk proyek-proyek di Milvus Bootcamp, kami melakukan penelitian terhadap beberapa kerangka kerja utama termasuk Django, Flask, FastAPI, Tornado, dan banyak lagi. Karena proyek-proyek di Milvus Bootcamp berfungsi sebagai referensi untuk Anda, prioritas kami adalah mengadopsi kerangka kerja eksternal yang paling ringan dan cekatan. Berdasarkan aturan ini, kami mempersempit pilihan kami ke Flask dan FastAPI.</p>
<p>Anda dapat melihat perbandingan antara kedua kerangka kerja web tersebut di bagian sebelumnya. Berikut ini adalah penjelasan rinci tentang motivasi kami untuk memilih FastAPI daripada Flask untuk proyek-proyek di Milvus Bootcamp. Ada beberapa alasan:</p>
<h3 id="1-Performance" class="common-anchor-header">1. Kinerja</h3><p>Sebagian besar proyek di Milvus Bootcamp dibangun di sekitar sistem pencarian gambar terbalik, chatbot QA, mesin pencari teks, yang semuanya memiliki tuntutan tinggi untuk pemrosesan data real-time. Oleh karena itu, kami membutuhkan kerangka kerja dengan kinerja yang luar biasa, yang merupakan sorotan utama FastAPI. Oleh karena itu, dari perspektif kinerja sistem, kami memutuskan untuk memilih FastAPI.</p>
<h3 id="2-Efficiency" class="common-anchor-header">2. Efisiensi</h3><p>Saat menggunakan Flask, Anda perlu menulis kode untuk verifikasi tipe data di setiap antarmuka sehingga sistem dapat menentukan apakah data input kosong atau tidak. Namun, dengan mendukung verifikasi tipe data otomatis, FastAPI membantu menghindari kesalahan manusia dalam pengkodean selama pengembangan sistem dan dapat sangat meningkatkan efisiensi pengembangan. Bootcamp diposisikan sebagai jenis sumber daya pelatihan. Ini berarti kode dan komponen yang kami gunakan harus intuitif dan sangat efisien. Dalam hal ini, kami memilih FastAPI untuk meningkatkan efisiensi sistem dan meningkatkan pengalaman pengguna.</p>
<h3 id="3-Asynchronous-framework" class="common-anchor-header">3. Kerangka kerja asinkron</h3><p>FastAPI pada dasarnya adalah kerangka kerja asinkron. Awalnya, kami merilis empat <a href="https://zilliz.com/milvus-demos?isZilliz=true">demo</a>, pencarian gambar terbalik, analisis video, chatbot QA, dan pencarian kemiripan molekuler. Dalam demo-demo ini, Anda dapat mengunggah dataset dan akan segera diberi tahu &quot;permintaan diterima&quot;. Dan ketika data diunggah ke sistem demo, Anda akan menerima pemberitahuan &quot;unggahan data berhasil&quot;. Ini adalah proses asinkron yang membutuhkan kerangka kerja yang mendukung fitur ini. FastAPI sendiri merupakan kerangka kerja asinkron. Untuk menyelaraskan semua sumber daya Milvus, kami memutuskan untuk mengadopsi satu set alat pengembangan dan perangkat lunak untuk Milvus Bootcamp dan demo Milvus. Sebagai hasilnya, kami mengubah kerangka kerja dari Flask ke FastAPI.</p>
<h3 id="4-Automatic-interactive-documents" class="common-anchor-header">4. Dokumen interaktif otomatis</h3><p>Dengan cara tradisional, ketika Anda selesai menulis kode untuk sisi server, Anda perlu menulis dokumen tambahan untuk membuat antarmuka, dan kemudian menggunakan alat seperti <a href="https://www.postman.com/">Postman</a> untuk pengujian dan debugging API. Jadi, bagaimana jika Anda hanya ingin segera memulai dengan bagian pengembangan sisi server web dari proyek-proyek di Milvus Bootcamp tanpa menulis kode tambahan untuk membuat antarmuka? FastAPI adalah solusinya. Dengan menyediakan dokumen OpenAPI, FastAPI dapat menyelamatkan Anda dari kesulitan menguji atau men-debug API dan berkolaborasi dengan tim front-end untuk mengembangkan antarmuka pengguna. Dengan FastAPI, Anda masih dapat dengan cepat mencoba aplikasi yang dibangun dengan antarmuka yang otomatis namun intuitif tanpa upaya ekstra untuk pengkodean.</p>
<h3 id="5-User-friendliness" class="common-anchor-header">5. Keramahan pengguna</h3><p>FastAPI lebih mudah digunakan dan dikembangkan, sehingga memungkinkan Anda untuk lebih memperhatikan implementasi spesifik dari proyek itu sendiri. Tanpa menghabiskan terlalu banyak waktu untuk mengembangkan kerangka kerja web, Anda dapat lebih fokus untuk memahami proyek-proyek di Milvus Bootcamp.</p>
<h2 id="Recap" class="common-anchor-header">Rekap<button data-href="#Recap" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Flask dan FlastAPI memiliki kelebihan dan kekurangan masing-masing. Sebagai kerangka kerja aplikasi web yang sedang berkembang, FlastAPI, pada intinya, dibangun di atas toolkit dan perpustakaan yang sudah matang, Starlette dan Pydantic. FastAPI adalah kerangka kerja asinkron dengan kinerja tinggi. Ketangkasan, ekstensibilitas, dan dukungannya untuk verifikasi tipe data otomatis, bersama dengan banyak fitur canggih lainnya, mendorong kami untuk mengadopsi FastAPI sebagai kerangka kerja untuk proyek-proyek Milvus Bootcamp.</p>
<p>Harap dicatat bahwa Anda harus memilih kerangka kerja yang sesuai dengan skenario aplikasi Anda jika Anda ingin membangun sistem pencarian kemiripan vektor dalam produksi.</p>
<h2 id="About-the-author" class="common-anchor-header">Tentang penulis<button data-href="#About-the-author" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Yunmei Li, Zilliz Data Engineer, lulus dari Universitas Sains dan Teknologi Huazhong dengan gelar di bidang ilmu komputer. Sejak bergabung dengan Zilliz, ia telah bekerja mengeksplorasi solusi untuk proyek open source Milvus dan membantu pengguna untuk menerapkan Milvus dalam skenario dunia nyata. Fokus utamanya adalah pada NLP dan sistem rekomendasi, dan ia ingin lebih memperdalam fokusnya di dua bidang ini. Dia suka menghabiskan waktu sendirian dan membaca.</p>
<h2 id="Looking-for-more-resources" class="common-anchor-header">Mencari lebih banyak sumber daya?<button data-href="#Looking-for-more-resources" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p>Mulailah membangun sistem AI dengan Milvus dan dapatkan lebih banyak pengalaman langsung dengan membaca tutorial kami!</p>
<ul>
<li><a href="https://milvus.io/blog/2021-10-10-milvus-helps-analys-vedios.md">Apa itu? Siapa Dia? Milvus Membantu Menganalisis Video dengan Cerdas</a></li>
<li><a href="https://milvus.io/blog/2021-09-26-onnx.md">Menggabungkan Model AI untuk Pencarian Gambar menggunakan ONNX dan Milvus</a></li>
<li><a href="https://milvus.io/blog/dna-sequence-classification-based-on-milvus.md">Klasifikasi Urutan DNA berdasarkan Milvus</a></li>
<li><a href="https://milvus.io/blog/audio-retrieval-based-on-milvus.md">Pengambilan Audio Berdasarkan Milvus</a></li>
<li><a href="https://milvus.io/blog/building-video-search-system-with-milvus.md">4 Langkah untuk Membangun Sistem Pencarian Video</a></li>
<li><a href="https://milvus.io/blog/building-intelligent-chatbot-with-nlp-and-milvus.md">Membangun Sistem QA Cerdas dengan NLP dan Milvus</a></li>
<li><a href="https://milvus.io/blog/molecular-structure-similarity-with-milvus.md">Mempercepat Penemuan Obat Baru</a></li>
</ul></li>
<li><p>Bergabunglah dengan komunitas sumber terbuka kami:</p>
<ul>
<li>Temukan atau kontribusikan Milvus di <a href="https://bit.ly/307b7jC">GitHub</a>.</li>
<li>Berinteraksi dengan komunitas melalui <a href="https://bit.ly/3qiyTEk">Forum</a>.</li>
<li>Terhubung dengan kami di <a href="https://bit.ly/3ob7kd8">Twitter</a>.</li>
</ul></li>
</ul>


Mengapa Memilih FastAPI daripada Flask?

Mempercepat Pembangkitan Kandidat dalam Sistem Rekomendasi Menggunakan Milvus yang dipasangkan dengan PaddlePaddle

<p>Tutorial ini memperkenalkan cara menjalankan Milvus 2.0 pada Windows. Jika Anda ingin memulai menggunakan Milvus 2.0 menggunakan Windows, atau hanya ingin menjalankan Milvus di Windows karena keterbatasan lingkungan, tutorial ini dapat menjadi referensi yang baik. Artikel ini aslinya ditulis oleh <a href="https://github.com/matrixji">@matrixji</a>.</p>
<p>Ada dua cara untuk menjalankan Milvus 2.0 di Windows:</p>
<ul>
<li><a href="#Compile-from-source-code">Kompilasi dari kode sumber</a></li>
<li><a href="#Install-from-the-binary-package">Menginstal dari paket biner</a></li>
</ul>
<h2 id="Compile-from-source-code" class="common-anchor-header">Kompilasi dari kode sumber<button data-href="#Compile-from-source-code" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="Prerequisites" class="common-anchor-header">Prasyarat</h3><p>Anda perlu menginstal toolchain MinGW64/MSYS sebelum mengkompilasi Milvus 2.0 pada Windows. Lihat <a href="https://www.msys2.org/">MSYS2</a> untuk panduan instalasi. Kompilasi dalam tutorial ini diselesaikan di dalam shell MSYS2 MinGW 64-bit. Anda dapat menjalankan <code translate="no">$ pacman -Su</code> untuk memperbarui toolchain.</p>
<p>Kami juga menyarankan Anda untuk menjalankan <code translate="no">$ pacman -S git</code> untuk menginstal git.</p>
<h3 id="Step-1-Clone-code" class="common-anchor-header">Langkah 1. Kloning kode</h3><p>Jalankan perintah berikut untuk mengkloning kode dari cabang <strong>windows-dev</strong> di repositori <strong>matrixji/milvus</strong>. Saat ini, semua komit dapat ditelusuri di <strong>windows-dev</strong>, yang merombak komit dari cabang utama hulu <a href="https://github.com/milvus-io/milvus"><strong>milvus-io/milvus</strong></a> setiap minggunya.</p>
<pre><code translate="no" class="language-python">$ git <span class="hljs-built_in">clone</span> git@github.com:matrixji/milvus.git -b windows-dev
<button class="copy-code-btn"></button></code></pre>
<h3 id="Step-2-Compile-Milvus" class="common-anchor-header">Langkah 2. Mengkompilasi Milvus</h3><h4 id="1-Install-dependencies-and-toolchain" class="common-anchor-header">1. Menginstal ketergantungan dan rantai alat</h4><p>Jalankan perintah berikut untuk menginstal dependensi dan toolchain yang dibutuhkan. Setelah instalasi, Anda perlu memulai ulang shell MinGW/MYSY untuk memastikan konfigurasi beberapa alat diterapkan dengan benar.</p>
<pre><code translate="no" class="language-python">$ <span class="hljs-built_in">cd</span> milvus
$ scripts/install_deps_msys.sh
<button class="copy-code-btn"></button></code></pre>
<h4 id="2-Compile-Milvus" class="common-anchor-header">2. Mengkompilasi Milvus</h4><p>Jalankan perintah berikut untuk mengkompilasi dan memaketkan Milvus.</p>
<pre><code translate="no" class="language-python">$ make
$ sh scripts/package_windows.sh
<button class="copy-code-btn"></button></code></pre>
<p>Jika berhasil, Anda akan menemukan sebuah berkas zip dalam subdirektori <code translate="no">windows_package</code>. Berkas zip ini berisi semua berkas untuk menjalankan <code translate="no">milvus.exe</code>, termasuk <code translate="no">minio.exe</code> dan <code translate="no">etcd.exe</code>.</p>
<div class="alert note">
Milvus 2.0 dikembangkan dengan bahasa pemrograman Go. Anda mungkin perlu mengkonfigurasi <a href='https://goproxy.cn/'>Goproxy</a> untuk menginstal modul pihak ketiga.</div>
<h2 id="Install-from-the-binary-package" class="common-anchor-header">Instal dari paket biner<button data-href="#Install-from-the-binary-package" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Anda juga dapat mengunduh paket biner yang telah dikompilasi dari <a href="https://github.com/matrixji/milvus/releases">Rilis - matrixji/milvus</a>. Setiap rilis memiliki <strong>windows-test-</strong> sebagai awalan, misalnya, <strong>windows-test-v8</strong>. Cari rilis yang Anda inginkan dan unduh paket zip yang sesuai.</p>
<h3 id="Step-1-Start-Milvus" class="common-anchor-header">Langkah 1. Memulai Milvus</h3><h4 id="1-Unzip-the-package" class="common-anchor-header">1. Buka ritsleting paket</h4><p>Buka ritsleting paket, dan Anda akan menemukan direktori <code translate="no">milvus</code>, yang berisi semua berkas yang diperlukan.</p>
<h4 id="2-Start-a-MinIO-service" class="common-anchor-header">2. Memulai layanan MinIO</h4><p>Klik dua kali file <code translate="no">run_minio.bat</code> untuk memulai layanan MinIO dengan konfigurasi default. Data akan disimpan dalam subdirektori <code translate="no">s3data</code>.</p>
<h4 id="3-Start-an-etcd-service" class="common-anchor-header">3. Memulai layanan etcd</h4><p>Klik dua kali file <code translate="no">run_etcd.bat</code> untuk memulai layanan etcd dengan konfigurasi default.</p>
<h4 id="4-Start-Milvus-service" class="common-anchor-header">4. Memulai layanan Milvus</h4><p>Klik dua kali file <code translate="no">run_milvus.bat</code> untuk memulai layanan Milvus.</p>
<h3 id="Step-2-Run-hellomilvuspy" class="common-anchor-header">Langkah 2. Jalankan <code translate="no">hello_milvus.py</code></h3><p>Setelah memulai layanan Milvus, Anda dapat menguji dengan menjalankan <code translate="no">hello_milvus.py</code>. Lihat <a href="https://milvus.io/docs/v2.0.x/example_code.md">Halo Milvus</a> untuk informasi lebih lanjut.</p>
<h2 id="Engage-with-our-open-source-community" class="common-anchor-header">Langkah 3. Bergabunglah dengan komunitas sumber terbuka kami:<button data-href="#Engage-with-our-open-source-community" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li>Temukan atau berkontribusi ke Milvus di <a href="https://bit.ly/3khejQB">GitHub</a>.</li>
<li>Berinteraksi dengan komunitas melalui <a href="https://bit.ly/307HVsY">Forum</a>.</li>
<li>Terhubung dengan kami di <a href="https://bit.ly/3wn5aek">Twitter</a>.</li>
</ul>


Jalankan Milvus 2.0 di Windows

<custom-h1>Selesai - Milvus Hacktoberfest 2021</custom-h1><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Blog_cover_a6ce8748d7.jpeg" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<p>Hacktoberfest telah berakhir, tetapi tidak ada habisnya untuk berkontribusi dalam proyek open-source!</p>
<p>Sepanjang bulan Oktober, kami memiliki total <strong>44 pull request</strong> (PR) di seluruh repositori kami dari <strong>36 kontributor</strong> (tidak termasuk tim inti kami). Meskipun ini adalah tahun pertama bagi komunitas Milvus untuk bergabung dengan Hacktoberfest, jumlah peserta yang kami lihat di luar ekspektasi kami, sebuah indikasi tumbuhnya kesadaran akan semangat open-source.</p>
<p>Kami berharap semua orang yang berpartisipasi dalam acara ini mendapatkan pengalaman langsung atau pengetahuan tentang open source, komunitas, dan keterampilan teknis yang bermanfaat dalam prosesnya.️️️</p>
<p>Dalam postingan ini, kami ingin mengajak Anda untuk merayakan pencapaian kami bersama dan bagaimana cara untuk terus berkontribusi pada Milvus setelah Hacktoberfest.</p>
<h2 id="📣-Shout-out-to-our-contributors" class="common-anchor-header"><strong>📣 Terima kasih kepada para kontributor kami:</strong><button data-href="#📣-Shout-out-to-our-contributors" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Selama Hacktoberfest tahun ini, repositori proyek Milvus menerima <strong>44 pull request yang digabungkan</strong>! Ini adalah pencapaian besar di semua sisi. Kerja bagus, semuanya! 🎉</p>
<p><a href="https://github.com/parthiv11">parthiv11</a>, <a href="https://github.com/joremysh">joremysh</a>, <a href="https://github.com/noviicee">noviicee</a>, <a href="https://github.com/Biki-das">Biki-das</a>, <a href="https://github.com/Nadyamilona">Nadyamilona</a>, <a href="https://github.com/ashish4arora">ashish4arora</a>, <a href="https://github.com/Dhruvacube">Dhruvacube</a>, <a href="https://github.com/iamartyaa">iamartyaa</a>, <a href="https://github.com/RafaelDSS">RafaelDSS</a>, <a href="https://github.com/kartikcho">kartikcho</a>, <a href="https://github.com/GuyKh">GuyKh</a>, <a href="https://github.com/Deep1Shikha">Deep1Shikha</a>, <a href="https://github.com/shreemaan-abhishek">shreemaan-abhishek</a>, <a href="https://github.com/daniel-shuy">daniel-shuy</a>, <a href="https://github.com/Hard-Coder05">Hard-Coder05</a>, <a href="https://github.com/sapora1">sapora1</a>, <a href="https://github.com/Rutam21">Rutam21</a>, <a href="https://github.com/idivyanshbansal">idivyanshbansal</a>, <a href="https://github.com/Mihir501">Mihir501</a>, <a href="https://github.com/Ayushchaudhary-Github">YushChaudhary</a>, <a href="https://github.com/sreyan-ghosh">sreyan-ghosh</a>, <a href="https://github.com/chiaramistro">chiaramistro</a>, <a href="https://github.com/appledora">appledora</a>, <a href="https://github.com/luisAzcuaga">luisAzcuaga</a>, <a href="https://github.com/matteomessmer">matteomessmer</a>, <a href="https://github.com/Nadyamilona">Nadyamilona</a>, <a href="https://github.com/Tititesouris">Tititesouris</a>, <a href="https://github.com/amusfq">amusfq</a>, <a href="https://github.com/matrixji">matrixji</a> &amp; <a href="https://github.com/zamanmub">generalZman</a></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/_80b0d87746.png" alt="image-20211110180357460" class="doc-image" id="image-20211110180357460" />
   </span> <span class="img-wrapper"> <span>image-20211110180357460</span> </span></p>
<h3 id="Here-are-some-extraordinary-Milvus-Hacktoberfest-2021-contributions" class="common-anchor-header">Berikut adalah beberapa kontribusi luar biasa dari Milvus Hacktoberfest 2021:</h3><p><strong>⚙️ Fitur baru</strong></p>
<p><a href="https://github.com/milvus-io/milvus/issues/7706">Kompilasi &amp; Jalankan Milvus di berbagai platform</a> oleh <a href="https://github.com/matrixji">matrixji</a></p>
<p><strong>(🏆 Kontributor Teratas 🏆 )</strong></p>
<p><strong>📝 Dokumentasi</strong></p>
<ul>
<li><a href="https://github.com/milvus-io/bootcamp/issues/720">Menerjemahkan Hello Milvus (example_code.md) ke bahasa apa pun</a> oleh <a href="https://github.com/chiaramistro">chiaramistro</a>, <a href="https://github.com/appledora">appledora</a>, <a href="https://github.com/luisAzcuaga">luisAzcuaga</a>, <a href="https://github.com/matteomessmer">matteomessmer</a>, <a href="https://github.com/Nadyamilona">Nadyamilona</a>, <a href="https://github.com/Tititesouris">Tititesouris</a> &amp; <a href="https://github.com/amusfq">amusfq</a></li>
<li><a href="https://github.com/milvus-io/bootcamp/issues/720">Tambahkan contoh NodeJS ke example_code.md</a> oleh <a href="https://github.com/GuyKh">GuyKh</a></li>
<li><a href="https://github.com/milvus-io/milvus-docs/pull/921/files">menerjemahkan upgrade.md</a> &amp; <a href="https://github.com/milvus-io/milvus-docs/pull/892">menambahkan dan menerjemahkan parameter di Panduan Pengguna ke CN</a> oleh <a href="https://github.com/joremysh">joremysh</a></li>
<li><a href="https://github.com/milvus-io/milvus-docs/pull/753">Menerjemahkan tutorial/dna_sequence_classification.md ke dalam CN</a> &amp; <a href="https://github.com/milvus-io/milvus-docs/pull/752">Menerjemahkan reference/schema/collection_schema.md ke dalam CN</a> oleh <a href="https://github.com/daniel-shuy">daniel-shuy</a></li>
</ul>
<p><strong>🚀 Bootcamp</strong></p>
<ul>
<li><a href="https://github.com/milvus-io/bootcamp/pull/858">Penyempurnaan tutorial Jupyter Notebook untuk pencarian hash gambar </a>oleh <a href="https://github.com/zamanmub">generalZman</a></li>
<li><a href="https://github.com/milvus-io/bootcamp/pull/792">memperbaiki bug TOPK pada reverse_image_search</a> oleh <a href="https://github.com/RafaelDSS">RafaelDSS</a></li>
</ul>
<p><strong>🐍 PyMilvus</strong></p>
<ul>
<li><a href="https://github.com/milvus-io/pymilvus/issues/741">Perbarui formulir masalah GitHub </a>(beberapa repo) oleh <a href="https://github.com/Hard-Coder05">Hard-Coder05</a></li>
</ul>
<h3 id="Share-your-feedback-with-us" class="common-anchor-header">Bagikan umpan balik Anda dengan kami!</h3><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/h3_412b0f649b.png" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<p>Anda dipersilakan untuk membagikan pengalaman Anda di Milvus Hacktoberfest 2021 kepada kami! Baik itu postingan blog, tweet (@milvusio), atau hanya sebuah postingan di <a href="https://discuss.milvus.io/c/hacktoberfest/9">forum</a> kami, apa pun akan sangat kami hargai!</p>
<h2 id="Whats-Next" class="common-anchor-header">Apa yang Selanjutnya?<button data-href="#Whats-Next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="👩‍💻-Code--Documentation" class="common-anchor-header"><strong>👩‍💻</strong> <strong>Kode &amp; Dokumentasi</strong></h3><p>Jika Anda memiliki pengetahuan yang terbatas tentang Milvus, Anda dapat membiasakan diri dengan cara kerja komunitas ini dengan berkontribusi di <a href="https://github.com/milvus-io/pymilvus">pymilvus</a> atau repositori <a href="https://github.com/milvus-io/milvus-docs">dokumen</a>. Anda juga bisa mencari tag seperti <strong>#goodfirstissue</strong> atau <strong>#helpwanted</strong>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/h4_f18c9b6c2c.png" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/h5_a4f90c24a8.png" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<p>Jika Anda memiliki pertanyaan tentang cara berkontribusi, Anda dapat bertanya kepada komunitas di bawah kategori <strong>Kontributor</strong> Forum: https://discuss.milvus.io/t/things-you-need-to-know-before-you-get-started/64.</p>
<h3 id="🏆-Be-a-Milvus-Advocate" class="common-anchor-header">🏆 Jadilah Pendukung Milvus</h3><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/advocate_1052d8249a.jpg" alt="image-20211110180730866" class="doc-image" id="image-20211110180730866" />
   </span> <span class="img-wrapper"> <span>image-20211110180730866</span> </span></p>
<p>Bagikan pengalaman Anda dan hal-hal yang telah Anda pelajari kepada komunitas; ajukan ide tentang bagaimana kami dapat meningkatkannya; menjawab pertanyaan dan membantu orang lain di Forum Milvus, dll. Ada banyak cara bagi Anda untuk berpartisipasi dalam komunitas, kami telah mencantumkan beberapa contoh di bawah ini, tetapi kami menerima segala bentuk kontribusi:</p>
<ul>
<li><p><strong>Demo dan solusi:</strong> Tunjukkan kepada pengguna Milvus bagaimana cara memanfaatkan platform ini dalam skenario tertentu (misalnya sistem rekomendasi musik). Contoh-contohnya tersedia di <a href="https://github.com/milvus-io/bootcamp">Milvus Bootcamp</a>.</p></li>
<li><p><strong>Artikel blog, cerita pengguna, atau whitepaper:</strong> Tulis konten berkualitas tinggi yang menjelaskan detail teknis tentang Milvus dengan jelas dan akurat.</p></li>
<li><p><strong>Pembicaraan teknologi/siaran langsung:</strong> Berikan ceramah atau adakan siaran langsung yang membantu meningkatkan kesadaran seputar Milvus.</p></li>
<li><p><strong>Lainnya:</strong> Konten apa pun yang memainkan peran positif dalam pengembangan Milvus dan komunitas sumber terbukanya akan dianggap memenuhi syarat.</p></li>
</ul>
<p>Untuk informasi lebih lanjut, silakan baca: https://milvus.io/community/milvus_advocate.md</p>
<p>Akhir kata, sekali lagi terima kasih telah bergabung dalam Hacktoberfest tahun ini dan mengizinkan kami untuk menjadi mentor dan murid Anda. Terima kasih <a href="https://hacktoberfest.digitalocean.com/">Digital Ocean</a> karena telah menjadi tuan rumah untuk acara yang luar biasa ini. Sampai jumpa lagi di lain waktu!</p>
<p>Selamat berkoding!</p>
<p>Tim Komunitas Milvus</p>


Sudah selesai! Milvus Hacktoberfest 2021

<p><em>Yufen Zong, Insinyur Pengembangan Tes Zilliz, lulus dari Universitas Sains dan Teknologi Huazhong dengan gelar master di bidang teknologi komputer. Saat ini ia terlibat dalam jaminan kualitas basis data vektor Milvus, termasuk namun tidak terbatas pada pengujian integrasi antarmuka, pengujian SDK, pengujian Benchmark, dll. Yufen adalah seorang pemecah masalah yang antusias dalam pengujian dan pengembangan Milvus, dan penggemar berat teori chaos engineering dan praktik fault drill.</em></p>
<h2 id="Background" class="common-anchor-header">Latar Belakang<button data-href="#Background" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Ketika menggunakan database vektor Milvus, Anda perlu memodifikasi konfigurasi default untuk memenuhi kebutuhan skenario yang berbeda. Sebelumnya, seorang pengguna Milvus berbagi tentang <a href="/blog/id/2021-10-22-apply-configuration-changes-on-milvus-2.md">Cara Memodifikasi Konfigurasi Milvus yang Diterapkan Menggunakan Docker Compose</a>. Dan pada artikel ini, saya ingin berbagi dengan Anda tentang cara memodifikasi konfigurasi Milvus yang digunakan pada Kubernetes.</p>
<h2 id="Modify-configuration-of-Milvus-on-Kubernetes" class="common-anchor-header">Memodifikasi konfigurasi Milvus di Kubernetes<button data-href="#Modify-configuration-of-Milvus-on-Kubernetes" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Anda dapat memilih paket modifikasi yang berbeda sesuai dengan parameter konfigurasi yang ingin Anda ubah. Semua berkas konfigurasi Milvus disimpan di bawah <strong>milvus/configs</strong>. Saat menginstal Milvus di Kubernetes, repositori Milvus Helm Chart akan ditambahkan secara lokal. Dengan menjalankan <code translate="no">helm show values milvus/milvus</code>, Anda dapat memeriksa parameter yang dapat dimodifikasi secara langsung dengan Chart. Untuk parameter yang dapat dimodifikasi dengan Chart, Anda dapat mengoper parameter menggunakan <code translate="no">--values</code> atau <code translate="no">--set</code>. Untuk informasi lebih lanjut, lihat <a href="https://artifacthub.io/packages/helm/milvus/milvus">Milvus Helm Chart</a> dan <a href="https://helm.sh/docs/">Helm</a>.</p>
<p>Jika parameter yang ingin Anda modifikasi tidak ada dalam daftar, Anda dapat mengikuti instruksi di bawah ini.</p>
<p>Pada langkah berikut, parameter <code translate="no">rootcoord.dmlChannelNum</code> pada <strong>/milvus/configs/advanced/root_coord.yaml</strong> akan dimodifikasi untuk tujuan demonstrasi. Manajemen berkas konfigurasi Milvus pada Kubernetes diimplementasikan melalui objek sumber daya ConfigMap. Untuk mengubah parameter, Anda harus terlebih dahulu memperbarui objek ConfigMap dari rilis Chart yang sesuai, lalu memodifikasi berkas sumber daya penerapan dari pod yang sesuai.</p>
<p>Perhatikan bahwa metode ini hanya berlaku untuk modifikasi parameter pada aplikasi Milvus yang telah dit-deploy. Untuk memodifikasi parameter di <strong>/milvus/configs/advanced/*.yaml</strong> sebelum deployment, Anda perlu mengembangkan ulang Milvus Helm Chart.</p>
<h3 id="Modify-ConfigMap-YAML" class="common-anchor-header">Memodifikasi ConfigMap YAML</h3><p>Seperti yang ditunjukkan di bawah ini, rilis Milvus Anda yang berjalan di Kubernetes berhubungan dengan objek ConfigMap dengan nama yang sama dengan nama rilis. Bagian <code translate="no">data</code> pada objek ConfigMap hanya menyertakan konfigurasi di <strong>milvus.yaml</strong>. Untuk mengubah <code translate="no">rootcoord.dmlChannelNum</code> di <strong>root_coord.yaml</strong>, Anda harus menambahkan parameter di <strong>root_coord.yaml</strong> ke bagian <code translate="no">data</code> di ConfigMap YAML dan mengubah parameter tertentu.</p>
<pre><code translate="no">kind: ConfigMap
apiVersion: v1
metadata:
  name: milvus-chaos
  ...
data:
  milvus.yaml: &gt;
    ......
  root_coord.yaml: |
    rootcoord:
      dmlChannelNum: 128
      maxPartitionNum: 4096
      minSegmentSizeToEnableIndex: 1024
      <span class="hljs-built_in">timeout</span>: 3600 <span class="hljs-comment"># time out, 5 seconds</span>
      timeTickInterval: 200 <span class="hljs-comment"># ms</span>
<button class="copy-code-btn"></button></code></pre>
<h3 id="Modify-Deployment-YAML" class="common-anchor-header">Memodifikasi YAML Penyebaran</h3><p>Data yang disimpan dalam ConfigMap dapat direferensikan dalam volume bertipe configMap dan kemudian digunakan oleh aplikasi terkontainerisasi yang berjalan dalam pod. Untuk mengarahkan pod ke file konfigurasi baru, Anda harus memodifikasi templat pod yang perlu memuat konfigurasi di <strong>root_coord.yaml</strong>. Secara khusus, Anda perlu menambahkan deklarasi mount di bawah bagian <code translate="no">spec.template.spec.containers.volumeMounts</code> dalam deployment YAML.</p>
<p>Mengambil deployment YAML pod rootcoord sebagai contoh, volume tipe <code translate="no">configMap</code> bernama <strong>milvus-config</strong> ditentukan di bagian <code translate="no">.spec.volumes</code>. Dan, pada bagian <code translate="no">spec.template.spec.containers.volumeMounts</code>, volume tersebut dideklarasikan untuk memount <strong>milvus.yaml</strong> dari rilis Milvus Anda pada <strong>/milvus/configs/milvus.yaml</strong>. Dengan cara yang sama, Anda hanya perlu menambahkan deklarasi mount khusus untuk kontainer rootcoord untuk memount <strong>root_coord.yaml</strong> di <strong>/milvus/configs/advanced/root_coord.yaml</strong>, dan dengan demikian, kontainer tersebut dapat mengakses berkas konfigurasi yang baru.</p>
<pre><code translate="no" class="language-yaml">spec:
  replicas: 1
  selector:
    ......
  template:
    metadata:
      ...
    spec:
      volumes:
        - name: milvus-config
          configMap:
            name: milvus-chaos
            defaultMode: 420
      containers:
        - name: rootcoord
          image: <span class="hljs-string">&#x27;milvusdb/milvus-dev:master-20210906-86afde4&#x27;</span>
          args:
            ...
          ports:
            ...
          resources: {}
          volumeMounts:
            - name: milvus-config
              readOnly: <span class="hljs-literal">true</span>
              mountPath: /milvus/configs/milvus.yaml
              subPath: milvus.yaml
            - name: milvus-config
              readOnly: <span class="hljs-literal">true</span>
              mountPath: /milvus/configs/advanced/`root_coord.yaml
              subPath: root_coord.yaml
          terminationMessagePath: /dev/termination-log
          terminationMessagePolicy: File
          imagePullPolicy: IfNotPresent
      restartPolicy: Always
      terminationGracePeriodSeconds: 30
      dnsPolicy: ClusterFirst
      securityContext: {}
      schedulerName: default-scheduler
<button class="copy-code-btn"></button></code></pre>
<h3 id="Verify-the-result" class="common-anchor-header">Verifikasi hasilnya</h3><p>Kubelet memeriksa apakah ConfigMap yang terpasang masih baru pada setiap sinkronisasi berkala. Ketika ConfigMap yang digunakan dalam volume diperbarui, kunci yang diproyeksikan juga secara otomatis diperbarui. Ketika pod baru berjalan lagi, Anda dapat memverifikasi apakah modifikasi berhasil di dalam pod. Perintah untuk memeriksa parameter <code translate="no">rootcoord.dmlChannelNum</code> dibagikan di bawah ini.</p>
<pre><code translate="no" class="language-bash">$ kctl <span class="hljs-built_in">exec</span> -ti milvus-chaos-rootcoord-6f56794f5b-xp2zs -- sh
<span class="hljs-comment"># cd configs/advanced</span>
<span class="hljs-comment"># pwd</span>
/milvus/configs/advanced
<span class="hljs-comment"># ls</span>
channel.yaml  common.yaml  data_coord.yaml  data_node.yaml  etcd.yaml  proxy.yaml  query_node.yaml  root_coord.yaml
<span class="hljs-comment"># cat root_coord.yaml</span>
rootcoord:
  dmlChannelNum: 128
  maxPartitionNum: 4096
  minSegmentSizeToEnableIndex: 1024
  <span class="hljs-built_in">timeout</span>: 3600 <span class="hljs-comment"># time out, 5 seconds</span>
  timeTickInterval: 200 <span class="hljs-comment"># ms</span>
<span class="hljs-comment"># exit</span>
<button class="copy-code-btn"></button></code></pre>
<p>Di atas adalah metode untuk memodifikasi konfigurasi lanjutan dalam Milvus yang diterapkan pada Kubernetes. Rilis Milvus di masa mendatang akan mengintegrasikan semua konfigurasi dalam satu berkas, dan akan mendukung pembaruan konfigurasi melalui diagram helm. Namun sebelum itu, saya harap artikel ini dapat membantu Anda sebagai solusi sementara.</p>
<h2 id="Engage-with-our-open-source-community" class="common-anchor-header">Bergabunglah dengan komunitas sumber terbuka kami:<button data-href="#Engage-with-our-open-source-community" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p>Temukan atau berkontribusi ke Milvus di <a href="https://bit.ly/307b7jC">GitHub</a>.</p></li>
<li><p>Berinteraksi dengan komunitas melalui <a href="https://bit.ly/3qiyTEk">Forum</a>.</p></li>
<li><p>Terhubung dengan kami di <a href="https://bit.ly/3ob7kd8">Twitter</a>.</p></li>
</ul>


Cara Memodifikasi Konfigurasi Lanjutan Milvus

Pendahuluan

<custom-h1>Berbagi Teknis: Menerapkan Perubahan Konfigurasi pada Milvus 2.0 menggunakan Docker Compose</custom-h1><p><em>Jingjing Jia, Zilliz Data Engineer, lulus dari Xi'an Jiaotong University dengan gelar di bidang Ilmu Komputer. Setelah bergabung dengan Zilliz, dia terutama bekerja pada pra-pemrosesan data, penerapan model AI, penelitian teknologi terkait Milvus, dan membantu pengguna komunitas untuk mengimplementasikan skenario aplikasi. Ia sangat sabar, suka berkomunikasi dengan rekan-rekan komunitas, dan senang mendengarkan musik dan menonton anime.</em></p>
<p>Sebagai pengguna Milvus yang sering, saya sangat antusias dengan Milvus 2.0 RC yang baru saja dirilis. Menurut perkenalan di situs web resminya, Milvus 2.0 tampaknya mengungguli pendahulunya dengan selisih yang besar. Saya sangat ingin mencobanya sendiri.</p>
<p>Dan saya melakukannya.  Namun, ketika saya benar-benar mendapatkan Milvus 2.0, saya menyadari bahwa saya tidak dapat memodifikasi file konfigurasi di Milvus 2.0 semudah yang saya lakukan dengan Milvus 1.1.1. Saya tidak dapat mengubah berkas konfigurasi di dalam kontainer docker Milvus 2.0 yang dimulai dengan Docker Compose, dan bahkan perubahan paksa pun tidak akan berpengaruh. Belakangan, saya mengetahui bahwa Milvus 2.0 RC tidak dapat mendeteksi perubahan pada berkas konfigurasi setelah instalasi. Dan rilis stabil di masa mendatang akan memperbaiki masalah ini.</p>
<p>Setelah mencoba berbagai pendekatan, saya menemukan cara yang dapat diandalkan untuk menerapkan perubahan pada berkas konfigurasi untuk Milvus 2.0 standalone &amp; cluster, dan inilah caranya.</p>
<p>Perhatikan bahwa semua perubahan pada konfigurasi harus dilakukan sebelum memulai ulang Milvus menggunakan Docker Compose.</p>
<h2 id="Modify-configuration-file-in-Milvus-standalone" class="common-anchor-header">Memodifikasi berkas konfigurasi di Milvus standalone<button data-href="#Modify-configuration-file-in-Milvus-standalone" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Pertama, Anda perlu <a href="https://github.com/milvus-io/milvus/blob/master/configs/milvus.yaml">mengunduh</a> salinan berkas <strong>milvus.yaml</strong> ke perangkat lokal Anda.</p>
<p>Kemudian Anda dapat mengubah konfigurasi dalam berkas tersebut. Sebagai contoh, Anda dapat mengubah format log sebagai <code translate="no">.json</code>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_1_ee4a16a3ee.png" alt="1.1.png" class="doc-image" id="1.1.png" />
   </span> <span class="img-wrapper"> <span>1.1.png</span> </span></p>
<p>Setelah berkas <strong>milvus.yaml</strong> dimodifikasi, Anda juga perlu <a href="https://github.com/milvus-io/milvus/blob/master/deployments/docker/standalone/docker-compose.yml">mengunduh</a> dan memodifikasi berkas <strong>docker-compose.yaml</strong> untuk mandiri dengan memetakan jalur lokal ke milvus.yaml ke jalur kontainer docker yang sesuai dengan berkas konfigurasi <code translate="no">/milvus/configs/milvus.yaml</code> di bawah bagian <code translate="no">volumes</code>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_2_5e7c73708c.png" alt="1.2.png" class="doc-image" id="1.2.png" />
   </span> <span class="img-wrapper"> <span>1.2.png</span> </span></p>
<p>Terakhir, jalankan Milvus mandiri menggunakan <code translate="no">docker-compose up -d</code> dan periksa apakah modifikasi berhasil. Sebagai contoh, jalankan <code translate="no">docker logs</code> untuk memeriksa format log.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_3_a0406df3ab.png" alt="1.3.png" class="doc-image" id="1.3.png" />
   </span> <span class="img-wrapper"> <span>1.3.png</span> </span></p>
<h2 id="Modify-configuration-file-in-Milvus-cluster" class="common-anchor-header">Memodifikasi berkas konfigurasi di cluster Milvus<button data-href="#Modify-configuration-file-in-Milvus-cluster" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Pertama, <a href="https://github.com/milvus-io/milvus/blob/master/configs/milvus.yaml">unduh</a> dan modifikasi berkas <strong>milvus.yaml</strong> sesuai dengan kebutuhan Anda.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_4_758b182846.png" alt="1.4.png" class="doc-image" id="1.4.png" />
   </span> <span class="img-wrapper"> <span>1.4.png</span> </span></p>
<p>Kemudian, Anda perlu <a href="https://github.com/milvus-io/milvus/blob/master/deployments/docker/cluster/docker-compose.yml">mengunduh</a> dan memodifikasi berkas cluster <strong>docker-compose.yml</strong> dengan memetakan jalur lokal ke <strong>milvus.yaml</strong> ke jalur yang sesuai dengan berkas konfigurasi di semua komponen, yaitu root coord, data coord, data node, query coord, query node, index coord, index node, dan proxy.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_5_80e15811b8.png" alt="1.5.png" class="doc-image" id="1.5.png" />
   </span> <span class="img-wrapper"> <span>1.5.png</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_6_b2f3e4e47f.png" alt="1.6.png" class="doc-image" id="1.6.png" />
   </span> <span class="img-wrapper"> <span>1.6.png</span> </span> <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_7_4d1eb5e1e5.png" alt="1.7.png" class="doc-image" id="1.7.png" /></span> <span class="img-wrapper">1 </span>. <span class="img-wrapper">7 <span>.png</span> </span></p>
<p>Terakhir, Anda dapat memulai klaster Milvus menggunakan <code translate="no">docker-compose up -d</code> dan memeriksa apakah modifikasi berhasil.</p>
<h2 id="Change-log-file-path-in-configuration-file" class="common-anchor-header">Mengubah jalur berkas log dalam berkas konfigurasi<button data-href="#Change-log-file-path-in-configuration-file" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Pertama, <a href="https://github.com/milvus-io/milvus/blob/master/configs/milvus.yaml">unduh</a> berkas <strong>milvus.yaml</strong>, dan ubah bagian <code translate="no">rootPath</code> sebagai direktori tempat Anda ingin menyimpan berkas log dalam kontainer Docker.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_8_e3bdc4843f.png" alt="1.8.png" class="doc-image" id="1.8.png" />
   </span> <span class="img-wrapper"> <span>1.8.png</span> </span></p>
<p>Setelah itu, unduh berkas <strong>docker-compose.yml</strong> yang sesuai untuk Milvus <a href="https://github.com/milvus-io/milvus/blob/master/deployments/docker/standalone/docker-compose.yml">mandiri</a> atau <a href="https://github.com/milvus-io/milvus/blob/master/deployments/docker/cluster/docker-compose.yml">cluster</a>.</p>
<p>Untuk standalone, Anda perlu memetakan jalur lokal ke <strong>milvus.yaml</strong> ke jalur kontainer Docker yang sesuai ke berkas konfigurasi <code translate="no">/milvus/configs/milvus.yaml</code>, dan memetakan direktori berkas log lokal ke direktori kontainer Docker yang telah Anda buat sebelumnya.</p>
<p>Untuk cluster, Anda perlu memetakan kedua jalur tersebut di setiap komponen.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_9_22d8929d92.png" alt="1.9.png" class="doc-image" id="1.9.png" />
   </span> <span class="img-wrapper"> <span>1.9.png</span> </span></p>
<p>Terakhir, jalankan Milvus standalone atau cluster menggunakan <code translate="no">docker-compose up -d</code> dan periksa file log untuk melihat apakah modifikasi berhasil.</p>


Berbagi Teknis:Menerapkan Perubahan Konfigurasi pada Milvus 2.0 menggunakan Docker Compose

<custom-h1>Membangun Sistem Analisis Video dengan Basis Data Vektor Milvus</custom-h1><p><em>Shiyu Chen, seorang insinyur data di Zilliz, lulus dari Universitas Xidian dengan gelar di bidang Ilmu Komputer. Sejak bergabung dengan Zilliz, dia telah mengeksplorasi solusi untuk Milvus di berbagai bidang, seperti analisis audio dan video, pencarian rumus molekul, dll., yang telah sangat memperkaya skenario aplikasi komunitas. Saat ini ia sedang mengeksplorasi solusi yang lebih menarik. Di waktu luangnya, dia menyukai olahraga dan membaca.</em></p>
<p>Ketika saya menonton film <em>Free Guy</em> akhir pekan lalu, saya merasa pernah melihat aktor yang memerankan Buddy, sang satpam, di suatu tempat sebelumnya, tetapi tidak dapat mengingat karya-karyanya. Kepala saya dipenuhi dengan pertanyaan, "siapa orang ini?" Saya yakin pernah melihat wajahnya dan berusaha keras untuk mengingat namanya. Kasus serupa adalah ketika saya melihat aktor utama dalam sebuah video sedang menikmati minuman yang sangat saya sukai, namun akhirnya saya gagal mengingat nama mereknya.</p>
<p>Jawabannya ada di ujung lidah saya, tetapi otak saya terasa buntu.</p>
<p>Fenomena ujung lidah (TOT) membuat saya gila ketika menonton film. Seandainya saja ada mesin pencari gambar terbalik untuk video yang memungkinkan saya menemukan video dan menganalisis konten video. Sebelumnya, saya membuat <a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/reverse_image_search/quick_deploy">mesin pencari gambar terbalik dengan menggunakan Milvus</a>. Mengingat analisis konten video mirip dengan analisis gambar, saya memutuskan untuk membangun mesin analisis konten video berdasarkan Milvus.</p>
<h2 id="Object-detection" class="common-anchor-header">Deteksi objek<button data-href="#Object-detection" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="Overview" class="common-anchor-header">Gambaran umum</h3><p>Sebelum dianalisis, objek dalam video harus dideteksi terlebih dahulu. Mendeteksi objek dalam video secara efektif dan akurat adalah tantangan utama dari tugas ini. Ini juga merupakan tugas penting untuk aplikasi seperti autopilot, perangkat yang dapat dikenakan, dan IoT.</p>
<p>Dikembangkan dari algoritme pemrosesan gambar tradisional ke jaringan saraf dalam (deep neural network/DNN), model utama saat ini untuk deteksi objek meliputi R-CNN, FRCNN, SSD, dan YOLO. Sistem analisis video pembelajaran mendalam berbasis Milvus yang diperkenalkan dalam topik ini dapat mendeteksi objek secara cerdas dan cepat.</p>
<h3 id="Implementation" class="common-anchor-header">Implementasi</h3><p>Untuk mendeteksi dan mengenali objek dalam video, pertama-tama sistem harus mengekstrak frame dari video dan mendeteksi objek dalam gambar frame menggunakan deteksi objek, kedua, mengekstrak vektor fitur dari objek yang terdeteksi, dan terakhir, menganalisis objek berdasarkan vektor fitur.</p>
<ul>
<li>Ekstraksi bingkai</li>
</ul>
<p>Analisis video diubah menjadi analisis gambar menggunakan ekstraksi frame. Saat ini, teknologi ekstraksi frame sudah sangat matang. Program seperti FFmpeg dan OpenCV mendukung ekstraksi frame pada interval tertentu. Artikel ini memperkenalkan cara mengekstrak frame dari video setiap detik menggunakan OpenCV.</p>
<ul>
<li>Deteksi objek</li>
</ul>
<p>Deteksi objek adalah tentang menemukan objek dalam frame yang diekstrak dan mengekstrak tangkapan layar objek sesuai dengan posisinya. Seperti yang ditunjukkan pada gambar berikut, sepeda, anjing, dan mobil terdeteksi. Topik ini memperkenalkan cara mendeteksi objek menggunakan YOLOv3, yang umumnya digunakan untuk deteksi objek.</p>
<ul>
<li>Ekstraksi fitur</li>
</ul>
<p>Ekstraksi fitur mengacu pada pengubahan data yang tidak terstruktur, yang sulit dikenali oleh mesin, menjadi vektor fitur. Sebagai contoh, gambar dapat dikonversi menjadi vektor fitur multi-dimensi menggunakan model pembelajaran mendalam. Saat ini, model AI pengenalan gambar yang paling populer termasuk VGG, GNN, dan ResNet. Topik ini memperkenalkan cara mengekstrak fitur dari objek yang terdeteksi menggunakan ResNet-50.</p>
<ul>
<li>Analisis vektor</li>
</ul>
<p>Vektor fitur yang diekstrak dibandingkan dengan vektor pustaka, dan informasi yang sesuai dengan vektor yang paling mirip dikembalikan. Untuk set data vektor fitur berskala besar, perhitungan merupakan tantangan besar. Topik ini memperkenalkan cara menganalisis vektor fitur menggunakan Milvus.</p>
<h2 id="Key-technologies" class="common-anchor-header">Teknologi utama<button data-href="#Key-technologies" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="OpenCV" class="common-anchor-header">OpenCV</h3><p>Open Source Computer Vision Library (OpenCV) adalah perpustakaan visi komputer lintas platform, yang menyediakan banyak algoritme universal untuk pemrosesan gambar dan visi komputer. OpenCV umumnya digunakan dalam bidang visi komputer.</p>
<p>Contoh berikut ini menunjukkan cara mengambil frame video pada interval tertentu dan menyimpannya sebagai gambar menggunakan OpenCV dengan Python.</p>
<pre><code translate="no" class="language-python"><span class="hljs-keyword">import</span> cv2 
<span class="hljs-built_in">cap</span> = cv2.VideoCapture(file_path)   
framerate = <span class="hljs-built_in">cap</span>.get(cv2.CAP_PROP_FPS)   
allframes = <span class="hljs-type">int</span>(cv2.VideoCapture.get(<span class="hljs-built_in">cap</span>, <span class="hljs-type">int</span>(cv2.CAP_PROP_FRAME_COUNT)))  
success, image = <span class="hljs-built_in">cap</span>.read() 
cv2.imwrite(file_name, image)
<button class="copy-code-btn"></button></code></pre>
<h3 id="YOLOv3" class="common-anchor-header">YOLOv3</h3><p>You Only Look Once, Version 3 (YOLOv3 [5]) adalah algoritma pendeteksian objek satu tahap yang diusulkan dalam beberapa tahun terakhir. Dibandingkan dengan algoritma pendeteksian objek tradisional dengan akurasi yang sama, YOLOv3 dua kali lebih cepat. YOLOv3 yang disebutkan dalam topik ini adalah versi yang disempurnakan dari PaddlePaddle [6]. YOLOv3 menggunakan beberapa metode optimasi dengan kecepatan inferensi yang lebih tinggi.</p>
<h3 id="ResNet-50" class="common-anchor-header">ResNet-50</h3><p>ResNet [7] adalah pemenang ILSVRC 2015 dalam klasifikasi gambar karena kesederhanaan dan kepraktisannya. Sebagai dasar dari banyak metode analisis gambar, ResNet terbukti menjadi model yang populer yang berspesialisasi dalam deteksi, segmentasi, dan pengenalan gambar.</p>
<h3 id="Milvus" class="common-anchor-header">Milvus</h3><p><a href="https://milvus.io/">Milvus</a> adalah basis data vektor open-source yang berasal dari cloud yang dibangun untuk mengelola vektor penyisipan yang dihasilkan oleh model pembelajaran mesin dan jaringan saraf. Milvus banyak digunakan dalam skenario seperti visi komputer, pemrosesan bahasa alami, kimia komputasi, sistem pemberi rekomendasi yang dipersonalisasi, dan banyak lagi.</p>
<p>Prosedur berikut ini menjelaskan cara kerja Milvus.</p>
<ol>
<li>Data yang tidak terstruktur diubah menjadi vektor fitur dengan menggunakan model pembelajaran mendalam dan diimpor ke Milvus.</li>
<li>Milvus menyimpan dan mengindeks vektor fitur.</li>
<li>Milvus mengembalikan vektor yang paling mirip dengan vektor yang ditanyakan oleh pengguna.</li>
</ol>
<h2 id="Deployment" class="common-anchor-header">Penerapan<button data-href="#Deployment" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Sekarang Anda telah memiliki pemahaman tentang sistem analisis video berbasis Milvus. Sistem ini pada dasarnya terdiri dari dua bagian, seperti yang ditunjukkan pada gambar berikut.</p>
<ul>
<li><p>Panah merah menunjukkan proses impor data. Gunakan ResNet-50 untuk mengekstrak vektor fitur dari kumpulan data gambar dan mengimpor vektor fitur ke Milvus.</p></li>
<li><p>Panah hitam menunjukkan proses analisis video. Pertama, mengekstrak frame dari video dan menyimpan frame sebagai gambar. Kedua, mendeteksi dan mengekstrak objek dalam gambar menggunakan YOLOv3. Kemudian, gunakan ResNet-50 untuk mengekstrak vektor fitur dari gambar. Terakhir, Milvus mencari dan mengembalikan informasi objek dengan vektor fitur yang sesuai.</p></li>
</ul>
<p>Untuk informasi lebih lanjut, lihat <a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/video_similarity_search/object_detection">Milvus Bootcamp: Sistem Deteksi Objek Video</a>.</p>
<p><strong>Impor data</strong></p>
<p>Proses impor data sangat sederhana. Ubah data menjadi vektor 2.048 dimensi dan impor vektor tersebut ke dalam Milvus.</p>
<pre><code translate="no" class="language-python">vector = image_encoder.execute(filename)
entities = [vector]
collection.insert(data=entities)
<button class="copy-code-btn"></button></code></pre>
<p><strong>Analisis video</strong></p>
<p>Seperti yang telah dijelaskan di atas, proses analisis video meliputi menangkap frame video, mendeteksi objek di setiap frame, mengekstrak vektor dari objek, menghitung kesamaan vektor dengan metrik jarak Euclidean (L2), dan mencari hasil menggunakan Milvus.</p>
<pre><code translate="no" class="language-python">images = extract_frame(filename, 1, prefix)   
detector = Detector()   
run(detector, DATA_PATH)       
vectors = get_object_vector(image_encoder, DATA_PATH)
search_params = {<span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&quot;L2&quot;</span>, <span class="hljs-string">&quot;params&quot;</span>: {<span class="hljs-string">&quot;nprobe&quot;</span>: 10}}
results = collection.search(vectors, param=search_params, <span class="hljs-built_in">limit</span>=10)
<button class="copy-code-btn"></button></code></pre>
<h2 id="Conclusion" class="common-anchor-header">Kesimpulan<button data-href="#Conclusion" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Saat ini, lebih dari 80% data tidak terstruktur. Dengan perkembangan AI yang pesat, semakin banyak model deep learning yang dikembangkan untuk menganalisis data yang tidak terstruktur. Teknologi seperti deteksi objek dan pemrosesan gambar telah mencapai terobosan besar di dunia akademis dan industri. Dengan diberdayakan oleh teknologi ini, semakin banyak platform AI yang memenuhi persyaratan praktis.</p>
<p>Sistem analisis video yang dibahas dalam topik ini dibangun dengan Milvus, yang dapat dengan cepat menganalisis konten video.</p>
<p>Sebagai basis data vektor sumber terbuka, Milvus mendukung vektor fitur yang diekstraksi menggunakan berbagai model pembelajaran mendalam. Terintegrasi dengan pustaka seperti Faiss, NMSLIB, dan Annoy, Milvus menyediakan seperangkat API yang intuitif, yang mendukung pergantian jenis indeks sesuai dengan skenario. Selain itu, Milvus mendukung pemfilteran skalar, yang meningkatkan tingkat recall dan fleksibilitas pencarian. Milvus telah diaplikasikan pada berbagai bidang seperti pemrosesan gambar, visi komputer, pemrosesan bahasa alami, pengenalan suara, sistem pemberi rekomendasi, dan penemuan obat baru.</p>
<h2 id="References" class="common-anchor-header">Referensi<button data-href="#References" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>[1] A. D. Bagdanov, L. Ballan, M. Bertini, A. Del Bimbo. "Pencocokan dan pengambilan merek dagang dalam basis data video olahraga." Prosiding lokakarya internasional Workshop on multimedia information retrieval, ACM, 2007. https://www.researchgate.net/publication/210113141_Trademark_matching_and_retrieval_in_sports_video_databases</p>
<p>[2] J. Kleban, X. Xie, W.-Y. Ma. "Penambangan piramida spasial untuk deteksi logo pada pemandangan alam." IEEE International Conference, 2008. https://ieeexplore.ieee.org/document/4607625</p>
<p>[3] R. Boia, C. Florea, L. Florea, R. Dogaru. "Pelokalan dan pengenalan logo pada gambar alami menggunakan graf kelas homograf." Machine Vision and Applications 27 (2), 2016. https://link.springer.com/article/10.1007/s00138-015-0741-7</p>
<p>[4] R. Boia, C. Florea, L. Florea. "Aglomerasi asift elips pada prototipe kelas untuk deteksi logo." BMVC, 2015. http://citeseerx.ist.psu.edu/viewdoc/download;jsessionid=5C87F52DE38AB0C90F8340DFEBB841F7?doi=10.1.1.707.9371&amp;rep=rep1&amp;type=pdf</p>
<p>[5] https://arxiv.org/abs/1804.02767</p>
<p>[6] https://paddlepaddle.org.cn/modelbasedetail/yolov3</p>
<p>[7] https://arxiv.org/abs/1512.03385</p>


Deteksi objek

<custom-h1>Milvus Akan Berpartisipasi Dalam Hacktoberfest 2021</custom-h1><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Hacktoberfest_89c929cace.png" alt="hacktoberfestCover" class="doc-image" id="hacktoberfestcover" />
   </span> <span class="img-wrapper"> <span>hacktoberfestSampul</span> </span></p>
<p><strong>Milvus, basis data vektor yang memberdayakan aplikasi AI, hari ini mengumumkan partisipasinya dalam acara tahunan Hacktoberfest ke-8 yang disponsori oleh DigitalOcean!</strong></p>
<p>Pada tahun 2014, DigitalOcean memprakarsai <a href="https://hacktoberfest.digitalocean.com/">Hacktoberfest</a> dengan ide untuk merayakan proyek perangkat lunak sumber terbuka. Selama bertahun-tahun, acara ini terus berkembang dari puluhan menjadi ribuan peserta.  Tahun ini, acara yang berlangsung selama sebulan penuh ini tampaknya akan berkembang menjadi lebih dari 200.000 peserta aktif!</p>
<p>Mulai tanggal 1 Oktober, semua orang, mulai dari pengembang berpengalaman hingga pelajar, pemula kode dan penulis teknologi hingga desainer UX, dapat berkontribusi pada komunitas open source dan mengembangkan keterampilan mereka, dengan keuntungan memenangkan hadiah edisi terbatas dan banyak lagi.</p>
<h2 id="Everyone-is-welcome" class="common-anchor-header">Semua orang boleh bergabung<button data-href="#Everyone-is-welcome" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Ada banyak cara untuk berkontribusi pada proyek Milvus - Anda tidak perlu menjadi superstar kode untuk berkontribusi! Bahkan, Anda tidak perlu memiliki latar belakang yang luas atau daftar keterampilan yang panjang untuk membantu. Apakah Anda seorang penulis atau editor yang hebat, luar biasa!  Apakah Anda suka membuat grafik atau ilustrasi - sempurna!  Berikut adalah beberapa cara Anda dapat memberikan kontribusi selama acara berlangsung, bersama dengan daftar "masalah" GitHub yang dapat ditangani oleh kontributor baru!</p>
<p>Lihat detailnya <a href="https://discuss.milvus.io/t/join-hacktoberfest-2021-with-us/72#how-to-participate-1">di sini</a>.</p>
<h2 id="Contribute-get-noticed--earn-swag" class="common-anchor-header">Berkontribusi, dapatkan perhatian &amp; dapatkan hadiah<button data-href="#Contribute-get-noticed--earn-swag" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/swag_cae44023e8.png" alt="swag" class="doc-image" id="swag" />
   </span> <span class="img-wrapper"> <span>swag</span> </span></p>
<p>Berkontribusi pada open source, atau konsep open source, pada dasarnya adalah perwujudan dari altruisme, tetapi beberapa barang keren tidak ada salahnya. Kami juga menyediakan stiker eksklusif, t-shirt, keyboard, dan drone untuk diperebutkan! Lihat detailnya di <a href="https://discuss.milvus.io/t/join-hacktoberfest-2021-with-us/72#prizes-8">halaman forum</a> kami.</p>
<p>DigitalOcean juga menyediakan hadiah bagi para peserta, lihat peraturannya di situs web resmi Hacktoberfest.</p>
<h2 id="Whats-next" class="common-anchor-header">Apa yang berikutnya<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p>Baru-baru ini kami mengadakan tanya jawab virtual tentang Hacktoberfest.  Anda dapat melihat rekamannya <a href="https://www.youtube.com/watch?v=cHjSTEHoiF8">di sini</a>.</p></li>
<li><p>Untuk berpartisipasi dalam acara ini, kami sarankan untuk memulai dari halaman milvus.io Hacktoberfest dan membaca <a href="https://hacktoberfest.com/">Panduan "Memulai dengan Cepat"</a></p></li>
<li><p>Lihat <a href="https://github.com/milvus-io">repositori GitHub</a> kami (dan beri kami bintang)!</p></li>
<li><p>Lihat daftar <a href="https://github.com/milvus-io/milvus/issues?q=is%3Aopen+is%3Aissue+label%3AHacktoberfest">"masalah"</a> yang telah dikurasi untuk para peserta yang dapat membantu Anda menjadi seorang rockstar!</p></li>
</ul>
<h2 id="Helpful-links" class="common-anchor-header">Tautan yang bermanfaat<button data-href="#Helpful-links" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p><a href="https://hacktoberfest.com/"><strong>Halaman acara Milvus x Hactoberfest</strong></a></p></li>
<li><p><a href="https://discuss.milvus.io/c/hacktoberfest/9"><strong>Forum Diskusi Milvus</strong></a> - Bergabunglah dengan forum Milvus kami untuk mendapatkan informasi terbaru tentang rilis Milvus, berinteraksi dengan pengguna lain, dan mengajukan pertanyaan selama acara berlangsung.</p></li>
<li><p><strong>Ikuti kami di <a href="https://twitter.com/milvusio">Twitter</a></strong> dan jika kontribusi Anda disorot selama acara berlangsung, Anda bisa mendapatkan hadiah spesial!</p></li>
</ul>


Semua orang boleh bergabung

<custom-h1>Menggabungkan Model AI untuk Pencarian Gambar menggunakan ONNX dan Milvus</custom-h1><p>Open Neural Network Exchange (ONNX) adalah format terbuka yang dibuat untuk merepresentasikan model pembelajaran mesin. Sejak menjadi sumber terbuka pada tahun 2017, ONNX telah berkembang menjadi standar untuk AI, menyediakan blok bangunan untuk pembelajaran mesin dan model pembelajaran mendalam. ONNX mendefinisikan format file yang umum untuk memungkinkan pengembang AI menggunakan model dengan berbagai kerangka kerja, alat, runtime, dan kompiler, dan membantu meningkatkan kecepatan inovasi dalam komunitas kecerdasan buatan.</p>
<p>Milvus adalah basis data vektor sumber terbuka yang sangat fleksibel, andal, dan sangat cepat. Milvus mendukung penambahan, penghapusan, pembaruan, dan pencarian vektor yang hampir seketika. Milvus memiliki seperangkat API intuitif yang komprehensif, dan dukungan untuk beberapa pustaka indeks yang diadopsi secara luas (misalnya Faiss, NMSLIB, dan Annoy), yang menyederhanakan pemilihan indeks untuk skenario tertentu. Milvus mudah digunakan, dan telah digunakan di ratusan organisasi dan institusi di seluruh dunia, termasuk pencarian gambar, audio dan video, rekomendasi, chatbot, pencarian obat baru, dll.</p>
<p>Artikel ini akan memperkenalkan Anda cara menggunakan beberapa model untuk pencarian gambar berdasarkan ONNX dan Milvus. Artikel ini menggunakan model VGG16 dan ResNet50 sebagai contoh, menggunakan ONNX untuk menjalankan model AI yang berbeda untuk menghasilkan vektor fitur, dan akhirnya melakukan pengambilan vektor fitur di Milvus untuk mengembalikan gambar yang serupa.</p>
<h2 id="Process-Models-with-ONNX" class="common-anchor-header">Memproses Model dengan ONNX<button data-href="#Process-Models-with-ONNX" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Format ONNX dapat dengan mudah dipertukarkan di antara model-model AI. Sebagai contoh, model TensorFlow dapat dikonversi ke format ONNX dan dijalankan di lingkungan Caffe. Dalam contoh ini, kami mengonversi model ResNet50 yang telah dilatih sebelumnya di bawah kerangka kerja Keras ke format ONNX, dan kemudian memanggil model VGG16 dalam format ONNX untuk menganalisis model yang berbeda.</p>
<pre><code translate="no" class="language-python"><span class="hljs-keyword">from</span> keras.applications.resnet50 <span class="hljs-keyword">import</span> ResNet50
<span class="hljs-keyword">import</span> tensorflow <span class="hljs-keyword">as</span> tf

<span class="hljs-comment"># load keras-resnet50 model and save as a floder</span>
model_resnet50 = ResNet50(include_top=<span class="hljs-literal">False</span>, pooling=<span class="hljs-string">&#x27;max&#x27;</span>, weights=<span class="hljs-string">&#x27;imagenet&#x27;</span>)
tf.saved_model.save(model_resnet50, <span class="hljs-string">&quot;keras_resnet50_model&quot;</span>)

<span class="hljs-comment"># convert resnet50 model to onnx</span>
! python -m tf2onnx.convert --saved-model <span class="hljs-string">&quot;keras_resnet50_model&quot;</span> --output <span class="hljs-string">&quot;onnx_resnet50.onnx&quot;</span>
<button class="copy-code-btn"></button></code></pre>
<p>Catatan: Ketika kami menggunakan antarmuka <code translate="no">keras2onnx.convert_keras(model, model.name)</code> untuk mengonversi model, itu akan mengembalikan kesalahan <code translate="no">AttributeError:'KerasTensor' object has no attribute'graph'</code>. Kemudian kita dapat menggunakan perintah Bash Python untuk mengonversi sesuai dengan solusi di Stack Overflow.</p>
<h2 id="Extract-Feature-Vectors-using-Models" class="common-anchor-header">Mengekstrak Vektor Fitur menggunakan Model<button data-href="#Extract-Feature-Vectors-using-Models" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Setelah mengonversi model ResNet50 ke dalam format ONNX, Anda dapat mengekstrak vektor fitur gambar secara langsung melalui inferensi. Catatan: Vektor fitur perlu dinormalisasi setelah ekstraksi.</p>
<pre><code translate="no" class="language-python"><span class="hljs-comment"># get the image vectors with onnx model</span>
<span class="hljs-keyword">def</span> <span class="hljs-title function_">get_onnx_vectors</span>(<span class="hljs-params">onnx_model, img_path</span>):
    img = image.load_img(img_path, target_size=(<span class="hljs-number">224</span>, <span class="hljs-number">224</span>))
    x = image.img_to_array(img)
    x = np.expand_dims(x, axis=<span class="hljs-number">0</span>)
    x = preprocess_input(x)
    
    sess = onnxruntime.InferenceSession(onnx_model)
    x = x <span class="hljs-keyword">if</span> <span class="hljs-built_in">isinstance</span>(x, <span class="hljs-built_in">list</span>) <span class="hljs-keyword">else</span> [x]
    feed = <span class="hljs-built_in">dict</span>([(<span class="hljs-built_in">input</span>.name, x[n]) <span class="hljs-keyword">for</span> n, <span class="hljs-built_in">input</span> <span class="hljs-keyword">in</span> <span class="hljs-built_in">enumerate</span>(sess.get_inputs())])
    feat = sess.run(<span class="hljs-literal">None</span>, feed)[<span class="hljs-number">0</span>]
    
    norm_feat = feat[<span class="hljs-number">0</span>] / LA.norm(feat[<span class="hljs-number">0</span>])
    norm_feat = [i.item() <span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> norm_feat]
    <span class="hljs-keyword">return</span> norm_feat
<button class="copy-code-btn"></button></code></pre>
<p>Gunakan model VGG16 berformat ONNX untuk memproses data gambar:</p>
<pre><code translate="no" class="language-python"><span class="hljs-comment"># generate vectors with ResNet50 and VGG16 ONNX model</span>
2vec_resnet = get_onnx_vectors(<span class="hljs-string">&quot;onnx_resnet50.onnx&quot;</span>, <span class="hljs-string">&quot;./pic/example.jpg&quot;</span>)
3vec_vgg = get_onnx_vectors(<span class="hljs-string">&quot;onnx_vgg16.onnx&quot;</span>, <span class="hljs-string">&quot;./pic/example.jpg&quot;</span>)
<button class="copy-code-btn"></button></code></pre>
<h2 id="Store-Vector-Data" class="common-anchor-header">Menyimpan Data Vektor<button data-href="#Store-Vector-Data" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Data yang tidak terstruktur seperti gambar tidak dapat diproses secara langsung oleh komputer, tetapi dapat dikonversi menjadi vektor melalui model AI dan kemudian dianalisis oleh komputer. Basis data vektor Milvus dirancang untuk analisis data tidak terstruktur yang sangat besar. Database ini dapat menyimpan data vektor dan melakukan analisis hampir seketika. Pertama, buatlah koleksi model yang sesuai di Milvus, lalu masukkan vektor gambar.</p>
<pre><code translate="no" class="language-python"><span class="hljs-keyword">from</span> milvus <span class="hljs-keyword">import</span> *

<span class="hljs-comment"># create collections in Milvus</span>
milvus.create_collection(resnet_collection_param)
milvus.create_collection(vgg_collection_param)

<span class="hljs-comment"># insert data to Milvus and return ids</span>
status, resnet_ids = milvus.insert(resnet_collection_name, resnet_vectors)
status, vgg_ids = milvus.insert(vgg_collection_name, vgg_vectors)
<button class="copy-code-btn"></button></code></pre>
<p>Setelah berhasil memasukkan data, Milvus akan mengembalikan ID yang sesuai dengan vektor, dan kemudian kita dapat menemukan gambar berdasarkan ID. Karena Milvus 1.1 yang digunakan dalam kasus ini tidak mendukung pemfilteran skalar (yang sekarang didukung oleh Milvus 2.0), Redis digunakan untuk menyimpan ID vektor dan nilai-kunci dari jalur gambar.</p>
<pre><code translate="no" class="language-python"><span class="hljs-keyword">import</span> redis
<span class="hljs-keyword">def</span> <span class="hljs-title function_">img_ids_to_redis</span>(<span class="hljs-params">img_directory, res_ids</span>):
  <span class="hljs-keyword">for</span> img, ids <span class="hljs-keyword">in</span> <span class="hljs-built_in">zip</span>(images, res_ids):
    redis.<span class="hljs-built_in">set</span>(ids, img)
<button class="copy-code-btn"></button></code></pre>
<h2 id="Search-for-Similar-Images" class="common-anchor-header">Mencari Gambar yang Mirip<button data-href="#Search-for-Similar-Images" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Setelah menyimpan data, kita dapat mengambil vektornya. Milvus mendukung beberapa metode penghitungan jarak, termasuk Euclidean, inner product, dan jarak Hamming. Pencarian kemiripan gambar dalam artikel ini mengadopsi perhitungan jarak Euclidean antara vektor di Milvus, mengembalikan ID vektor yang mirip, dan kemudian menemukan gambar yang sesuai dengan ID tersebut di Redis.</p>
<pre><code translate="no" class="language-python"><span class="hljs-comment"># search in Milvus and return the similarly results with ids</span>
<span class="hljs-keyword">def</span> <span class="hljs-title function_">search_in_milvus</span>(<span class="hljs-params">collection_name, search_vector</span>):
    status, results = milvus.search(collection_name, TOP_K, [search_vector])
    <span class="hljs-built_in">print</span>(status)
    re_ids = [x.<span class="hljs-built_in">id</span> <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> results[<span class="hljs-number">0</span>]]
    re_distance = [x.distance <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> results[<span class="hljs-number">0</span>]]
    <span class="hljs-keyword">return</span> re_ids, re_distance
    
<span class="hljs-comment"># get the images according the result ids</span>
<span class="hljs-keyword">def</span> <span class="hljs-title function_">get_sim_imgs</span>(<span class="hljs-params">collection_name, search_vector</span>):
    ids, distance = search_in_milvus(collection_name, search_vector)
    img = [red.get(i).decode(<span class="hljs-string">&quot;utf-8&quot;</span>) <span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> ids]
    <span class="hljs-keyword">return</span> ids, distance, img
<button class="copy-code-btn"></button></code></pre>
<p>Mengambil model VGG16 dan ResNet50 sebagai contoh, artikel ini menunjukkan pemrosesan beberapa model melalui ONNX dan menggabungkan beberapa model dengan Milvus untuk pencarian vektor yang mirip untuk mendapatkan gambar yang mirip. Kedua model di atas didasarkan pada kerangka kerja Keras, yang dapat mengekstrak vektor fitur dengan cepat. Dapat dilihat dari Notebook bahwa meskipun hasil pencarian Milvus untuk gambar pada dataset COCO berdasarkan dua model ini serupa, jarak Euclidean mereka tidak sama. Anda juga dapat mencoba membandingkan hasil pencarian kedua model ini dengan menggunakan dataset lain.</p>
<p>Milvus adalah database vektor berkinerja tinggi dan sangat tersedia yang dapat digunakan untuk memproses vektor fitur yang dihasilkan dari data besar yang tidak terstruktur. Untuk solusi lebih lanjut, Anda dapat merujuk ke <a href="https://github.com/milvus-io/bootcamp">bootcamp Milvus</a>.</p>
<h2 id="References" class="common-anchor-header">Referensi<button data-href="#References" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ol>
<li>https://github.com/onnx/onnx</li>
<li>https://onnx.ai/</li>
<li>https://milvus.io/cn/</li>
<li>https://github.com/milvus-io/bootcamp</li>
</ol>
<h3 id="About-author" class="common-anchor-header">Tentang penulis</h3><p>Shiyu Chen, seorang insinyur data di Zilliz, lulus dari Universitas Xidian dengan gelar di bidang Ilmu Komputer. Sejak bergabung dengan Zilliz, ia telah mengeksplorasi solusi untuk Milvus di berbagai bidang, seperti analisis audio dan video, pencarian rumus molekul, dll., yang telah sangat memperkaya skenario aplikasi komunitas. Saat ini ia sedang mengeksplorasi solusi yang lebih menarik. Di waktu luangnya, ia menyukai olahraga dan membaca.</p>


Memproses Model dengan ONNX

DiskANN, Solusi ANNS Berbasis Disk dengan Recall dan QPS Tinggi pada Dataset Berskala Miliaran

Gambaran Umum

<custom-h1>Klasifikasi Urutan DNA berdasarkan Milvus</custom-h1><blockquote>
<p>Penulis: Mengjia Gu, seorang insinyur data di Zilliz, lulus dari McGill University dengan gelar Master di bidang Studi Informasi. Minatnya meliputi aplikasi AI dan pencarian kemiripan dengan basis data vektor. Sebagai anggota komunitas proyek sumber terbuka Milvus, ia telah menyediakan dan meningkatkan berbagai solusi, seperti sistem rekomendasi dan model klasifikasi sekuens DNA. Dia menikmati tantangan dan tidak pernah menyerah!</p>
</blockquote>
<custom-h1>Pengantar</custom-h1><p>Sekuens DNA adalah konsep yang populer dalam penelitian akademis dan aplikasi praktis, seperti penelusuran gen, identifikasi spesies, dan diagnosis penyakit. Ketika semua industri membutuhkan metode penelitian yang lebih cerdas dan efisien, kecerdasan buatan telah menarik banyak perhatian terutama dari bidang biologi dan medis. Semakin banyak ilmuwan dan peneliti yang berkontribusi pada pembelajaran mesin dan pembelajaran mendalam dalam bioinformatika. Untuk membuat hasil eksperimen lebih meyakinkan, salah satu opsi yang umum dilakukan adalah meningkatkan ukuran sampel. Kolaborasi dengan data besar dalam genomik juga membawa lebih banyak kemungkinan kasus penggunaan dalam kenyataan. Namun, penyelarasan sekuens tradisional memiliki keterbatasan, yang membuatnya <a href="https://www.frontiersin.org/articles/10.3389/fbioe.2020.01032/full#h5">tidak cocok untuk data yang besar</a>. Untuk mengurangi trade-off pada kenyataannya, vektorisasi adalah pilihan yang baik untuk kumpulan data sekuens DNA yang besar.</p>
<p>Basis data vektor sumber terbuka <a href="https://milvus.io/docs/v2.0.x/overview.md">Milvus</a> ramah untuk data yang sangat besar. Ia mampu menyimpan vektor sekuens asam nukleat dan melakukan pengambilan dengan efisiensi tinggi. Hal ini juga dapat membantu mengurangi biaya produksi atau penelitian. Sistem klasifikasi sekuens DNA berdasarkan Milvus hanya membutuhkan waktu milidetik untuk melakukan klasifikasi gen. Selain itu, sistem ini menunjukkan akurasi yang lebih tinggi daripada pengklasifikasi umum lainnya dalam pembelajaran mesin.</p>
<custom-h1>Pemrosesan Data</custom-h1><p>Gen yang mengkodekan informasi genetik terdiri dari sebagian kecil urutan DNA, yang terdiri dari 4 basa nukleotida [A, C, G, T]. Terdapat sekitar 30.000 gen dalam genom manusia, hampir 3 miliar pasangan basa DNA, dan setiap pasangan basa memiliki 2 basa yang sesuai. Untuk mendukung penggunaan yang beragam, sekuens DNA dapat diklasifikasikan ke dalam berbagai kategori. Untuk mengurangi biaya dan mempermudah penggunaan data sekuens DNA yang panjang, <a href="https://en.wikipedia.org/wiki/K-mer#:~:text=Usually%2C%20the%20term%20k%2Dmer,total%20possible%20k%2Dmers%2C%20where">k-mer </a>diperkenalkan pada prapemrosesan data. Sementara itu, k-mer membuat data sekuens DNA menjadi lebih mirip dengan teks biasa. Selain itu, data yang divektorisasi dapat mempercepat penghitungan dalam analisis data atau pembelajaran mesin.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_a7469e9eac.png" alt="1.png" class="doc-image" id="1.png" />
   </span> <span class="img-wrapper"> <span>1.png</span> </span></p>
<p><strong>k-mer</strong></p>
<p>Metode k-mer biasanya digunakan dalam prapemrosesan sekuens DNA. Metode ini mengekstrak bagian kecil dengan panjang k mulai dari setiap basa dari urutan asli, sehingga mengubah urutan panjang dengan panjang s menjadi (s-k+1) urutan pendek dengan panjang k. Menyesuaikan nilai k akan meningkatkan kinerja model. Daftar urutan pendek lebih mudah untuk pembacaan data, ekstraksi fitur, dan vektorisasi.</p>
<p><strong>Vektorisasi</strong></p>
<p>Sekuens DNA divektorisasi dalam bentuk teks. Sekuens yang ditransformasikan oleh k-mer menjadi daftar sekuens pendek, yang terlihat seperti daftar kata-kata dalam sebuah kalimat. Oleh karena itu, sebagian besar model pemrosesan bahasa alami seharusnya dapat digunakan untuk data sekuens DNA juga. Metodologi yang sama dapat diterapkan pada pelatihan model, ekstraksi fitur, dan penyandian. Karena setiap model memiliki kelebihan dan kekurangannya masing-masing, pemilihan model tergantung pada fitur data dan tujuan penelitian. Sebagai contoh, CountVectorizer, model bag-of-words, mengimplementasikan ekstraksi fitur melalui tokenisasi langsung. Model ini tidak menetapkan batasan panjang data, tetapi hasil yang dikembalikan kurang jelas dalam hal perbandingan kemiripan.</p>
<custom-h1>Demo Milvus</custom-h1><p>Milvus dapat dengan mudah mengelola data yang tidak terstruktur dan mengingat hasil yang paling mirip di antara triliunan vektor dalam penundaan rata-rata milidetik. Pencarian kemiripannya didasarkan pada algoritma pencarian Approximate Nearest Neighbor (ANN). Hal-hal penting ini menjadikan Milvus pilihan yang tepat untuk mengelola vektor sekuens DNA, sehingga mendorong pengembangan dan aplikasi bioinformatika.</p>
<p>Berikut ini adalah demo yang menunjukkan bagaimana membangun sistem klasifikasi sekuens DNA dengan Milvus. <a href="https://www.kaggle.com/nageshsingh/dna-sequence-dataset">Dataset eksperimental </a>mencakup 3 organisme dan 7 keluarga gen. Semua data dikonversi menjadi daftar sekuens pendek dengan k-mers. Dengan model CountVectorizer yang telah dilatih sebelumnya, sistem kemudian mengkodekan data sekuens menjadi vektor. Diagram alir di bawah ini menggambarkan struktur sistem dan proses penyisipan dan pencarian.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_ebd89660f6.png" alt="1.png" class="doc-image" id="1.png" />
   </span> <span class="img-wrapper"> <span>1.png</span> </span></p>
<p>Cobalah demo ini di <a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/dna_sequence_classification">bootcamp Milvus</a>.</p>
<p>Dalam Milvus, sistem membuat koleksi dan menyisipkan vektor-vektor sekuens DNA yang sesuai ke dalam koleksi (atau partisi jika diaktifkan). Ketika menerima permintaan kueri, Milvus akan mengembalikan jarak antara vektor sekuens DNA masukan dan hasil yang paling mirip dalam database. Kelas urutan masukan dan kemiripan antara urutan DNA dapat ditentukan oleh jarak vektor dalam hasil.</p>
<pre><code translate="no"><span class="hljs-comment"># Insert vectors to Milvus collection (partition &quot;human&quot;)</span>
DNA_human = collection.insert([human_ids, human_vectors], partition_name=<span class="hljs-string">&#x27;human&#x27;</span>)
<span class="hljs-comment"># Search topK results (in partition &quot;human&quot;) for test vectors</span>
res = collection.search(test_vectors, <span class="hljs-string">&quot;vector_field&quot;</span>, search_params, limit=topK, partition_names=[<span class="hljs-string">&#x27;human&#x27;</span>])
<span class="hljs-keyword">for</span> results <span class="hljs-keyword">in</span> res:
    res_ids = results.ids <span class="hljs-comment"># primary keys of topK results</span>
    res_distances = results.distances <span class="hljs-comment"># distances between topK results &amp; search input</span>
<button class="copy-code-btn"></button></code></pre>
<p><strong>Klasifikasi Urutan DNA</strong>Mencari urutan DNA yang paling mirip di Milvus dapat mengimplikasikan keluarga gen dari sampel yang tidak diketahui, sehingga dapat mempelajari kemungkinan fungsinya.<a href="https://www.nature.com/scitable/topicpage/gpcr-14047471/"> Jika sebuah urutan diklasifikasikan sebagai GPCR, maka kemungkinan besar urutan tersebut memiliki pengaruh dalam fungsi tubuh. </a>Dalam demo ini, Milvus telah berhasil memungkinkan sistem untuk mengidentifikasi keluarga gen dari sekuens DNA manusia yang dicari.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/3_1616da5bb0.png" alt="3.png" class="doc-image" id="3.png" />
   </span> <span class="img-wrapper"> <span>3.png</span> </span> <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/4_d719b22fc7.png" alt="4.png" class="doc-image" id="4.png" /><span>4.png</span> </span></p>
<p><strong>Kemiripan Genetik</strong></p>
<p>Kesamaan urutan DNA rata-rata antara organisme menggambarkan seberapa dekat antara genom mereka. Demo ini mencari dalam data manusia untuk sekuens DNA yang paling mirip dengan simpanse dan anjing. Kemudian menghitung dan membandingkan jarak inner product rata-rata (0,97 untuk simpanse dan 0,70 untuk anjing), yang membuktikan bahwa simpanse memiliki lebih banyak kesamaan gen dengan manusia dibandingkan dengan anjing. Dengan data dan desain sistem yang lebih kompleks, Milvus mampu mendukung penelitian genetika bahkan pada tingkat yang lebih tinggi.</p>
<pre><code translate="no">search_params = {<span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&quot;IP&quot;</span>, <span class="hljs-string">&quot;params&quot;</span>: {<span class="hljs-string">&quot;nprobe&quot;</span>: <span class="hljs-number">20</span>}}
<button class="copy-code-btn"></button></code></pre>
<p><strong>Kinerja</strong></p>
<p>Demo ini melatih model klasifikasi dengan 80% data sampel manusia (total 3629) dan menggunakan sisanya sebagai data uji. Demo ini membandingkan kinerja model klasifikasi urutan DNA yang menggunakan Milvus dengan model klasifikasi yang didukung oleh Mysql dan 5 pengklasifikasi pembelajaran mesin yang populer. Model yang didasarkan pada Milvus mengungguli rekan-rekannya dalam hal akurasi.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> sklearn.<span class="hljs-property">model_selection</span> <span class="hljs-keyword">import</span> train_test_split
X, y = human_sequence_kmers, human_labels
X_train, X_test, y_train, y_test = <span class="hljs-title function_">train_test_split</span>(X, y, test_size=<span class="hljs-number">0.2</span>, random_state=<span class="hljs-number">42</span>)
<button class="copy-code-btn"></button></code></pre>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_6541a7dec6.png" alt="1.png" class="doc-image" id="1.png" />
   </span> <span class="img-wrapper"> <span>1.png</span> </span></p>
<custom-h1>Eksplorasi Lebih Lanjut</custom-h1><p>Dengan perkembangan teknologi big data, vektorisasi urutan DNA akan memainkan peran yang lebih penting dalam penelitian dan praktik genetik. Dikombinasikan dengan pengetahuan profesional di bidang bioinformatika, penelitian terkait dapat memperoleh manfaat lebih lanjut dari keterlibatan vektorisasi sekuens DNA. Oleh karena itu, Milvus dapat memberikan hasil yang lebih baik dalam praktiknya. Sesuai dengan skenario dan kebutuhan pengguna yang berbeda, pencarian kemiripan dan penghitungan jarak yang didukung oleh Milvus menunjukkan potensi yang besar dan banyak kemungkinan.</p>
<ul>
<li><strong>Mempelajari urutan yang tidak diketahui</strong>: <a href="https://iopscience.iop.org/article/10.1088/1742-6596/1453/1/012071/pdf">Menurut beberapa peneliti, vektorisasi dapat memampatkan data urutan DNA.</a> Pada saat yang sama, dibutuhkan lebih sedikit usaha untuk mempelajari struktur, fungsi, dan evolusi urutan DNA yang tidak diketahui. Milvus dapat menyimpan dan mengambil sejumlah besar vektor urutan DNA tanpa kehilangan akurasi.</li>
<li><strong>Beradaptasi dengan perangkat</strong>: Dibatasi oleh algoritme tradisional penyelarasan sekuens, pencarian kemiripan hampir tidak bisa mendapatkan manfaat dari peningkatan perangkat<a href="https://www.ncbi.nlm.nih.gov/pmc/articles/PMC7884812/">(</a><a href="https://mjeer.journals.ekb.eg/article_146090.html">CPU/GPU</a>). Milvus, yang mendukung komputasi CPU biasa dan akselerasi GPU, menyelesaikan masalah ini dengan algoritme tetangga terdekat.</li>
<li><strong>Mendeteksi virus &amp; melacak asal-usulnya</strong>: Para <a href="https://www.nature.com/articles/s41586-020-2012-7?fbclid=IwAR2hxnXb9nLWgA8xexEoNrCNH8WHqvHhhbN38aSm48AaH6fTzGMB1BLljf4">ilmuwan telah membandingkan sekuens genom dan melaporkan bahwa virus COVID19 yang kemungkinan berasal dari kelelawar adalah SARS-COV</a>. Berdasarkan kesimpulan ini, para peneliti dapat memperluas ukuran sampel untuk mendapatkan lebih banyak bukti dan pola.</li>
<li><strong>Mendiagnosis penyakit</strong>: Secara klinis, dokter dapat membandingkan sekuens DNA antara pasien dan kelompok sehat untuk mengidentifikasi varian gen yang menyebabkan penyakit. Dimungkinkan untuk mengekstrak fitur dan menyandikan data ini menggunakan algoritma yang tepat. Milvus mampu mengembalikan jarak antara vektor, yang dapat dikaitkan dengan data penyakit. Selain membantu diagnosis penyakit, aplikasi ini juga dapat membantu menginspirasi studi tentang <a href="https://www.frontiersin.org/articles/10.3389/fgene.2021.680117/full">terapi yang ditargetkan</a>.</li>
</ul>
<custom-h1>Pelajari lebih lanjut tentang Milvus</custom-h1><p>Milvus adalah alat yang kuat yang mampu memberdayakan beragam kecerdasan buatan dan aplikasi pencarian kemiripan vektor. Untuk mempelajari lebih lanjut tentang proyek ini, lihat sumber-sumber berikut:</p>
<ul>
<li>Baca <a href="https://milvus.io/blog">blog</a> kami.</li>
<li>Berinteraksi dengan komunitas sumber terbuka kami di <a href="https://milvusio.slack.com/join/shared_invite/zt-e0u4qu3k-bI2GDNys3ZqX1YCJ9OM~GQ#/shared-invite/email">Slack</a>.</li>
<li>Gunakan atau kontribusikan database vektor paling populer di dunia di <a href="https://github.com/milvus-io/milvus/">GitHub</a>.</li>
<li>Menguji dan menerapkan aplikasi AI dengan cepat menggunakan <a href="https://github.com/milvus-io/bootcamp">bootcamp</a> baru kami.</li>
</ul>


Klasifikasi Urutan DNA berdasarkan Milvus

<custom-h1>Bacaan Makalah ｜ HM-ANN: Ketika ANNS Bertemu dengan Memori Heterogen</custom-h1><p><a href="https://proceedings.neurips.cc/paper/2020/file/788d986905533aba051261497ecffcbb-Paper.pdf">HM-ANN: Pencarian Tetangga Terdekat yang Efisien pada Memori Heterogen</a> adalah makalah penelitian yang diterima di Konferensi Sistem Pemrosesan Informasi Neural 2020<a href="https://nips.cc/Conferences/2020">(NeurIPS 2020)</a>. Dalam makalah ini, sebuah algoritma baru untuk pencarian kemiripan berbasis graf, yang disebut HM-ANN, diusulkan. Algoritma ini mempertimbangkan heterogenitas memori dan heterogenitas data dalam pengaturan perangkat keras modern. HM-ANN memungkinkan pencarian kemiripan berskala miliaran pada satu mesin tanpa teknologi kompresi. Memori heterogen (HM) merupakan kombinasi dari memori akses acak dinamis (DRAM) yang cepat namun kecil dan memori persisten (PMem) yang lambat namun besar. HM-ANN mencapai latensi pencarian yang rendah dan akurasi pencarian yang tinggi, terutama ketika set data tidak dapat masuk ke dalam DRAM. Algoritme ini memiliki keunggulan yang berbeda dari solusi pencarian perkiraan tetangga terdekat (ANN) yang canggih.</p>
<custom-h1>Motivasi</custom-h1><p>Sejak awal, algoritme pencarian ANN telah menimbulkan tradeoff mendasar antara akurasi kueri dan latensi kueri karena kapasitas DRAM yang terbatas. Untuk menyimpan indeks dalam DRAM untuk akses kueri yang cepat, perlu untuk membatasi jumlah titik data atau menyimpan vektor yang dikompresi, yang keduanya merusak akurasi pencarian. Indeks berbasis grafik (misalnya Hierarchical Navigable Small World, HNSW) memiliki performa runtime kueri dan akurasi kueri yang unggul. Namun, indeks ini juga dapat menghabiskan DRAM tingkat 1-TiB ketika beroperasi pada set data berskala miliaran.</p>
<p>Ada solusi lain untuk menghindari DRAM menyimpan set data berskala miliaran dalam format mentah. Ketika dataset terlalu besar untuk dimasukkan ke dalam memori pada satu mesin, pendekatan terkompresi seperti kuantisasi produk dari titik-titik dataset digunakan. Namun, recall dari indeks-indeks tersebut dengan dataset terkompresi biasanya rendah karena hilangnya presisi selama kuantisasi. Subramanya dkk. [1] mengeksplorasi pemanfaatan solid-state drive (SSD) untuk mencapai pencarian ANN berskala miliaran menggunakan mesin tunggal dengan pendekatan yang disebut Disk-ANN, di mana dataset mentah disimpan di SSD dan representasi yang dikompresi di DRAM.</p>
<custom-h1>Pengantar Memori Heterogen</custom-h1><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/image_32_d26cfa9480.png" alt="1.png" class="doc-image" id="1.png" />
   </span> <span class="img-wrapper"> <span>1.png</span> </span></p>
<p>Memori heterogen (HM) merupakan kombinasi dari DRAM yang cepat namun kecil dan PMem yang lambat namun besar. DRAM adalah perangkat keras normal yang dapat ditemukan di setiap server modern, dan aksesnya relatif cepat. Teknologi PMem baru, seperti Modul Memori Persisten Intel® Optane™ DC, menjembatani kesenjangan antara flash berbasis NAND (SSD) dan DRAM, sehingga menghilangkan hambatan I/O. PMem tahan lama seperti SSD, dan dapat dialamatkan langsung oleh CPU, seperti memori. Renen dkk. [2] menemukan bahwa bandwidth baca PMem 2,6 kali lebih rendah, dan bandwidth tulis 7,5 kali lebih rendah, dibandingkan DRAM dalam lingkungan eksperimen yang dikonfigurasi.</p>
<custom-h1>Desain HM-ANN</custom-h1><p>HM-ANN adalah algoritme pencarian ANN berskala miliaran yang akurat dan cepat yang berjalan pada satu mesin tanpa kompresi. Desain HM-ANN menggeneralisasi ide HNSW, yang struktur hirarkinya secara alami cocok dengan HM. HNSW terdiri dari beberapa lapisan-hanya lapisan 0 yang berisi seluruh dataset, dan setiap lapisan yang tersisa berisi subset elemen dari lapisan yang berada tepat di bawahnya.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/2_25a1836e8b.png" alt="2.png" class="doc-image" id="2.png" />
   </span> <span class="img-wrapper"> <span>2.png</span> </span></p>
<ul>
<li>Elemen-elemen di lapisan atas, yang hanya mencakup subset dari dataset, menggunakan sebagian kecil dari keseluruhan penyimpanan. Pengamatan ini membuat mereka menjadi kandidat yang layak untuk ditempatkan di DRAM. Dengan cara ini, sebagian besar pencarian pada HM-ANN diharapkan terjadi pada lapisan atas, yang memaksimalkan pemanfaatan karakteristik akses cepat DRAM. Namun, dalam kasus HNSW, sebagian besar pencarian terjadi di lapisan bawah.</li>
<li>Lapisan paling bawah membawa seluruh dataset, yang membuatnya cocok untuk ditempatkan di PMem. Karena mengakses lapisan 0 lebih lambat, maka akan lebih baik jika hanya sebagian kecil saja yang diakses oleh setiap kueri dan frekuensi aksesnya dikurangi.</li>
</ul>
<h2 id="Graph-Construction-Algorithm" class="common-anchor-header">Algoritma Konstruksi Graf<button data-href="#Graph-Construction-Algorithm" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/3_dd9627c753.png" alt="3.png" class="doc-image" id="3.png" />
   </span> <span class="img-wrapper"> <span>3.png</span> </span></p>
<p>Ide utama dari konstruksi HM-ANN adalah membuat lapisan atas berkualitas tinggi, untuk menyediakan navigasi yang lebih baik untuk pencarian di lapisan 0. Dengan demikian, sebagian besar akses memori terjadi di DRAM, dan akses di PMem dikurangi. Untuk memungkinkan hal ini, algoritma konstruksi HM-ANN memiliki fase penyisipan dari atas ke bawah dan fase promosi dari bawah ke atas.</p>
<p>Fase penyisipan dari atas ke bawah membangun grafik dunia kecil yang dapat dinavigasi saat lapisan paling bawah ditempatkan pada PMem.</p>
<p>Fase promosi bottom-up mempromosikan titik pivot dari lapisan bawah untuk membentuk lapisan atas yang ditempatkan pada DRAM tanpa kehilangan banyak akurasi. Jika proyeksi elemen berkualitas tinggi dari lapisan 0 dibuat di lapisan 1, pencarian di lapisan 0 akan menemukan tetangga terdekat yang akurat dari kueri hanya dengan beberapa lompatan.</p>
<ul>
<li>Alih-alih menggunakan pemilihan acak HNSW untuk promosi, HM-ANN menggunakan strategi promosi tingkat tinggi untuk mempromosikan elemen dengan tingkat tertinggi di lapisan 0 ke lapisan 1. Untuk lapisan yang lebih tinggi, HM-ANN mempromosikan node berderajat tinggi ke lapisan atas berdasarkan tingkat promosi.</li>
<li>HM-ANN mempromosikan lebih banyak node dari lapisan 0 ke lapisan 1 dan menetapkan jumlah maksimum tetangga yang lebih besar untuk setiap elemen di lapisan 1. Jumlah node di lapisan atas ditentukan oleh ruang DRAM yang tersedia. Karena lapisan 0 tidak disimpan dalam DRAM, membuat setiap lapisan yang tersimpan dalam DRAM menjadi lebih padat akan meningkatkan kualitas pencarian.</li>
</ul>
<h2 id="Graph-Seach-Algorithm" class="common-anchor-header">Algoritma Pencarian Graf<button data-href="#Graph-Seach-Algorithm" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/4_a5a7f29c93.png" alt="4.png" class="doc-image" id="4.png" />
   </span> <span class="img-wrapper"> <span>4.png</span> </span></p>
<p>Algoritma pencarian terdiri dari dua tahap: pencarian memori cepat dan pencarian lapisan-0 paralel dengan prefetching.</p>
<h3 id="Fast-memory-search" class="common-anchor-header">Pencarian memori cepat</h3><p>Sama seperti pada HNSW, pencarian pada DRAM dimulai pada titik masuk di lapisan paling atas dan kemudian melakukan pencarian 1-greedy dari atas ke lapisan 2. Untuk mempersempit ruang pencarian di lapisan 0, HM-ANN melakukan pencarian di lapisan 1 dengan anggaran pencarian dengan <code translate="no">efSearchL1</code>, yang membatasi ukuran daftar kandidat di lapisan 1. Kandidat-kandidat dari daftar tersebut digunakan sebagai beberapa titik masuk untuk pencarian di lapisan 0, untuk meningkatkan kualitas pencarian di lapisan 0. Sementara HNSW hanya menggunakan satu titik masuk, kesenjangan antara lapisan 0 dan lapisan 1 lebih ditangani secara khusus di HM-ANN daripada kesenjangan antara dua lapisan lainnya.</p>
<h3 id="Parallel-layer-0-search-with-prefetching" class="common-anchor-header">Pencarian lapisan-0 paralel dengan pengambilan awal</h3><p>Di lapisan bawah, HM-ANN mempartisi kandidat yang disebutkan di atas secara merata dari pencarian lapisan 1 dan melihatnya sebagai titik masuk untuk melakukan pencarian multi-start 1-serakah paralel dengan utas. Kandidat teratas dari setiap pencarian dikumpulkan untuk menemukan kandidat terbaik. Seperti yang diketahui, turun dari lapisan 1 ke lapisan 0 persis menuju ke PMem. Pencarian paralel menyembunyikan latensi PMem dan memanfaatkan bandwidth memori dengan sebaik-baiknya, untuk meningkatkan kualitas pencarian tanpa meningkatkan waktu pencarian.</p>
<p>HM-ANN mengimplementasikan buffer yang dikelola perangkat lunak dalam DRAM untuk mengambil data dari PMem sebelum akses memori terjadi. Ketika mencari lapisan 1, HM-ANN secara asinkron menyalin elemen tetangga dari kandidat-kandidat di <code translate="no">efSearchL1</code> dan koneksi elemen tetangga di lapisan 1 dari PMem ke buffer. Ketika pencarian di lapisan 0 terjadi, sebagian data yang akan diakses sudah di-prefetch di DRAM, yang menyembunyikan latensi untuk mengakses PMem dan menyebabkan waktu kueri yang lebih singkat. Hal ini sesuai dengan tujuan desain HM-ANN, di mana sebagian besar akses memori terjadi di DRAM dan akses memori di PMem dikurangi.</p>
<custom-h1>Evaluasi</custom-h1><p>Dalam makalah ini, evaluasi ekstensif dilakukan. Semua percobaan dilakukan pada mesin dengan Intel Xeon Gold 6252 CPU@2.3GHz. Mesin ini menggunakan DDR4 (96GB) sebagai memori cepat dan Optane DC PMM (1,5TB) sebagai memori lambat. Lima set data dievaluasi: BIGANN, DEEP1B, SIFT1M, DEEP1M, dan GIST1M. Untuk pengujian skala miliaran, skema berikut ini disertakan: metode berbasis kuantisasi skala miliaran (IMI+OPQ dan L&amp;C), metode berbasis non-kompresi (HNSW dan NSG).</p>
<h2 id="Billion-scale-algorithm-comparison" class="common-anchor-header">Perbandingan algoritme skala miliar<button data-href="#Billion-scale-algorithm-comparison" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/5_4297db66a9.png" alt="5.png" class="doc-image" id="5.png" />
   </span> <span class="img-wrapper"> <span>5.png</span> </span></p>
<p>Pada tabel 1, waktu pembuatan dan penyimpanan indeks berbasis grafik yang berbeda dibandingkan. HNSW membutuhkan waktu pembuatan yang paling singkat dan HM-ANN membutuhkan waktu tambahan 8% lebih lama dari HNSW. Dalam hal penggunaan penyimpanan keseluruhan, indeks HM-ANN 5-13% lebih besar daripada HSNW, karena mempromosikan lebih banyak node dari lapisan 0 ke lapisan 1.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/6_f363e64d3f.png" alt="6.png" class="doc-image" id="6.png" />
   </span> <span class="img-wrapper"> <span>6.png</span> </span></p>
<p>Pada Gambar 1, kinerja kueri dari indeks yang berbeda dianalisis. Gambar 1 (a) dan (b) menunjukkan bahwa HM-ANN mencapai top-1 recall &gt;95% dalam waktu 1ms. Gambar 1 © dan (d) menunjukkan bahwa HM-ANN mendapatkan top-100 recall &gt; 90% dalam waktu 4 ms. HM-ANN memberikan kinerja latency-vs-recall terbaik daripada semua pendekatan lainnya.</p>
<h2 id="Million-scale-algorithm-comparison" class="common-anchor-header">Perbandingan algoritma skala jutaan<button data-href="#Million-scale-algorithm-comparison" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/7_a5c23de240.png" alt="7.png" class="doc-image" id="7.png" />
   </span> <span class="img-wrapper"> <span>7.png</span> </span></p>
<p>Pada Gambar 2, kinerja kueri dari berbagai indeks dianalisis dalam pengaturan DRAM murni. HNSW, NSG, dan HM-ANN dievaluasi dengan tiga dataset berskala jutaan yang sesuai dengan DRAM. HM-ANN masih mencapai kinerja kueri yang lebih baik daripada HNSW. Alasannya adalah karena jumlah total komputasi jarak dari HM-ANN lebih rendah (rata-rata 850/kueri) daripada HNSW (rata-rata 900/kueri) untuk mencapai target recall 99%.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/image_33_f99d31f322.png" alt="8.png" class="doc-image" id="8.png" />
   </span> <span class="img-wrapper"> <span>8.png</span> </span></p>
<h2 id="Effectiveness-of-high-degree-promotion" class="common-anchor-header">Efektivitas promosi tingkat tinggi<button data-href="#Effectiveness-of-high-degree-promotion" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Pada Gambar 3, strategi promosi acak dan promosi tingkat tinggi dibandingkan dalam konfigurasi yang sama. Promosi tingkat tinggi mengungguli baseline. Promosi tingkat tinggi berkinerja 1,8x, 4,3x, dan 3,9x lebih cepat daripada promosi acak untuk mencapai target pengingatan masing-masing sebesar 95%, 99%, dan 99,5%.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/image_34_3af47e0842.png" alt="10.png" class="doc-image" id="10.png" />
   </span> <span class="img-wrapper"> <span>10.png</span> </span></p>
<h2 id="Performance-benefit-of-memory-management-techniques" class="common-anchor-header">Manfaat kinerja dari teknik manajemen memori<button data-href="#Performance-benefit-of-memory-management-techniques" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Gambar 5 berisi serangkaian langkah antara HNSW dan HM-ANN untuk menunjukkan bagaimana setiap optimasi HM-ANN berkontribusi pada peningkatannya. BP adalah singkatan dari Promosi dari bawah ke atas saat membangun indeks. PL0 mewakili pencarian lapisan-0 paralel, sementara DP untuk pengambilan data dari PMem ke DRAM. Selangkah demi selangkah, kinerja pencarian HM-ANN didorong lebih jauh.</p>
<custom-h1>Kesimpulan</custom-h1><p>Algoritma pengindeksan dan pencarian berbasis grafik baru, yang disebut HM-ANN, memetakan desain hirarkis ANN berbasis grafik dengan heterogenitas memori di HM. Evaluasi menunjukkan bahwa HM-ANN termasuk dalam indeks canggih baru dalam dataset miliaran titik.</p>
<p>Kami melihat adanya tren di dunia akademis dan juga industri, di mana pembangunan indeks pada perangkat penyimpanan persisten difokuskan. Untuk mengurangi tekanan dari DRAM, Disk-ANN [1] adalah sebuah indeks yang dibangun di atas SSD, yang throughput-nya jauh lebih rendah daripada PMem. Namun, pembangunan HM-ANN masih memerlukan waktu beberapa hari, di mana tidak ada perbedaan yang besar dibandingkan dengan Disk-ANN. Kami percaya bahwa ada kemungkinan untuk mengoptimalkan waktu pembangunan HM-ANN, ketika kami memanfaatkan karakteristik PMem dengan lebih hati-hati, misalnya dengan memperhatikan granularitas PMem (256 Bytes) dan menggunakan instruksi streaming untuk memotong cache. Kami juga percaya akan ada lebih banyak pendekatan dengan perangkat penyimpanan yang tahan lama yang diusulkan di masa depan.</p>
<custom-h1>Referensi</custom-h1><p>[1]: Suhas Jayaram Subramanya dan Devvrit dan Rohan Kadekodi dan Ravishankar Krishaswamy dan Ravishankar Krishaswamy: DiskANN: Pencarian Tetangga Terdekat Miliar Titik yang Akurat dan Cepat pada Satu Simpul, NIPS, 2019</p>
<p><a href="https://www.microsoft.com/en-us/research/publication/diskann-fast-accurate-billion-point-nearest-neighbor-search-on-a-single-node/">DiskANN: Pencarian Tetangga Terdekat dengan Titik Miliar yang Akurat dan Cepat pada Satu Simpul - Microsoft Research</a></p>
<p><a href="https://papers.nips.cc/paper/2019/hash/09853c7fb1d3f8ee67a61b6bf4a7f8e6-Abstract.html">DiskANN: Pencarian Tetangga Terdekat dengan Akurasi Miliaran Titik yang Cepat dan Akurat pada Satu Simpul</a></p>
<p>[2]: Alexander van Renen dan Lukas Vogel dan Viktor Leis dan Thomas Neumann dan Alfons Kemper: Persistent Memory I/O Primitives, CoRR &amp; DaMoN, 2019</p>
<p><a href="https://dl.acm.org/doi/abs/10.1145/3329785.3329930">https://dl.acm.org/doi/abs/10.1145/3329785.3329930</a></p>
<p><a href="https://arxiv.org/abs/1904.01614">Primitif I/O Memori Persisten</a></p>


Bacaan Makalah ｜ HM-ANN Ketika ANNS Memenuhi Memori Heterogen

<custom-h1>Milvus 2.0: Mendefinisikan Ulang Basis Data Vektor</custom-h1><p>Rasanya baru kemarin ketika kami menuliskan baris kode pertama untuk Milvus pada bulan Oktober 2018. Pada bulan Maret 2021, setelah 19 iterasi yang diuji oleh lebih dari 1.000 pengguna di seluruh dunia, kami meluncurkan Milvus 1.0, rilis resmi pertama kami dengan dukungan jangka panjang. Sebagai basis data vektor sumber terbuka paling populer di dunia, Milvus 1.0 berhasil menyelesaikan beberapa masalah mendasar dalam manajemen vektor, seperti operasi CRUD dan persistensi data. Namun, seiring dengan munculnya skenario dan kebutuhan baru, kami mulai menyadari bahwa masih banyak masalah yang harus diselesaikan. Artikel ini menawarkan rekapitulasi dari pengamatan yang kami lakukan dalam tiga tahun terakhir, tantangan-tantangan yang diharapkan dapat diatasi oleh Milvus 2.0, dan mengapa Milvus 2.0 dianggap sebagai solusi yang lebih baik untuk tantangan-tantangan tersebut. Untuk mengetahui lebih lanjut mengenai apa saja yang ditawarkan oleh Milvus 2.0, silakan lihat <a href="https://milvus.io/docs/v2.0.x/release_notes.md">Catatan Rilis Milvus 2.0</a>.</p>
<h2 id="Challenges-Milvus-1x-is-faced-with" class="common-anchor-header">Tantangan yang dihadapi Milvus 1.x<button data-href="#Challenges-Milvus-1x-is-faced-with" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><strong>Data silo:</strong> Milvus 1.0 hanya mampu menangani penyematan vektor yang dihasilkan dari data yang tidak terstruktur, dan hanya memberikan sedikit dukungan untuk kueri skalar. Pemilahan penyimpanan data dalam desainnya menghasilkan data duplikat dan menambah kompleksitas pengembangan aplikasi, dan pencarian hibrida antara data vektor dan skalar tidak memuaskan karena kurangnya pengoptimal terpadu.</p>
<p><strong>Dilema antara ketepatan waktu dan efisiensi:</strong> Milvus 1.0 adalah sistem yang hampir mendekati waktu nyata, yang bergantung pada flush reguler atau force flush untuk memastikan visibilitas data. Pendekatan ini menambah kompleksitas dan ketidakpastian dalam pemrosesan data aliran pada sejumlah level. Selain itu, meskipun pendekatan penyisipan batch ini dikatakan dapat meningkatkan efisiensi pemrosesan, namun tetap saja menghabiskan banyak sumber daya. Jadi, diperlukan pendekatan bulkload.</p>
<p><strong>Kurangnya skalabilitas &amp; elastisitas:</strong> Milvus 1.0 mengandalkan Mishards, solusi middleware sharding, untuk mencapai skalabilitas, dan penyimpanan yang terhubung ke jaringan (NAS) untuk persistensi data. Arsitektur klasik yang dibangun di atas penyimpanan bersama ini tidak berkontribusi banyak terhadap skalabilitas keseluruhan karena alasan berikut:</p>
<ol>
<li>Hanya satu node tulis yang didukung di Mishard dan tidak dapat diskalakan.</li>
<li>Penskalaan node baca di Mishards diimplementasikan menggunakan perutean berbasis hash yang konsisten. Meskipun hashing yang konsisten mudah diimplementasikan dan membantu memecahkan masalah keseragaman distribusi data, namun tidak cukup fleksibel dalam penjadwalan data dan tidak cukup untuk mengatasi ketidaksesuaian antara ukuran data dan daya komputasi.</li>
<li>Milvus 1.0 bergantung pada MySQL untuk mengelola metadata, tetapi ukuran kueri dan kumpulan data yang dapat ditangani oleh server MySQL mandiri cukup terbatas.</li>
</ol>
<p><strong>Ketersediaan yang kurang tinggi:</strong> Salah satu pengamatan yang kami lakukan adalah bahwa sebagian besar pengguna Milvus cenderung mengutamakan ketersediaan daripada konsistensi, sementara Milvus 1.x tidak memiliki kapasitas seperti replika dalam memori dan pemulihan bencana, dan tidak cukup memadai dalam hal ketersediaan yang tinggi. Oleh karena itu, kami mengeksplorasi kemungkinan mengorbankan tingkat akurasi tertentu untuk mencapai ketersediaan yang lebih tinggi.</p>
<p><strong>Biaya yang sangat tinggi:</strong> Milvus 1.0 bergantung pada NAS untuk persistensi data, yang biayanya biasanya sepuluh kali lipat dari penyimpanan lokal atau penyimpanan objek. Karena pencarian vektor sangat bergantung pada sumber daya komputasi dan memori, biaya tinggi yang ditimbulkannya dapat menjadi rintangan untuk eksplorasi lebih lanjut dalam kumpulan data berskala besar atau skenario bisnis yang kompleks.</p>
<p><strong>Pengalaman pengguna yang tidak intuitif:</strong></p>
<ol>
<li>Penerapan terdistribusi yang rumit menimbulkan biaya operasional yang tinggi.</li>
<li>Antarmuka pengguna grafis (GUI) yang dirancang dengan baik tidak tersedia.</li>
<li>API yang tidak intuitif telah menjadi penghambat dalam pengembangan aplikasi.</li>
</ol>
<p>Apakah akan beralih dari tambalan atau memulai dari awal adalah pertanyaan besar. Charles Xie, pendiri Milvus, percaya bahwa, seperti halnya banyak produsen mobil tradisional yang tidak akan pernah bisa mengubah Tesla menjadi lebih maju, Milvus harus menjadi pengubah permainan di bidang pemrosesan data dan analitik yang tidak terstruktur agar bisa berkembang. Keyakinan inilah yang mendorong kami untuk memulai Milvus 2.0, sebuah basis data vektor cloud-native yang telah direformasi.</p>
<h2 id="The-Making-of-Milvus-20" class="common-anchor-header">Pembuatan Milvus 2.0<button data-href="#The-Making-of-Milvus-20" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="Design-principles" class="common-anchor-header">Prinsip-prinsip desain</h3><p>Sebagai basis data vektor cloud-native generasi berikutnya, Milvus 2.0 dibangun berdasarkan tiga prinsip berikut:</p>
<p><strong>Cloud-native terlebih dahulu:</strong> Kami percaya bahwa hanya arsitektur yang mendukung pemisahan penyimpanan dan komputasi yang dapat menskalakan sesuai permintaan dan memanfaatkan sepenuhnya elastisitas cloud. Kami juga ingin menarik perhatian Anda pada desain layanan mikro Milvus 2.0, yang memiliki fitur pemisahan baca dan tulis, pemisahan data tambahan dan historis, serta pemisahan tugas yang intensif CPU, intensif memori, dan intensif IO. Layanan mikro membantu mengoptimalkan alokasi sumber daya untuk beban kerja heterogen yang selalu berubah.</p>
<p><strong>Log sebagai data:</strong> Dalam Milvus 2.0, log broker berfungsi sebagai tulang punggung sistem: Semua operasi penyisipan dan pembaruan data harus melalui log broker, dan node pekerja menjalankan operasi CRUD dengan berlangganan dan mengonsumsi log. Desain ini mengurangi kompleksitas sistem dengan memindahkan fungsi inti seperti persistensi data dan kilas balik ke lapisan penyimpanan, dan log pub-sub membuat sistem menjadi lebih fleksibel dan diposisikan dengan lebih baik untuk penskalaan di masa depan.</p>
<p><strong>Pemrosesan batch dan aliran terpadu:</strong> Milvus 2.0 mengimplementasikan arsitektur Lambda terpadu, yang mengintegrasikan pemrosesan data tambahan dan historis. Dibandingkan dengan arsitektur Kappa, Milvus 2.0 memperkenalkan log backfill, yang menyimpan snapshot log dan indeks dalam penyimpanan objek untuk meningkatkan efisiensi pemulihan kegagalan dan kinerja kueri. Untuk memecah data tak terbatas (stream) menjadi jendela-jendela yang terbatas, Milvus menggunakan mekanisme watermark baru, yang memecah data stream menjadi beberapa paket pesan sesuai dengan waktu penulisan atau waktu kejadian, dan mempertahankan garis waktu bagi pengguna untuk melakukan kueri berdasarkan waktu.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/2_0_image_1_59d7316324.png" alt="2.0 image 1.png" class="doc-image" id="2.0-image-1.png" />
   </span> <span class="img-wrapper"> <span>2.0 gambar 1.png</span> </span></p>
<h3 id="System-architecture" class="common-anchor-header">Arsitektur sistem</h3><p>Seperti yang telah disebutkan di atas, desain Milvus 2.0 secara ketat mengikuti prinsip-prinsip pemisahan penyimpanan dan komputasi serta kontrol dan pemisahan bidang data. Sistem ini terbagi menjadi empat lapisan: lapisan akses, layanan koordinator, node pekerja, dan penyimpanan.</p>
<p><strong>Lapisan akses:</strong> Antarmuka: Lapisan akses adalah lapisan depan sistem dan titik akhir bagi pengguna. Lapisan ini bertugas meneruskan permintaan dan mengumpulkan hasil.</p>
<p><strong>Layanan koordinator:</strong> Layanan koordinator memberikan tugas kepada node pekerja dan berfungsi sebagai otak sistem. Ada empat jenis koordinator: koordinator akar (root coord), koordinator data (data coord), koordinator kueri (query coord), dan koordinator indeks (index coord).</p>
<p><strong>Simpul pekerja:</strong> Lengan dan kaki. Node pekerja adalah eksekutor bodoh yang mengikuti instruksi dari layanan koordinator dan merespons permintaan baca/tulis dari lapisan akses. Ada tiga jenis simpul pekerja: simpul data, simpul kueri, dan simpul indeks.</p>
<p><strong>Penyimpanan:</strong> Tulang. Penyimpanan memiliki tiga jenis: penyimpanan meta, perantara log, dan penyimpanan objek.</p>
<ul>
<li>Diimplementasikan oleh etcd, meta storage digunakan untuk menyimpan metadata seperti koleksi dan pos pemeriksaan untuk layanan koordinator.</li>
<li>Diimplementasikan oleh Pulsar, log broker digunakan terutama untuk menyimpan log tambahan dan mengimplementasikan pemberitahuan asinkron yang andal.</li>
<li>Diimplementasikan oleh MinIO atau S3, penyimpanan objek digunakan terutama untuk menyimpan snapshot log dan file indeks.</li>
</ul>
<p>Berikut ini adalah diagram arsitektur sistem Milvus 2.0: <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/2_0_image_2_2cc7d7fc9c.png" alt="2.0 image 2.png" class="doc-image" id="2.0-image-2.png" /><span>2.0 image 2.png</span> </span></p>
<h3 id="Key-features" class="common-anchor-header">Fitur-fitur utama</h3><p>Biaya untuk menjalankan sebuah database tidak hanya melibatkan konsumsi sumber daya saat runtime, tetapi juga potensi biaya pembelajaran dan biaya operasional dan pemeliharaan. Secara praktis, semakin mudah sebuah database digunakan, semakin besar kemungkinan database tersebut dapat menghemat potensi biaya tersebut. Sejak hari pertama Milvus diluncurkan, kemudahan penggunaan selalu menjadi prioritas utama, dan Milvus 2.0 terbaru memiliki beberapa hal yang dapat ditawarkan untuk mengurangi biaya-biaya tersebut.</p>
<h4 id="Always-online" class="common-anchor-header">Selalu online</h4><p>Keandalan data dan keberlanjutan layanan adalah persyaratan dasar untuk database, dan strategi kami adalah &quot;gagal murah, gagal kecil, dan sering gagal&quot;.</p>
<ul>
<li>"Gagal murah" mengacu pada pemisahan penyimpanan dan komputasi, yang membuat penanganan pemulihan kegagalan node menjadi mudah dan dengan biaya rendah.</li>
<li>"Gagal kecil" mengacu pada strategi "bagi dan taklukkan", yang menyederhanakan kompleksitas desain dengan membuat setiap layanan koordinator hanya menangani sebagian kecil data baca/tulis/inkremental/sejarah.</li>
<li>"Sering gagal" mengacu pada pengenalan pengujian kekacauan, yang menggunakan injeksi kesalahan dalam lingkungan pengujian untuk mensimulasikan situasi seperti kegagalan perangkat keras dan kegagalan ketergantungan dan mempercepat penemuan bug.</li>
</ul>
<h4 id="Hybrid-search-between-scalar-and-vector-data" class="common-anchor-header">Pencarian hibrida antara data skalar dan vektor</h4><p>Untuk meningkatkan sinergi antara data terstruktur dan tidak terstruktur, Milvus 2.0 mendukung data skalar dan vektor serta memungkinkan pencarian hibrida di antara keduanya. Pencarian hibrida membantu pengguna menemukan perkiraan tetangga terdekat yang cocok dengan kriteria filter. Saat ini, Milvus mendukung operasi relasional seperti SAMA dengan, LEBIH BESAR DARI, dan KURANG DARI, serta operasi logika seperti NOT, AND, OR, dan IN.</p>
<h4 id="Tunable-consistency" class="common-anchor-header">Konsistensi yang dapat disetel</h4><p>Sebagai basis data terdistribusi yang mematuhi teorema PACELC, Milvus 2.0 harus mengorbankan konsistensi dan ketersediaan &amp; latensi. Dalam sebagian besar skenario, terlalu menekankan konsistensi data dalam produksi dapat berlebihan karena membiarkan sebagian kecil data tidak terlihat hanya berdampak kecil pada pemanggilan secara keseluruhan, tetapi secara signifikan dapat meningkatkan kinerja kueri. Namun, kami percaya bahwa tingkat konsistensi, seperti <em>strong, bounded staleness, dan session</em>, memiliki penerapannya masing-masing yang unik. Oleh karena itu, Milvus mendukung konsistensi yang dapat disetel pada tingkat permintaan. Mengambil pengujian sebagai contoh, pengguna mungkin memerlukan konsistensi <em>yang kuat</em> untuk memastikan hasil pengujian benar-benar benar.</p>
<h4 id="Time-travel" class="common-anchor-header">Perjalanan waktu</h4><p>Insinyur data sering kali perlu melakukan rollback data untuk memperbaiki data kotor dan bug kode. Database tradisional biasanya mengimplementasikan rollback data melalui snapshot atau bahkan pelatihan ulang data. Hal ini dapat menimbulkan biaya overhead dan pemeliharaan yang berlebihan. Milvus mempertahankan garis waktu untuk semua operasi penyisipan dan penghapusan data, dan pengguna dapat menentukan stempel waktu dalam kueri untuk mengambil tampilan data pada titik waktu tertentu. Dengan perjalanan waktu, Milvus juga dapat mengimplementasikan pencadangan data yang ringan atau kloning data.</p>
<h4 id="ORM-Python-SDK" class="common-anchor-header">ORM Python SDK</h4><p>Pemetaan relasional objek (ORM) memungkinkan pengguna untuk lebih fokus pada model bisnis tingkat atas daripada model data yang mendasarinya, sehingga memudahkan pengembang untuk mengelola hubungan antara koleksi, bidang, dan program. Untuk menutup kesenjangan antara proof of concept (PoC) untuk algoritme AI dan penerapan produksi, kami merekayasa API PyMilvus ORM, yang dapat bekerja dengan pustaka tertanam, penerapan mandiri, klaster terdistribusi, atau bahkan layanan cloud. Dengan seperangkat API yang terpadu, kami memberikan pengalaman pengguna yang konsisten kepada pengguna dan mengurangi biaya migrasi atau adaptasi kode.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/2_0_image_3_55394d6e80.png" alt="2.0 image 3.png" class="doc-image" id="2.0-image-3.png" />
   </span> <span class="img-wrapper"> <span>2.0 gambar 3.png</span> </span></p>
<h4 id="Supporting-tools" class="common-anchor-header">Alat-alat pendukung</h4><ul>
<li>Milvus Insight adalah antarmuka pengguna grafis Milvus yang menawarkan fungsionalitas praktis seperti manajemen status cluster, manajemen meta, dan kueri data. Kode sumber Milvus Insight juga akan menjadi sumber terbuka sebagai proyek independen. Kami mencari lebih banyak kontributor untuk bergabung dalam upaya ini.</li>
<li>Pengalaman out-of-box (OOBE), penerapan yang lebih cepat: Milvus 2.0 dapat digunakan dengan menggunakan helm atau docker-compose.</li>
<li>Milvus 2.0 menggunakan Prometheus, basis data deret waktu sumber terbuka, untuk menyimpan kinerja dan memantau data, dan Grafana, sebuah platform pengamatan terbuka, untuk visualisasi metrik.</li>
</ul>
<h2 id="Looking-to-the-future" class="common-anchor-header">Melihat ke masa depan<button data-href="#Looking-to-the-future" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Dalam retrospeksi, kami percaya bahwa arsitektur sistem yang didasarkan pada aplikasi big data + AI terlalu rumit. Prioritas utama komunitas Milvus adalah membuat Milvus lebih mudah digunakan. Ke depannya, proyek Milvus akan fokus pada area berikut:</p>
<p><strong>DB untuk AI:</strong> Selain fungsi dasar CRUD, Milvus, sebagai sistem basis data, perlu memiliki pengoptimal kueri yang lebih cerdas, kemampuan kueri data yang lebih kuat, dan fungsi manajemen data yang lebih komprehensif. Pekerjaan kami untuk tahap berikutnya akan berfokus pada fungsi bahasa manipulasi data (DML) dan tipe data yang belum tersedia di Milvus 2.0, termasuk menambahkan operasi hapus dan perbarui dan mendukung tipe data string.</p>
<p><strong>AI untuk DB:</strong> Penyetelan kenop parameter seperti jenis indeks, konfigurasi sistem, beban kerja pengguna, dan jenis perangkat keras mempersulit penggunaan Milvus dan harus dihindari sebisa mungkin. Kami telah mulai menganalisis beban sistem dan mengumpulkan frekuensi akses data, dan berencana untuk memperkenalkan penyetelan otomatis di masa depan untuk mengurangi biaya pembelajaran.</p>
<p><strong>Optimalisasi biaya:</strong> Tantangan terbesar untuk pengambilan vektor adalah kebutuhan untuk memproses kumpulan data berskala besar dalam jangka waktu yang terbatas. Hal ini membutuhkan CPU dan memori yang intensif. Memperkenalkan akselerasi perangkat keras heterogen GPU dan FPGA pada lapisan fisik dapat sangat mengurangi overhead CPU. Kami juga mengembangkan algoritma pengindeksan ANN hibrida pada disk dan dalam memori untuk mewujudkan kueri berkinerja tinggi pada kumpulan data yang sangat besar dengan memori yang terbatas. Terlebih lagi, kami sedang mengevaluasi kinerja algoritme pengindeksan vektor sumber terbuka yang ada seperti ScaNN dan NGT.</p>
<p><strong>Kemudahan penggunaan:</strong> Milvus terus meningkatkan kegunaannya dengan menyediakan alat manajemen klaster, SDK dalam berbagai bahasa, alat penerapan, alat operasional, dan banyak lagi.</p>
<p>Untuk mengetahui lebih lanjut tentang rencana rilis Milvus, lihat <a href="https://milvus.io/docs/v2.0.x/roadmap.md">Peta Jalan Milvus</a>.</p>
<p>Terima kasih kepada semua kontributor komunitas Milvus, yang tanpa mereka Milvus 2.0 tidak akan mungkin terwujud. Jangan ragu untuk <a href="https://github.com/milvus-io/milvus">mengirimkan masalah</a> atau <a href="https://github.com/milvus-io/milvus">menyumbangkan kode Anda</a> ke komunitas Milvus!</p>
<p><br/></p>
<p><em>Tentang penulis</em></p>
<p><em>Xiaofan Luan sekarang bekerja di Zilliz sebagai Direktur Teknik yang mengelola R&amp;D proyek Milvus. Dia memiliki pengalaman kerja 7 tahun yang berfokus pada pembangunan sistem basis data/penyimpanan. Setelah lulus dari Cornell University, ia bekerja di Oracle, HEDVIG, dan Alibaba Cloud secara berurutan.</em></p>


Milvus 2.0 Mendefinisikan Ulang Basis Data Vektor

<custom-h1>Membangun Sistem Rekomendasi Produk yang Dipersonalisasi dengan Vipshop dan Milvus</custom-h1><p>Dengan pertumbuhan skala data Internet yang eksplosif, jumlah produk serta kategori dalam platform e-commerce utama saat ini meningkat di satu sisi, kesulitan bagi pengguna untuk menemukan produk yang mereka butuhkan melonjak di sisi lain.</p>
<p><a href="https://www.vip.com/">Vipshop</a> adalah peritel diskon online terkemuka untuk merek-merek di Tiongkok. Perusahaan menawarkan produk bermerek berkualitas tinggi dan populer kepada konsumen di seluruh China dengan diskon yang signifikan dari harga eceran. Untuk mengoptimalkan pengalaman berbelanja bagi pelanggan mereka, perusahaan memutuskan untuk membangun sistem rekomendasi pencarian yang dipersonalisasi berdasarkan kata kunci kueri pengguna dan potret pengguna.</p>
<p>Fungsi inti dari sistem rekomendasi pencarian e-commerce adalah untuk mengambil produk yang sesuai dari sejumlah besar produk dan menampilkannya kepada pengguna sesuai dengan maksud dan preferensi pencarian mereka. Dalam proses ini, sistem perlu menghitung kemiripan antara produk dan maksud &amp; preferensi pencarian pengguna, dan merekomendasikan produk TopK dengan kemiripan tertinggi kepada pengguna.</p>
<p>Data seperti informasi produk, maksud pencarian pengguna, dan preferensi pengguna adalah data yang tidak terstruktur. Kami mencoba menghitung kemiripan data tersebut menggunakan CosineSimilarity (7.x) dari mesin pencari Elasticsearch (ES), tetapi pendekatan ini memiliki beberapa kekurangan.</p>
<ul>
<li><p>Waktu respons komputasi yang lama - latensi rata-rata untuk mengambil hasil TopK dari jutaan item adalah sekitar 300 ms.</p></li>
<li><p>Biaya pemeliharaan yang tinggi untuk indeks ES - kumpulan indeks yang sama digunakan untuk vektor fitur komoditas dan data terkait lainnya, yang hampir tidak memfasilitasi konstruksi indeks, tetapi menghasilkan data dalam jumlah besar.</p></li>
</ul>
<p>Kami mencoba mengembangkan plug-in hash sensitif lokal kami sendiri untuk mempercepat penghitungan CosineSimilarity ES. Meskipun kinerja dan throughput meningkat secara signifikan setelah akselerasi, latensi 100+ ms masih sulit untuk memenuhi persyaratan pengambilan produk online yang sebenarnya.</p>
<p>Setelah melakukan penelitian menyeluruh, kami memutuskan untuk menggunakan Milvus, database vektor open source, yang diuntungkan dengan dukungan untuk penyebaran terdistribusi, SDK multi-bahasa, pemisahan baca/tulis, dll. Dibandingkan dengan Faiss mandiri yang biasa digunakan.</p>
<p>Dengan menggunakan berbagai model pembelajaran mendalam, kami mengubah data tak terstruktur yang sangat besar menjadi vektor fitur, dan mengimpor vektor tersebut ke dalam Milvus. Dengan kinerja Milvus yang luar biasa, sistem rekomendasi pencarian e-commerce kami dapat secara efisien meminta vektor TopK yang mirip dengan vektor target.</p>
<h2 id="Overall-Architecture" class="common-anchor-header">Arsitektur Keseluruhan<button data-href="#Overall-Architecture" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>![Arsitektur](https://assets.zilliz.com/1_01551e7b2b.jpg &quot;Arsitektur.) Seperti yang ditunjukkan pada diagram, arsitektur keseluruhan sistem terdiri dari dua bagian utama.</p>
<ul>
<li><p>Proses penulisan: vektor fitur item (selanjutnya disebut sebagai vektor item) yang dihasilkan oleh model deep learning dinormalisasi dan ditulis ke dalam MySQL. MySQL kemudian membaca vektor fitur item yang telah diproses menggunakan alat sinkronisasi data (ETL) dan mengimpornya ke dalam basis data vektor Milvus.</p></li>
<li><p>Proses pembacaan: Layanan pencarian mendapatkan vektor fitur preferensi pengguna (selanjutnya disebut sebagai vektor pengguna) berdasarkan kata kunci kueri pengguna dan potret pengguna, menanyakan vektor yang serupa di Milvus dan memanggil vektor item TopK.</p></li>
</ul>
<p>Milvus mendukung pembaruan data bertahap dan pembaruan seluruh data. Setiap pembaruan bertahap harus menghapus vektor item yang ada dan memasukkan vektor item baru, yang berarti bahwa setiap koleksi yang baru diperbarui akan diindeks ulang. Ini lebih sesuai dengan skenario dengan lebih banyak pembacaan dan lebih sedikit penulisan. Oleh karena itu, kami memilih metode pembaruan data secara keseluruhan. Selain itu, hanya perlu beberapa menit untuk menulis seluruh data dalam batch beberapa partisi, yang setara dengan pembaruan yang mendekati waktu nyata.</p>
<p>Milvus write node melakukan semua operasi penulisan, termasuk membuat koleksi data, membangun indeks, menyisipkan vektor, dll., dan menyediakan layanan kepada publik dengan nama domain tulis. Node baca Milvus melakukan semua operasi baca dan menyediakan layanan kepada publik dengan nama domain hanya-baca.</p>
<p>Meskipun versi Milvus saat ini tidak mendukung pergantian alias koleksi, kami memperkenalkan Redis untuk mengganti alias secara mulus di antara beberapa koleksi data secara keseluruhan.</p>
<p>Node baca hanya perlu membaca informasi metadata yang ada dan data vektor atau indeks dari sistem berkas terdistribusi MySQL, Milvus, dan GlusterFS, sehingga kemampuan baca dapat diperluas secara horizontal dengan menggunakan beberapa instance.</p>
<h2 id="Implementation-Details" class="common-anchor-header">Detail Implementasi<button data-href="#Implementation-Details" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="Data-Update" class="common-anchor-header">Pembaruan Data</h3><p>Layanan pembaruan data tidak hanya mencakup penulisan data vektor, tetapi juga deteksi volume data vektor, konstruksi indeks, pra-pemuatan indeks, kontrol alias, dll. Proses keseluruhannya adalah sebagai berikut. <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/2_6052b01334.jpg" alt="Process" class="doc-image" id="process" /><span>Proses</span> </span></p>
<ol>
<li><p>Asumsikan bahwa sebelum membangun seluruh data, CollectionA menyediakan layanan data kepada publik, dan seluruh data yang digunakan diarahkan ke CollectionA (<code translate="no">redis key1 = CollectionA</code>). Tujuan dari membangun seluruh data adalah untuk membuat koleksi baru CollectionB.</p></li>
<li><p>Pemeriksaan data komoditas - memeriksa nomor item dari data komoditas di tabel MySQL, membandingkan data komoditas dengan data yang ada di CollectionA. Alert dapat diatur sesuai dengan jumlah atau persentase. Jika jumlah (persentase) yang ditetapkan tidak tercapai, seluruh data tidak akan dibangun, dan itu akan dianggap sebagai kegagalan operasi pembangunan ini, memicu peringatan; setelah jumlah (persentase) yang ditetapkan tercapai, seluruh proses pembangunan data dimulai.</p></li>
<li><p>Mulai membangun seluruh data - inisialisasi alias seluruh data yang sedang dibangun, dan perbarui Redis. Setelah memperbarui, alias seluruh data yang sedang dibangun diarahkan ke CollectionB (<code translate="no">redis key2 = CollectionB</code>).</p></li>
<li><p>Buat seluruh koleksi baru - tentukan apakah CollectionB sudah ada. Jika ada, hapuslah sebelum membuat yang baru.</p></li>
<li><p>Data batch write-in - menghitung ID partisi dari setiap data komoditas dengan ID-nya sendiri menggunakan operasi modulo, dan menulis data ke beberapa partisi ke koleksi yang baru dibuat dalam batch.</p></li>
<li><p>Membangun dan memuat indeks - Membuat indeks (<code translate="no">createIndex()</code>) untuk koleksi baru. File indeks disimpan dalam server penyimpanan terdistribusi GlusterFS. Sistem secara otomatis mensimulasikan kueri pada koleksi baru dan melakukan pra-muat indeks untuk pemanasan kueri.</p></li>
<li><p>Pemeriksaan data koleksi - memeriksa jumlah item data dalam koleksi baru, membandingkan data dengan koleksi yang sudah ada, dan mengatur alarm berdasarkan jumlah dan persentase. Jika jumlah yang ditetapkan (persentase) tidak tercapai, koleksi tidak akan dialihkan dan proses pembangunan akan dianggap gagal, memicu peringatan.</p></li>
<li><p>Mengalihkan koleksi - Alias kontrol. Setelah memperbarui Redis, seluruh data alias yang sedang digunakan diarahkan ke CollectionB (<code translate="no">redis key1 = CollectionB</code>), Redis key2 asli dihapus, dan proses pembangunan selesai.</p></li>
</ol>
<h3 id="Data-Recall" class="common-anchor-header">Pemanggilan Kembali Data</h3><p>Data partisi Milvus dipanggil beberapa kali untuk menghitung kemiripan antara vektor pengguna, yang diperoleh berdasarkan kata kunci kueri pengguna dan potret pengguna, dan vektor item, dan vektor item TopK dikembalikan setelah penggabungan. Skema alur kerja secara keseluruhan adalah sebagai berikut: <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/3_93518602b1.jpg" alt="workflow" class="doc-image" id="workflow" /><span>alur kerja</span> </span>Tabel berikut mencantumkan layanan-layanan utama yang terlibat dalam proses ini. Dapat dilihat bahwa latensi rata-rata untuk memanggil kembali vektor TopK adalah sekitar 30 ms.</p>
<table>
<thead>
<tr><th><strong>Layanan</strong></th><th><strong>Peran</strong></th><th><strong>Parameter Masukan</strong></th><th><strong>Parameter keluaran</strong></th><th><strong>Latensi respons</strong></th></tr>
</thead>
<tbody>
<tr><td>Akuisisi vektor pengguna</td><td>Dapatkan vektor pengguna</td><td>info pengguna + kueri</td><td>vektor pengguna</td><td>10 ms</td></tr>
<tr><td>Pencarian Milvus</td><td>Hitung kemiripan vektor dan kembalikan hasil TopK</td><td>vektor pengguna</td><td>vektor item</td><td>10 ms</td></tr>
<tr><td>Logika Penjadwalan</td><td>Pemanggilan dan penggabungan hasil secara bersamaan</td><td>Vektor item yang dipanggil kembali multi-saluran dan skor kemiripan</td><td>Item TopK</td><td>10 ms</td></tr>
</tbody>
</table>
<p><strong>Proses implementasi:</strong></p>
<ol>
<li>Berdasarkan kata kunci kueri pengguna dan potret pengguna, vektor pengguna dihitung oleh model pembelajaran mendalam.</li>
<li>Dapatkan alias koleksi dari seluruh data yang sedang digunakan dari Redis currentInUseKeyRef dan dapatkan Milvus CollectionName. Proses ini adalah layanan sinkronisasi data, yaitu mengalihkan alias ke Redis setelah seluruh pembaruan data.</li>
<li>Milvus dipanggil secara bersamaan dan asinkron dengan vektor pengguna untuk mendapatkan data dari partisi berbeda dari koleksi yang sama, dan Milvus menghitung kemiripan antara vektor pengguna dan vektor item, dan mengembalikan vektor item TopK yang mirip di setiap partisi.</li>
<li>Gabungkan vektor item TopK yang dikembalikan dari setiap partisi, dan beri peringkat hasil dalam urutan terbalik dari jarak kemiripan, yang dihitung menggunakan produk dalam IP (semakin besar jarak antara vektor, semakin mirip mereka). Vektor item TopK akhir dikembalikan.</li>
</ol>
<h2 id="Looking-Ahead" class="common-anchor-header">Melihat ke Depan<button data-href="#Looking-Ahead" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Saat ini, pencarian vektor berbasis Milvus dapat digunakan dengan mantap dalam pencarian skenario rekomendasi, dan kinerjanya yang tinggi memberikan kita lebih banyak ruang untuk bermain dalam dimensi model dan pemilihan algoritma.</p>
<p>Milvus akan memainkan peran penting sebagai middleware untuk lebih banyak skenario, termasuk mengingat kembali pencarian situs utama dan rekomendasi semua skenario.</p>
<p>Tiga fitur yang paling dinantikan dari Milvus di masa depan adalah sebagai berikut.</p>
<ul>
<li>Logika untuk pengalihan alias peralihan koleksi - mengoordinasikan peralihan di seluruh koleksi tanpa kontributor eksternal.</li>
<li>Mekanisme pemfilteran - Milvus v0.11.0 hanya mendukung mekanisme pemfilteran ES DSL dalam versi mandiri. Milvus 2.0 yang baru saja dirilis mendukung pemfilteran skalar, dan pemisahan baca/tulis.</li>
<li>Dukungan penyimpanan untuk Hadoop Distributed File System (HDFS) - Milvus v0.10.6 yang kami gunakan hanya mendukung antarmuka file POSIX, dan kami telah menggunakan GlusterFS dengan dukungan FUSE sebagai backend penyimpanan. Namun, HDFS adalah pilihan yang lebih baik dalam hal kinerja dan kemudahan penskalaan.</li>
</ul>
<h2 id="Lessons-Learned-and-Best-Practices" class="common-anchor-header">Pelajaran yang Dipetik dan Praktik Terbaik<button data-href="#Lessons-Learned-and-Best-Practices" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ol>
<li>Untuk aplikasi yang mengutamakan operasi baca, penerapan pemisahan baca-tulis dapat secara signifikan meningkatkan daya pemrosesan dan meningkatkan kinerja.</li>
<li>Klien Milvus Java tidak memiliki mekanisme koneksi ulang karena klien Milvus yang digunakan oleh layanan pemanggilan berada di dalam memori. Kami harus membangun kumpulan koneksi kami sendiri untuk memastikan ketersediaan koneksi antara klien Java dan server melalui uji detak jantung.</li>
<li>Permintaan yang lambat kadang-kadang terjadi pada Milvus. Hal ini disebabkan oleh pemanasan yang tidak cukup dari koleksi baru. Dengan mensimulasikan kueri pada koleksi baru, file indeks dimuat ke dalam memori untuk mencapai pemanasan indeks.</li>
<li>nlist adalah parameter pembuatan indeks dan nprobe adalah parameter kueri. Anda perlu mendapatkan nilai ambang batas yang masuk akal sesuai dengan skenario bisnis Anda melalui eksperimen pengujian tekanan untuk menyeimbangkan kinerja pengambilan dan akurasi.</li>
<li>Untuk skenario data statis, akan lebih efisien untuk mengimpor semua data ke dalam koleksi terlebih dahulu dan membangun indeks kemudian.</li>
</ol>


Arsitektur Keseluruhan

<custom-h1>Pengambilan Audio Berdasarkan Milvus</custom-h1><p>Suara adalah tipe data yang padat informasi. Meskipun mungkin terasa kuno di era konten video, audio tetap menjadi sumber informasi utama bagi banyak orang. Meskipun terjadi penurunan jumlah pendengar dalam jangka panjang, 83% orang Amerika berusia 12 tahun ke atas mendengarkan radio terestrial (AM/FM) pada minggu tertentu di tahun 2020 (turun dari 89% di tahun 2019). Sebaliknya, audio online telah mengalami peningkatan pendengar yang stabil selama dua dekade terakhir, dengan 62% orang Amerika dilaporkan mendengarkan beberapa bentuk audio online setiap minggunya menurut <a href="https://www.journalism.org/fact-sheet/audio-and-podcasting/">studi Pew Research Center</a> yang sama.</p>
<p>Sebagai sebuah gelombang, suara memiliki empat sifat: frekuensi, amplitudo, bentuk gelombang, dan durasi. Dalam terminologi musik, ini disebut pitch, dinamika, nada, dan durasi. Suara juga membantu manusia dan hewan lain untuk melihat dan memahami lingkungan kita, memberikan petunjuk konteks untuk lokasi dan pergerakan objek di sekitar kita.</p>
<p>Sebagai pembawa informasi, audio dapat diklasifikasikan ke dalam tiga kategori:</p>
<ol>
<li><strong>Ucapan:</strong> Media komunikasi yang terdiri dari kata-kata dan tata bahasa. Dengan algoritme pengenalan suara, ucapan dapat diubah menjadi teks.</li>
<li><strong>Musik:</strong> Suara vokal dan/atau instrumental yang digabungkan untuk menghasilkan komposisi yang terdiri dari melodi, harmoni, ritme, dan warna suara. Musik dapat diwakili oleh sebuah notasi.</li>
<li><strong>Bentuk gelombang:</strong> Sinyal audio digital yang diperoleh dengan mendigitalkan suara analog. Bentuk gelombang dapat merepresentasikan ucapan, musik, dan suara alami atau suara yang disintesis.</li>
</ol>
<p>Pengambilan audio dapat digunakan untuk mencari dan memantau media online secara real-time untuk menindak pelanggaran hak kekayaan intelektual. Hal ini juga mengasumsikan peran penting dalam klasifikasi dan analisis statistik data audio.</p>
<h2 id="Processing-Technologies" class="common-anchor-header">Teknologi Pemrosesan<button data-href="#Processing-Technologies" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Pidato, musik, dan suara umum lainnya masing-masing memiliki karakteristik yang unik dan membutuhkan metode pemrosesan yang berbeda. Biasanya, audio dipisahkan menjadi kelompok yang berisi ucapan dan kelompok yang tidak:</p>
<ul>
<li>Audio ucapan diproses dengan pengenalan ucapan otomatis.</li>
<li>Audio non-ucapan, termasuk audio musik, efek suara, dan sinyal ucapan yang didigitalkan, diproses dengan menggunakan sistem pengambilan audio.</li>
</ul>
<p>Artikel ini berfokus pada cara menggunakan sistem pengambilan audio untuk memproses data audio non-ucapan. Pengenalan ucapan tidak tercakup dalam artikel ini</p>
<h3 id="Audio-feature-extraction" class="common-anchor-header">Ekstraksi fitur audio</h3><p>Ekstraksi fitur adalah teknologi yang paling penting dalam sistem pengambilan audio karena memungkinkan pencarian kemiripan audio. Metode untuk mengekstraksi fitur audio dibagi menjadi dua kategori:</p>
<ul>
<li>Model ekstraksi fitur audio tradisional seperti model campuran Gaussian (GMM) dan model Markov tersembunyi (HMM);</li>
<li>Model ekstraksi fitur audio berbasis pembelajaran mendalam seperti jaringan saraf berulang (RNN), jaringan memori jangka pendek (LSTM), kerangka kerja penyandian-pengodean, mekanisme perhatian, dll.</li>
</ul>
<p>Model berbasis deep learning memiliki tingkat kesalahan yang jauh lebih rendah daripada model tradisional, dan oleh karena itu, model ini mendapatkan momentum sebagai teknologi inti dalam bidang pemrosesan sinyal audio.</p>
<p>Data audio biasanya diwakili oleh fitur audio yang diekstraksi. Proses pencarian kembali mencari dan membandingkan fitur dan atribut ini, bukan data audio itu sendiri. Oleh karena itu, efektivitas pencarian kemiripan audio sangat bergantung pada kualitas ekstraksi fitur.</p>
<p>Dalam artikel ini, <a href="https://github.com/qiuqiangkong/audioset_tagging_cnn">jaringan saraf tiruan audio yang telah dilatih sebelumnya dalam skala besar untuk pengenalan pola audio (PANN</a> ) digunakan untuk mengekstrak vektor fitur untuk akurasi rata-rata rata-rata (mAP) sebesar 0,439 (Hershey et al., 2017).</p>
<p>Setelah mengekstraksi vektor fitur dari data audio, kita dapat mengimplementasikan analisis vektor fitur berkinerja tinggi menggunakan Milvus.</p>
<h3 id="Vector-similarity-search" class="common-anchor-header">Pencarian kesamaan vektor</h3><p><a href="https://milvus.io/">Milvus</a> adalah basis data vektor open-source yang berasal dari cloud yang dibangun untuk mengelola vektor penyisipan yang dihasilkan oleh model pembelajaran mesin dan jaringan saraf. Milvus banyak digunakan dalam skenario seperti visi komputer, pemrosesan bahasa alami, kimia komputasi, sistem pemberi rekomendasi yang dipersonalisasi, dan banyak lagi.</p>
<p>Diagram berikut ini menggambarkan proses pencarian kemiripan secara umum menggunakan Milvus: <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/how_does_milvus_work_6926180543.png" alt="how-does-milvus-work.png" class="doc-image" id="how-does-milvus-work.png" /><span>how-does-milvus-work.png</span> </span></p>
<ol>
<li>Data yang tidak terstruktur diubah menjadi vektor fitur dengan model pembelajaran mendalam dan dimasukkan ke dalam Milvus.</li>
<li>Milvus menyimpan dan mengindeks vektor fitur ini.</li>
<li>Berdasarkan permintaan, Milvus mencari dan mengembalikan vektor yang paling mirip dengan vektor kueri.</li>
</ol>
<h2 id="System-overview" class="common-anchor-header">Gambaran umum sistem<button data-href="#System-overview" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Sistem temu kembali audio pada dasarnya terdiri dari dua bagian: memasukkan (garis hitam) dan mencari (garis merah).</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/audio_retrieval_system_663a911c95.png" alt="audio-retrieval-system.png" class="doc-image" id="audio-retrieval-system.png" />
   </span> <span class="img-wrapper"> <span>sistem-pengambilan audio.png</span> </span></p>
<p>Contoh dataset yang digunakan dalam proyek ini berisi suara game sumber terbuka, dan kodenya dirinci dalam <a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/audio_similarity_search">bootcamp Milvus</a>.</p>
<h3 id="Step-1-Insert-data" class="common-anchor-header">Langkah 1: Memasukkan data</h3><p>Di bawah ini adalah contoh kode untuk menghasilkan penyematan audio dengan model inferensi PANN yang telah dilatih sebelumnya dan memasukkannya ke dalam Milvus, yang memberikan ID unik untuk setiap penyematan vektor.</p>
<pre><code translate="no"><span class="hljs-number">1</span> wav_name, vectors_audio = get_audio_embedding(audio_path)  
<span class="hljs-number">2</span> <span class="hljs-keyword">if</span> vectors_audio:    
<span class="hljs-number">3</span>     embeddings.<span class="hljs-built_in">append</span>(vectors_audio)  
<span class="hljs-number">4</span>     wav_names.<span class="hljs-built_in">append</span>(wav_name)  
<span class="hljs-number">5</span> ids_milvus = insert_vectors(milvus_client, table_name, embeddings)  
<span class="hljs-number">6</span> 
<button class="copy-code-btn"></button></code></pre>
<p>Kemudian <strong>ids_milvus</strong> yang dikembalikan disimpan bersama dengan informasi lain yang relevan (misalnya <strong>nama_wav</strong>) untuk data audio yang disimpan di database MySQL untuk pemrosesan selanjutnya.</p>
<pre><code translate="no">1 get_ids_correlation(ids_milvus, wav_name)  
2 load_data_to_mysql(conn, cursor, table_name)    
3  
<button class="copy-code-btn"></button></code></pre>
<h3 id="Step-2-Audio-search" class="common-anchor-header">Langkah 2: Pencarian audio</h3><p>Milvus menghitung jarak inner product antara vektor fitur yang telah disimpan sebelumnya dan vektor fitur input, diekstraksi dari data audio kueri menggunakan model inferensi PANN, dan mengembalikan <strong>ids_milvus</strong> dari vektor fitur yang serupa, yang sesuai dengan data audio yang dicari.</p>
<pre><code translate="no"><span class="hljs-number">1</span> _, vectors_audio = get_audio_embedding(audio_filename)    
<span class="hljs-number">2</span> results = search_vectors(milvus_client, table_name, [vectors_audio], METRIC_TYPE, TOP_K)  
<span class="hljs-number">3</span> ids_milvus = [x.<span class="hljs-built_in">id</span> <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> results[<span class="hljs-number">0</span>]]  
<span class="hljs-number">4</span> audio_name = search_by_milvus_ids(conn, cursor, ids_milvus, table_name)    
<span class="hljs-number">5</span>
<button class="copy-code-btn"></button></code></pre>
<h2 id="API-reference-and-demo" class="common-anchor-header">Referensi dan demo API<button data-href="#API-reference-and-demo" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="API" class="common-anchor-header">API</h3><p>Sistem pengambilan audio ini dibangun dengan kode sumber terbuka. Fitur utamanya adalah penyisipan dan penghapusan data audio. Semua API dapat dilihat dengan mengetik <strong>127.0.0.1:<port></strong> /docs di browser.</p>
<h3 id="Demo" class="common-anchor-header">Demo</h3><p>Kami menyelenggarakan <a href="https://zilliz.com/solutions">demo langsung</a> dari sistem pencarian audio berbasis Milvus secara online yang dapat Anda coba dengan data audio Anda sendiri.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/audio_search_demo_cae60625db.png" alt="audio-search-demo.png" class="doc-image" id="audio-search-demo.png" />
   </span> <span class="img-wrapper"> <span>audio-search-demo.png</span> </span></p>
<h2 id="Conclusion" class="common-anchor-header">Kesimpulan<button data-href="#Conclusion" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Hidup di era data besar, orang-orang menemukan hidup mereka dipenuhi dengan segala macam informasi. Untuk memahaminya dengan lebih baik, pencarian teks tradisional tidak lagi memadai. Teknologi pencarian informasi saat ini sangat membutuhkan pengambilan berbagai jenis data yang tidak terstruktur, seperti video, gambar, dan audio.</p>
<p>Data yang tidak terstruktur, yang sulit diproses oleh komputer, dapat diubah menjadi vektor fitur menggunakan model pembelajaran mendalam. Data yang dikonversi ini dapat dengan mudah diproses oleh mesin, sehingga memungkinkan kita untuk menganalisis data yang tidak terstruktur dengan cara yang tidak dapat dilakukan oleh para pendahulu kita. Milvus, sebuah basis data vektor sumber terbuka, dapat secara efisien memproses vektor fitur yang diekstraksi oleh model AI dan menyediakan berbagai perhitungan kesamaan vektor yang umum.</p>
<h2 id="References" class="common-anchor-header">Referensi<button data-href="#References" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Hershey, S., Chaudhuri, S., Ellis, D.P., Gemmeke, J.F., Jansen, A., Moore, R.C., Plakal, M., Platt, D., Saurous, R.A., Seybold, B. dan Slaney, M., 2017, March. Arsitektur CNN untuk klasifikasi audio skala besar. Dalam Konferensi Internasional IEEE 2017 tentang Akustik, Pidato dan Pemrosesan Sinyal (ICASSP), hal. 131-135, 2017</p>
<h2 id="Dont-be-a-stranger" class="common-anchor-header">Jangan menjadi orang asing<button data-href="#Dont-be-a-stranger" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p>Temukan atau kontribusikan Milvus di <a href="https://github.com/milvus-io/milvus/">GitHub</a>.</p></li>
<li><p>Berinteraksi dengan komunitas melalui <a href="https://join.slack.com/t/milvusio/shared_invite/zt-e0u4qu3k-bI2GDNys3ZqX1YCJ9OM~GQ">Slack</a>.</p></li>
<li><p>Terhubung dengan kami di <a href="https://twitter.com/milvusio">Twitter</a>.</p></li>
</ul>


Teknologi Pemrosesan

<custom-h1>MilMil: Chatbot FAQ yang diberdayakan oleh Milvus yang Menjawab Pertanyaan Seputar Milvus</custom-h1><p>Komunitas sumber terbuka baru-baru ini menciptakan MilMil - chatbot FAQ Milvus yang dibuat oleh dan untuk pengguna Milvus. MilMil tersedia 24/7 di <a href="https://milvus.io/">Milvus.io</a> untuk menjawab pertanyaan umum tentang Milvus, basis data vektor sumber terbuka tercanggih di dunia.</p>
<p>Sistem penjawab pertanyaan ini tidak hanya membantu memecahkan masalah umum yang dihadapi pengguna Milvus dengan lebih cepat, tetapi juga mengidentifikasi masalah baru berdasarkan kiriman pengguna. Basis data MilMil mencakup pertanyaan-pertanyaan yang diajukan pengguna sejak proyek ini pertama kali dirilis di bawah lisensi sumber terbuka pada tahun 2019. Pertanyaan disimpan dalam dua koleksi, satu untuk Milvus 1.x dan sebelumnya dan satu lagi untuk Milvus 2.0.</p>
<p>MilMil saat ini hanya tersedia dalam bahasa Inggris.</p>
<h2 id="How-does-MilMil-work" class="common-anchor-header">Bagaimana cara kerja MilMil?<button data-href="#How-does-MilMil-work" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>MilMil bergantung pada model <em>sentence-transformers/paraphrase-mpnet-base-v2</em> untuk mendapatkan representasi vektor dari basis data FAQ, kemudian Milvus digunakan untuk pencarian kemiripan vektor untuk mengembalikan pertanyaan-pertanyaan yang secara semantik mirip.</p>
<p>Pertama, data FAQ dikonversi menjadi vektor semantik menggunakan BERT, sebuah model pemrosesan bahasa alami (natural language processing/NLP). Kemudian, vektor-vektor tersebut dimasukkan ke dalam Milvus dan masing-masing diberi ID unik. Terakhir, pertanyaan dan jawaban dimasukkan ke dalam PostgreSQL, sebuah basis data relasional, bersama dengan ID vektornya.</p>
<p>Ketika pengguna mengirimkan pertanyaan, sistem akan mengubahnya menjadi vektor fitur menggunakan BERT. Selanjutnya, sistem akan mencari lima vektor yang paling mirip dengan vektor pertanyaan di Milvus dan mengambil ID-nya. Akhirnya, pertanyaan dan jawaban yang sesuai dengan ID vektor yang diambil dikembalikan ke pengguna.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/system_process_dca67a80a6.png" alt="system-process.png" class="doc-image" id="system-process.png" />
   </span> <span class="img-wrapper"> <span>sistem-proses.png</span> </span></p>
<p>Lihat proyek <a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/question_answering_system">sistem penjawab pertanyaan</a> di bootcamp Milvus untuk menjelajahi kode yang digunakan untuk membangun chatbot AI.</p>
<h2 id="Ask-MilMil-about-Milvus" class="common-anchor-header">Tanya MilMil tentang Milvus<button data-href="#Ask-MilMil-about-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Untuk mengobrol dengan MilMil, buka halaman mana pun di <a href="https://milvus.io/">Milvus.io</a> dan klik ikon burung di pojok kanan bawah. Ketik pertanyaan Anda di kotak input teks dan tekan kirim. MilMil akan membalas Anda dalam hitungan milidetik! Selain itu, daftar tarik-turun di sudut kiri atas dapat digunakan untuk beralih di antara dokumentasi teknis untuk versi Milvus yang berbeda.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/milvus_chatbot_icon_f3c25708ca.png" alt="milvus-chatbot-icon.png" class="doc-image" id="milvus-chatbot-icon.png" />
   </span> <span class="img-wrapper"> <span>milvus-chatbot-icon.png</span> </span></p>
<p>Setelah mengirimkan pertanyaan, bot akan segera mengembalikan tiga pertanyaan yang secara semantik mirip dengan pertanyaan kueri. Anda dapat mengklik "Lihat jawaban" untuk menelusuri jawaban potensial untuk pertanyaan Anda, atau klik "Lihat lebih banyak" untuk melihat lebih banyak pertanyaan yang terkait dengan pencarian Anda. Jika jawaban yang sesuai tidak tersedia, klik "Masukkan tanggapan Anda di sini" untuk mengajukan pertanyaan Anda beserta alamat email. Bantuan dari komunitas Milvus akan segera tiba!</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/chatbot_UI_0f4a7655d4.png" alt="chatbot_UI.png" class="doc-image" id="chatbot_ui.png" />
   </span> <span class="img-wrapper"> <span>chatbot_UI.png</span> </span></p>
<p>Cobalah MilMil dan beri tahu kami pendapat Anda. Semua pertanyaan, komentar, atau segala bentuk umpan balik sangat kami harapkan.</p>
<h2 id="Dont-be-a-stranger" class="common-anchor-header">Jangan menjadi orang asing<button data-href="#Dont-be-a-stranger" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li>Temukan atau berkontribusi untuk Milvus di <a href="https://github.com/milvus-io/milvus/">GitHub</a>.</li>
<li>Berinteraksi dengan komunitas melalui <a href="https://join.slack.com/t/milvusio/shared_invite/zt-e0u4qu3k-bI2GDNys3ZqX1YCJ9OM~GQ">Slack</a>.</li>
<li>Terhubung dengan kami di <a href="https://twitter.com/milvusio">Twitter</a>.</li>
</ul>


MilMil Chatbot FAQ yang didukung Milvus yang Menjawab Pertanyaan Seputar Milvus

<custom-h1>Menguji dan Menerapkan Solusi Pencarian Vektor dengan Cepat dengan Bootcamp Milvus 2.0</custom-h1><p>Dengan dirilisnya Milvus 2.0, tim telah merombak <a href="https://github.com/milvus-io/bootcamp">bootcamp</a> Milvus. Bootcamp yang baru dan lebih baik ini menawarkan panduan yang diperbarui dan contoh kode yang lebih mudah diikuti untuk berbagai kasus penggunaan dan penerapan. Selain itu, versi baru ini diperbarui untuk <a href="https://milvus.io/blog/milvus2.0-redefining-vector-database.md">Milvus 2.0</a>, versi baru dari database vektor tercanggih di dunia.</p>
<h3 id="Stress-test-your-system-against-1M-and-100M-dataset-benchmarks" class="common-anchor-header">Uji stres sistem Anda dengan tolok ukur dataset 1 juta dan 100 juta</h3><p><a href="https://github.com/milvus-io/bootcamp/tree/master/benchmark_test">Direktori benchmark</a> berisi 1 juta dan 100 juta tes benchmark vektor yang mengindikasikan bagaimana sistem Anda akan bereaksi terhadap dataset dengan ukuran berbeda.</p>
<p><br/></p>
<h3 id="Explore-and-build-popular-vector-similarity-search-solutions" class="common-anchor-header">Jelajahi dan buat solusi pencarian kemiripan vektor yang populer</h3><p><a href="https://github.com/milvus-io/bootcamp/tree/master/solutions">Direktori solusi</a> berisi kasus penggunaan pencarian kemiripan vektor yang paling populer. Setiap kasus penggunaan berisi solusi notebook dan solusi yang dapat diterapkan di docker. Kasus penggunaan meliputi:</p>
<ul>
<li><a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/reverse_image_search">Pencarian kemiripan gambar</a></li>
<li><a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/video_similarity_search">Pencarian kemiripan video</a></li>
<li><a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/audio_similarity_search">Pencarian kemiripan audio</a></li>
<li><a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/recommendation_system">Sistem rekomendasi</a></li>
<li><a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/molecular_similarity_search">Pencarian molekuler</a></li>
<li><a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/question_answering_system">Sistem penjawab pertanyaan</a></li>
</ul>
<p><br/></p>
<h3 id="Quickly-deploy-a-fully-built-application-on-any-system" class="common-anchor-header">Menerapkan aplikasi yang dibangun sepenuhnya dengan cepat pada sistem apa pun</h3><p>Solusi penerapan cepat adalah solusi dockerized yang memungkinkan pengguna untuk menerapkan aplikasi yang dibangun sepenuhnya pada sistem apa pun. Solusi ini ideal untuk demo singkat, tetapi memerlukan pekerjaan tambahan untuk menyesuaikan dan memahami dibandingkan dengan notebook.</p>
<p><br/></p>
<h3 id="Use-scenario-specific-notebooks-to-easily-deploy-pre-configured-applications" class="common-anchor-header">Gunakan notebook khusus skenario untuk menggunakan aplikasi yang telah dikonfigurasi sebelumnya dengan mudah</h3><p>Notebook berisi contoh sederhana penerapan Milvus untuk menyelesaikan masalah dalam kasus penggunaan tertentu. Setiap contoh dapat dijalankan dari awal hingga akhir tanpa perlu mengelola file atau konfigurasi. Setiap buku catatan juga mudah diikuti dan dimodifikasi, menjadikannya file dasar yang ideal untuk proyek-proyek lain.</p>
<p><br/></p>
<h3 id="Image-similarity-search-notebook-example" class="common-anchor-header">Contoh buku catatan pencarian kemiripan gambar</h3><p>Pencarian kemiripan gambar adalah salah satu ide inti di balik banyak teknologi yang berbeda, termasuk mobil otonom yang mengenali objek. Contoh ini menjelaskan cara membuat program visi komputer dengan mudah menggunakan Milvus.</p>
<p>Buku catatan ini membahas tiga hal:</p>
<ul>
<li>Server Milvus</li>
<li>Server Redis (untuk penyimpanan metadata)</li>
<li>Model Resnet-18 yang telah dilatih sebelumnya.</li>
</ul>
<h4 id="Step-1-Download-required-packages" class="common-anchor-header">Langkah 1: Unduh paket-paket yang diperlukan</h4><p>Mulailah dengan mengunduh semua paket yang diperlukan untuk proyek ini. Buku catatan ini menyertakan tabel yang berisi daftar paket yang digunakan.</p>
<pre><code translate="no">pip install -r requirements.txt
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-2-Server-startup" class="common-anchor-header">Langkah 2: Pengaktifan server</h4><p>Setelah paket terinstal, mulai server dan pastikan keduanya berjalan dengan baik. Pastikan untuk mengikuti instruksi yang benar untuk memulai server <a href="https://milvus.io/docs/v2.0.x/install_standalone-docker.md">Milvus</a> dan <a href="https://hub.docker.com/_/redis">Redis</a>.</p>
<h4 id="Step-3-Download-project-data" class="common-anchor-header">Langkah 3: Mengunduh data proyek</h4><p>Secara default, notebook ini mengambil potongan data VOCImage untuk digunakan sebagai contoh, tetapi direktori apa pun yang berisi gambar dapat digunakan selama mengikuti struktur berkas yang dapat dilihat di bagian atas notebook.</p>
<pre><code translate="no">! gdown <span class="hljs-string">&quot;https://drive.google.com/u/1/uc?id=1jdudBiUu41kL-U5lhH3ari_WBRXyedWo&amp;export=download&quot;</span>
! tar -xf <span class="hljs-string">&#x27;VOCdevkit.zip&#x27;</span>
! <span class="hljs-built_in">rm</span> <span class="hljs-string">&#x27;VOCdevkit.zip&#x27;</span>
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-4-Connect-to-the-servers" class="common-anchor-header">Langkah 4: Hubungkan ke server</h4><p>Pada contoh ini, server berjalan pada port default pada hos lokal.</p>
<pre><code translate="no">connections.<span class="hljs-title function_">connect</span>(host=<span class="hljs-string">&quot;127.0.0.1&quot;</span>, port=<span class="hljs-number">19537</span>)
red = redis.<span class="hljs-title class_">Redis</span>(host = <span class="hljs-string">&#x27;127.0.0.1&#x27;</span>, port=<span class="hljs-number">6379</span>, db=<span class="hljs-number">0</span>)
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-5-Create-a-collection" class="common-anchor-header">Langkah 5: Membuat koleksi</h4><p>Setelah menjalankan server, buatlah sebuah koleksi di Milvus untuk menyimpan semua vektor. Pada contoh ini, ukuran dimensi diatur ke 512, ukuran keluaran resnet-18, dan metrik kemiripan diatur ke jarak Euclidean (L2). Milvus mendukung berbagai <a href="https://milvus.io/docs/v2.0.x/metric.md">metrik kemiripan</a> yang berbeda.</p>
<pre><code translate="no">collection_name = <span class="hljs-string">&quot;image_similarity_search&quot;</span>
dim = <span class="hljs-number">512</span>
default_fields = [
    schema.FieldSchema(name=<span class="hljs-string">&quot;id&quot;</span>, dtype=DataType.INT64, is_primary=<span class="hljs-literal">True</span>, auto_id=<span class="hljs-literal">True</span>),
    schema.FieldSchema(name=<span class="hljs-string">&quot;vector&quot;</span>, dtype=DataType.FLOAT_VECTOR, dim=dim)
]
default_schema = schema.CollectionSchema(fields=default_fields, description=<span class="hljs-string">&quot;Image test collection&quot;</span>)
collection = Collection(name=collection_name, schema=default_schema)
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-6-Build-an-index-for-the-collection" class="common-anchor-header">Langkah 6: Buatlah indeks untuk koleksi</h4><p>Setelah koleksi dibuat, buatlah indeks untuk koleksi tersebut. Dalam kasus ini, indeks IVF_SQ8 digunakan. Indeks ini membutuhkan parameter 'nlist', yang memberi tahu Milvus berapa banyak klaster yang harus dibuat dalam setiap datafile (segmen). <a href="https://milvus.io/docs/v2.0.x/index.md">Indeks</a> yang berbeda membutuhkan parameter yang berbeda.</p>
<pre><code translate="no">default_index = {<span class="hljs-string">&quot;index_type&quot;</span>: <span class="hljs-string">&quot;IVF_SQ8&quot;</span>, <span class="hljs-string">&quot;params&quot;</span>: {<span class="hljs-string">&quot;nlist&quot;</span>: <span class="hljs-number">2048</span>}, <span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&quot;L2&quot;</span>}
collection.<span class="hljs-title function_">create_index</span>(field_name=<span class="hljs-string">&quot;vector&quot;</span>, index_params=default_index)
collection.<span class="hljs-title function_">load</span>()
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-7-Set-up-model-and-data-loader" class="common-anchor-header">Langkah 7: Menyiapkan model dan pemuat data</h4><p>Setelah indeks IVF_SQ8 dibuat, siapkan jaringan saraf dan pemuat data. Python resnet-18 yang telah dilatih sebelumnya yang digunakan dalam contoh ini tanpa lapisan terakhirnya, yang memampatkan vektor untuk klasifikasi dan mungkin kehilangan informasi yang berharga.</p>
<pre><code translate="no">model = torch.hub.load(<span class="hljs-string">&#x27;pytorch/vision:v0.9.0&#x27;</span>, <span class="hljs-string">&#x27;resnet18&#x27;</span>, pretrained=<span class="hljs-literal">True</span>)
encoder = torch.nn.Sequential(*(<span class="hljs-built_in">list</span>(model.children())[:-<span class="hljs-number">1</span>]))
<button class="copy-code-btn"></button></code></pre>
<p>Dataset dan pemuat data perlu dimodifikasi agar dapat melakukan prapemrosesan dan pengumpulan gambar sekaligus menyediakan jalur file gambar. Hal ini dapat dilakukan dengan dataloader torchvision yang sedikit dimodifikasi. Untuk prapemrosesan, gambar harus dipotong dan dinormalisasi karena model resnet-18 dilatih pada ukuran dan rentang nilai tertentu.</p>
<pre><code translate="no">dataset = ImageFolderWithPaths(data_dir, transform=transforms.Compose([
                                                transforms.Resize(256),
                                                transforms.CenterCrop(224),
                                                transforms.ToTensor(),
                                                transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])]))

dataloader = torch.utils.data.DataLoader(dataset, num_workers=0, batch_si
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-8-Insert-vectors-into-the-collection" class="common-anchor-header">Langkah 8: Masukkan vektor ke dalam koleksi</h4><p>Dengan penyiapan koleksi, gambar dapat diproses dan dimuat ke dalam koleksi yang dibuat. Pertama, gambar diambil oleh dataloader dan dijalankan melalui model resnet-18. Penyematan vektor yang dihasilkan kemudian dimasukkan ke dalam Milvus, yang mengembalikan ID unik untuk setiap vektor. ID vektor dan jalur berkas gambar kemudian dimasukkan sebagai pasangan nilai-kunci ke dalam server Redis.</p>
<pre><code translate="no">steps = <span class="hljs-built_in">len</span>(dataloader)
step = <span class="hljs-number">0</span>
<span class="hljs-keyword">for</span> inputs, labels, paths <span class="hljs-keyword">in</span> dataloader:
    <span class="hljs-keyword">with</span> torch.no_grad():
        output = encoder(inputs).squeeze()
        output = output.numpy()

    mr = collection.insert([output.tolist()])
    ids = mr.primary_keys
    <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-built_in">len</span>(ids)):
        red.<span class="hljs-built_in">set</span>(<span class="hljs-built_in">str</span>(ids[x]), paths[x])
    <span class="hljs-keyword">if</span> step%<span class="hljs-number">5</span> == <span class="hljs-number">0</span>:
        <span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Insert Step: &quot;</span> + <span class="hljs-built_in">str</span>(step) + <span class="hljs-string">&quot;/&quot;</span> + <span class="hljs-built_in">str</span>(steps))
    step += <span class="hljs-number">1</span>
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-9-Conduct-a-vector-similarity-search" class="common-anchor-header">Langkah 9: Lakukan pencarian kesamaan vektor</h4><p>Setelah semua data dimasukkan ke dalam Milvus dan Redis, pencarian kemiripan vektor yang sebenarnya dapat dilakukan. Dalam contoh ini, tiga gambar yang dipilih secara acak diambil dari server Redis untuk dilakukan pencarian kemiripan vektor.</p>
<pre><code translate="no">random_ids = [<span class="hljs-built_in">int</span>(red.randomkey()) <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-number">3</span>)]
search_images = [x.decode(<span class="hljs-string">&quot;utf-8&quot;</span>) <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> red.mget(random_ids)]
<button class="copy-code-btn"></button></code></pre>
<p>Gambar-gambar ini pertama-tama melalui prapemrosesan yang sama dengan yang ditemukan di Langkah 7 dan kemudian didorong melalui model resnet-18.</p>
<pre><code translate="no">transform_ops = transforms.Compose([
                transforms.Resize(<span class="hljs-number">256</span>),
                transforms.CenterCrop(<span class="hljs-number">224</span>),
                transforms.ToTensor(),
                transforms.Normalize(mean=[<span class="hljs-number">0.485</span>, <span class="hljs-number">0.456</span>, <span class="hljs-number">0.406</span>], std=[<span class="hljs-number">0.229</span>, <span class="hljs-number">0.224</span>, <span class="hljs-number">0.225</span>])])

embeddings = [transform_ops(Image.<span class="hljs-built_in">open</span>(x)) <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> search_images]
embeddings = torch.stack(embeddings, dim=<span class="hljs-number">0</span>)

<span class="hljs-keyword">with</span> torch.no_grad():
    embeddings = encoder(embeddings).squeeze().numpy()
<button class="copy-code-btn"></button></code></pre>
<p>Kemudian penyematan vektor yang dihasilkan digunakan untuk melakukan pencarian. Pertama, tetapkan parameter pencarian, termasuk nama koleksi yang akan dicari, nprobe (jumlah cluster yang akan dicari), dan top_k (jumlah vektor yang dikembalikan). Dalam contoh ini, pencarian harus sangat cepat.</p>
<pre><code translate="no">search_params = {<span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&quot;L2&quot;</span>, <span class="hljs-string">&quot;params&quot;</span>: {<span class="hljs-string">&quot;nprobe&quot;</span>: 32}}
start = time.time()
results = collection.search(embeddings, <span class="hljs-string">&quot;vector&quot;</span>, param=search_params, <span class="hljs-built_in">limit</span>=3, <span class="hljs-built_in">expr</span>=None)
end = time.time() - start
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-10-Image-search-results" class="common-anchor-header">Langkah 10: Hasil pencarian gambar</h4><p>ID vektor yang dikembalikan dari kueri digunakan untuk menemukan gambar yang sesuai. Matplotlib kemudian digunakan untuk menampilkan hasil pencarian gambar.<br/></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/pic1_c8652c7fae.png" alt="pic1.png" class="doc-image" id="pic1.png" />
   </span> <span class="img-wrapper"> <span>pic1.png</span> </span> <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/pic2_355b054161.png" alt="pic2.png" class="doc-image" id="pic2.png" /><span>pic2.png</span> </span> <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/pic3_01780c6aac.png" alt="pic3.png" class="doc-image" id="pic3.png" /><span>pic3.png</span> </span></p>
<p><br/></p>
<h3 id="Learn-how-to-deploy-Milvus-in-different-enviroments" class="common-anchor-header">Pelajari cara menggunakan Milvus di lingkungan yang berbeda</h3><p><a href="https://github.com/milvus-io/bootcamp/tree/master/deployments">Bagian penerapan</a> pada bootcamp baru berisi semua informasi untuk menggunakan Milvus di lingkungan dan pengaturan yang berbeda. Ini termasuk menerapkan Mishard, menggunakan Kubernetes dengan Milvus, penyeimbangan beban, dan banyak lagi. Setiap lingkungan memiliki panduan langkah demi langkah yang mendetail yang menjelaskan cara membuat Milvus bekerja di dalamnya.</p>
<p><br/></p>
<h3 id="Dont-be-a-stranger" class="common-anchor-header">Jangan menjadi orang asing</h3><ul>
<li>Baca <a href="https://zilliz.com/blog">blog</a> kami.</li>
<li>Berinteraksi dengan komunitas sumber terbuka kami di <a href="https://join.slack.com/t/milvusio/shared_invite/zt-e0u4qu3k-bI2GDNys3ZqX1YCJ9OM~GQ">Slack</a>.</li>
<li>Gunakan atau berkontribusi ke Milvus, basis data vektor paling populer di dunia, di <a href="https://github.com/milvus-io/milvus">Github</a>.</li>
</ul>


Menguji dan Menerapkan Solusi Pencarian Vektor dengan Cepat dengan Milvus 2.0 Bootcamp

<custom-h1>Membangun Aplikasi Perencanaan Lemari Pakaian dan Pakaian dengan Milvus</custom-h1><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/stylepedia_1_5f239a8d48.png" alt="stylepedia-1.png" class="doc-image" id="stylepedia-1.png" />
   </span> <span class="img-wrapper"> <span>stylepedia-1.png</span> </span></p>
<p>Didirikan pada tahun 2003, <a href="http://www.mozat.com/home">Mozat</a> adalah perusahaan rintisan yang berkantor pusat di Singapura dan memiliki kantor di Cina dan Arab Saudi. Perusahaan ini mengkhususkan diri dalam membangun aplikasi media sosial, komunikasi, dan gaya hidup. <a href="https://stylepedia.com/">Stylepedia</a> adalah aplikasi lemari pakaian yang dibuat oleh Mozat yang membantu pengguna menemukan gaya baru dan terhubung dengan orang lain yang memiliki ketertarikan pada fashion. Fitur utamanya meliputi kemampuan untuk mengkurasi lemari digital, rekomendasi gaya yang dipersonalisasi, fungsionalitas media sosial, dan alat pencarian gambar untuk menemukan barang yang mirip dengan sesuatu yang dilihat secara online atau dalam kehidupan nyata.</p>
<p><a href="https://milvus.io">Milvus</a> digunakan untuk mendukung sistem pencarian gambar dalam Stylepedia. Aplikasi ini menangani tiga jenis gambar: gambar pengguna, gambar produk, dan foto mode. Setiap gambar dapat mencakup satu atau lebih item, yang semakin memperumit setiap kueri. Agar bermanfaat, sistem pencarian gambar harus akurat, cepat, dan stabil, fitur-fitur yang memberikan dasar teknis yang kuat untuk menambahkan fungsionalitas baru ke dalam aplikasi seperti saran pakaian dan rekomendasi konten fesyen.</p>
<h2 id="System-overview" class="common-anchor-header">Gambaran umum sistem<button data-href="#System-overview" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/stylepedia_system_process_8e7e2ab3e4.png" alt="stylepedia-system-process.png" class="doc-image" id="stylepedia-system-process.png" />
   </span> <span class="img-wrapper"> <span>stylepedia-system-process.png</span> </span></p>
<p>Sistem pencarian gambar dibagi menjadi komponen offline dan online.</p>
<p>Secara offline, gambar dibuat dalam bentuk vektor dan dimasukkan ke dalam basis data vektor (Milvus). Dalam alur kerja data, gambar produk dan foto-foto mode yang relevan diubah menjadi vektor fitur 512 dimensi menggunakan deteksi objek dan model ekstraksi fitur. Data vektor kemudian diindeks dan ditambahkan ke basis data vektor.</p>
<p>Secara online, basis data gambar ditanyakan dan gambar yang serupa dikembalikan kepada pengguna. Mirip dengan komponen off-line, gambar kueri diproses dengan deteksi objek dan model ekstraksi fitur untuk mendapatkan vektor fitur. Dengan menggunakan vektor fitur, Milvus mencari vektor yang mirip dengan TopK dan mendapatkan ID gambar yang sesuai. Akhirnya, setelah pasca-pemrosesan (pemfilteran, penyortiran, dll.), kumpulan gambar yang mirip dengan gambar kueri dikembalikan.</p>
<h2 id="Implementation" class="common-anchor-header">Implementasi<button data-href="#Implementation" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Implementasi dibagi menjadi empat modul:</p>
<ol>
<li>Deteksi pakaian</li>
<li>Ekstraksi fitur</li>
<li>Pencarian kesamaan vektor</li>
<li>Pasca-pemrosesan</li>
</ol>
<h3 id="Garment-detection" class="common-anchor-header">Deteksi garmen</h3><p>Dalam modul deteksi garmen, <a href="https://pytorch.org/hub/ultralytics_yolov5/">YOLOv5</a>, kerangka kerja deteksi target berbasis jangkar satu tahap, digunakan sebagai model deteksi objek karena ukurannya yang kecil dan inferensi waktu nyata. Ini menawarkan empat ukuran model (YOLOv5s/m/l/x), dan setiap ukuran tertentu memiliki pro dan kontra. Model yang lebih besar akan berkinerja lebih baik (presisi lebih tinggi) tetapi membutuhkan lebih banyak daya komputasi dan berjalan lebih lambat. Karena objek dalam kasus ini adalah benda yang relatif besar dan mudah dideteksi, maka model terkecil, YOLOv5s, sudah cukup.</p>
<p>Item pakaian dalam setiap gambar dikenali dan dipotong untuk digunakan sebagai input model ekstraksi fitur yang digunakan dalam pemrosesan selanjutnya. Secara bersamaan, model pendeteksian objek juga memprediksi klasifikasi pakaian menurut kelas yang telah ditentukan (atasan, pakaian luar, celana panjang, rok, gaun, dan baju terusan).</p>
<h3 id="Feature-extraction" class="common-anchor-header">Ekstraksi fitur</h3><p>Kunci dari pencarian kemiripan adalah model ekstraksi fitur. Gambar pakaian yang telah dipotong dimasukkan ke dalam vektor floating point 512 dimensi yang merepresentasikan atributnya dalam format data numerik yang dapat dibaca mesin. Metodologi <a href="https://github.com/Joon-Park92/Survey_of_Deep_Metric_Learning">deep metric learning (DML</a> ) diadopsi dengan <a href="https://arxiv.org/abs/1905.11946">EfficientNet</a> sebagai model tulang punggung.</p>
<p>Pembelajaran metrik bertujuan untuk melatih modul ekstraksi fitur nonlinier berbasis CNN (atau encoder) untuk mengurangi jarak antara vektor fitur yang sesuai dengan kelas sampel yang sama, dan meningkatkan jarak antara vektor fitur yang sesuai dengan kelas sampel yang berbeda. Dalam skenario ini, kelas sampel yang sama mengacu pada pakaian yang sama.</p>
<p>EfficientNet memperhitungkan kecepatan dan ketepatan saat menskalakan lebar, kedalaman, dan resolusi jaringan secara seragam. EfficientNet-B4 digunakan sebagai jaringan ekstraksi fitur, dan output dari lapisan akhir yang terhubung sepenuhnya adalah fitur gambar yang diperlukan untuk melakukan pencarian kesamaan vektor.</p>
<h3 id="Vector-similarity-search" class="common-anchor-header">Pencarian kesamaan vektor</h3><p>Milvus adalah basis data vektor sumber terbuka yang mendukung operasi buat, baca, perbarui, dan hapus (CRUD) serta pencarian nyaris seketika pada kumpulan data berukuran triliunan byte. Di Stylepedia, ini digunakan untuk pencarian kemiripan vektor berskala besar karena sangat elastis, stabil, dapat diandalkan, dan cepat. Milvus memperluas kemampuan pustaka indeks vektor yang banyak digunakan (Faiss, NMSLIB, Annoy, dll.), dan menyediakan seperangkat API yang sederhana dan intuitif yang memungkinkan pengguna untuk memilih jenis indeks yang ideal untuk skenario tertentu.</p>
<p>Dengan mempertimbangkan persyaratan skenario dan skala data, pengembang Stylepedia menggunakan distribusi Milvus khusus CPU yang dipasangkan dengan indeks HNSW. Dua koleksi yang diindeks, satu untuk produk dan satu lagi untuk foto-foto mode, dibuat untuk mendukung fungsi aplikasi yang berbeda. Setiap koleksi dibagi lagi menjadi enam partisi berdasarkan hasil deteksi dan klasifikasi untuk mempersempit cakupan pencarian. Milvus melakukan pencarian pada puluhan juta vektor dalam hitungan milidetik, memberikan kinerja optimal sekaligus menjaga biaya pengembangan tetap rendah dan meminimalkan konsumsi sumber daya.</p>
<h3 id="Post-processing" class="common-anchor-header">Pasca-pemrosesan</h3><p>Untuk meningkatkan kemiripan antara hasil pencarian gambar dan gambar kueri, kami menggunakan pemfilteran warna dan pemfilteran label kunci (panjang lengan, panjang pakaian, gaya kerah, dll.) untuk menyaring gambar yang tidak memenuhi syarat. Selain itu, algoritma penilaian kualitas gambar digunakan untuk memastikan bahwa gambar dengan kualitas yang lebih tinggi disajikan kepada pengguna terlebih dahulu.</p>
<h2 id="Application" class="common-anchor-header">Aplikasi<button data-href="#Application" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="User-uploads-and-image-search" class="common-anchor-header">Unggahan pengguna dan pencarian gambar</h3><p>Pengguna dapat mengambil foto pakaian mereka sendiri dan mengunggahnya ke lemari digital Stylepedia mereka, kemudian mengambil gambar produk yang paling mirip dengan unggahan mereka.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/stylepedia_search_results_0568e20dc0.png" alt="stylepedia-search-results.png" class="doc-image" id="stylepedia-search-results.png" />
   </span> <span class="img-wrapper"> <span>stylepedia-hasil-pencarian.png</span> </span></p>
<h3 id="Outfit-suggestions" class="common-anchor-header">Saran pakaian</h3><p>Dengan melakukan pencarian kemiripan pada database Stylepedia, pengguna dapat menemukan foto-foto fashion yang mengandung item fashion tertentu. Ini bisa berupa pakaian baru yang ingin dibeli oleh seseorang, atau sesuatu dari koleksi mereka sendiri yang dapat dikenakan atau dipasangkan secara berbeda. Kemudian, melalui pengelompokan item yang sering dipasangkan, saran pakaian dihasilkan. Sebagai contoh, jaket biker hitam dapat dipadukan dengan berbagai macam item, seperti celana jeans skinny hitam. Pengguna kemudian dapat menelusuri foto-foto mode yang relevan di mana kecocokan ini terjadi dalam formula yang dipilih.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/stylepedia_jacket_outfit_e84914da9e.png" alt="stylepedia-jacket-outfit.png" class="doc-image" id="stylepedia-jacket-outfit.png" />
   </span> <span class="img-wrapper"> <span>stylepedia-jacket-outfit.png</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/stylepedia_jacket_snapshot_25f53cc09b.png" alt="stylepedia-jacket-snapshot.png" class="doc-image" id="stylepedia-jacket-snapshot.png" />
   </span> <span class="img-wrapper"> <span>stylepedia-jaket-jepretan.png</span> </span></p>
<h3 id="Fashion-photograph-recommendations" class="common-anchor-header">Rekomendasi foto mode</h3><p>Berdasarkan riwayat penelusuran pengguna, kesukaan, dan isi lemari digital mereka, sistem menghitung kemiripan dan memberikan rekomendasi foto mode khusus yang mungkin menarik.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/stylepedia_user_wardrobe_6770c856b9.png" alt="stylepedia-user-wardrobe.png" class="doc-image" id="stylepedia-user-wardrobe.png" />
   </span> <span class="img-wrapper"> <span>stylepedia-pengguna-lemari pakaian.png</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/stylepedia_streetsnap_rec_901601a34d.png" alt="stylepedia-streetsnap-rec.png" class="doc-image" id="stylepedia-streetsnap-rec.png" />
   </span> <span class="img-wrapper"> <span>stylepedia-streetsnap-rec.png</span> </span></p>
<p>Dengan menggabungkan metodologi deep learning dan visi komputer, Mozat mampu membangun sistem pencarian kemiripan gambar yang cepat, stabil, dan akurat dengan menggunakan Milvus untuk mendukung berbagai fitur di aplikasi Stylepedia.</p>
<h2 id="Dont-be-a-stranger" class="common-anchor-header">Jangan menjadi orang asing<button data-href="#Dont-be-a-stranger" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li>Temukan atau kontribusikan Milvus di <a href="https://github.com/milvus-io/milvus/">GitHub</a>.</li>
<li>Berinteraksi dengan komunitas melalui <a href="https://join.slack.com/t/milvusio/shared_invite/zt-e0u4qu3k-bI2GDNys3ZqX1YCJ9OM~GQ">Slack</a>.</li>
<li>Terhubung dengan kami di <a href="https://twitter.com/milvusio">Twitter</a>.</li>
</ul>


Gambaran umum sistem

<custom-h1>Membangun Cluster Milvus Berdasarkan JuiceFS</custom-h1><p>Kolaborasi antara komunitas sumber terbuka adalah hal yang ajaib. Para sukarelawan yang bersemangat, cerdas, dan kreatif tidak hanya membuat solusi sumber terbuka tetap inovatif, mereka juga bekerja untuk menyatukan berbagai alat yang berbeda dengan cara yang menarik dan bermanfaat. <a href="https://milvus.io/">Milvus</a>, basis data vektor paling populer di dunia, dan <a href="https://github.com/juicedata/juicefs">JuiceFS</a>, sistem berkas bersama yang dirancang untuk lingkungan cloud-native, disatukan dalam semangat ini oleh komunitas sumber terbuka masing-masing. Artikel ini menjelaskan apa itu JuiceFS, cara membangun cluster Milvus berdasarkan penyimpanan file bersama JuiceFS, dan kinerja yang dapat diharapkan pengguna dengan menggunakan solusi ini.</p>
<h2 id="What-is-JuiceFS" class="common-anchor-header"><strong>Apa itu JuiceFS?</strong><button data-href="#What-is-JuiceFS" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>JuiceFS adalah sistem berkas POSIX terdistribusi sumber terbuka berkinerja tinggi, yang dapat dibangun di atas Redis dan S3. Sistem ini dirancang untuk lingkungan cloud-native dan mendukung pengelolaan, analisis, pengarsipan, dan pencadangan data jenis apa pun. JuiceFS biasanya digunakan untuk memecahkan tantangan data besar, membangun aplikasi kecerdasan buatan (AI), dan pengumpulan log. Sistem ini juga mendukung pembagian data di beberapa klien dan dapat digunakan secara langsung sebagai penyimpanan bersama di Milvus.</p>
<p>Setelah data, dan metadata yang sesuai, disimpan ke penyimpanan objek dan <a href="https://redis.io/">Redis</a>, JuiceFS berfungsi sebagai middleware tanpa kewarganegaraan. Berbagi data direalisasikan dengan memungkinkan berbagai aplikasi yang berbeda untuk saling terhubung satu sama lain secara mulus melalui antarmuka sistem berkas standar. JuiceFS mengandalkan Redis, sebuah penyimpanan data dalam memori sumber terbuka, untuk penyimpanan metadata. Redis digunakan karena menjamin atomisitas dan menyediakan operasi metadata berkinerja tinggi. Semua data disimpan dalam penyimpanan objek melalui klien JuiceFS. Diagram arsitekturnya adalah sebagai berikut:</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/juicefs_architecture_2023b37a4e.png" alt="juicefs-architecture.png" class="doc-image" id="juicefs-architecture.png" />
   </span> <span class="img-wrapper"> <span>juicefs-architecture.png</span> </span></p>
<h2 id="Build-a-Milvus-cluster-based-on-JuiceFS" class="common-anchor-header"><strong>Membangun kluster Milvus berdasarkan JuiceFS</strong><button data-href="#Build-a-Milvus-cluster-based-on-JuiceFS" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus cluster yang dibangun dengan JuiceFS (lihat diagram arsitektur di bawah ini) bekerja dengan memecah permintaan hulu menggunakan Mishards, sebuah middleware cluster sharding, untuk mengalirkan permintaan ke sub-modul. Ketika memasukkan data, Mishards mengalokasikan permintaan hulu ke simpul tulis Milvus, yang menyimpan data yang baru dimasukkan dalam JuiceFS. Saat membaca data, Mishards memuat data dari JuiceFS melalui simpul baca Milvus ke memori untuk diproses, kemudian mengumpulkan dan mengembalikan hasil dari sub-layanan di hulu.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/milvus_cluster_built_with_juicefs_3a43cd262c.png" alt="milvus-cluster-built-with-juicefs.png" class="doc-image" id="milvus-cluster-built-with-juicefs.png" />
   </span> <span class="img-wrapper"> <span>milvus-cluster-dibangun-dengan-juicefs.png</span> </span></p>
<h3 id="Step-1-Launch-MySQL-service" class="common-anchor-header"><strong>Langkah 1: Meluncurkan layanan MySQL</strong></h3><p>Luncurkan layanan MySQL di <strong>setiap</strong> node dalam cluster. Untuk detailnya, lihat <a href="https://milvus.io/docs/v1.1.0/data_manage.md">Mengelola Metadata dengan MySQL</a>.</p>
<h3 id="Step-2-Create-a-JuiceFS-file-system" class="common-anchor-header"><strong>Langkah 2: Membuat sistem berkas JuiceFS</strong></h3><p>Untuk tujuan demonstrasi, digunakan program JuiceFS biner yang sudah dikompilasi. Unduh <a href="https://github.com/juicedata/juicefs/releases">paket instalasi</a> yang tepat untuk sistem Anda dan ikuti <a href="https://github.com/juicedata/juicefs-quickstart">Panduan Memulai Cepat</a> JuiceFS untuk petunjuk instalasi yang mendetail. Untuk membuat sistem berkas JuiceFS, pertama-tama siapkan basis data Redis untuk penyimpanan metadata. Direkomendasikan untuk penerapan awan publik, Anda meng-host layanan Redis pada awan yang sama dengan aplikasi. Selain itu, siapkan penyimpanan objek untuk JuiceFS. Dalam contoh ini, Azure Blob Storage digunakan; namun, JuiceFS mendukung hampir semua layanan objek. Pilih layanan penyimpanan objek yang paling sesuai dengan kebutuhan skenario Anda.</p>
<p>Setelah mengonfigurasi layanan Redis dan penyimpanan objek, format sistem berkas baru dan pasang JuiceFS ke direktori lokal:</p>
<pre><code translate="no">1 $  <span class="hljs-built_in">export</span> AZURE_STORAGE_CONNECTION_STRING=<span class="hljs-string">&quot;DefaultEndpointsProtocol=https;AccountName=XXX;AccountKey=XXX;EndpointSuffix=core.windows.net&quot;</span>
2 $ ./juicefs format \
3     --storage wasb \
4     --bucket https://&lt;container&gt; \
5     ... \
6     localhost <span class="hljs-built_in">test</span> <span class="hljs-comment">#format</span>
7 $ ./juicefs mount -d localhost ~/jfs  <span class="hljs-comment">#mount</span>
8
<button class="copy-code-btn"></button></code></pre>
<blockquote>
<p>Jika server Redis tidak berjalan secara lokal, ganti hos lokal dengan alamat berikut ini: <code translate="no">redis://&lt;user:password&gt;@host:6379/1</code>.</p>
</blockquote>
<p>Ketika instalasi berhasil, JuiceFS mengembalikan halaman penyimpanan bersama <strong>/root/jfs</strong>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/installation_success_9d05279ecd.png" alt="installation-success.png" class="doc-image" id="installation-success.png" />
   </span> <span class="img-wrapper"> <span>instalasi-sukses.png</span> </span></p>
<h3 id="Step-3-Start-Milvus" class="common-anchor-header"><strong>Langkah 3: Mulai Milvus</strong></h3><p>Semua node dalam klaster harus sudah terinstal Milvus, dan setiap node Milvus harus dikonfigurasi dengan izin baca atau tulis. Hanya satu node Milvus yang dapat dikonfigurasi sebagai node tulis, dan sisanya harus menjadi node baca. Pertama, atur parameter bagian <code translate="no">cluster</code> dan <code translate="no">general</code> dalam berkas konfigurasi sistem Milvus <strong>server_config.yaml</strong>:</p>
<p><strong>Bagian</strong> <code translate="no">cluster</code></p>
<table>
<thead>
<tr><th style="text-align:left"><strong>Parameter</strong></th><th style="text-align:left"><strong>Deskripsi</strong></th><th style="text-align:left"><strong>Konfigurasi</strong></th></tr>
</thead>
<tbody>
<tr><td style="text-align:left"><code translate="no">enable</code></td><td style="text-align:left">Apakah akan mengaktifkan mode cluster</td><td style="text-align:left"><code translate="no">true</code></td></tr>
<tr><td style="text-align:left"><code translate="no">role</code></td><td style="text-align:left">Peran penyebaran Milvus</td><td style="text-align:left"><code translate="no">rw</code>/<code translate="no">ro</code></td></tr>
</tbody>
</table>
<p><strong>Bagian</strong> <code translate="no">general</code></p>
<pre><code translate="no"><span class="hljs-comment"># meta_uri is the URI for metadata storage, using MySQL (for Milvus Cluster). Format: mysql://&lt;username:password&gt;@host:port/database</span>
general:
  timezone: UTC+8
  meta_uri: mysql://root:milvusroot@host:3306/milvus
<button class="copy-code-btn"></button></code></pre>
<p>Selama instalasi, jalur penyimpanan bersama JuiceFS yang dikonfigurasi ditetapkan sebagai <strong>/root/jfs/milvus/db</strong>.</p>
<pre><code translate="no">1 <span class="hljs-built_in">sudo</span> docker run -d --name milvus_gpu_1.0.0 --gpus all \
2 -p 19530:19530 \
3 -p 19121:19121 \
4 -v /root/jfs/milvus/db:/var/lib/milvus/db \  <span class="hljs-comment">#/root/jfs/milvus/db is the shared storage path</span>
5 -v /home/<span class="hljs-variable">$USER</span>/milvus/conf:/var/lib/milvus/conf \
6 -v /home/<span class="hljs-variable">$USER</span>/milvus/logs:/var/lib/milvus/logs \
7 -v /home/<span class="hljs-variable">$USER</span>/milvus/wal:/var/lib/milvus/wal \
8 milvusdb/milvus:1.0.0-gpu-d030521-1ea92e
9
<button class="copy-code-btn"></button></code></pre>
<p>Setelah instalasi selesai, mulai Milvus dan konfirmasikan bahwa Milvus telah diluncurkan dengan benar. Terakhir, mulai layanan Mishards pada <strong>salah</strong> satu node dalam kluster. Gambar di bawah ini menunjukkan peluncuran Mishards yang berhasil. Untuk informasi lebih lanjut, lihat <a href="https://github.com/milvus-io/bootcamp/tree/new-bootcamp/deployments/juicefs">tutorial</a> GitHub.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/mishards_launch_success_921695d3a8.png" alt="mishards-launch-success.png" class="doc-image" id="mishards-launch-success.png" />
   </span> <span class="img-wrapper"> <span>mishards-launch-success.png</span> </span></p>
<h2 id="Performance-benchmarks" class="common-anchor-header"><strong>Tolok ukur kinerja</strong><button data-href="#Performance-benchmarks" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Solusi penyimpanan bersama biasanya diimplementasikan oleh sistem penyimpanan yang terhubung ke jaringan (NAS). Jenis sistem NAS yang umum digunakan termasuk Network File System (NFS) dan Server Message Block (SMB). Platform cloud publik umumnya menyediakan layanan penyimpanan terkelola yang kompatibel dengan protokol-protokol ini, seperti Amazon Elastic File System (EFS).</p>
<p>Tidak seperti sistem NAS tradisional, JuiceFS diimplementasikan berdasarkan Filesystem in Userspace (FUSE), di mana semua pembacaan dan penulisan data dilakukan secara langsung di sisi aplikasi, sehingga mengurangi latensi akses. Terdapat juga fitur unik pada JuiceFS yang tidak dapat ditemukan pada sistem NAS lainnya, seperti kompresi data dan caching.</p>
<p>Pengujian benchmark menunjukkan bahwa JuiceFS menawarkan keunggulan utama dibandingkan EFS. Pada benchmark metadata (Gambar 1), JuiceFS menunjukkan operasi I/O per detik (IOPS) hingga sepuluh kali lebih tinggi daripada EFS. Selain itu, tolok ukur throughput I/O (Gambar 2) menunjukkan JuiceFS mengungguli EFS baik dalam skenario pekerjaan tunggal maupun banyak pekerjaan.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/performance_benchmark_1_b7fcbb4439.png" alt="performance-benchmark-1.png" class="doc-image" id="performance-benchmark-1.png" />
   </span> <span class="img-wrapper"> <span>performance-benchmark-1.png</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/performance_benchmark_2_e311098123.png" alt="performance-benchmark-2.png" class="doc-image" id="performance-benchmark-2.png" />
   </span> <span class="img-wrapper"> <span>performance-benchmark-2.png</span> </span></p>
<p>Selain itu, pengujian benchmark menunjukkan waktu pengambilan kueri pertama, atau waktu untuk memuat data yang baru dimasukkan dari disk ke memori, untuk kluster Milvus berbasis JuiceFS rata-rata hanya 0,032 detik, yang mengindikasikan bahwa data dimuat dari disk ke memori hampir seketika. Untuk pengujian ini, waktu pengambilan kueri pertama diukur dengan menggunakan satu juta baris data vektor 128 dimensi yang disisipkan dalam kelompok 100 ribu dengan interval 1 hingga 8 detik.</p>
<p>JuiceFS adalah sistem penyimpanan file bersama yang stabil dan dapat diandalkan, dan cluster Milvus yang dibangun di atas JuiceFS menawarkan kinerja tinggi dan kapasitas penyimpanan yang fleksibel.</p>
<h2 id="Learn-more-about-Milvus" class="common-anchor-header"><strong>Pelajari lebih lanjut tentang Milvus</strong><button data-href="#Learn-more-about-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus adalah alat canggih yang mampu mendukung beragam kecerdasan buatan dan aplikasi pencarian kemiripan vektor. Untuk mempelajari lebih lanjut tentang proyek ini, lihat sumber daya berikut:</p>
<ul>
<li>Baca <a href="https://zilliz.com/blog">blog</a> kami.</li>
<li>Berinteraksi dengan komunitas sumber terbuka kami di <a href="https://join.slack.com/t/milvusio/shared_invite/zt-e0u4qu3k-bI2GDNys3ZqX1YCJ9OM~GQ">Slack</a>.</li>
<li>Gunakan atau kontribusikan database vektor paling populer di dunia di <a href="https://github.com/milvus-io/milvus/">GitHub</a>.</li>
<li>Menguji dan menerapkan aplikasi AI dengan cepat dengan <a href="https://github.com/milvus-io/bootcamp">bootcamp</a> baru kami.</li>
</ul>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/writer_bio_changjian_gao_68018f7716.png" alt="writer bio-changjian gao.png" class="doc-image" id="writer-bio-changjian-gao.png" />
   </span> <span class="img-wrapper"> <span>penulis bio-changjian gao.png</span> </span> <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/writer_bio_jingjing_jia_a85d1c2e3b.png" alt="writer bio-jingjing jia.png" class="doc-image" id="writer-bio-jingjing-jia.png" /><span>penulis bio-jingjing jia.png</span> </span></p>


Apa itu JuiceFS?

<custom-h1>Membangun Sistem Rekomendasi Berita yang Cerdas di Dalam Aplikasi Berita Sohu</custom-h1><p>Dengan <a href="https://www.socialmediatoday.com/news/new-research-shows-that-71-of-americans-now-get-news-content-via-social-pl/593255/">71% orang Amerika Serikat</a> mendapatkan rekomendasi berita dari platform sosial, konten yang dipersonalisasi dengan cepat menjadi cara media baru ditemukan. Baik saat orang mencari topik tertentu, atau berinteraksi dengan konten yang direkomendasikan, semua yang dilihat pengguna dioptimalkan oleh algoritme untuk meningkatkan rasio klik-tayang (CTR), keterlibatan, dan relevansi. Sohu adalah grup media, video, pencarian, dan game online Tiongkok yang terdaftar di NASDAQ. Sohu memanfaatkan <a href="https://milvus.io/">Milvus</a>, database vektor sumber terbuka yang dibangun oleh <a href="https://zilliz.com/">Zilliz</a>, untuk membangun mesin pencari vektor semantik di dalam aplikasi beritanya. Artikel ini menjelaskan bagaimana perusahaan menggunakan profil pengguna untuk menyempurnakan rekomendasi konten yang dipersonalisasi dari waktu ke waktu, meningkatkan pengalaman dan keterlibatan pengguna.</p>
<h2 id="Recommending-content-using-semantic-vector-search" class="common-anchor-header">Merekomendasikan konten menggunakan pencarian vektor semantik<button data-href="#Recommending-content-using-semantic-vector-search" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Profil pengguna Sohu News dibuat dari riwayat penelusuran dan disesuaikan ketika pengguna mencari, dan berinteraksi dengan, konten berita. Sistem rekomendasi Sohu menggunakan pencarian vektor semantik untuk menemukan artikel berita yang relevan. Sistem ini bekerja dengan mengidentifikasi sekumpulan tag yang diharapkan menarik bagi setiap pengguna berdasarkan riwayat penelusuran. Sistem ini kemudian dengan cepat mencari artikel yang relevan dan mengurutkan hasilnya berdasarkan popularitas (diukur dengan CTR rata-rata), sebelum menyajikannya kepada pengguna.</p>
<p>New York Times sendiri menerbitkan <a href="https://www.theatlantic.com/technology/archive/2016/05/how-many-stories-do-newspapers-publish-per-day/483845/">230 konten</a> setiap harinya, yang memberikan gambaran sekilas tentang besarnya konten baru yang harus dapat diproses oleh sistem rekomendasi yang efektif. Menelan berita dalam jumlah besar menuntut pencarian kemiripan milidetik dan pencocokan tag per jam untuk konten baru. Sohu memilih Milvus karena Milvus memproses kumpulan data yang sangat besar secara efisien dan akurat, mengurangi penggunaan memori selama pencarian, dan mendukung penerapan berkinerja tinggi.</p>
<h2 id="Understanding-a-news-recommendation-system-workflow" class="common-anchor-header">Memahami alur kerja sistem rekomendasi berita<button data-href="#Understanding-a-news-recommendation-system-workflow" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Rekomendasi konten berbasis pencarian vektor semantik Sohu bergantung pada Deep Structured Semantic Model (DSSM), yang menggunakan dua jaringan saraf untuk merepresentasikan kueri pengguna dan artikel berita sebagai vektor. Model ini menghitung kemiripan kosinus dari dua vektor semantik, kemudian kumpulan berita yang paling mirip dikirim ke kumpulan kandidat rekomendasi. Selanjutnya, artikel berita diberi peringkat berdasarkan perkiraan CTR, dan artikel berita dengan perkiraan rasio klik-tayang tertinggi akan ditampilkan kepada pengguna.</p>
<h3 id="Encoding-news-articles-into-semantic-vectors-with-BERT-as-service" class="common-anchor-header">Pengkodean artikel berita ke dalam vektor semantik dengan BERT-as-service</h3><p>Untuk menyandikan artikel berita ke dalam vektor semantik, sistem menggunakan alat <a href="https://github.com/hanxiao/bert-as-service.git">BERT-as-service</a>. Jika jumlah kata dari suatu konten melebihi 512 saat menggunakan model ini, maka akan terjadi kehilangan informasi selama proses penyematan. Untuk membantu mengatasi hal ini, sistem pertama-tama mengekstrak ringkasan dan mengkodekannya ke dalam vektor semantik 768 dimensi. Kemudian dua topik yang paling relevan dari setiap artikel berita diekstraksi, dan vektor topik yang telah dilatih sebelumnya (200 dimensi) diidentifikasi berdasarkan ID topik. Selanjutnya, vektor topik tersebut disambungkan ke dalam vektor semantik 768 dimensi yang diekstrak dari ringkasan artikel, membentuk vektor semantik 968 dimensi.</p>
<p>Konten baru terus menerus masuk melalui Kafta, dan diubah menjadi vektor semantik sebelum dimasukkan ke dalam basis data Milvus.</p>
<h3 id="Extracting-semantically-similar-tags-from-user-profiles-with-BERT-as-service" class="common-anchor-header">Mengekstrak tag yang secara semantik mirip dari profil pengguna dengan BERT-as-service</h3><p>Jaringan saraf lain dari model ini adalah vektor semantik pengguna. Tag yang secara semantik mirip (misalnya, coronavirus, covid, COVID-19, pandemi, strain baru, pneumonia) diekstraksi dari profil pengguna berdasarkan minat, kueri penelusuran, dan riwayat penelusuran. Daftar tag yang diperoleh diurutkan berdasarkan beratnya, dan 200 tag teratas dibagi ke dalam kelompok semantik yang berbeda. Permutasi tag dalam setiap kelompok semantik digunakan untuk menghasilkan frasa tag baru, yang kemudian dikodekan ke dalam vektor semantik melalui BERT-as-service</p>
<p>Untuk setiap profil pengguna, kumpulan frasa tag memiliki <a href="https://github.com/baidu/Familia">kumpulan topik</a> yang <a href="https://github.com/baidu/Familia">sesuai</a> yang ditandai dengan bobot yang menunjukkan tingkat ketertarikan pengguna. Dua topik teratas dari semua topik yang relevan dipilih dan dikodekan oleh model pembelajaran mesin (ML) untuk disambungkan ke dalam vektor semantik tag yang sesuai, membentuk vektor semantik pengguna 968 dimensi. Meskipun sistem menghasilkan tag yang sama untuk pengguna yang berbeda, bobot yang berbeda untuk tag dan topik yang sesuai, serta perbedaan eksplisit antara vektor topik masing-masing pengguna, memastikan rekomendasi yang unik</p>
<p>Sistem ini dapat membuat rekomendasi berita yang dipersonalisasi dengan menghitung kemiripan kosinus dari vektor semantik yang diekstrak dari profil pengguna dan artikel berita.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Sohu01_1e466fe0c3.jpg" alt="Sohu01.jpg" class="doc-image" id="sohu01.jpg" />
   </span> <span class="img-wrapper"> <span>Sohu01.jpg</span> </span></p>
<h3 id="Computing-new-semantic-user-profile-vectors-and-inserting-them-to-Milvus" class="common-anchor-header">Menghitung vektor profil pengguna semantik baru dan memasukkannya ke Milvus</h3><p>Vektor profil pengguna semantik dihitung setiap hari, dengan data dari periode 24 jam sebelumnya diproses pada malam berikutnya. Vektor dimasukkan ke dalam Milvus satu per satu dan dijalankan melalui proses kueri untuk menyajikan hasil berita yang relevan kepada pengguna. Konten berita pada dasarnya bersifat topikal, sehingga membutuhkan komputasi yang dijalankan setiap jam untuk menghasilkan umpan berita terkini yang berisi konten yang memiliki tingkat klik-tayang yang tinggi dan relevan bagi pengguna. Konten berita juga diurutkan ke dalam partisi berdasarkan tanggal, dan berita lama dibersihkan setiap hari.</p>
<h3 id="Decreasing-semantic-vector-extraction-time-from-days-to-hours" class="common-anchor-header">Mengurangi waktu ekstraksi vektor semantik dari hari ke jam</h3><p>Mengambil konten menggunakan vektor semantik membutuhkan pengubahan puluhan juta frasa tag menjadi vektor semantik setiap hari. Ini adalah proses yang memakan waktu yang membutuhkan waktu berhari-hari untuk menyelesaikannya, bahkan ketika berjalan pada unit pemrosesan grafis (GPU), yang mempercepat jenis komputasi ini. Untuk mengatasi masalah teknis ini, vektor semantik dari penyematan sebelumnya harus dioptimalkan sehingga ketika frasa tag yang serupa muncul, vektor semantik yang sesuai dapat langsung diambil.</p>
<p>Vektor semantik dari kumpulan frasa tag yang ada disimpan, dan kumpulan frasa tag baru yang dihasilkan setiap hari dikodekan ke dalam vektor MinHash. <a href="https://milvus.io/docs/v1.1.1/metric.md">Jarak Jaccard</a> digunakan untuk menghitung kemiripan antara vektor MinHash dari frasa tag baru dan vektor frasa tag yang disimpan. Jika jarak Jaccard melebihi ambang batas yang telah ditentukan sebelumnya, maka kedua set tersebut dianggap serupa. Jika ambang batas kemiripan terpenuhi, frasa baru dapat memanfaatkan informasi semantik dari penyematan sebelumnya. Pengujian menunjukkan bahwa jarak di atas 0,8 akan menjamin akurasi yang cukup untuk sebagian besar situasi.</p>
<p>Melalui proses ini, konversi harian dari puluhan juta vektor yang disebutkan di atas berkurang dari berhari-hari menjadi sekitar dua jam. Meskipun metode lain untuk menyimpan vektor semantik mungkin lebih tepat tergantung pada kebutuhan proyek tertentu, menghitung kesamaan antara dua frasa tag menggunakan jarak Jaccard dalam basis data Milvus tetap merupakan metode yang efisien dan akurat dalam berbagai skenario.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Sohu02_d50fccc538.jpg" alt="Sohu02.jpg" class="doc-image" id="sohu02.jpg" />
   </span> <span class="img-wrapper"> <span>Sohu02.jpg</span> </span></p>
<h2 id="Overcoming-bad-cases-of-short-text-classification" class="common-anchor-header">Mengatasi "kasus buruk" dalam klasifikasi teks pendek<button data-href="#Overcoming-bad-cases-of-short-text-classification" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Ketika mengklasifikasikan teks berita, artikel berita yang pendek memiliki lebih sedikit fitur untuk diekstraksi dibandingkan dengan artikel berita yang lebih panjang. Karena itu, algoritme klasifikasi gagal ketika konten dengan panjang yang berbeda-beda dijalankan melalui pengklasifikasi yang sama. Milvus membantu menyelesaikan masalah ini dengan mencari beberapa informasi klasifikasi teks panjang dengan semantik yang sama dan nilai yang dapat diandalkan, kemudian menggunakan mekanisme pemungutan suara untuk memodifikasi klasifikasi teks pendek.</p>
<h3 id="Identifying-and-resolving-misclassified-short-text" class="common-anchor-header">Mengidentifikasi dan menyelesaikan teks pendek yang salah klasifikasi</h3><p>Klasifikasi yang tepat untuk setiap artikel berita sangat penting untuk memberikan rekomendasi konten yang bermanfaat. Karena artikel berita pendek memiliki lebih sedikit fitur, menerapkan pengklasifikasi yang sama untuk berita dengan panjang yang berbeda menghasilkan tingkat kesalahan yang lebih tinggi untuk klasifikasi teks pendek. Pelabelan manusia terlalu lambat dan tidak akurat untuk tugas ini, sehingga BERT-as-service dan Milvus digunakan untuk dengan cepat mengidentifikasi teks pendek yang salah diklasifikasikan dalam batch, mengklasifikasikan ulang dengan benar, kemudian menggunakan batch data sebagai korpus untuk pelatihan untuk mengatasi masalah ini.</p>
<p>BERT-as-service digunakan untuk mengkodekan sejumlah lima juta artikel berita panjang dengan skor pengklasifikasi yang lebih besar dari 0,9 ke dalam vektor semantik. Setelah memasukkan artikel teks panjang ke dalam Milvus, berita teks pendek dikodekan ke dalam vektor semantik. Setiap vektor semantik berita pendek digunakan untuk melakukan query pada database Milvus dan mendapatkan 20 artikel berita panjang dengan kemiripan kosinus tertinggi dengan berita pendek target. Jika 18 dari 20 berita panjang yang memiliki kemiripan semantik tertinggi berada dalam klasifikasi yang sama dan berbeda dengan berita pendek yang ditanyakan, maka klasifikasi berita pendek tersebut dianggap tidak benar dan harus disesuaikan agar selaras dengan 18 berita panjang tersebut.</p>
<p>Proses ini dengan cepat mengidentifikasi dan mengoreksi klasifikasi teks pendek yang tidak akurat. Statistik pengambilan sampel acak menunjukkan bahwa setelah klasifikasi teks pendek dikoreksi, akurasi keseluruhan klasifikasi teks melebihi 95%. Dengan memanfaatkan klasifikasi teks panjang dengan tingkat kepercayaan tinggi untuk mengoreksi klasifikasi teks pendek, sebagian besar kasus klasifikasi yang buruk dapat dikoreksi dalam waktu singkat. Hal ini juga menawarkan korpus yang baik untuk melatih pengklasifikasi teks pendek.</p>
<p>![Sohu03.jpg](https://assets.zilliz.com/Sohu03_a43074cf5f.jpg "Diagram alir penemuan "kasus buruk" klasifikasi teks pendek.")</p>
<h2 id="Milvus-can-power-real-time-news-content-recommendation-and-more" class="common-anchor-header">Milvus dapat mendukung rekomendasi konten berita secara real-time dan banyak lagi<button data-href="#Milvus-can-power-real-time-news-content-recommendation-and-more" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus sangat meningkatkan kinerja real-time sistem rekomendasi berita Sohu, dan juga meningkatkan efisiensi dalam mengidentifikasi teks pendek yang salah klasifikasi. Jika Anda tertarik untuk mempelajari lebih lanjut tentang Milvus dan berbagai aplikasinya:</p>
<ul>
<li>Baca <a href="https://zilliz.com/blog">blog</a> kami.</li>
<li>Berinteraksi dengan komunitas sumber terbuka kami di <a href="https://join.slack.com/t/milvusio/shared_invite/zt-e0u4qu3k-bI2GDNys3ZqX1YCJ9OM~GQ">Slack</a>.</li>
<li>Gunakan atau kontribusikan ke basis data vektor paling populer di dunia di <a href="https://github.com/milvus-io/milvus/">GitHub</a>.</li>
<li>Menguji dan menggunakan aplikasi AI dengan cepat dengan <a href="https://github.com/milvus-io/bootcamp">bootcamp</a> baru kami.</li>
</ul>


Saya Membangun Penelitian Mendalam dengan Open Source-dan Anda Juga Bisa!