Come iniziare con Milvus

<p>Ormai tutti sanno che la ricerca ibrida ha migliorato la qualità della ricerca <a href="https://zilliz.com/learn/Retrieval-Augmented-Generation">RAG</a> (Retrieval-Augmented Generation). Sebbene la ricerca <a href="https://zilliz.com/learn/sparse-and-dense-embeddings">con incorporazione densa</a> abbia mostrato capacità impressionanti nel catturare relazioni semantiche profonde tra query e documenti, ha ancora notevoli limiti. Tra questi, la mancanza di spiegabilità e le prestazioni non ottimali con query a coda lunga e termini rari.</p>
<p>Molte applicazioni RAG sono in difficoltà perché i modelli pre-addestrati spesso mancano di conoscenze specifiche del dominio. In alcuni scenari, la semplice corrispondenza delle parole chiave BM25 supera questi modelli sofisticati. È qui che la ricerca ibrida colma il divario, combinando la comprensione semantica del recupero vettoriale denso con la precisione della corrispondenza delle parole chiave.</p>
<h2 id="Why-Hybrid-Search-is-Complex-in-Production" class="common-anchor-header">Perché la ricerca ibrida è complessa in produzione<button data-href="#Why-Hybrid-Search-is-Complex-in-Production" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Sebbene framework come <a href="https://zilliz.com/learn/LangChain">LangChain</a> o <a href="https://zilliz.com/learn/getting-started-with-llamaindex">LlamaIndex</a> rendano semplice la realizzazione di un proof-of-concept di retriever ibrido, la scalabilità alla produzione con enormi insiemi di dati è impegnativa. Le architetture tradizionali richiedono database vettoriali e motori di ricerca separati, il che comporta diverse sfide fondamentali:</p>
<ul>
<li><p>Elevati costi di manutenzione dell'infrastruttura e complessità operativa</p></li>
<li><p>Ridondanza dei dati su più sistemi</p></li>
<li><p>Difficile gestione della coerenza dei dati</p></li>
<li><p>Sicurezza e controllo degli accessi complessi tra i sistemi</p></li>
</ul>
<p>Il mercato ha bisogno di una soluzione unificata che supporti la ricerca lessicale e semantica, riducendo al contempo la complessità e i costi del sistema.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/elasticsearch_vs_milvus_5be6e2b69e.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<h2 id="The-Pain-Points-of-Elasticsearch" class="common-anchor-header">I punti dolenti di Elasticsearch<button data-href="#The-Pain-Points-of-Elasticsearch" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Elasticsearch è stato uno dei progetti di ricerca open-source più influenti dell'ultimo decennio. Basato su Apache Lucene, ha guadagnato popolarità grazie alle sue elevate prestazioni, alla scalabilità e all'architettura distribuita. Sebbene abbia aggiunto la ricerca vettoriale RNA nella versione 8.0, le implementazioni di produzione devono affrontare diverse sfide critiche:</p>
<p><strong>Alti costi di aggiornamento e indicizzazione:</strong> L'architettura di Elasticsearch non disaccoppia completamente le operazioni di scrittura, creazione di indici e interrogazione. Ciò comporta un notevole sovraccarico di CPU e I/O durante le operazioni di scrittura, soprattutto negli aggiornamenti in blocco. La contesa di risorse tra indicizzazione e interrogazione influisce sulle prestazioni, creando un importante collo di bottiglia per gli scenari di aggiornamento ad alta frequenza.</p>
<p><strong>Scarse prestazioni in tempo reale:</strong> Essendo un motore di ricerca "quasi in tempo reale", Elasticsearch introduce una notevole latenza nella visibilità dei dati. Questa latenza diventa particolarmente problematica per le applicazioni di intelligenza artificiale, come i sistemi ad agenti, dove le interazioni ad alta frequenza e il processo decisionale dinamico richiedono un accesso immediato ai dati.</p>
<p><strong>Difficile gestione degli shard:</strong> Sebbene Elasticsearch utilizzi lo sharding per l'architettura distribuita, la gestione degli shard pone problemi significativi. La mancanza di un supporto dinamico per lo sharding crea un dilemma: un numero eccessivo di shard in dataset di piccole dimensioni porta a prestazioni scarse, mentre un numero insufficiente di shard in dataset di grandi dimensioni limita la scalabilità e causa una distribuzione non uniforme dei dati.</p>
<p><strong>Architettura non cloud-native:</strong> Sviluppato prima che le architetture cloud-native diventassero prevalenti, il design di Elasticsearch associa strettamente storage e calcolo, limitando la sua integrazione con infrastrutture moderne come cloud pubblici e Kubernetes. La scalabilità delle risorse richiede un aumento simultaneo dello storage e dell'elaborazione, riducendo la flessibilità. In scenari multireplica, ogni shard deve costruire il proprio indice in modo indipendente, aumentando i costi di calcolo e riducendo l'efficienza delle risorse.</p>
<p><strong>Scarse prestazioni della ricerca vettoriale:</strong> Sebbene Elasticsearch 8.0 abbia introdotto la ricerca vettoriale ANN, le sue prestazioni sono significativamente inferiori a quelle di motori vettoriali dedicati come Milvus. Basata sul kernel Lucene, la sua struttura di indici si rivela inefficiente per i dati ad alta dimensionalità, e fatica a soddisfare i requisiti di ricerca vettoriale su larga scala. Le prestazioni diventano particolarmente instabili in scenari complessi che coinvolgono il filtraggio scalare e la multi-tenancy, rendendo difficile il supporto di un carico elevato o di esigenze aziendali diverse.</p>
<p><strong>Consumo eccessivo di risorse:</strong> Elasticsearch richiede un consumo estremo di memoria e CPU, soprattutto quando si elaborano dati su larga scala. La sua dipendenza dalla JVM richiede frequenti aggiustamenti delle dimensioni dell'heap e la regolazione della garbage collection, con un grave impatto sull'efficienza della memoria. Le operazioni di ricerca vettoriale richiedono calcoli intensivi ottimizzati per SIMD, per i quali l'ambiente JVM è tutt'altro che ideale.</p>
<p>Questi limiti fondamentali diventano sempre più problematici man mano che le organizzazioni scalano la loro infrastruttura di IA, rendendo Elasticsearch particolarmente impegnativo per le moderne applicazioni di IA che richiedono prestazioni e affidabilità elevate.</p>
<h2 id="Introducing-Sparse-BM25-Reimagining-Lexical-Search" class="common-anchor-header">Introduzione di Sparse-BM25: ripensare la ricerca lessicale<button data-href="#Introducing-Sparse-BM25-Reimagining-Lexical-Search" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><a href="https://milvus.io/blog/introduce-milvus-2-5-full-text-search-powerful-metadata-filtering-and-more.md">Milvus 2.5</a> introduce il supporto nativo per la ricerca lessicale attraverso Sparse-BM25, basandosi sulle capacità di ricerca ibrida introdotte nella versione 2.4. Questo approccio innovativo comprende i seguenti componenti chiave:</p>
<ul>
<li><p>tokenizzazione avanzata e pre-elaborazione tramite Tantivy</p></li>
<li><p>Gestione distribuita del vocabolario e della frequenza dei termini</p></li>
<li><p>Generazione di vettori sparsi utilizzando TF del corpus e TF-IDF della query</p></li>
<li><p>Supporto di indici invertiti con algoritmo WAND (Block-Max WAND e supporto di indici a grafo in fase di sviluppo).</p></li>
</ul>
<p>Rispetto a Elasticsearch, Milvus offre notevoli vantaggi in termini di flessibilità degli algoritmi. Il calcolo della somiglianza basato sulla distanza vettoriale consente di effettuare corrispondenze più sofisticate, compresa l'implementazione del TW-BERT (Term Weighting BERT) basato sulla ricerca "End-to-End Query Term Weighting". Questo approccio ha dimostrato prestazioni superiori sia nei test in-domain che out-domain.</p>
<p>Un altro vantaggio fondamentale è l'efficienza dei costi. Sfruttando sia l'indice invertito che la compressione densa dell'embedding, Milvus ottiene un miglioramento delle prestazioni di cinque volte con un degrado del richiamo inferiore all'1%. Grazie alla potatura dei termini di coda e alla quantizzazione dei vettori, l'utilizzo della memoria è stato ridotto di oltre il 50%.</p>
<p>L'ottimizzazione delle query lunghe è un punto di forza particolare. Laddove gli algoritmi WAND tradizionali faticano a gestire le interrogazioni più lunghe, Milvus eccelle combinando le incorporazioni rade con gli indici di grafo, ottenendo un miglioramento delle prestazioni di dieci volte negli scenari di ricerca vettoriale rada ad alta dimensionalità.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/document_in_and_out_b84771bec4.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<h2 id="Milvus-The-Ultimate-Vector-Database-for-RAG" class="common-anchor-header">Milvus: il database vettoriale definitivo per RAG<button data-href="#Milvus-The-Ultimate-Vector-Database-for-RAG" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus è la scelta principale per le applicazioni RAG grazie al suo set completo di funzionalità. I vantaggi principali includono:</p>
<ul>
<li><p>Ricco supporto di metadati con funzionalità di schema dinamico e potenti opzioni di filtraggio.</p></li>
<li><p>Multi-tenancy di livello aziendale con isolamento flessibile attraverso collezioni, partizioni e chiavi di partizione</p></li>
<li><p>Supporto degli indici vettoriali su disco, primo nel settore, con archiviazione multilivello dalla memoria a S3.</p></li>
<li><p>Scalabilità cloud-native che supporta la scalabilità senza soluzione di continuità da 10M a 1B+ di vettori</p></li>
<li><p>Funzionalità di ricerca complete, tra cui raggruppamento, intervallo e ricerca ibrida</p></li>
<li><p>Profonda integrazione dell'ecosistema con LangChain, LlamaIndex, Dify e altri strumenti di intelligenza artificiale.</p></li>
</ul>
<p>Le diverse capacità di ricerca del sistema comprendono metodologie di raggruppamento, intervallo e ricerca ibrida. La profonda integrazione con strumenti come LangChain, LlamaIndex e Dify, oltre al supporto per numerosi prodotti di AI, pone Milvus al centro del moderno ecosistema di infrastrutture di AI.</p>
<h2 id="Looking-Forward" class="common-anchor-header">Uno sguardo al futuro<button data-href="#Looking-Forward" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Mentre l'IA passa dal POC alla produzione, Milvus continua a evolversi. Ci concentriamo sul rendere la ricerca vettoriale più accessibile e conveniente, migliorando al contempo la qualità della ricerca. Che si tratti di una startup o di un'impresa, Milvus riduce le barriere tecniche allo sviluppo di applicazioni di IA.</p>
<p>Questo impegno per l'accessibilità e l'innovazione ci ha portato a un altro importante passo avanti. Mentre la nostra soluzione open-source continua a servire da base per migliaia di applicazioni in tutto il mondo, riconosciamo che molte organizzazioni hanno bisogno di una soluzione completamente gestita che elimini i costi operativi.</p>
<h2 id="Zilliz-Cloud-The-Managed-Solution" class="common-anchor-header">Zilliz Cloud: La soluzione gestita<button data-href="#Zilliz-Cloud-The-Managed-Solution" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Negli ultimi tre anni abbiamo costruito <a href="https://zilliz.com/cloud">Zilliz Cloud</a>, un servizio di database vettoriale completamente gestito basato su Milvus. Grazie a una reimplementazione cloud-native del protocollo Milvus, offre una maggiore usabilità, efficienza dei costi e sicurezza.</p>
<p>Grazie alla nostra esperienza nella gestione dei più grandi cluster di ricerca vettoriale al mondo e nel supporto a migliaia di sviluppatori di applicazioni di intelligenza artificiale, Zilliz Cloud riduce significativamente i costi e le spese operative rispetto alle soluzioni self-hosted.</p>
<p>Siete pronti a sperimentare il futuro della ricerca vettoriale? Iniziate oggi stesso la vostra prova gratuita con un credito fino a 200 dollari, senza bisogno di carta di credito.</p>


Elasticsearch è morto, lunga vita alla ricerca lessicale

Come iniziare con la ricerca semantica ibrida / full text con Milvus 2.5

Presentazione di Milvus 2.5: ricerca a tutto testo, filtraggio dei metadati più potente e miglioramenti dell'usabilità!

Ricerca semantica e ricerca a tutto testo: Quale scegliere in Milvus 2.5?

Progettazione di RAG multi-tenancy con Milvus: le migliori pratiche per basi di conoscenza aziendali scalabili

Come contribuire a Milvus: una guida rapida per gli sviluppatori

Getting Started with HNSWlib

Come iniziare con HNSWlib

<p>Siamo lieti di introdurre orari d'ufficio settimanali per gli utenti di Milvus per ottenere supporto pratico con i loro progetti di <a href="https://zilliz.com/learn/what-is-vector-database">database vettoriali</a>! Unitevi al nostro team di esperti per una sessione individuale di 20 minuti per ottenere approfondimenti, indicazioni e risposte alle vostre domande. Che siate agli inizi o abbiate bisogno di aiuto per un problema specifico, siamo qui per aiutarvi a sfruttare al meglio Milvus.</p>
<p><strong>Prenotate la vostra sessione in orario d'ufficio qui:<a href="https://meetings.hubspot.com/chloe-williams1/milvus-office-hours">https://meetings.hubspot.com/chloe-williams1/milvus-office-hours</a></strong></p>
<h2 id="Why-Book-a-Session" class="common-anchor-header">Perché prenotare una sessione?<button data-href="#Why-Book-a-Session" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Ecco alcuni ottimi motivi per prenotare una sessione durante il nostro orario d'ufficio:</p>
<ul>
<li><p><strong>Ottimizzazione delle prestazioni di Milvus:</strong> Ottenere suggerimenti sulla messa a punto delle configurazioni per aumentare le prestazioni del database.</p></li>
<li><p><strong>Consigli sulla progettazione dello schema dei dati:</strong> Imparare le migliori pratiche per lo schema dei dati e i tipi di indici per adattarsi al meglio al vostro caso d'uso.</p></li>
<li><p><strong>Scalare la distribuzione di Milvus:</strong> Consigli su come gestire e scalare Milvus per volumi di dati maggiori.</p></li>
<li><p><strong>Risoluzione di problemi specifici:</strong> Siete bloccati da un errore o da un comportamento insolito? Possiamo aiutarvi a risolvere il problema.</p></li>
<li><p><strong>Assistenza per l'integrazione:</strong> Avete bisogno di assistenza per utilizzare Milvus con altri framework integrati come LangChain, LlamaIndex, Spark o con le vostre pipeline di elaborazione dati?</p></li>
<li><p><strong>Apprendimento di nuove funzionalità:</strong> Rimanete aggiornati sulle ultime funzionalità di Milvus e su come potrebbero essere utili al vostro progetto.</p></li>
</ul>
<p>Non perdete l'occasione di migliorare la vostra implementazione di Milvus con una guida esperta.</p>
<p>Se non potete partecipare dal vivo, non preoccupatevi: ci sono ancora molti modi per ottenere supporto! La comunità Milvus è attiva e pronta ad aiutare sia su <a href="https://discord.com/invite/8uyFbECzPX">Discord</a> che sulle<a href="https://github.com/search?q=milvus&amp;type=discussions"> Discussioni GitHub</a>. Sia che preferiate la chat dal vivo o le discussioni asincrone, queste piattaforme sono un luogo ideale per porre domande, condividere conoscenze e connettersi con altri utenti e collaboratori di Milvus.</p>


Partecipate agli orari d'ufficio di Milvus per ottenere il supporto degli esperti di Vector DB!

What are Matryoshka Embeddings?

Incorporamenti a matrioska: Dettaglio a più scale

Come utilizzare lo strumento di backup Milvus: Una guida passo a passo

Distribuzione di Milvus su Kubernetes: Una guida passo-passo per gli utenti di Kubernetes

Come distribuire il database vettoriale open source Milvus su Amazon EKS

<p><a href="https://milvus.io/intro">Milvus</a> è un database vettoriale open-source progettato specificamente per le applicazioni di IA. Se state lavorando all'apprendimento automatico, all'apprendimento profondo o a qualsiasi altro progetto legato all'IA, Milvus offre un modo robusto ed efficiente per gestire dati vettoriali su larga scala.</p>
<p>Ora, con l'<a href="https://milvus.io/docs/embeddings.md">integrazione del modulo modello</a> in PyMilvus, l'SDK Python per Milvus, è ancora più facile aggiungere modelli di Embedding e Reranking. Questa integrazione semplifica la trasformazione dei dati in vettori ricercabili o il reranking dei risultati per ottenere risultati più accurati, come nel caso della <a href="https://zilliz.com/learn/Retrieval-Augmented-Generation">Retrieval Augmented Generation (RAG)</a>.</p>
<p>In questo blog esamineremo i modelli di embedding denso, i modelli di embedding sparse e i re-ranker e dimostreremo come utilizzarli nella pratica usando <a href="https://milvus.io/blog/introducing-milvus-lite.md">Milvus Lite</a>, una versione leggera di Milvus che può essere eseguita localmente nelle vostre applicazioni Python.</p>
<h2 id="Dense-vs-Sparse-Embeddings" class="common-anchor-header">Incorporazioni dense e sparse<button data-href="#Dense-vs-Sparse-Embeddings" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Prima di illustrarvi come utilizzare le nostre integrazioni, analizziamo le due principali categorie di embedding vettoriali.</p>
<p>Le<a href="https://zilliz.com/glossary/vector-embeddings">incorporazioni vettoriali</a> rientrano generalmente in due categorie principali: <a href="https://zilliz.com/learn/sparse-and-dense-embeddings"><strong>Embeddings densi</strong> e <strong>Embeddings sparsi</strong></a>.</p>
<ul>
<li><p>Gli embeddings densi sono vettori ad alta densità in cui la maggior parte o tutti gli elementi sono non nulli, il che li rende ideali per codificare la semantica del testo o il significato sfumato.</p></li>
<li><p>Gli embeddings sparsi sono vettori ad alta densità con molti elementi nulli, più adatti a codificare concetti esatti o adiacenti.</p></li>
</ul>
<p>Milvus supporta entrambi i tipi di incorporazioni e offre una ricerca ibrida. <a href="https://zilliz.com/blog/hybrid-search-with-milvus">La ricerca ibrida</a> consente di effettuare ricerche su diversi campi vettoriali all'interno della stessa collezione. Questi vettori possono rappresentare diverse sfaccettature dei dati, utilizzare diversi modelli di embedding o impiegare diversi metodi di elaborazione dei dati, combinando i risultati con i ri-ranker.</p>
<h2 id="How-to-Use-Our-Embedding-and-Reranking-Integrations" class="common-anchor-header">Come utilizzare le nostre integrazioni di embedding e reranking<button data-href="#How-to-Use-Our-Embedding-and-Reranking-Integrations" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Nelle sezioni seguenti verranno illustrati tre esempi pratici di utilizzo delle nostre integrazioni per generare embedding e condurre ricerche vettoriali.</p>
<h3 id="Example-1-Use-the-Default-Embedding-Function-to-Generate-Dense-Vectors" class="common-anchor-header">Esempio 1: Usare la funzione di embedding predefinita per generare vettori densi</h3><p>Per utilizzare le funzioni di embedding e reranking con Milvus, è necessario installare il client <code translate="no">pymilvus</code> con il pacchetto <code translate="no">model</code>.</p>
<pre><code translate="no">pip install <span class="hljs-string">&quot;pymilvus[model]&quot;</span>
<button class="copy-code-btn"></button></code></pre>
<p>Questo passo installerà <a href="https://milvus.io/docs/quickstart.md">Milvus Lite</a>, che consente di eseguire Milvus localmente all'interno della propria applicazione Python. Include anche il sottopacchetto model, che comprende tutte le utilità per l'embedding e il reranking.</p>
<p>Il sottopacchetto del modello supporta diversi modelli di embedding, tra cui quelli di OpenAI, <a href="https://zilliz.com/learn/Sentence-Transformers-for-Long-Form-Text">Sentence Transformers</a>, <a href="https://zilliz.com/learn/bge-m3-and-splade-two-machine-learning-models-for-generating-sparse-embeddings">BGE-M3</a>, BM25, <a href="https://zilliz.com/learn/bge-m3-and-splade-two-machine-learning-models-for-generating-sparse-embeddings">SPLADE</a> e i modelli pre-addestrati di Jina AI.</p>
<p>Questo esempio utilizza il modello <code translate="no">DefaultEmbeddingFunction</code>, basato per semplicità sul modello <code translate="no">all-MiniLM-L6-v2</code> Sentence Transformer. Il modello ha una dimensione di circa 70 MB e verrà scaricato al primo utilizzo:</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> model

<span class="hljs-comment"># This will download &quot;all-MiniLM-L6-v2&quot;, a lightweight model.</span>
ef = model.DefaultEmbeddingFunction()

<span class="hljs-comment"># Data from which embeddings are to be generated</span>
docs = [
   <span class="hljs-string">&quot;Artificial intelligence was founded as an academic discipline in 1956.&quot;</span>,
   <span class="hljs-string">&quot;Alan Turing was the first person to conduct substantial research in AI.&quot;</span>,
   <span class="hljs-string">&quot;Born in Maida Vale, London, Turing was raised in southern England.&quot;</span>,
]

embeddings = ef.encode_documents(docs)

<span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Embeddings:&quot;</span>, embeddings)
<span class="hljs-comment"># Print dimension and shape of embeddings</span>
<span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Dim:&quot;</span>, ef.dim, embeddings[<span class="hljs-number">0</span>].shape)
<button class="copy-code-btn"></button></code></pre>
<p>Il risultato atteso dovrebbe essere simile al seguente:</p>
<pre><code translate="no">Embeddings: [array([<span class="hljs-number">-3.09392996e-02</span>, <span class="hljs-number">-1.80662833e-02</span>,  <span class="hljs-number">1.34775648e-02</span>,  <span class="hljs-number">2.77156215e-02</span>,
      <span class="hljs-number">-4.86349640e-03</span>, <span class="hljs-number">-3.12581174e-02</span>, <span class="hljs-number">-3.55921760e-02</span>,  <span class="hljs-number">5.76934684e-03</span>,
       <span class="hljs-number">2.80773244e-03</span>,  <span class="hljs-number">1.35783911e-01</span>,  <span class="hljs-number">3.59678417e-02</span>,  <span class="hljs-number">6.17732145e-02</span>,
...
      <span class="hljs-number">-4.61330153e-02</span>, <span class="hljs-number">-4.85207550e-02</span>,  <span class="hljs-number">3.13997865e-02</span>,  <span class="hljs-number">7.82178566e-02</span>,
      <span class="hljs-number">-4.75336798e-02</span>,  <span class="hljs-number">5.21207601e-02</span>,  <span class="hljs-number">9.04406682e-02</span>, <span class="hljs-number">-5.36676683e-02</span>],
     dtype=<span class="hljs-type">float32</span>)]
Dim: <span class="hljs-number">384</span> (<span class="hljs-number">384</span>,)
<button class="copy-code-btn"></button></code></pre>
<h3 id="Example-2-Generate-Sparse-Vectors-Using-The-BM25-Model" class="common-anchor-header">Esempio 2: Generare vettori sparsi usando il modello BM25</h3><p>BM25 è un metodo ben noto che utilizza le frequenze di occorrenza delle parole per determinare la rilevanza tra query e documenti. In questo esempio, mostreremo come utilizzare <code translate="no">BM25EmbeddingFunction</code> per generare embeddings sparsi per query e documenti.</p>
<p>In BM25 è importante calcolare le statistiche dei documenti per ottenere l'IDF (Inverse Document Frequency), che può rappresentare i modelli dei documenti. L'IDF misura la quantità di informazioni fornite da una parola, se è comune o rara in tutti i documenti.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus.model.sparse <span class="hljs-keyword">import</span> BM25EmbeddingFunction

<span class="hljs-comment"># 1. Prepare a small corpus to search</span>
docs = [
   <span class="hljs-string">&quot;Artificial intelligence was founded as an academic discipline in 1956.&quot;</span>,
   <span class="hljs-string">&quot;Alan Turing was the first person to conduct substantial research in AI.&quot;</span>,
   <span class="hljs-string">&quot;Born in Maida Vale, London, Turing was raised in southern England.&quot;</span>,
]
query = <span class="hljs-string">&quot;Where was Turing born?&quot;</span>
bm25_ef = BM25EmbeddingFunction()

<span class="hljs-comment"># 2. Fit the corpus to get BM25 model parameters on your documents.</span>
bm25_ef.fit(docs)

<span class="hljs-comment"># 3. Store the fitted parameters to expedite future processing.</span>
bm25_ef.save(<span class="hljs-string">&quot;bm25_params.json&quot;</span>)

<span class="hljs-comment"># 4. Load the saved params</span>
new_bm25_ef = BM25EmbeddingFunction()
new_bm25_ef.load(<span class="hljs-string">&quot;bm25_params.json&quot;</span>)

docs_embeddings = new_bm25_ef.encode_documents(docs)
query_embeddings = new_bm25_ef.encode_queries([query])
<span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Dim:&quot;</span>, new_bm25_ef.dim, <span class="hljs-built_in">list</span>(docs_embeddings)[<span class="hljs-number">0</span>].shape)
<button class="copy-code-btn"></button></code></pre>
<h3 id="Example-3-Using-a-ReRanker" class="common-anchor-header">Esempio 3: Utilizzo di un ReRanker</h3><p>Un sistema di ricerca mira a trovare i risultati più rilevanti in modo rapido ed efficiente. Tradizionalmente, metodi come BM25 o TF-IDF sono stati utilizzati per classificare i risultati della ricerca in base alla corrispondenza delle parole chiave. I metodi più recenti, come la similarità del coseno basata sull'embedding, sono semplici, ma a volte non tengono conto delle sottigliezze del linguaggio e, soprattutto, dell'interazione tra i documenti e l'intento della query.</p>
<p>È qui che l'uso di un <a href="https://zilliz.com/learn/optimize-rag-with-rerankers-the-role-and-tradeoffs">riarrangiatore</a> è utile. Un re-ranker è un modello avanzato di intelligenza artificiale che prende l'insieme iniziale di risultati di una ricerca - spesso forniti da una ricerca basata su embeddings e token - e li rivaluta per garantire che si allineino meglio all'intento dell'utente. Il sistema guarda oltre la corrispondenza superficiale dei termini per considerare l'interazione più profonda tra la query di ricerca e il contenuto dei documenti.</p>
<p>Per questo esempio, utilizzeremo <a href="https://milvus.io/docs/integrate_with_jina.md">Jina AI Reranker</a>.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus.model.reranker <span class="hljs-keyword">import</span> JinaRerankFunction

jina_api_key = <span class="hljs-string">&quot;&lt;YOUR_JINA_API_KEY&gt;&quot;</span>

rf = JinaRerankFunction(<span class="hljs-string">&quot;jina-reranker-v1-base-en&quot;</span>, jina_api_key)

query = <span class="hljs-string">&quot;What event in 1956 marked the official birth of artificial intelligence as a discipline?&quot;</span>

documents = [
   <span class="hljs-string">&quot;In 1950, Alan Turing published his seminal paper, &#x27;Computing Machinery and Intelligence,&#x27; proposing the Turing Test as a criterion of intelligence, a foundational concept in the philosophy and development of artificial intelligence.&quot;</span>,
   <span class="hljs-string">&quot;The Dartmouth Conference in 1956 is considered the birthplace of artificial intelligence as a field; here, John McCarthy and others coined the term &#x27;artificial intelligence&#x27; and laid out its basic goals.&quot;</span>,
   <span class="hljs-string">&quot;In 1951, British mathematician and computer scientist Alan Turing also developed the first program designed to play chess, demonstrating an early example of AI in game strategy.&quot;</span>,
   <span class="hljs-string">&quot;The invention of the Logic Theorist by Allen Newell, Herbert A. Simon, and Cliff Shaw in 1955 marked the creation of the first true AI program, which was capable of solving logic problems, akin to proving mathematical theorems.&quot;</span>
]

results = rf(query, documents)

<span class="hljs-keyword">for</span> result <span class="hljs-keyword">in</span> results:
   <span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;Index: <span class="hljs-subst">{result.index}</span>&quot;</span>)
   <span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;Score: <span class="hljs-subst">{result.score:<span class="hljs-number">.6</span>f}</span>&quot;</span>)
   <span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;Text: <span class="hljs-subst">{result.text}</span>\n&quot;</span>)
<button class="copy-code-btn"></button></code></pre>
<p>Il risultato atteso è simile al seguente:</p>
<pre><code translate="no">Index: <span class="hljs-number">1</span>
Score: <span class="hljs-number">0.937096</span>
Text: The Dartmouth Conference <span class="hljs-keyword">in</span> <span class="hljs-number">1956</span> <span class="hljs-keyword">is</span> considered the birthplace of artificial intelligence <span class="hljs-keyword">as</span> a field; here, John McCarthy <span class="hljs-keyword">and</span> others coined the term <span class="hljs-string">&#x27;artificial intelligence&#x27;</span> <span class="hljs-keyword">and</span> laid <span class="hljs-keyword">out</span> its basic goals.

Index: <span class="hljs-number">3</span>
Score: <span class="hljs-number">0.354210</span>
Text: The invention of the Logic Theorist <span class="hljs-keyword">by</span> Allen Newell, Herbert A. Simon, <span class="hljs-keyword">and</span> Cliff Shaw <span class="hljs-keyword">in</span> <span class="hljs-number">1955</span> marked the creation of the first <span class="hljs-literal">true</span> AI program, which was capable of solving logic problems, akin to proving mathematical theorems.

Index: <span class="hljs-number">0</span>
Score: <span class="hljs-number">0.349866</span>
Text: In <span class="hljs-number">1950</span>, Alan Turing published his seminal paper, <span class="hljs-string">&#x27;Computing Machinery and Intelligence,&#x27;</span> proposing the Turing Test <span class="hljs-keyword">as</span> a criterion of intelligence, a foundational concept <span class="hljs-keyword">in</span> the philosophy <span class="hljs-keyword">and</span> development of artificial intelligence.

Index: <span class="hljs-number">2</span>
Score: <span class="hljs-number">0.272896</span>
Text: In <span class="hljs-number">1951</span>, British mathematician <span class="hljs-keyword">and</span> computer scientist Alan Turing also developed the first program designed to play chess, demonstrating an early example of AI <span class="hljs-keyword">in</span> game strategy.
<button class="copy-code-btn"></button></code></pre>
<h2 id="Star-Us-On-GitHub-and-Join-Our-Discord" class="common-anchor-header">Diventa un protagonista su GitHub e unisciti al nostro Discord!<button data-href="#Star-Us-On-GitHub-and-Join-Our-Discord" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Se vi è piaciuto questo post, considerate l'idea di stellinare Milvus su <a href="https://github.com/milvus-io/milvus">GitHub</a> e sentitevi liberi di unirvi al nostro <a href="https://discord.gg/FG6hMJStWu">Discord</a>! 💙</p>


Introduzione all'integrazione di PyMilvus con i modelli incorporati

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/2_72e444c8dc.JPG" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Siamo lieti di presentare <a href="https://milvus.io/docs/milvus_lite.md">Milvus Lite</a>, un database vettoriale leggero che viene eseguito localmente all'interno della vostra applicazione Python. Basato sul popolare database vettoriale open-source <a href="https://milvus.io/intro">Milvus</a>, Milvus Lite riutilizza i componenti fondamentali per l'indicizzazione vettoriale e l'analisi delle query, eliminando gli elementi progettati per un'elevata scalabilità nei sistemi distribuiti. Questo design rende la soluzione compatta ed efficiente, ideale per ambienti con risorse di calcolo limitate, come laptop, Jupyter Notebook e dispositivi mobili o edge.</p>
<p>Milvus Lite si integra con diversi stack di sviluppo dell'intelligenza artificiale come LangChain e LlamaIndex, consentendo di utilizzarlo come archivio vettoriale nelle pipeline di Retrieval Augmented Generation (RAG) senza la necessità di configurare un server. È sufficiente eseguire <code translate="no">pip install pymilvus</code> (versione 2.4.3 o superiore) per incorporarlo nelle applicazioni di intelligenza artificiale come libreria Python.</p>
<p>Milvus Lite condivide l'API di Milvus, assicurando che il codice lato client funzioni sia per distribuzioni locali su piccola scala che per server Milvus distribuiti su Docker o Kubernetes con miliardi di vettori.</p>
<h2 id="Why-We-Built-Milvus-Lite" class="common-anchor-header">Perché abbiamo costruito Milvus Lite<button data-href="#Why-We-Built-Milvus-Lite" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Molte applicazioni di intelligenza artificiale richiedono la ricerca per similarità vettoriale di dati non strutturati, tra cui testo, immagini, voci e video, per applicazioni come chatbot e assistenti agli acquisti. I database vettoriali sono realizzati per la memorizzazione e la ricerca di incorporazioni vettoriali e sono una parte cruciale dello stack di sviluppo dell'IA, in particolare per i casi d'uso dell'IA generativa come la <a href="https://zilliz.com/learn/Retrieval-Augmented-Generation">Retrieval Augmented Generation (RAG)</a>.</p>
<p>Nonostante la disponibilità di numerose soluzioni di ricerca vettoriale, mancava un'opzione facile da avviare che funzionasse anche per le implementazioni di produzione su larga scala. In qualità di creatori di Milvus, abbiamo progettato Milvus Lite per aiutare gli sviluppatori di intelligenza artificiale a creare applicazioni più velocemente, garantendo al contempo un'esperienza coerente tra le varie opzioni di distribuzione, tra cui Milvus su Kubernetes, Docker e servizi cloud gestiti.</p>
<p>Milvus Lite è un'aggiunta fondamentale alla nostra suite di offerte all'interno dell'ecosistema Milvus. Offre agli sviluppatori uno strumento versatile che supporta ogni fase del loro percorso di sviluppo. Dalla prototipazione agli ambienti di produzione, dall'edge computing alle implementazioni su larga scala, Milvus è ora l'unico database vettoriale che copre casi d'uso di qualsiasi dimensione e tutte le fasi di sviluppo.</p>
<h2 id="How-Milvus-Lite-Works" class="common-anchor-header">Come funziona Milvus Lite<button data-href="#How-Milvus-Lite-Works" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus Lite supporta tutte le operazioni di base disponibili in Milvus, come la creazione di collezioni e l'inserimento, la ricerca e la cancellazione di vettori. Presto supporterà funzioni avanzate come la ricerca ibrida. Milvus Lite carica i dati in memoria per effettuare ricerche efficienti e li conserva come file SQLite.</p>
<p>Milvus Lite è incluso nell'<a href="https://github.com/milvus-io/pymilvus">SDK Python di Milvus</a> e può essere distribuito con un semplice <code translate="no">pip install pymilvus</code>. Il seguente frammento di codice mostra come impostare un database vettoriale con Milvus Lite, specificando un nome di file locale e creando una nuova collezione. Per chi ha familiarità con l'API Milvus, l'unica differenza è che <code translate="no">uri</code> si riferisce a un nome di file locale invece che a un endpoint di rete, ad esempio <code translate="no">&quot;milvus_demo.db&quot;</code> invece di <code translate="no">&quot;http://localhost:19530&quot;</code> per un server Milvus. Tutto il resto rimane invariato. Milvus Lite supporta anche la memorizzazione di testo grezzo e altre etichette come metadati, utilizzando uno schema dinamico o esplicitamente definito, come mostrato di seguito.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> MilvusClient

client = MilvusClient(<span class="hljs-string">&quot;milvus_demo.db&quot;</span>)
<span class="hljs-comment"># This collection can take input with mandatory fields named &quot;id&quot;, &quot;vector&quot; and</span>
<span class="hljs-comment"># any other fields as &quot;dynamic schema&quot;. You can also define the schema explicitly.</span>
client.create_collection(
    collection_name=<span class="hljs-string">&quot;demo_collection&quot;</span>,
    dimension=<span class="hljs-number">384</span>  <span class="hljs-comment"># Dimension for vectors.</span>
)
<button class="copy-code-btn"></button></code></pre>
<p>Per quanto riguarda la scalabilità, un'applicazione di IA sviluppata con Milvus Lite può facilmente passare all'uso di Milvus distribuito su Docker o Kubernetes, semplicemente specificando <code translate="no">uri</code> con l'endpoint del server.</p>
<h2 id="Integration-with-AI-Development-Stack" class="common-anchor-header">Integrazione con lo stack di sviluppo AI<button data-href="#Integration-with-AI-Development-Stack" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Oltre a introdurre Milvus Lite per rendere la ricerca vettoriale semplice all'inizio, Milvus si integra anche con molti framework e fornitori dello stack di sviluppo AI, tra cui <a href="https://python.langchain.com/v0.2/docs/integrations/vectorstores/milvus/">LangChain</a>, <a href="https://docs.llamaindex.ai/en/stable/examples/vector_stores/MilvusIndexDemo/">LlamaIndex</a>, <a href="https://haystack.deepset.ai/integrations/milvus-document-store">Haystack</a>, <a href="https://blog.voyageai.com/2024/05/30/semantic-search-with-milvus-lite-and-voyage-ai/">Voyage AI</a>, <a href="https://milvus.io/docs/integrate_with_ragas.md">Ragas</a>, <a href="https://jina.ai/news/implementing-a-chat-history-rag-with-jina-ai-and-milvus-lite/">Jina AI</a>, <a href="https://dspy-docs.vercel.app/docs/deep-dive/retrieval_models_clients/MilvusRM">DSPy</a>, <a href="https://www.bentoml.com/blog/building-a-rag-app-with-bentocloud-and-milvus-lite">BentoML</a>, <a href="https://chiajy.medium.com/70873c7576f1">WhyHow</a>, <a href="https://blog.relari.ai/case-study-using-synthetic-data-to-benchmark-rag-systems-be324904ace1">Relari AI</a>, <a href="https://docs.airbyte.com/integrations/destinations/milvus">Airbyte</a>, <a href="https://milvus.io/docs/integrate_with_hugging-face.md">HuggingFace</a> e <a href="https://memgpt.readme.io/docs/storage#milvus">MemGPT</a>. Grazie ai loro ampi strumenti e servizi, queste integrazioni semplificano lo sviluppo di applicazioni AI con capacità di ricerca vettoriale.</p>
<p>E questo è solo l'inizio: molte altre interessanti integrazioni sono in arrivo! Restate sintonizzati!</p>
<h2 id="More-Resources-and-Examples" class="common-anchor-header">Altre risorse ed esempi<button data-href="#More-Resources-and-Examples" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Esplorate la <a href="https://milvus.io/docs/quickstart.md">documentazione rapida di Milvus</a> per trovare guide dettagliate ed esempi di codice sull'uso di Milvus Lite per costruire applicazioni di IA come Retrieval-Augmented Generation<a href="https://github.com/milvus-io/bootcamp/blob/master/bootcamp/tutorials/quickstart/build_RAG_with_milvus.ipynb">(RAG</a>) e <a href="https://github.com/milvus-io/bootcamp/blob/master/bootcamp/tutorials/quickstart/image_search_with_milvus.ipynb">ricerca di immagini</a>.</p>
<p>Milvus Lite è un progetto open-source e siamo lieti di ricevere i vostri contributi. Per iniziare, consultate la nostra <a href="https://github.com/milvus-io/milvus-lite/blob/main/CONTRIBUTING.md">Guida alla contribuzione</a>. È inoltre possibile segnalare bug o richiedere funzionalità inviando un problema sul repository <a href="https://github.com/milvus-io/milvus-lite">GitHub</a> di <a href="https://github.com/milvus-io/milvus-lite">Milvus Lite</a>.</p>


Presentazione di Milvus Lite: Iniziare a costruire un'applicazione GenAI in pochi secondi

Ottimizzare i database vettoriali, migliorare l'intelligenza artificiale generativa guidata da RAG

Iniziare con il cluster Milvus e K8s

<p>Siamo lieti di annunciare il lancio di Milvus 2.4, un importante passo avanti nel miglioramento delle capacità di ricerca per i dataset di grandi dimensioni. Quest'ultima versione aggiunge nuove funzionalità, come il supporto per l'indice CAGRA basato su GPU, il supporto beta per le <a href="https://zilliz.com/learn/sparse-and-dense-embeddings">incorporazioni sparse</a>, la ricerca per gruppi e vari altri miglioramenti nelle capacità di ricerca. Questi sviluppi rafforzano il nostro impegno nei confronti della comunità, offrendo a sviluppatori come voi uno strumento potente ed efficiente per la gestione e l'interrogazione di dati vettoriali. Vediamo insieme i principali vantaggi di Milvus 2.4.</p>
<h2 id="Enabled-Multi-vector-Search-for-Simplified-Multimodal-Searches" class="common-anchor-header">Ricerca multivettoriale abilitata per ricerche multimodali semplificate<button data-href="#Enabled-Multi-vector-Search-for-Simplified-Multimodal-Searches" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.4 offre la possibilità di ricerca multivettoriale, consentendo la ricerca e la riclassificazione simultanea di diversi tipi di vettori all'interno dello stesso sistema Milvus. Questa funzione semplifica le ricerche multimodali, migliorando significativamente i tassi di richiamo e consentendo agli sviluppatori di gestire senza problemi applicazioni di intelligenza artificiale complesse con diversi tipi di dati. Inoltre, questa funzionalità semplifica l'integrazione e la messa a punto di modelli di reranking personalizzati, favorendo la creazione di funzioni di ricerca avanzate come i <a href="https://zilliz.com/vector-database-use-cases/recommender-system">sistemi di raccomandazione</a> precisi che utilizzano le intuizioni dei dati multidimensionali.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/How_the_multi_vector_search_feature_works_6c85961349.png" alt="How the Milti-Vector Search Feature Works" class="doc-image" id="how-the-milti-vector-search-feature-works" />
   </span> <span class="img-wrapper"> <span>Come funziona la funzione di ricerca multivettoriale</span> </span></p>
<p>Il supporto multivettoriale in Milvus ha due componenti:</p>
<ol>
<li><p>La possibilità di memorizzare/interrogare più vettori per una singola entità all'interno di una collezione, che è un modo più naturale di organizzare i dati.</p></li>
<li><p>La possibilità di costruire/ottimizzare un algoritmo di reranking sfruttando gli algoritmi di reranking precostituiti in Milvus.</p></li>
</ol>
<p>Oltre a essere una <a href="https://github.com/milvus-io/milvus/issues/25639">funzionalità</a> molto <a href="https://github.com/milvus-io/milvus/issues/25639">richiesta</a>, abbiamo creato questa capacità perché il settore si sta muovendo verso modelli multimodali con il rilascio di GPT-4 e Claude 3. Il reranking è una tecnica comunemente usata per migliorare ulteriormente le prestazioni delle query nella ricerca. Il nostro obiettivo è stato quello di facilitare agli sviluppatori la creazione e l'ottimizzazione dei loro reranker all'interno dell'ecosistema Milvus.</p>
<h2 id="Grouping-Search-Support-for-Enhanced-Compute-Efficiency" class="common-anchor-header">Supporto della ricerca per gruppi per una maggiore efficienza di calcolo<button data-href="#Grouping-Search-Support-for-Enhanced-Compute-Efficiency" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>La ricerca per gruppi è un'altra <a href="https://github.com/milvus-io/milvus/issues/25343">caratteristica</a> spesso <a href="https://github.com/milvus-io/milvus/issues/25343">richiesta</a> che abbiamo aggiunto a Milvus 2.4. Essa integra un'<a href="https://github.com/milvus-io/milvus/issues/25343">operazione</a> di raggruppamento progettata per migliorare l'efficienza di calcolo. Integra un'operazione di raggruppamento progettata per campi di tipo BOOL, INT o VARCHAR, colmando una lacuna cruciale in termini di efficienza nell'esecuzione di query di raggruppamento su larga scala.</p>
<p>Tradizionalmente, gli sviluppatori si affidavano a estese ricerche Top-K seguite da una post-elaborazione manuale per distillare i risultati specifici del gruppo, un metodo che richiedeva molto calcolo e codice. Grouping Search perfeziona questo processo collegando in modo efficiente i risultati delle query agli identificatori aggregati dei gruppi, come i nomi dei documenti o dei video, semplificando la gestione delle entità segmentate all'interno di grandi insiemi di dati.</p>
<p>Milvus si distingue per l'implementazione di Grouping Search basata su iteratori, che offre un netto miglioramento dell'efficienza computazionale rispetto a tecnologie simili. Questa scelta garantisce una scalabilità superiore delle prestazioni, in particolare negli ambienti di produzione dove l'ottimizzazione delle risorse di calcolo è fondamentale. Riducendo l'attraversamento dei dati e l'overhead di calcolo, Milvus supporta un'elaborazione più efficiente delle query, riducendo significativamente i tempi di risposta e i costi operativi rispetto ad altri database vettoriali.</p>
<p>Grouping Search rafforza la capacità di Milvus di gestire query complesse e ad alto volume e si allinea alle pratiche di calcolo ad alte prestazioni per soluzioni robuste di gestione dei dati.</p>
<h2 id="Beta-Support-for-Sparse-Vector-Embeddings" class="common-anchor-header">Supporto beta per le incorporazioni vettoriali sparse<button data-href="#Beta-Support-for-Sparse-Vector-Embeddings" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><a href="https://zilliz.com/learn/sparse-and-dense-embeddings">Le incorporazioni sparse</a> rappresentano un cambiamento di paradigma rispetto ai tradizionali approcci vettoriali densi, in quanto si occupano delle sfumature della somiglianza semantica piuttosto che della mera frequenza delle parole chiave. Questa distinzione consente di ottenere una capacità di ricerca più sfumata, in linea con il contenuto semantico della query e dei documenti. I modelli vettoriali sparsi, particolarmente utili nell'information retrieval e nell'elaborazione del linguaggio naturale, offrono potenti capacità di ricerca fuori dal dominio e interpretabilità rispetto alle loro controparti dense.</p>
<p>In Milvus 2.4, abbiamo ampliato la ricerca ibrida per includere le incorporazioni sparse generate da modelli neurali avanzati come SPLADEv2 o da modelli statistici come BM25. In Milvus, i vettori sparsi sono trattati alla stessa stregua dei vettori densi, consentendo la creazione di collezioni con campi vettoriali sparsi, l'inserimento di dati, la costruzione di indici e l'esecuzione di ricerche di similarità. In particolare, le incorporazioni rade in Milvus supportano la metrica di distanza <a href="https://zilliz.com/blog/similarity-metrics-for-vector-search#Inner-Product">Inner Product</a> (IP), che è vantaggiosa data la loro natura altamente dimensionale, che rende altre metriche meno efficaci. Questa funzionalità supporta anche i tipi di dati con una dimensione come un intero a 32 bit senza segno e un float a 32 bit per il valore, facilitando così un ampio spettro di applicazioni, dalle ricerche testuali sfumate ai sistemi elaborati <a href="https://zilliz.com/learn/information-retrieval-metrics">di recupero delle informazioni</a>.</p>
<p>Con questa nuova funzione, Milvus consente di utilizzare metodologie di ricerca ibride che fondono le tecniche basate sulle parole chiave e quelle basate sull'incorporazione, offrendo una transizione senza soluzione di continuità per gli utenti che si spostano da framework di ricerca incentrati sulle parole chiave alla ricerca di una soluzione completa e a bassa manutenzione.</p>
<p>Stiamo etichettando questa funzione come "Beta" per continuare a testarne le prestazioni e raccogliere il feedback della comunità. La disponibilità generale (GA) del supporto vettoriale sparse è prevista con il rilascio di Milvus 3.0.</p>
<h2 id="CAGRA-Index-Support-for-Advanced-GPU-Accelerated-Graph-Indexing" class="common-anchor-header">Supporto dell'indice CAGRA per l'indicizzazione avanzata dei grafici accelerata dalle GPU<button data-href="#CAGRA-Index-Support-for-Advanced-GPU-Accelerated-Graph-Indexing" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Sviluppata da NVIDIA, <a href="https://arxiv.org/abs/2308.15136">CAGRA</a> (Cuda Anns GRAph-based) è una tecnologia di indicizzazione dei grafi basata su GPU che supera in modo significativo i metodi tradizionali basati su CPU, come l'indice HNSW, in termini di efficienza e prestazioni, soprattutto negli ambienti ad alto rendimento.</p>
<p>Con l'introduzione dell'indice CAGRA, Milvus 2.4 offre una maggiore capacità di indicizzazione dei grafi accelerata dalle GPU. Questo miglioramento è ideale per la creazione di applicazioni di ricerca per similarità che richiedono una latenza minima. Inoltre, Milvus 2.4 integra una ricerca brutale con l'indice CAGRA per ottenere i massimi tassi di richiamo nelle applicazioni. Per maggiori dettagli, visitate il <a href="https://zilliz.com/blog/Milvus-introduces-GPU-index-CAGRA">blog introduttivo su CAGRA</a>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Milvus_raft_cagra_vs_milvus_hnsw_ffe0415ff5.png" alt="Milvus Raft CAGRA vs. Milvus HNSW" class="doc-image" id="milvus-raft-cagra-vs.-milvus-hnsw" />
   </span> <span class="img-wrapper"> <span>Milvus Raft CAGRA vs Milvus HNSW</span> </span></p>
<h2 id="Additional-Enhancements-and-Features" class="common-anchor-header">Ulteriori miglioramenti e caratteristiche<button data-href="#Additional-Enhancements-and-Features" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.4 include anche altri miglioramenti chiave, come il supporto delle espressioni regolari per una migliore corrispondenza delle sottostringhe nel <a href="https://zilliz.com/blog/metadata-filtering-with-zilliz-cloud-pipelines">filtraggio dei metadati</a>, un nuovo indice scalare invertito per un efficiente filtraggio dei tipi di dati scalari e uno strumento di Change Data Capture per monitorare e replicare le modifiche nelle collezioni Milvus. Questi aggiornamenti migliorano complessivamente le prestazioni e la versatilità di Milvus, rendendolo una soluzione completa per operazioni complesse sui dati.</p>
<p>Per maggiori dettagli, consultare la <a href="https://milvus.io/docs/release_notes.md">documentazione di Milvus 2.4</a>.</p>
<h2 id="Stay-Connected" class="common-anchor-header">Restate connessi!<button data-href="#Stay-Connected" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Siete curiosi di saperne di più su Milvus 2.4? <a href="https://zilliz.com/event/unlocking-advanced-search-capabilities-milvus">Partecipate al nostro prossimo webinar</a> con James Luan, VP of Engineering di Zilliz, per una discussione approfondita sulle funzionalità di questa ultima versione. Se avete domande o commenti, iscrivetevi al nostro <a href="https://discord.com/invite/8uyFbECzPX">canale Discord</a> per confrontarvi con i nostri ingegneri e membri della comunità. Non dimenticate di seguirci su <a href="https://twitter.com/milvusio">Twitter</a> o <a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn</a> per le ultime notizie e aggiornamenti su Milvus.</p>


Milvus 2.4 Supports Multi-vector Search, Sparse Vector, CAGRA, and More!

Presentazione di Milvus 2.4: ricerca multivettoriale, vettore sparso, indice CAGRA e altro ancora!

<p><a href="https://zilliz.com/what-is-milvus">Milvus</a>, il database vettoriale altamente scalabile e rinomato per la sua capacità di gestire vasti insiemi di dati, compie un significativo passo avanti introducendo il supporto per i file Parquet nella <a href="https://zilliz.com/blog/what-is-new-in-milvus-2-3-4">versione 2.3.4</a>. Grazie all'adozione di Apache Parquet, gli utenti possono snellire i processi di importazione dei dati e risparmiare notevolmente sui costi di archiviazione e di calcolo.</p>
<p>Nel nostro ultimo post, esploriamo i vantaggi di Parquet e i benefici che porta agli utenti di Milvus. Discutiamo le motivazioni alla base dell'integrazione di questa funzione e forniamo una guida passo passo per importare senza problemi i file Parquet in Milvus, aprendo nuove possibilità per una gestione e un'analisi efficienti dei dati.</p>
<h2 id="What-Is-Apache-Parquet" class="common-anchor-header">Cos'è Apache Parquet?<button data-href="#What-Is-Apache-Parquet" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><a href="https://parquet.apache.org/">Apache Parquet</a> è un popolare formato di file di dati open-source orientato alle colonne, progettato per migliorare l'efficienza dell'archiviazione e dell'elaborazione di insiemi di dati su larga scala. A differenza dei tradizionali formati di dati orientati alle righe, come CSV o JSON, Parquet memorizza i dati per colonna, offrendo schemi di compressione e codifica dei dati più efficienti. Questo approccio si traduce in un miglioramento delle prestazioni, in una riduzione dei requisiti di archiviazione e in una maggiore potenza di elaborazione, che lo rendono ideale per la gestione di dati complessi in blocco.</p>
<h2 id="How-Milvus-Users-Benefit-from-the-Support-for-Parquet-File-Imports" class="common-anchor-header">Come gli utenti di Milvus beneficiano del supporto per le importazioni di file Parquet<button data-href="#How-Milvus-Users-Benefit-from-the-Support-for-Parquet-File-Imports" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus estende il supporto per l'importazione di file Parquet, offrendo agli utenti un'esperienza ottimizzata e vari vantaggi, tra cui la riduzione dei costi di archiviazione e di calcolo, la semplificazione della gestione dei dati e la semplificazione del processo di importazione.</p>
<h3 id="Optimized-Storage-Efficiency-and-Streamlined-Data-Management" class="common-anchor-header">Efficienza di archiviazione ottimizzata e gestione dei dati semplificata</h3><p>Parquet offre opzioni di compressione flessibili e schemi di codifica efficienti che si adattano a diversi tipi di dati, garantendo un'efficienza di archiviazione ottimale. Questa flessibilità è particolarmente preziosa negli ambienti cloud, dove ogni grammo di risparmio sullo storage è direttamente correlato a una riduzione tangibile dei costi. Grazie a questa nuova funzione di Milvus, gli utenti possono consolidare senza problemi tutti i loro dati diversi in un unico file, semplificando la gestione dei dati e migliorando l'esperienza complessiva dell'utente. Questa funzione è particolarmente vantaggiosa per gli utenti che lavorano con tipi di dati Array di lunghezza variabile, che ora possono godere di un processo di importazione dei dati semplificato.</p>
<h3 id="Improved-Query-Performance" class="common-anchor-header">Migliori prestazioni delle query</h3><p>Il design dello storage colonnare di Parquet e i metodi di compressione avanzati migliorano significativamente le prestazioni delle query. Quando si eseguono le query, gli utenti possono concentrarsi solo sui dati pertinenti senza scorrere i dati irrilevanti. Questa lettura selettiva delle colonne riduce al minimo l'utilizzo della CPU, con conseguenti tempi di interrogazione più rapidi.</p>
<h3 id="Broad-Language-Compatibility" class="common-anchor-header">Ampia compatibilità linguistica</h3><p>Parquet è disponibile in diversi linguaggi come Java, C++ e Python ed è compatibile con un gran numero di strumenti di elaborazione dati. Grazie al supporto dei file Parquet, gli utenti di Milvus che utilizzano diversi SDK possono generare senza problemi file Parquet da analizzare all'interno del database.</p>
<h2 id="How-to-Import-Parquet-Files-into-Milvus" class="common-anchor-header">Come importare i file Parquet in Milvus<button data-href="#How-to-Import-Parquet-Files-into-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Se i dati sono già in formato Parquet, l'importazione è semplice. Caricate il file Parquet in un sistema di archiviazione a oggetti come MinIO e siete pronti per l'importazione.</p>
<p>Il frammento di codice che segue è un esempio di importazione di file Parquet in Milvus.</p>
<pre><code translate="no">remote_files = []
<span class="hljs-keyword">try</span>:
    <span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Prepare upload files&quot;</span>)
    minio_client = Minio(endpoint=MINIO_ADDRESS, access_key=MINIO_ACCESS_KEY, secret_key=MINIO_SECRET_KEY,
                         secure=<span class="hljs-literal">False</span>)
    found = minio_client.bucket_exists(bucket_name)
    <span class="hljs-keyword">if</span> <span class="hljs-keyword">not</span> found:
        minio_client.make_bucket(bucket_name)
        <span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;MinIO bucket &#x27;{}&#x27; doesn&#x27;t exist&quot;</span>.<span class="hljs-built_in">format</span>(bucket_name))
        <span class="hljs-keyword">return</span> <span class="hljs-literal">False</span>, []

    <span class="hljs-comment"># set your remote data path</span>
    remote_data_path = <span class="hljs-string">&quot;milvus_bulkinsert&quot;</span>

    <span class="hljs-keyword">def</span> <span class="hljs-title function_">upload_file</span>(<span class="hljs-params">f: <span class="hljs-built_in">str</span></span>):
        file_name = os.path.basename(f)
        minio_file_path = os.path.join(remote_data_path, <span class="hljs-string">&quot;parquet&quot;</span>, file_name)
        minio_client.fput_object(bucket_name, minio_file_path, f)
        <span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Upload file &#x27;{}&#x27; to &#x27;{}&#x27;&quot;</span>.<span class="hljs-built_in">format</span>(f, minio_file_path))
        remote_files.append(minio_file_path)

    upload_file(data_file)

<span class="hljs-keyword">except</span> S3Error <span class="hljs-keyword">as</span> e:
    <span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Failed to connect MinIO server {}, error: {}&quot;</span>.<span class="hljs-built_in">format</span>(MINIO_ADDRESS, e))
    <span class="hljs-keyword">return</span> <span class="hljs-literal">False</span>, []

<span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Successfully upload files: {}&quot;</span>.<span class="hljs-built_in">format</span>(remote_files))
<span class="hljs-keyword">return</span> <span class="hljs-literal">True</span>, remote_files
<button class="copy-code-btn"></button></code></pre>
<p>Se i vostri dati non sono file Parquet o hanno campi dinamici, potete utilizzare BulkWriter, il nostro strumento di conversione del formato dei dati, per aiutarvi a generare file Parquet. BulkWriter ha ora adottato Parquet come formato di output predefinito, garantendo un'esperienza più intuitiva per gli sviluppatori.</p>
<p>Lo snippet di codice qui sotto è un esempio di utilizzo di BulkWriter per generare file Parquet.</p>
<pre><code translate="no"><span class="hljs-keyword">import</span> numpy <span class="hljs-keyword">as</span> np
<span class="hljs-keyword">import</span> json

<span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> (
    RemoteBulkWriter,
    BulkFileType,
)

remote_writer = RemoteBulkWriter(
        schema=your_collection_schema,
        remote_path=<span class="hljs-string">&quot;your_remote_data_path&quot;</span>,
        connect_param=RemoteBulkWriter.ConnectParam(
            endpoint=YOUR_MINIO_ADDRESS,
            access_key=YOUR_MINIO_ACCESS_KEY,
            secret_key=YOUR_MINIO_SECRET_KEY,
            bucket_name=<span class="hljs-string">&quot;a-bucket&quot;</span>,
        ),
        file_type=BulkFileType.PARQUET,
)

<span class="hljs-comment"># append your data</span>
batch_count = <span class="hljs-number">10000</span>
<span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(batch_count):
    row = {
        <span class="hljs-string">&quot;id&quot;</span>: i,
        <span class="hljs-string">&quot;bool&quot;</span>: <span class="hljs-literal">True</span> <span class="hljs-keyword">if</span> i % <span class="hljs-number">5</span> == <span class="hljs-number">0</span> <span class="hljs-keyword">else</span> <span class="hljs-literal">False</span>,
        <span class="hljs-string">&quot;int8&quot;</span>: i % <span class="hljs-number">128</span>,
        <span class="hljs-string">&quot;int16&quot;</span>: i % <span class="hljs-number">1000</span>,
        <span class="hljs-string">&quot;int32&quot;</span>: i % <span class="hljs-number">100000</span>,
        <span class="hljs-string">&quot;int64&quot;</span>: i,
        <span class="hljs-string">&quot;float&quot;</span>: i / <span class="hljs-number">3</span>,
        <span class="hljs-string">&quot;double&quot;</span>: i / <span class="hljs-number">7</span>,
        <span class="hljs-string">&quot;varchar&quot;</span>: <span class="hljs-string">f&quot;varchar_<span class="hljs-subst">{i}</span>&quot;</span>,
        <span class="hljs-string">&quot;json&quot;</span>: {<span class="hljs-string">&quot;dummy&quot;</span>: i, <span class="hljs-string">&quot;ok&quot;</span>: <span class="hljs-string">f&quot;name_<span class="hljs-subst">{i}</span>&quot;</span>},
        <span class="hljs-string">&quot;vector&quot;</span>: gen_binary_vector() <span class="hljs-keyword">if</span> bin_vec <span class="hljs-keyword">else</span> gen_float_vector(),
        <span class="hljs-string">f&quot;dynamic_<span class="hljs-subst">{i}</span>&quot;</span>: i,
    }
    remote_writer.append_row(row)

<span class="hljs-comment"># append rows by numpy type</span>
<span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(batch_count):
    remote_writer.append_row({
        <span class="hljs-string">&quot;id&quot;</span>: np.int64(i + batch_count),
        <span class="hljs-string">&quot;bool&quot;</span>: <span class="hljs-literal">True</span> <span class="hljs-keyword">if</span> i % <span class="hljs-number">3</span> == <span class="hljs-number">0</span> <span class="hljs-keyword">else</span> <span class="hljs-literal">False</span>,
        <span class="hljs-string">&quot;int8&quot;</span>: np.int8(i % <span class="hljs-number">128</span>),
        <span class="hljs-string">&quot;int16&quot;</span>: np.int16(i % <span class="hljs-number">1000</span>),
        <span class="hljs-string">&quot;int32&quot;</span>: np.int32(i % <span class="hljs-number">100000</span>),
        <span class="hljs-string">&quot;int64&quot;</span>: np.int64(i),
        <span class="hljs-string">&quot;float&quot;</span>: np.float32(i / <span class="hljs-number">3</span>),
        <span class="hljs-string">&quot;double&quot;</span>: np.float64(i / <span class="hljs-number">7</span>),
        <span class="hljs-string">&quot;varchar&quot;</span>: <span class="hljs-string">f&quot;varchar_<span class="hljs-subst">{i}</span>&quot;</span>,
        <span class="hljs-string">&quot;json&quot;</span>: json.dumps({<span class="hljs-string">&quot;dummy&quot;</span>: i, <span class="hljs-string">&quot;ok&quot;</span>: <span class="hljs-string">f&quot;name_<span class="hljs-subst">{i}</span>&quot;</span>}),
        <span class="hljs-string">&quot;vector&quot;</span>: gen_binary_vector() <span class="hljs-keyword">if</span> bin_vec <span class="hljs-keyword">else</span> gen_float_vector(),
        <span class="hljs-string">f&quot;dynamic_<span class="hljs-subst">{i}</span>&quot;</span>: i,
    })

<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;<span class="hljs-subst">{remote_writer.total_row_count}</span> rows appends&quot;</span>)
<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;<span class="hljs-subst">{remote_writer.buffer_row_count}</span> rows in buffer not flushed&quot;</span>)
<span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Generate data files...&quot;</span>)
remote_writer.commit()
<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;Data files have been uploaded: <span class="hljs-subst">{remote_writer.batch_files}</span>&quot;</span>)
remote_files = remote_writer.batch_files
<button class="copy-code-btn"></button></code></pre>
<p>Quindi, è possibile iniziare a importare i file Parquet in Milvus.</p>
<pre><code translate="no">remote_files = [remote_file_path]
task_id = utility.do_bulk_insert(collection_name=collection_name,
                                 files=remote_files)

task_ids = [task_id]         
states = wait_tasks_to_state(task_ids, BulkInsertState.ImportCompleted)
complete_count = 0
for state in states:
    if state.state == BulkInsertState.ImportCompleted:
        complete_count = complete_count + 1
<button class="copy-code-btn"></button></code></pre>
<p>Ora i vostri dati sono perfettamente integrati in Milvus.</p>
<h2 id="Whats-Next" class="common-anchor-header">Cosa succederà in futuro?<button data-href="#Whats-Next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Poiché Milvus continua a supportare volumi di dati sempre crescenti, si pone la sfida di gestire importazioni di grandi dimensioni, in particolare quando i file Parquet superano i 10 GB. Per affrontare questa sfida, abbiamo in programma di segregare i dati importati in colonne scalari e vettoriali, creando due file Parquet per ogni importazione per alleggerire la pressione I/O. Per i set di dati che superano le centinaia di gigabyte, si consiglia di importare i dati più volte.</p>


Milvus Supports Imports of Apache Parquet Files

Milvus supporta l'importazione di file Apache Parquet per una maggiore efficienza nell'elaborazione dei dati

<custom-h1>Introduzione alle versioni di Milvus</custom-h1><p>La scelta della versione Milvus appropriata è fondamentale per il successo di qualsiasi progetto che sfrutti la tecnologia di ricerca vettoriale. Con le diverse versioni di Milvus adattate a vari requisiti, capire l'importanza della scelta della versione corretta è fondamentale per ottenere i risultati desiderati.</p>
<p>La giusta versione di Milvus può aiutare uno sviluppatore ad apprendere e a prototipare rapidamente o a ottimizzare l'utilizzo delle risorse, a snellire gli sforzi di sviluppo e a garantire la compatibilità con l'infrastruttura e gli strumenti esistenti. In definitiva, si tratta di mantenere la produttività degli sviluppatori e di migliorare l'efficienza, l'affidabilità e la soddisfazione degli utenti.</p>
<h2 id="Available-Milvus-versions" class="common-anchor-header">Versioni disponibili di Milvus<button data-href="#Available-Milvus-versions" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Per gli sviluppatori sono disponibili tre versioni di Milvus, tutte open source. Le tre versioni sono Milvus Lite, Milvus Standalone e Milvus Cluster, che si differenziano per le caratteristiche e per il modo in cui gli utenti intendono utilizzare Milvus a breve e lungo termine. Analizziamole singolarmente.</p>
<h2 id="Milvus-Lite" class="common-anchor-header">Milvus Lite<button data-href="#Milvus-Lite" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Come suggerisce il nome, Milvus Lite è una versione leggera che si integra perfettamente con Google Colab e Jupyter Notebook. È confezionato come un singolo binario senza dipendenze aggiuntive, il che lo rende facile da installare ed eseguire sulla propria macchina o da incorporare in applicazioni Python. Inoltre, Milvus Lite include un server Milvus standalone basato su CLI, che offre la flessibilità di eseguirlo direttamente sul computer. La scelta di incorporarlo nel codice Python o di utilizzarlo come server autonomo dipende esclusivamente dalle vostre preferenze e dai requisiti specifici dell'applicazione.</p>
<h3 id="Features-and-Capabilities" class="common-anchor-header">Caratteristiche e capacità</h3><p>Milvus Lite include tutte le funzioni principali di ricerca vettoriale di Milvus.</p>
<ul>
<li><p><strong>Capacità di ricerca</strong>: Supporta ricerche top-k, range e ibride, compreso il filtraggio dei metadati, per soddisfare le diverse esigenze di ricerca.</p></li>
<li><p><strong>Tipi di indice e metriche di somiglianza</strong>: Offre il supporto per 11 tipi di indice e cinque metriche di somiglianza, garantendo flessibilità e opzioni di personalizzazione per i vostri casi d'uso specifici.</p></li>
<li><p><strong>Elaborazione dei dati</strong>: Consente l'elaborazione batch (Apache Parquet, Array, JSON) e in streaming, con una perfetta integrazione attraverso i connettori per Airbyte, Apache Kafka e Apache Spark.</p></li>
<li><p><strong>Operazioni CRUD</strong>: Offre un supporto CRUD completo (creazione, lettura, aggiornamento/upert, cancellazione), consentendo agli utenti di disporre di funzionalità complete di gestione dei dati.</p></li>
</ul>
<h3 id="Applications-and-limitations" class="common-anchor-header">Applicazioni e limitazioni</h3><p>Milvus Lite è ideale per la prototipazione rapida e lo sviluppo locale, in quanto offre un supporto per la configurazione rapida e la sperimentazione di insiemi di dati su piccola scala sulla propria macchina. Tuttavia, i suoi limiti diventano evidenti quando si passa ad ambienti di produzione con set di dati più grandi e requisiti infrastrutturali più impegnativi. Per questo motivo, mentre Milvus Lite è uno strumento eccellente per l'esplorazione e il test iniziali, potrebbe non essere adatto per la distribuzione di applicazioni in ambienti ad alto volume o pronti per la produzione.</p>
<h3 id="Available-Resources" class="common-anchor-header">Risorse disponibili</h3><ul>
<li><p><a href="https://milvus.io/docs/milvus_lite.md">Documentazione</a></p></li>
<li><p><a href="https://github.com/milvus-io/milvus-lite/">Repository Github</a></p></li>
<li><p><a href="https://github.com/milvus-io/milvus-lite/tree/main/examples">Esempio di Google Colab</a></p></li>
<li><p><a href="https://www.youtube.com/watch?v=IgJdrGiB5ZY">Video introduttivo</a></p></li>
</ul>
<h2 id="Milvus-Standalone" class="common-anchor-header">Milvus standalone<button data-href="#Milvus-Standalone" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus offre due modalità operative: Standalone e Cluster. Entrambe le modalità sono identiche per quanto riguarda le funzioni principali del database vettoriale e differiscono per quanto riguarda il supporto delle dimensioni dei dati e i requisiti di scalabilità. Questa distinzione consente di scegliere la modalità che meglio si adatta alle dimensioni del set di dati, al volume di traffico e ad altri requisiti dell'infrastruttura per la produzione.</p>
<p>Milvus Standalone è una modalità di funzionamento del sistema di database vettoriale Milvus che opera in modo indipendente come singola istanza senza alcun clustering o configurazione distribuita. In questa modalità Milvus viene eseguito su un singolo server o macchina, fornendo funzionalità come l'indicizzazione e la ricerca di vettori. È adatto a situazioni in cui la scala dei dati e del volume di traffico è relativamente piccola e non richiede le capacità distribuite fornite da una configurazione in cluster.</p>
<h3 id="Features-and-Capabilities" class="common-anchor-header">Caratteristiche e capacità</h3><ul>
<li><p><strong>Prestazioni elevate</strong>: Eseguire ricerche vettoriali su enormi insiemi di dati (miliardi o più) con velocità ed efficienza eccezionali.</p></li>
<li><p><strong>Capacità di ricerca</strong>: Supporta ricerche top-k, range e ibride, compreso il filtraggio dei metadati, per soddisfare le diverse esigenze di ricerca.</p></li>
<li><p><strong>Tipi di indice e metriche di somiglianza</strong>: Offre il supporto per 11 tipi di indice e 5 metriche di somiglianza, garantendo flessibilità e opzioni di personalizzazione per i vostri casi d'uso specifici.</p></li>
<li><p><strong>Elaborazione dei dati</strong>: Consente l'elaborazione sia in batch (Apache Parquet, Array, Json) che in streaming, con una perfetta integrazione attraverso i connettori per Airbyte, Apache Kafka e Apache Spark.</p></li>
<li><p><strong>Replica e failover dei dati</strong>: Le funzioni di replica e failover/failback integrate garantiscono l'integrità dei dati e la disponibilità dell'applicazione, anche in caso di interruzioni o guasti.</p></li>
<li><p><strong>Scalabilità</strong>: Scalabilità dinamica grazie alla scalabilità a livello di componente, che consente di aumentare o diminuire la scala in base alla domanda. Milvus può autoscalare a livello di componenti, ottimizzando l'allocazione delle risorse per una maggiore efficienza.</p></li>
<li><p><strong>Multi-tenancy</strong>: Supporta la multi-tenancy con la capacità di gestire fino a 10.000 collezioni/partizioni in un cluster, fornendo un utilizzo efficiente delle risorse e l'isolamento per diversi utenti o applicazioni.</p></li>
<li><p><strong>Operazioni CRUD</strong>: Offre un supporto CRUD completo (creazione, lettura, aggiornamento/upert, cancellazione), consentendo agli utenti di disporre di funzionalità complete di gestione dei dati.</p></li>
</ul>
<h3 id="Essential-components" class="common-anchor-header">Componenti essenziali:</h3><ul>
<li><p>Milvus: il componente funzionale principale.</p></li>
<li><p>etcd: Il motore di metadati responsabile dell'accesso e dell'archiviazione dei metadati dai componenti interni di Milvus, compresi i proxy, i nodi indice e altro.</p></li>
<li><p>MinIO: il motore di archiviazione responsabile della persistenza dei dati all'interno di Milvus.</p></li>
</ul>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Screenshot_2024_02_19_at_4_16_41_PM_5e635586a7.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Figura 1: Architettura autonoma di Milvus</p>
<h3 id="Available-Resources" class="common-anchor-header">Risorse disponibili</h3><ul>
<li><p>Documentazione</p>
<ul>
<li><p><a href="https://milvus.io/docs/prerequisite-docker.md">Lista di controllo dell'ambiente per Milvus con Docker Compose</a></p></li>
<li><p><a href="https://milvus.io/docs/install_standalone-docker.md">Installare Milvus Standalone con Docker</a></p></li>
</ul></li>
<li><p><a href="https://github.com/milvus-io/milvus">Repository Github</a></p></li>
</ul>
<h2 id="Milvus-Cluster" class="common-anchor-header">Cluster Milvus<button data-href="#Milvus-Cluster" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus Cluster è una modalità di funzionamento del sistema di database vettoriale Milvus che opera ed è distribuito su più nodi o server. In questa modalità, le istanze di Milvus sono raggruppate insieme per formare un sistema unificato in grado di gestire volumi di dati maggiori e carichi di traffico più elevati rispetto a una configurazione standalone. Milvus Cluster offre caratteristiche di scalabilità, tolleranza ai guasti e bilanciamento del carico, che lo rendono adatto a scenari in cui è necessario gestire grandi dati e servire in modo efficiente molte query simultanee.</p>
<h3 id="Features-and-Capabilities" class="common-anchor-header">Caratteristiche e capacità</h3><ul>
<li><p>Eredita tutte le funzionalità disponibili in Milvus Standalone, tra cui la ricerca vettoriale ad alte prestazioni, il supporto di più tipi di indici e metriche di similarità e la perfetta integrazione con framework di elaborazione batch e stream.</p></li>
<li><p>Offre disponibilità, prestazioni e ottimizzazione dei costi senza precedenti, sfruttando l'elaborazione distribuita e il bilanciamento del carico su più nodi.</p></li>
<li><p>Consente di distribuire e scalare carichi di lavoro sicuri e di livello aziendale con costi totali inferiori, utilizzando in modo efficiente le risorse del cluster e ottimizzando l'allocazione delle risorse in base alle richieste del carico di lavoro.</p></li>
</ul>
<h3 id="Essential-components" class="common-anchor-header">Componenti essenziali:</h3><p>Milvus Cluster comprende otto componenti di microservizi e tre dipendenze di terze parti. Tutti i microservizi possono essere distribuiti su Kubernetes indipendentemente l'uno dall'altro.</p>
<h4 id="Microservice-components" class="common-anchor-header">Componenti del microservizio</h4><ul>
<li><p>Coordinamento radice</p></li>
<li><p>Proxy</p></li>
<li><p>Nodo di interrogazione</p></li>
<li><p>Nodo di interrogazione</p></li>
<li><p>Coordinamenti dell'indice</p></li>
<li><p>Nodo indice</p></li>
<li><p>Coordinamento dati</p></li>
<li><p>Nodo dati</p></li>
</ul>
<h4 id="Third-party-dependencies" class="common-anchor-header">Dipendenze di terze parti</h4><ul>
<li><p>etcd: Memorizza i metadati per i vari componenti del cluster.</p></li>
<li><p>MinIO: Responsabile della persistenza dei dati dei file di grandi dimensioni nel cluster, come i file di indice e di log binari.</p></li>
<li><p>Pulsar: Gestisce i log delle operazioni di mutazione recenti, produce log in streaming e fornisce servizi di publish-subscribe dei log.</p></li>
</ul>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Screenshot_2024_02_19_at_4_18_01_PM_88971280ed.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Figura 2: Architettura del cluster Milvus</p>
<h4 id="Available-Resources" class="common-anchor-header">Risorse disponibili</h4><ul>
<li><p><a href="https://milvus.io/docs/install_cluster-milvusoperator.md">Documentazione</a> | Come iniziare</p>
<ul>
<li><p><a href="https://milvus.io/docs/install_cluster-milvusoperator.md">Installazione di Milvus Cluster con Milvus Operator</a></p></li>
<li><p><a href="https://milvus.io/docs/install_cluster-helm.md">Installare Milvus Cluster con Helm</a></p></li>
<li><p><a href="https://milvus.io/docs/scaleout.md">Come scalare un cluster Milvus</a></p></li>
</ul></li>
<li><p><a href="https://github.com/milvus-io/milvus">Repository Github</a></p></li>
</ul>
<h2 id="Making-the-Decision-on-which-Milvus-version-to-use" class="common-anchor-header">Decidere la versione di Milvus da utilizzare<button data-href="#Making-the-Decision-on-which-Milvus-version-to-use" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Per decidere quale versione di Milvus utilizzare per il vostro progetto, dovete considerare fattori quali le dimensioni del vostro set di dati, il volume di traffico, i requisiti di scalabilità e i vincoli dell'ambiente di produzione. Milvus Lite è perfetto per la prototipazione sul vostro portatile. Milvus Standalone offre prestazioni elevate e flessibilità per condurre ricerche vettoriali sui vostri set di dati, rendendolo adatto a implementazioni su scala ridotta, CI/CD e implementazioni offline quando non avete il supporto di Kubernetes... Infine, Milvus Cluster offre disponibilità, scalabilità e ottimizzazione dei costi senza precedenti per carichi di lavoro di livello aziendale, rendendolo la scelta preferita per ambienti di produzione su larga scala e ad alta disponibilità.</p>
<p>Esiste anche un'altra versione che non crea problemi, una versione gestita di Milvus chiamata <a href="https://cloud.zilliz.com/signup">Zilliz Cloud</a>.</p>
<p>In definitiva, la scelta della versione di Milvus dipende dal vostro caso d'uso specifico, dai requisiti dell'infrastruttura e dagli obiettivi a lungo termine. Valutando attentamente questi fattori e comprendendo le caratteristiche e le capacità di ciascuna versione, potrete prendere una decisione informata e in linea con le esigenze e gli obiettivi del vostro progetto. Sia che scegliate Milvus Standalone o Milvus Cluster, potete sfruttare la potenza dei database vettoriali per migliorare le prestazioni e l'efficienza delle vostre applicazioni AI.</p>


Quale versione di Milvus per iniziare?

Top 10 Keywords Dominating the Milvus Community in 2023

Svelate le 10 parole chiave che domineranno la comunità Milvus nel 2023

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/What_is_new_in_Milvus_2_3_4_1847b0fa8a.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Siamo lieti di presentare l'ultima versione di Milvus 2.3.4. Questo aggiornamento introduce una serie di funzionalità e miglioramenti meticolosamente realizzati per ottimizzare le prestazioni, aumentare l'efficienza e offrire un'esperienza utente senza soluzione di continuità. In questo post del blog, approfondiremo i punti salienti di Milvus 2.3.4.</p>
<h2 id="Access-logs-for-improved-monitoring" class="common-anchor-header">Registri di accesso per un monitoraggio migliore<button data-href="#Access-logs-for-improved-monitoring" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus supporta ora i log di accesso, che offrono preziose informazioni sulle interazioni con le interfacce esterne. Questi registri registrano i nomi dei metodi, le richieste degli utenti, i tempi di risposta, i codici di errore e altre informazioni sull'interazione, consentendo agli sviluppatori e agli amministratori di sistema di effettuare analisi delle prestazioni, verifiche di sicurezza e una risoluzione efficiente dei problemi.</p>
<p><strong><em>Nota:</em></strong> <em>attualmente i log di accesso supportano solo le interazioni gRPC. Tuttavia, il nostro impegno per il miglioramento continua e le versioni future estenderanno questa funzionalità per includere i log delle richieste RESTful.</em></p>
<p>Per informazioni più dettagliate, consultare <a href="https://milvus.io/docs/configure_access_logs.md">Configurazione dei registri di accesso</a>.</p>
<h2 id="Parquet-file-imports-for-enhanced-data-processing-efficiency" class="common-anchor-header">Importazione di file Parquet per una maggiore efficienza nell'elaborazione dei dati<button data-href="#Parquet-file-imports-for-enhanced-data-processing-efficiency" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.3.4 supporta ora l'importazione di file Parquet, un formato di archiviazione colonnare ampiamente diffuso, progettato per migliorare l'efficienza dell'archiviazione e dell'elaborazione di insiemi di dati su larga scala. Questa novità offre agli utenti una maggiore flessibilità ed efficienza nell'elaborazione dei dati. Eliminando la necessità di laboriose conversioni di formato dei dati, gli utenti che gestiscono insiemi di dati consistenti nel formato Parquet sperimenteranno un processo di importazione dei dati semplificato, riducendo significativamente il tempo dalla preparazione iniziale dei dati al successivo recupero dei vettori.</p>
<p>Inoltre, il nostro strumento di conversione dei formati di dati, BulkWriter, ha ora adottato Parquet come formato di output predefinito, garantendo un'esperienza più intuitiva per gli sviluppatori.</p>
<h2 id="Binlog-index-on-growing-segments-for-faster-searches" class="common-anchor-header">Indice Binlog su segmenti in crescita per ricerche più rapide<button data-href="#Binlog-index-on-growing-segments-for-faster-searches" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus sfrutta ora un indice binlog sui segmenti in crescita, che consente di effettuare ricerche fino a dieci volte più veloci nei segmenti in crescita. Questo miglioramento aumenta significativamente l'efficienza della ricerca e supporta indici avanzati come IVF o Fast Scan, migliorando l'esperienza complessiva dell'utente.</p>
<h2 id="Support-for-up-to-10000-collectionspartitions" class="common-anchor-header">Supporto per un massimo di 10.000 raccolte/partizioni<button data-href="#Support-for-up-to-10000-collectionspartitions" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Come le tabelle e le partizioni nei database relazionali, le collezioni e le partizioni sono le unità principali per l'archiviazione e la gestione dei dati vettoriali in Milvus. In risposta all'evoluzione delle esigenze degli utenti in materia di organizzazione dei dati, Milvus 2.3.4 supporta ora fino a 10.000 collezioni/partizioni in un cluster, un salto significativo rispetto al limite precedente di 4.096. Questo miglioramento va a vantaggio di diversi casi d'uso, come la gestione delle basi di conoscenza e gli ambienti multi-tenant. Il supporto ampliato per le collezioni/partizioni deriva da miglioramenti al meccanismo di time tick, alla gestione delle goroutine e all'utilizzo della memoria.</p>
<p><strong><em>Nota:</em></strong> <em>Il limite consigliato per il numero di raccolte/partizioni è di 10.000, poiché il superamento di questo limite può avere un impatto sul recupero dei guasti e sull'utilizzo delle risorse.</em></p>
<h2 id="Other-enhancements" class="common-anchor-header">Altri miglioramenti<button data-href="#Other-enhancements" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Oltre alle caratteristiche sopra descritte, Milvus 2.3.4 include vari miglioramenti e correzioni di bug. Tra questi, la riduzione dell'uso della memoria durante il recupero dei dati e la gestione dei dati di lunghezza variabile, il perfezionamento della messaggistica di errore, l'accelerazione della velocità di caricamento e il miglioramento del bilanciamento degli shard delle query. Questi miglioramenti collettivi contribuiscono a rendere più fluida ed efficiente l'esperienza complessiva dell'utente.</p>
<p>Per una panoramica completa di tutti i cambiamenti introdotti in Milvus 2.3.4, consultare le nostre <a href="https://milvus.io/docs/release_notes.md#v234">Note di rilascio</a>.</p>
<h2 id="Stay-connected" class="common-anchor-header">Restate in contatto!<button data-href="#Stay-connected" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Se avete domande o feedback su Milvus, iscrivetevi al nostro <a href="https://discord.com/invite/8uyFbECzPX">canale Discord</a> per confrontarvi direttamente con i nostri ingegneri e la comunità, oppure partecipate al nostro <a href="https://discord.com/invite/RjNbk8RR4f">Milvus Community Lunch and Learn</a> ogni martedì dalle 12 alle 12.30 PST. Potete anche seguirci su <a href="https://twitter.com/milvusio">Twitter</a> o <a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn</a> per le ultime notizie e gli aggiornamenti su Milvus.</p>


Milvus 2.3.4: Ricerche più veloci, supporto dati ampliato, monitoraggio migliorato e altro ancora

2023: l'anno dell'IA

Ricerca efficiente della similarità vettoriale nei flussi di lavoro di raccomandazione utilizzando Milvus con NVIDIA Merlin

Come ottenere le giuste incorporazioni vettoriali

Come migrare i dati a Milvus senza problemi: Una guida completa

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Exploring_NATS_878f48c848.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Nell'intricato arazzo dell'elaborazione dei dati, la comunicazione continua è il filo conduttore delle operazioni. <a href="https://zilliz.com/what-is-milvus">Milvus</a>, l'innovativo <a href="https://zilliz.com/cloud">database vettoriale open-source</a>, ha intrapreso un viaggio di trasformazione con la sua ultima funzione: l'integrazione della messaggistica NATS. In questo esauriente post del blog, sveleremo le complessità di questa integrazione, esplorando le sue caratteristiche principali, il processo di configurazione, i vantaggi della migrazione e come si colloca rispetto al suo predecessore, RocksMQ.</p>
<h2 id="Understanding-the-role-of-message-queues-in-Milvus" class="common-anchor-header">Capire il ruolo delle code di messaggi in Milvus<button data-href="#Understanding-the-role-of-message-queues-in-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Nell'architettura cloud-native di Milvus, la coda di messaggi, o Log Broker, ha un'importanza fondamentale. È la spina dorsale che garantisce flussi di dati persistenti, sincronizzazione, notifiche di eventi e integrità dei dati durante i ripristini del sistema. Tradizionalmente, RocksMQ era la scelta più semplice in Milvus Standalone, soprattutto se confrontato con Pulsar e Kafka, ma i suoi limiti diventavano evidenti con dati estesi e scenari complessi.</p>
<p>Milvus 2.3 introduce NATS, un'implementazione MQ a singolo nodo che ridefinisce il modo di gestire i flussi di dati. A differenza dei suoi predecessori, NATS libera gli utenti di Milvus dai vincoli delle prestazioni, offrendo un'esperienza senza soluzione di continuità nella gestione di grandi volumi di dati.</p>
<h2 id="What-is-NATS" class="common-anchor-header">Che cos'è NATS?<button data-href="#What-is-NATS" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>NATS è una tecnologia di connettività di sistema distribuita implementata in Go. Supporta varie modalità di comunicazione come Request-Reply e Publish-Subscribe tra i sistemi, fornisce la persistenza dei dati attraverso JetStream e offre funzionalità distribuite attraverso RAFT integrato. Per una comprensione più dettagliata di <a href="https://nats.io/">NATS</a>, si può fare riferimento al <a href="https://nats.io/">sito ufficiale di NATS</a>.</p>
<p>In Milvus 2.3 Standalone, NATS, JetStream e PubSub forniscono a Milvus solide funzionalità MQ.</p>
<h2 id="Enabling-NATS" class="common-anchor-header">Abilitazione di NATS<button data-href="#Enabling-NATS" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.3 offre una nuova opzione di controllo, <code translate="no">mq.type</code>, che consente agli utenti di specificare il tipo di MQ che si desidera utilizzare. Per abilitare NATS, impostate <code translate="no">mq.type=natsmq</code>. Se dopo l'avvio delle istanze di Milvus vengono visualizzati log simili a quelli riportati di seguito, significa che è stato abilitato NATS come coda di messaggi.</p>
<pre><code translate="no">[INFO] [dependency/factory.go:83] [<span class="hljs-string">&quot;try to init mq&quot;</span>] [standalone=<span class="hljs-literal">true</span>] [mqType=natsmq]
<button class="copy-code-btn"></button></code></pre>
<h2 id="Configuring-NATS-for-Milvus" class="common-anchor-header">Configurazione di NATS per Milvus<button data-href="#Configuring-NATS-for-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Le opzioni di personalizzazione di NATS includono la specificazione della porta di ascolto, della directory di archiviazione di JetStream, della dimensione massima del payload e del timeout di inizializzazione. La messa a punto di queste impostazioni garantisce prestazioni e affidabilità ottimali.</p>
<pre><code translate="no">natsmq:
server: <span class="hljs-comment"># server side configuration for natsmq.</span>
port: <span class="hljs-number">4222</span> <span class="hljs-comment"># 4222 by default, Port for nats server listening.</span>
storeDir: /var/lib/milvus/nats <span class="hljs-comment"># /var/lib/milvus/nats by default, directory to use for JetStream storage of nats.</span>
maxFileStore: <span class="hljs-number">17179869184</span> <span class="hljs-comment"># (B) 16GB by default, Maximum size of the &#x27;file&#x27; storage.</span>
maxPayload: <span class="hljs-number">8388608</span> <span class="hljs-comment"># (B) 8MB by default, Maximum number of bytes in a message payload.</span>
maxPending: <span class="hljs-number">67108864</span> <span class="hljs-comment"># (B) 64MB by default, Maximum number of bytes buffered for a connection Applies to client connections.</span>
initializeTimeout: <span class="hljs-number">4000</span> <span class="hljs-comment"># (ms) 4s by default, waiting for initialization of natsmq finished.</span>
monitor:
trace: false <span class="hljs-comment"># false by default, If true enable protocol trace log messages.</span>
debug: false <span class="hljs-comment"># false by default, If true enable debug log messages.</span>
logTime: true <span class="hljs-comment"># true by default, If set to false, log without timestamps.</span>
logFile: /tmp/milvus/logs/nats.log <span class="hljs-comment"># /tmp/milvus/logs/nats.log by default, Log file path relative to .. of milvus binary if use relative path.</span>
logSizeLimit: <span class="hljs-number">536870912</span> <span class="hljs-comment"># (B) 512MB by default, Size in bytes after the log file rolls over to a new one.</span>
retention:
maxAge: <span class="hljs-number">4320</span> <span class="hljs-comment"># (min) 3 days by default, Maximum age of any message in the P-channel.</span>
maxBytes: <span class="hljs-comment"># (B) None by default, How many bytes the single P-channel may contain. Removing oldest messages if the P-channel exceeds this size.</span>
maxMsgs: <span class="hljs-comment"># None by default, How many message the single P-channel may contain. Removing oldest messages if the P-channel exceeds this limit.</span>
<button class="copy-code-btn"></button></code></pre>
<p><strong>Nota:</strong></p>
<ul>
<li><p>È necessario specificare <code translate="no">server.port</code> per l'ascolto del server NATS. Se c'è un conflitto di porte, Milvus non può avviarsi. Impostate <code translate="no">server.port=-1</code> per selezionare casualmente una porta.</p></li>
<li><p><code translate="no">storeDir</code> specifica la directory per l'archiviazione di JetStream. Si consiglia di memorizzare la directory in un'unità a stato solido (SSD) ad alte prestazioni per migliorare la velocità di lettura/scrittura di Milvus.</p></li>
<li><p><code translate="no">maxFileStore</code> imposta il limite superiore della dimensione di archiviazione di JetStream. Il superamento di questo limite impedisce la scrittura di ulteriori dati.</p></li>
<li><p><code translate="no">maxPayload</code> limita la dimensione dei singoli messaggi. Si consiglia di mantenerla al di sopra dei 5 MB per evitare che la scrittura venga rifiutata.</p></li>
<li><p><code translate="no">initializeTimeout</code>controlla il timeout di avvio del server NATS.</p></li>
<li><p><code translate="no">monitor</code> configura i registri indipendenti di NATS.</p></li>
<li><p><code translate="no">retention</code> controlla il meccanismo di conservazione dei messaggi NATS.</p></li>
</ul>
<p>Per ulteriori informazioni, consultare la <a href="https://docs.nats.io/running-a-nats-service/configuration">documentazione ufficiale di NATS</a>.</p>
<h2 id="Migrating-from-RocksMQ-to-NATS" class="common-anchor-header">Migrazione da RocksMQ a NATS<button data-href="#Migrating-from-RocksMQ-to-NATS" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>La migrazione da RocksMQ a NATS è un processo senza soluzione di continuità che prevede passaggi come l'interruzione delle operazioni di scrittura, il flussaggio dei dati, la modifica delle configurazioni e la verifica della migrazione attraverso i log di Milvus.</p>
<ol>
<li><p>Prima di iniziare la migrazione, interrompere tutte le operazioni di scrittura in Milvus.</p></li>
<li><p>Eseguire l'operazione <code translate="no">FlushALL</code> in Milvus e attendere il suo completamento. Questo passaggio assicura che tutti i dati in sospeso vengano scaricati e che il sistema sia pronto per lo spegnimento.</p></li>
<li><p>Modificare il file di configurazione di Milvus impostando <code translate="no">mq.type=natsmq</code> e regolando le opzioni pertinenti nella sezione <code translate="no">natsmq</code>.</p></li>
<li><p>Avviare Milvus 2.3.</p></li>
<li><p>Eseguire il backup e la pulizia dei dati originali memorizzati nella directory <code translate="no">rocksmq.path</code>. (Opzionale)</p></li>
</ol>
<h2 id="NATS-vs-RocksMQ-A-Performance-Showdown" class="common-anchor-header">NATS vs. RocksMQ: un confronto sulle prestazioni<button data-href="#NATS-vs-RocksMQ-A-Performance-Showdown" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="PubSub-Performance-Testing" class="common-anchor-header">Test delle prestazioni Pub/Sub</h3><ul>
<li><p><strong>Piattaforma di test:</strong> Chip M1 Pro / Memoria: 16 GB</p></li>
<li><p><strong>Scenario di test:</strong> Sottoscrizione e pubblicazione di pacchetti di dati casuali a un argomento ripetutamente fino alla ricezione dell'ultimo risultato pubblicato.</p></li>
<li><p><strong>Risultati:</strong></p>
<ul>
<li><p>Per i pacchetti di dati più piccoli (&lt; 64kb), RocksMQ supera NATS in termini di memoria, CPU e velocità di risposta.</p></li>
<li><p>Per i pacchetti di dati più grandi (&gt; 64kb), NATS supera RocksMQ, offrendo tempi di risposta molto più rapidi.</p></li>
</ul></li>
</ul>
<table>
<thead>
<tr><th>Tipo di test</th><th>MQ</th><th>numero di operazioni</th><th>costo per operazione</th><th>Costo della memoria</th><th>Tempo totale della CPU</th><th>Costo di archiviazione</th></tr>
</thead>
<tbody>
<tr><td>5MB*100 Pub/Sub</td><td>NATS</td><td>50</td><td>1,650328186 s/op</td><td>4,29 GB</td><td>85.58</td><td>25G</td></tr>
<tr><td>5MB*100 Pub/Sub</td><td>RocksMQ</td><td>50</td><td>2,475595131 s/op</td><td>1,18 GB</td><td>81.42</td><td>19G</td></tr>
<tr><td>1MB*500 Pub/Sub</td><td>NATS</td><td>50</td><td>2,248722593 s/op</td><td>2,60 GB</td><td>96.50</td><td>25G</td></tr>
<tr><td>1MB*500 Pub/Sub</td><td>RocksMQ</td><td>50</td><td>2.554614279 s/op</td><td>614,9 MB</td><td>80.19</td><td>19G</td></tr>
<tr><td>64KB*10000 Pub/Sub</td><td>NATS</td><td>50</td><td>2.133345262 s/op</td><td>3,29 GB</td><td>97.59</td><td>31G</td></tr>
<tr><td>64KB*10000 Pub/Sub</td><td>RocksMQ</td><td>50</td><td>3.253778195 s/op</td><td>331,2 MB</td><td>134.6</td><td>24G</td></tr>
<tr><td>1KB*50000 Pub/Sub</td><td>NATS</td><td>50</td><td>2.629391004 s/op</td><td>635,1 MB</td><td>179.67</td><td>2.6G</td></tr>
<tr><td>1KB*50000 Pub/Sub</td><td>RocksMQ</td><td>50</td><td>0,897638581 s/op</td><td>232,3 MB</td><td>60.42</td><td>521M</td></tr>
</tbody>
</table>
<p>Tabella 1: Risultati dei test sulle prestazioni Pub/Sub</p>
<h3 id="Milvus-Integration-Testing" class="common-anchor-header">Test di integrazione Milvus</h3><p><strong>Dimensione dei dati:</strong> 100M</p>
<p><strong>Risultato:</strong> Nei test approfonditi con un set di dati da 100 milioni di vettori, NATS ha dimostrato una minore latenza di ricerca e di interrogazione dei vettori.</p>
<table>
<thead>
<tr><th>Metriche</th><th>RocksMQ (ms)</th><th>NATS (ms)</th></tr>
</thead>
<tbody>
<tr><td>Latenza media di ricerca vettoriale</td><td>23.55</td><td>20.17</td></tr>
<tr><td>Richieste di ricerca vettoriale al secondo (RPS)</td><td>2.95</td><td>3.07</td></tr>
<tr><td>Latenza media delle query</td><td>7.2</td><td>6.74</td></tr>
<tr><td>Richieste di query al secondo (RPS)</td><td>1.47</td><td>1.54</td></tr>
</tbody>
</table>
<p>Tabella 2: Risultati del test di integrazione di Milvus con il dataset 100m</p>
<p><strong>Set di dati: &lt;100M</strong></p>
<p><strong>Risultato:</strong> Per i dataset inferiori a 100M, NATS e RocksMQ mostrano prestazioni simili.</p>
<h2 id="Conclusion-Empowering-Milvus-with-NATS-messaging" class="common-anchor-header">Conclusioni: Potenziare Milvus con la messaggistica NATS<button data-href="#Conclusion-Empowering-Milvus-with-NATS-messaging" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>L'integrazione di NATS in Milvus segna un passo significativo nell'elaborazione dei dati. Sia che si tratti di analisi in tempo reale, di applicazioni di apprendimento automatico o di qualsiasi altra impresa ad alta intensità di dati, NATS consente ai progetti di ottenere efficienza, affidabilità e velocità. Con l'evoluzione del panorama dei dati, la presenza di un sistema di messaggistica solido come NATS all'interno di Milvus garantisce una comunicazione dei dati affidabile e ad alte prestazioni.</p>


Ottimizzare la comunicazione dei dati: Milvus abbraccia la messaggistica NATS

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/What_s_New_in_Milvus_2_3_2_and_2_3_3_d3d0db03c3.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Nel panorama in continua evoluzione delle tecnologie di ricerca vettoriale, Milvus rimane all'avanguardia, spingendo i confini e stabilendo nuovi standard. Oggi siamo entusiasti di annunciare il rilascio di Milvus 2.3.2 e 2.3.3! Questi aggiornamenti apportano molte interessanti funzionalità, ottimizzazioni e miglioramenti, migliorando le prestazioni del sistema, la flessibilità e l'esperienza complessiva dell'utente.</p>
<h2 id="Support-for-Array-data-types---making-search-results-more-accurate-and-relevant" class="common-anchor-header">Supporto per i tipi di dati Array - per rendere i risultati delle ricerche più accurati e pertinenti<button data-href="#Support-for-Array-data-types---making-search-results-more-accurate-and-relevant" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>L'aggiunta del supporto per i tipi di dati Array è un miglioramento fondamentale per Milvus, in particolare negli scenari di filtraggio delle query, come intersezione e unione. Questa aggiunta garantisce risultati di ricerca non solo più accurati, ma anche più pertinenti. In termini pratici, ad esempio, nel settore dell'e-commerce, i tag dei prodotti memorizzati come array di stringhe consentono ai consumatori di eseguire ricerche avanzate, filtrando i risultati irrilevanti.</p>
<p>Per una guida approfondita sull'utilizzo dei tipi di array in Milvus, consultate la nostra <a href="https://milvus.io/docs/array_data_type.md">documentazione</a> completa.</p>
<h2 id="Support-for-complex-delete-expressions---improving-your-data-management" class="common-anchor-header">Supporto per espressioni di cancellazione complesse - per migliorare la gestione dei dati<button data-href="#Support-for-complex-delete-expressions---improving-your-data-management" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Nelle versioni precedenti, Milvus supportava le espressioni di cancellazione delle chiavi primarie, fornendo un'architettura stabile e semplificata. Con Milvus 2.3.2 o 2.3.3, gli utenti possono utilizzare espressioni di cancellazione complesse, che facilitano attività sofisticate di gestione dei dati, come la pulizia dei vecchi dati o la cancellazione dei dati in base alla conformità GDPR basata sugli ID utente.</p>
<p>Nota: assicurarsi di aver caricato le raccolte prima di utilizzare espressioni complesse. Inoltre, è importante notare che il processo di eliminazione non garantisce l'atomicità.</p>
<h2 id="TiKV-integration---scalable-metadata-storage-with-stability" class="common-anchor-header">Integrazione con TiKV - archiviazione scalabile dei metadati con stabilità<button data-href="#TiKV-integration---scalable-metadata-storage-with-stability" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>In precedenza, affidandosi a Etcd per l'archiviazione dei metadati, Milvus si è trovato di fronte a problemi di capacità limitata e di scalabilità dell'archiviazione dei metadati. Per risolvere questi problemi, Milvus ha aggiunto TiKV, un archivio di valori-chiave open-source, come ulteriore opzione per l'archiviazione dei metadati. TiKV offre una maggiore scalabilità, stabilità ed efficienza, che lo rendono una soluzione ideale per i requisiti in evoluzione di Milvus. A partire da Milvus 2.3.2, gli utenti possono passare senza problemi a TiKV per l'archiviazione dei metadati modificando la configurazione.</p>
<h2 id="Support-for-FP16-vector-type---embracing-machine-learning-efficiency" class="common-anchor-header">Supporto per il tipo di vettore FP16 - per l'efficienza dell'apprendimento automatico<button data-href="#Support-for-FP16-vector-type---embracing-machine-learning-efficiency" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.3.2 e le versioni successive supportano ora il tipo di vettore FP16 a livello di interfaccia. FP16, o virgola mobile a 16 bit, è un formato di dati ampiamente utilizzato nel deep learning e nell'apprendimento automatico, che fornisce una rappresentazione e un calcolo efficienti dei valori numerici. Il supporto completo per FP16 è in corso, ma diversi indici nel livello di indicizzazione richiedono la conversione di FP16 in FP32 durante la costruzione.</p>
<p>Nelle versioni successive di Milvus supporteremo pienamente i tipi di dati FP16, BF16 e int8. Restate sintonizzati.</p>
<h2 id="Significant-improvement-in-the-rolling-upgrade-experience---seamless-transition-for-users" class="common-anchor-header">Miglioramento significativo dell'esperienza di aggiornamento continuo - transizione senza soluzione di continuità per gli utenti<button data-href="#Significant-improvement-in-the-rolling-upgrade-experience---seamless-transition-for-users" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>L'aggiornamento continuo è una funzione fondamentale per i sistemi distribuiti, che consente di aggiornare il sistema senza interrompere i servizi aziendali o subire interruzioni. Nelle ultime versioni di Milvus, abbiamo rafforzato la funzione di aggiornamento continuo di Milvus, garantendo una transizione più snella ed efficiente per gli utenti che passano dalla versione 2.2.15 alla 2.3.3 e a tutte le versioni successive. La comunità ha anche investito in test e ottimizzazioni approfondite, riducendo l'impatto delle query durante l'aggiornamento a meno di 5 minuti, offrendo agli utenti un'esperienza senza problemi.</p>
<h2 id="Performance-optimization" class="common-anchor-header">Ottimizzazione delle prestazioni<button data-href="#Performance-optimization" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Oltre a introdurre nuove funzionalità, nelle ultime due versioni abbiamo ottimizzato in modo significativo le prestazioni di Milvus.</p>
<ul>
<li><p>Operazioni di copia dei dati ridotte al minimo per ottimizzare il caricamento dei dati.</p></li>
<li><p>Semplificazione degli inserimenti di grande capacità con la lettura batch di varchar.</p></li>
<li><p>Eliminati i controlli di offset non necessari durante l'imbottitura dei dati per migliorare le prestazioni della fase di richiamo.</p></li>
<li><p>Risolti i problemi di consumo elevato della CPU in scenari con inserimenti di dati consistenti.</p></li>
</ul>
<p>Queste ottimizzazioni contribuiscono a rendere Milvus più veloce ed efficiente. Date un'occhiata al nostro cruscotto di monitoraggio per vedere come Milvus ha migliorato le sue prestazioni.</p>
<h2 id="Incompatible-changes" class="common-anchor-header">Modifiche incompatibili<button data-href="#Incompatible-changes" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p>Eliminato definitivamente il codice relativo a TimeTravel.</p></li>
<li><p>Deprecato il supporto a MySQL come archivio di metadati.</p></li>
</ul>
<p>Per informazioni più dettagliate su tutte le nuove funzionalità e i miglioramenti, consultare le <a href="https://milvus.io/docs/release_notes.md">note di rilascio</a> di <a href="https://milvus.io/docs/release_notes.md">Milvus</a>.</p>
<h2 id="Conclusion" class="common-anchor-header">Conclusione<button data-href="#Conclusion" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Con le ultime versioni di Milvus 2.3.2 e 2.3.3, ci impegniamo a fornire una soluzione di database robusta, ricca di funzionalità e ad alte prestazioni. Esplorate queste nuove funzionalità, approfittate delle ottimizzazioni e unitevi a noi in questo viaggio entusiasmante, mentre evolviamo Milvus per soddisfare le esigenze della moderna gestione dei dati. Scaricate subito l'ultima versione e scoprite il futuro dell'archiviazione dei dati con Milvus!</p>
<h2 id="Let’s-keep-in-touch" class="common-anchor-header">Teniamoci in contatto!<button data-href="#Let’s-keep-in-touch" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Se avete domande o feedback su Milvus, iscrivetevi al nostro <a href="https://discord.com/invite/8uyFbECzPX">canale Discord</a> per confrontarvi direttamente con i nostri ingegneri e la comunità, oppure partecipate al nostro <a href="https://discord.com/invite/RjNbk8RR4f">Milvus Community Lunch and Learn</a> ogni martedì dalle 12 alle 12:30 PST. Potete anche seguirci su <a href="https://twitter.com/milvusio">Twitter</a> o <a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn</a> per le ultime notizie e gli aggiornamenti su Milvus.</p>


Rivelazione di Milvus 2.3.2 e 2.3.3: Supporto per i tipi di dati Array, cancellazione complessa, integrazione TiKV e altro ancora

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Exploring_M_Map_5086d652bd.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p><a href="https://zilliz.com/what-is-milvus">Milvus</a> è la soluzione più veloce tra i <a href="https://zilliz.com/blog/what-is-a-real-vector-database">database vettoriali</a> open-source e si rivolge agli utenti con esigenze di prestazioni elevate. Tuttavia, la diversità delle esigenze degli utenti rispecchia i dati con cui lavorano. Alcuni danno la priorità a soluzioni economiche e a un ampio spazio di archiviazione rispetto alla pura velocità. Comprendendo questo spettro di richieste, Milvus ha introdotto la funzione MMap, che ridefinisce il modo in cui gestiamo grandi volumi di dati, promettendo efficienza in termini di costi senza sacrificare la funzionalità.</p>
<h2 id="What-is-MMap" class="common-anchor-header">Che cos'è MMap?<button data-href="#What-is-MMap" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>MMap, abbreviazione di memory-mapped file, colma il divario tra file e memoria nei sistemi operativi. Questa tecnologia consente a Milvus di mappare file di grandi dimensioni direttamente nello spazio di memoria del sistema, trasformando i file in blocchi di memoria contigui. Questa integrazione elimina la necessità di operazioni esplicite di lettura o scrittura, cambiando radicalmente il modo in cui Milvus gestisce i dati. Garantisce un accesso continuo e un'archiviazione efficiente per i file di grandi dimensioni o per le situazioni in cui gli utenti devono accedere ai file in modo casuale.</p>
<h2 id="Who-benefits-from-MMap" class="common-anchor-header">Chi beneficia di MMap?<button data-href="#Who-benefits-from-MMap" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>I database vettoriali richiedono una notevole capacità di memoria a causa dei requisiti di archiviazione dei dati vettoriali. Con la funzione MMap, l'elaborazione di più dati in una memoria limitata diventa una realtà. Tuttavia, questa maggiore capacità ha un costo in termini di prestazioni. Il sistema gestisce in modo intelligente la memoria, eliminando alcuni dati in base al carico e all'utilizzo. Questo svuotamento permette a Milvus di elaborare più dati con la stessa capacità di memoria.</p>
<p>Durante i nostri test, abbiamo osservato che con una memoria ampia, tutti i dati risiedono in memoria dopo un periodo di riscaldamento, preservando le prestazioni del sistema. Tuttavia, con l'aumento del volume dei dati, le prestazioni diminuiscono gradualmente. <strong>Pertanto, consigliamo la funzione MMap agli utenti meno sensibili alle fluttuazioni delle prestazioni.</strong></p>
<h2 id="Enabling-MMap-in-Milvus-a-simple-configuration" class="common-anchor-header">Abilitazione di MMap in Milvus: una semplice configurazione<button data-href="#Enabling-MMap-in-Milvus-a-simple-configuration" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>L'abilitazione di MMap in Milvus è molto semplice. È sufficiente modificare il file <code translate="no">milvus.yaml</code>: aggiungere la voce <code translate="no">mmapDirPath</code> alla configurazione <code translate="no">queryNode</code> e impostare come valore un percorso valido.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/enabling_mmap_a2df88276b.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<h2 id="Striking-the-balance-performance-storage-and-system-limits" class="common-anchor-header">Trovare l'equilibrio: prestazioni, memoria e limiti del sistema<button data-href="#Striking-the-balance-performance-storage-and-system-limits" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>I modelli di accesso ai dati hanno un impatto significativo sulle prestazioni. La funzione MMap di Milvus ottimizza l'accesso ai dati in base alla localizzazione. MMap consente a Milvus di scrivere dati scalari direttamente sul disco per i segmenti di dati ad accesso sequenziale. I dati di lunghezza variabile, come le stringhe, vengono appiattiti e indicizzati utilizzando un array di offset in memoria. Questo approccio garantisce la localizzazione dell'accesso ai dati ed elimina l'overhead della memorizzazione separata di ogni dato a lunghezza variabile. Le ottimizzazioni per gli indici vettoriali sono meticolose. MMap viene impiegato in modo selettivo per i dati vettoriali, mantenendo in memoria gli elenchi di adiacenza e conservando una quantità significativa di memoria senza compromettere le prestazioni.</p>
<p>Inoltre, MMap massimizza l'elaborazione dei dati riducendo al minimo l'utilizzo della memoria. A differenza delle precedenti versioni di Milvus, in cui QueryNode copiava interi insiemi di dati, MMap adotta un processo di streaming semplificato e privo di copie durante lo sviluppo. Questa ottimizzazione riduce drasticamente l'overhead di memoria.</p>
<p><strong>I risultati dei nostri test interni dimostrano che Milvus è in grado di gestire in modo efficiente un volume di dati doppio quando si attiva MMap.</strong></p>
<h2 id="The-road-ahead-continuous-innovation-and-user-centric-enhancements" class="common-anchor-header">La strada da percorrere: innovazione continua e miglioramenti incentrati sull'utente<button data-href="#The-road-ahead-continuous-innovation-and-user-centric-enhancements" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Mentre la funzione MMap è in fase beta, il team di Milvus è impegnato in un continuo miglioramento. I futuri aggiornamenti perfezioneranno l'utilizzo della memoria del sistema, consentendo a Milvus di supportare volumi di dati ancora più ampi su un singolo nodo. Gli utenti possono prevedere un controllo più granulare sulla funzione MMap, consentendo modifiche dinamiche alle collezioni e modalità avanzate di caricamento dei campi. Questi miglioramenti offrono una flessibilità senza precedenti, consentendo agli utenti di adattare le proprie strategie di elaborazione dei dati a requisiti specifici.</p>
<h2 id="Conclusion-redefining-data-processing-excellence-with-Milvus-MMap" class="common-anchor-header">Conclusione: ridefinire l'eccellenza nell'elaborazione dei dati con Milvus MMap<button data-href="#Conclusion-redefining-data-processing-excellence-with-Milvus-MMap" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>La funzione MMap di Milvus 2.3 segna un salto significativo nella tecnologia di elaborazione dei dati. Trovando un delicato equilibrio tra prestazioni, costi e limiti di sistema, Milvus consente agli utenti di gestire grandi quantità di dati in modo efficiente ed economico. Milvus continua a evolversi e rimane all'avanguardia delle soluzioni innovative, ridefinendo i confini di ciò che è possibile ottenere nella gestione dei dati.</p>
<p>Rimanete sintonizzati per ulteriori sviluppi rivoluzionari, mentre Milvus continua il suo viaggio verso l'eccellenza nell'elaborazione dei dati.</p>


Milvus ha presentato MMap per una gestione dei dati ridefinita e una maggiore capacità di archiviazione

Confronto tra database vettoriali, librerie di ricerca vettoriale e plugin di ricerca vettoriale

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Ingesting_Chaos_20231017_110103_54fe2009cb.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>I dati vengono generati più velocemente che mai, in ogni forma immaginabile. Questi dati sono la benzina che alimenterà una nuova ondata di applicazioni di intelligenza artificiale, ma questi motori di miglioramento della produttività devono essere aiutati a ingerire questo carburante. L'ampia gamma di scenari e casi limite che circondano i dati non strutturati ne rende difficile l'utilizzo nei sistemi di intelligenza artificiale di produzione.</p>
<p>Per cominciare, esiste un gran numero di fonti di dati. Queste esportano i dati in vari formati di file, ognuno con le sue eccentricità. Ad esempio, il modo in cui si elabora un PDF varia notevolmente a seconda della sua provenienza. L'acquisizione di un PDF per un caso di contenzioso sui titoli si concentrerà probabilmente sui dati testuali. Al contrario, le specifiche di progettazione di un sistema per un ingegnere missilistico saranno piene di diagrammi che richiedono un'elaborazione visiva. La mancanza di uno schema definito nei dati non strutturati aggiunge ulteriore complessità. Anche quando la sfida dell'elaborazione dei dati è superata, rimane il problema di ingerire i dati su scala. I file possono avere dimensioni molto diverse, il che cambia il modo in cui vengono elaborati. È possibile elaborare rapidamente un upload di 1 MB su un'API via HTTP, ma la lettura di decine di GB da un singolo file richiede lo streaming e un worker dedicato.</p>
<p>Il superamento di queste sfide tradizionali dell'ingegneria dei dati è una questione di principio per la connessione dei dati grezzi agli <a href="https://zilliz.com/glossary/large-language-models-(llms)">LLM</a> tramite <a href="https://zilliz.com/learn/what-is-vector-database">database vettoriali</a> come <a href="https://github.com/milvus-io/milvus">Milvus</a>. Tuttavia, i casi d'uso emergenti, come l'esecuzione di ricerche di similarità semantica con l'aiuto di un database vettoriale, richiedono nuove fasi di elaborazione, come la suddivisione dei dati di origine, l'orchestrazione dei metadati per le ricerche ibride, la scelta del modello di incorporazione vettoriale più adatto e la messa a punto dei parametri di ricerca per determinare quali dati fornire all'LLM. Questi flussi di lavoro sono così nuovi che non esistono best practice consolidate da seguire per gli sviluppatori. Al contrario, essi devono sperimentare per trovare la configurazione e il caso d'uso corretti per i loro dati. Per accelerare questo processo, l'uso di una pipeline di incorporazione vettoriale per gestire l'ingestione dei dati nel database vettoriale è prezioso.</p>
<p>Una pipeline di incorporazione vettoriale come <a href="https://github.com/dgarnitz/vectorflow">VectorFlow</a> collega i dati grezzi al database vettoriale, compresi chunking, orchestrazione dei metadati, incorporazione e caricamento. VectorFlow consente ai team di ingegneri di concentrarsi sulla logica dell'applicazione principale, sperimentando i diversi parametri di recupero generati dal modello di embedding, la strategia di chunking, i campi dei metadati e gli aspetti della ricerca per vedere cosa funziona meglio.</p>
<p>Nel nostro lavoro di assistenza ai team di ingegneri per il passaggio dei loro sistemi di <a href="https://zilliz.com/use-cases/llm-retrieval-augmented-generation">retrieval augmented generation (RAG)</a> dal prototipo alla produzione, abbiamo osservato che il seguente approccio è efficace per testare i diversi parametri di una pipeline di ricerca RAG:</p>
<ol>
<li>Utilizzare un piccolo insieme di dati con cui si ha familiarità per la velocità di iterazione, ad esempio alcuni PDF in cui sono presenti parti rilevanti per le query di ricerca.</li>
<li>Creare un insieme standard di domande e risposte su quel sottoinsieme di dati. Ad esempio, dopo aver letto i PDF, scrivete un elenco di domande e chiedete al vostro team di concordare le risposte.</li>
<li>Creare un sistema di valutazione automatizzato che attribuisca un punteggio al rendimento del reperimento per ogni domanda. Un modo per farlo è quello di prendere la risposta dal sistema RAG e farla passare di nuovo attraverso il LLM con una richiesta che chiede se questo risultato RAG risponde alla domanda data la risposta corretta. La risposta dovrebbe essere un "sì" o un "no". Ad esempio, se i documenti contengono 25 domande e il sistema ne risolve 20, è possibile utilizzare questo dato per effettuare un benchmark rispetto ad altri approcci.</li>
<li>Assicurarsi di utilizzare per la valutazione un LLM diverso da quello utilizzato per codificare le incorporazioni vettoriali memorizzate nel database. L'LLM di valutazione è tipicamente un decodificatore di un modello come il GPT-4. Una cosa da ricordare è il costo di queste valutazioni quando vengono eseguite ripetutamente. Modelli open-source come Llama2 70B o Deci AI LLM 6B, che possono essere eseguiti su una singola GPU più piccola, hanno più o meno le stesse prestazioni a una frazione del costo.</li>
<li>Eseguite ogni test più volte e fate una media dei punteggi per attenuare la stocasticità dell'LLM.</li>
</ol>
<p>Mantenendo costanti tutte le opzioni tranne una, è possibile determinare rapidamente quali parametri funzionano meglio per il proprio caso d'uso. Una pipeline di incorporazione vettoriale come VectorFlow semplifica particolarmente il processo di ingestione, dove è possibile provare rapidamente diverse strategie di chunking, lunghezze di chunk, sovrapposizioni di chunk e modelli di incorporazione open-source per vedere quale porta ai risultati migliori. Questo è particolarmente utile quando il set di dati ha diversi tipi di file e fonti di dati che richiedono una logica personalizzata.</p>
<p>Una volta che il team sa cosa funziona per il proprio caso d'uso, la pipeline di incorporazione vettoriale consente di passare rapidamente alla produzione senza dover riprogettare il sistema per tenere conto di aspetti quali l'affidabilità e il monitoraggio. Grazie a tecnologie come VectorFlow e <a href="https://zilliz.com/what-is-milvus">Milvus</a>, che sono open-source e indipendenti dalla piattaforma, il team può eseguire test efficienti in ambienti diversi, rispettando i requisiti di privacy e sicurezza.</p>


Ingerire il caos: Le MLOP dietro la gestione affidabile dei dati non strutturati su scala per RAG

Perché e quando è necessario un database vettoriale ad hoc?

Presentazione di Milvus 2.3: una release fondamentale che offre il supporto per GPU, Arm64, CDC e molte altre caratteristiche molto attese.

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/What_s_New_in_2_2_12_20230720_143424_7d19280738.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Siamo entusiasti di annunciare l'ultimo rilascio di Milvus 2.2.12. Questo aggiornamento include numerose nuove funzionalità, come il supporto per l'API RESTful, la funzione <code translate="no">json_contains</code> e il recupero di vettori durante le ricerche di RNA, in risposta al feedback degli utenti. Abbiamo anche semplificato l'esperienza dell'utente, migliorato la velocità di ricerca dei vettori e risolto molti problemi. Scopriamo cosa possiamo aspettarci da Milvus 2.2.12.</p>
<h2 id="Support-for-RESTful-API" class="common-anchor-header">Supporto per API RESTful<button data-href="#Support-for-RESTful-API" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.2.12 supporta ora l'API RESTful, che consente agli utenti di accedere a Milvus senza installare un client, rendendo le operazioni client-server semplici. Inoltre, la distribuzione di Milvus è diventata più comoda perché l'SDK Milvus e l'API RESTful condividono lo stesso numero di porta.</p>
<p><strong>Nota</strong>: si consiglia ancora di utilizzare l'SDK per distribuire Milvus per operazioni avanzate o se l'azienda è sensibile alla latenza.</p>
<h2 id="Vector-retrieval-during-ANN-searches" class="common-anchor-header">Recupero dei vettori durante le ricerche ANN<button data-href="#Vector-retrieval-during-ANN-searches" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Nelle versioni precedenti, Milvus non consentiva il recupero dei vettori durante le ricerche ANN (approximate nearest neighbor) per dare priorità alle prestazioni e all'utilizzo della memoria. Di conseguenza, il recupero dei vettori grezzi doveva essere suddiviso in due fasi: l'esecuzione della ricerca ANN e la successiva interrogazione dei vettori grezzi in base ai loro ID. Questo approccio aumentava i costi di sviluppo e rendeva più difficile la distribuzione e l'adozione di Milvus da parte degli utenti.</p>
<p>Con Milvus 2.2.12, gli utenti possono recuperare i vettori grezzi durante le ricerche ANN impostando il campo vettoriale come campo di output e interrogando le collezioni indicizzate HNSW, DiskANN o IVF-FLAT. Inoltre, gli utenti possono aspettarsi una velocità di recupero dei vettori molto più elevata.</p>
<h2 id="Support-for-operations-on-JSON-arrays" class="common-anchor-header">Supporto per operazioni su array JSON<button data-href="#Support-for-operations-on-JSON-arrays" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>In Milvus 2.2.8 abbiamo recentemente aggiunto il supporto per JSON. Da allora, gli utenti hanno inviato numerose richieste per supportare ulteriori operazioni su array JSON, come inclusione, esclusione, intersezione, unione, differenza e altro ancora. In Milvus 2.2.12, abbiamo dato priorità al supporto della funzione <code translate="no">json_contains</code> per abilitare l'operazione di inclusione. Continueremo ad aggiungere il supporto per altri operatori nelle versioni future.</p>
<h2 id="Enhancements-and-bug-fixes" class="common-anchor-header">Miglioramenti e correzioni di bug<button data-href="#Enhancements-and-bug-fixes" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Oltre all'introduzione di nuove funzioni, Milvus 2.2.12 ha migliorato le prestazioni della ricerca vettoriale con un overhead ridotto, rendendo più facile la gestione di ricerche topk estese. Inoltre, migliora le prestazioni di scrittura in situazioni di partizione abilitata e multipartizione e ottimizza l'uso della CPU per le macchine di grandi dimensioni. Questo aggiornamento risolve diversi problemi: uso eccessivo del disco, compattazione bloccata, cancellazioni infrequenti di dati e fallimenti di inserimento in blocco. Per ulteriori informazioni, consultare le <a href="https://milvus.io/docs/release_notes.md#2212">Note di rilascio</a> di <a href="https://milvus.io/docs/release_notes.md#2212">Milvus 2.2.12</a>.</p>
<h2 id="Lets-keep-in-touch" class="common-anchor-header">Teniamoci in contatto!<button data-href="#Lets-keep-in-touch" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Se avete domande o feedback su Milvus, non esitate a contattarci tramite <a href="https://twitter.com/milvusio">Twitter</a> o <a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn</a>. Siete anche invitati a unirvi al nostro <a href="https://milvus.io/slack/">canale Slack</a> per chiacchierare direttamente con i nostri ingegneri e con la comunità, oppure a visitare il nostro <a href="https://us02web.zoom.us/meeting/register/tZ0pcO6vrzsuEtVAuGTpNdb6lGnsPBzGfQ1T#/registration">orario d'ufficio del martedì</a>!</p>


Milvus 2.2.12: accesso più semplice, velocità di ricerca dei vettori e migliore esperienza dell'utente

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/What_s_New_in_Milvus_2_2_10_and_2_2_11_5018946465.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Salve, fan di Milvus! Siamo lieti di annunciare che abbiamo appena rilasciato Milvus 2.2.10 e 2.2.11, due aggiornamenti minori incentrati principalmente sulla correzione di bug e sul miglioramento delle prestazioni generali. Con questi due aggiornamenti potete aspettarvi un sistema più stabile e una migliore esperienza d'uso. Diamo una rapida occhiata alle novità di queste due versioni.</p>
<h2 id="Milvus-2210" class="common-anchor-header">Milvus 2.2.10<button data-href="#Milvus-2210" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.2.10 ha risolto alcuni crash di sistema, accelerato il caricamento e l'indicizzazione, ridotto l'utilizzo della memoria nei nodi dati e apportato molti altri miglioramenti. Di seguito sono riportate alcune modifiche degne di nota:</p>
<ul>
<li>Sostituito il vecchio scrittore di payload CGO con uno nuovo scritto in puro Go, riducendo l'utilizzo di memoria nei nodi dati.</li>
<li>Aggiunto <code translate="no">go-api/v2</code> al file <code translate="no">milvus-proto</code> per evitare confusione con le diverse versioni di <code translate="no">milvus-proto</code>.</li>
<li>Aggiornato Gin dalla versione 1.9.0 alla 1.9.1 per risolvere un bug nella funzione <code translate="no">Context.FileAttachment</code>.</li>
<li>Aggiunto il controllo degli accessi basato sui ruoli (RBAC) per le API FlushAll e Database.</li>
<li>Corretto un arresto casuale causato dall'SDK AWS S3.</li>
<li>Migliorata la velocità di caricamento e indicizzazione.</li>
</ul>
<p>Per maggiori dettagli, consultare le <a href="https://milvus.io/docs/release_notes.md#2210">note di rilascio di Milvus 2.2.10</a>.</p>
<h2 id="Milvus-2211" class="common-anchor-header">Milvus 2.2.11<button data-href="#Milvus-2211" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.2.11 ha risolto diversi problemi per migliorare la stabilità del sistema. Ha inoltre migliorato le prestazioni in termini di monitoraggio, registrazione, limitazione della velocità e intercettazione delle richieste cross-cluster. Di seguito sono riportati i punti salienti di questo aggiornamento.</p>
<ul>
<li>Aggiunto un intercettore al server Milvus GRPC per prevenire eventuali problemi di routing cross-cluster.</li>
<li>Aggiunti codici di errore al gestore dei chunk di Milvus per facilitare la diagnosi e la correzione degli errori.</li>
<li>Utilizzato un pool di coroutine singleton per evitare lo spreco di coroutine e massimizzare l'uso delle risorse.</li>
<li>Ridotto l'uso del disco per RocksMq a un decimo del suo livello originale abilitando la compressione zstd.</li>
<li>Corretto il panico occasionale di QueryNode durante il caricamento.</li>
<li>È stato corretto il problema del throttling delle richieste di lettura, causato da un calcolo errato della lunghezza della coda per due volte.</li>
<li>Corretti i problemi con GetObject che restituisce valori nulli su MacOS.</li>
<li>Corretto un arresto anomalo causato dall'uso non corretto del modificatore noexcept.</li>
</ul>
<p>Per maggiori dettagli, consultare le <a href="https://milvus.io/docs/release_notes.md#2211">note di rilascio di Milvus 2.2.11</a>.</p>
<h2 id="Let’s-keep-in-touch" class="common-anchor-header">Teniamoci in contatto!<button data-href="#Let’s-keep-in-touch" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Se avete domande o feedback su Milvus, non esitate a contattarci tramite <a href="https://twitter.com/milvusio">Twitter</a> o <a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn</a>. Siete anche invitati a unirvi al nostro <a href="https://milvus.io/slack/">canale Slack</a> per chiacchierare direttamente con i nostri ingegneri e con la comunità, oppure a visitare il nostro <a href="https://us02web.zoom.us/meeting/register/tZ0pcO6vrzsuEtVAuGTpNdb6lGnsPBzGfQ1T#/registration">orario d'ufficio del martedì</a>!</p>


Milvus 2.2.10 & 2.2.11 Enhanced System Stability and User Experience

Milvus 2.2.10 e 2.2.11: aggiornamenti minori per migliorare la stabilità del sistema e l'esperienza dell'utente

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Milvus_hit_20_000_stars_284ed694d2.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Tiriamo fuori i coriandoli e festeggiamo!</p>
<p><a href="https://github.com/milvus-io/milvus">Milvus</a> ha raggiunto una pietra miliare stellare, superando le 20.000 stelle su GitHub! Non avremmo potuto raggiungerlo senza il sostegno e il feedback dei nostri fedeli fan e membri della comunità. Grazie di cuore.</p>
<p>Per condividere la gioia, abbiamo messo insieme un elenco di argomenti critici della più ampia comunità di Milvus, tra cui:</p>
<ul>
<li>Sei progetti di rilievo che utilizzano Milvus</li>
<li>Cinque integrazioni con altri progetti open-source</li>
<li>Cinque casi d'uso noti di Milvus</li>
<li>Cinque eccellenti funzionalità in arrivo</li>
</ul>
<h2 id="Six-LLM-projects-that-utilize-Milvus" class="common-anchor-header">Sei progetti LLM che utilizzano Milvus<button data-href="#Six-LLM-projects-that-utilize-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="PaperGPT" class="common-anchor-header">PaperGPT</h3><p><a href="http://papergpt.bio">PaperGPT</a> è uno strumento di ricerca per documenti biomedici alimentato da un LLM e da un database vettoriale. Sfrutta il database PubMed e tecnologie come SentenceTransformers e Zilliz Cloud per una ricerca efficiente.</p>
<h3 id="NoticeAI" class="common-anchor-header">NoticeAI</h3><p>NoticeAI aiuta le aziende ad automatizzare il processo di assistenza ai clienti. Utilizza Milvus e LangChain per tracciare le domande dell'assistenza clienti, aggiornare la base di conoscenze e decidere se coinvolgere o meno un umano.</p>
<h3 id="Searchanythingio" class="common-anchor-header">Cerca.anything.io</h3><p><a href="http://search.anything.io">Search Anything</a> sfrutta LLM e Milvus per fornire una migliore esperienza di ricerca. Prende una descrizione testuale da un utente e trova le immagini corrispondenti sul web.</p>
<h3 id="IkuStudies" class="common-anchor-header">IkuStudies</h3><p><a href="https://ikustudies.xyz/">IkuStudies</a> è un progetto che permette agli utenti di cercare omofoni in 28 lingue. Utilizza Milvus come archivio vettoriale per trovare le somiglianze tra le parole.</p>
<h3 id="AssistLink-AI" class="common-anchor-header">AssistLink AI</h3><p><a href="https://www.linkedin.com/company/assistlink/about/">AssistLink AI</a> è una startup con sede a Seattle che utilizza Milvus e LLaMa 65bn per memorizzare variabili per un sistema di assistenza governativa.</p>
<h3 id="OSS-Chat" class="common-anchor-header">Chat OSS</h3><p><a href="http://osschat.io">OSS Chat</a> consente di chattare con software open-source. Utilizza Milvus per iniettare la conoscenza del dominio sui progetti open-source e utilizza <a href="https://zilliz.com/blog/Caching-LLM-Queries-for-performance-improvements">GPTCache</a> per memorizzare le domande più frequenti e ridurre i costi di LLaMa.</p>
<h2 id="Five-AI-projects-Milvus-integrates-with" class="common-anchor-header">Cinque progetti di AI con cui Milvus si integra<button data-href="#Five-AI-projects-Milvus-integrates-with" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="LlamaIndex" class="common-anchor-header">LlamaIndex</h3><p><a href="https://github.com/jerryjliu/llama_index">LlamaIndex</a> è un framework di dati per applicazioni LLM che fornisce connettori di dati per collegare fonti di dati esterne con un LLM. LlamaIndex consente di iniettare i propri dati privati o le conoscenze specifiche del dominio direttamente nell'applicazione LLM.</p>
<h3 id="LangChainLangChainJS" class="common-anchor-header">LangChain/LangChainJS</h3><p><a href="https://github.com/hwchase17/langchain">LangChain</a> è una libreria progettata per accelerare lo sviluppo di applicazioni LLM, offrendo funzionalità quali la gestione dei prompt, le catene, la generazione ad incremento di dati, la memoria e altro ancora.</p>
<h3 id="ChatGPT-Retrieval-Plugin" class="common-anchor-header">Plugin di recupero ChatGPT</h3><p>Il <a href="https://github.com/openai/chatgpt-retrieval-plugin">ChatGPT Retrieval Plugin</a> di OpenAI consente la ricerca semantica e il recupero di documenti personali o organizzativi utilizzando query in linguaggio naturale. Gli sviluppatori possono distribuire il loro plugin e registrarlo con ChatGPT.</p>
<h3 id="Haystack" class="common-anchor-header">Haystack</h3><p><a href="https://github.com/deepset-ai/haystack">Haystack</a> è un framework NLP end-to-end per la creazione di applicazioni NLP basate su LLM, modelli di trasformazione, ricerca vettoriale e altre tecnologie per compiti quali la risposta a domande, la ricerca semantica di documenti e la costruzione di processi decisionali complessi.</p>
<h3 id="GPTCache" class="common-anchor-header">GPTCache</h3><p>Le chiamate alle API LLM possono essere sia costose che lente. <a href="https://github.com/zilliztech/gptcache">GPTCache</a> può ovviare a entrambi i problemi fornendo una cache semantica per le query LLM.</p>
<h2 id="Five-well-known-use-cases-of-Milvus" class="common-anchor-header">Cinque casi d'uso noti di Milvus<button data-href="#Five-well-known-use-cases-of-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="LLM-augmentation" class="common-anchor-header">Aumento di LLM</h3><p>Gli LLM o le applicazioni LLM hanno tre problemi principali: mancanza di dati specifici del dominio, dati obsoleti e costi elevati. Milvus può risolvere tutti e tre questi problemi, consentendo di iniettare dati esterni e di fungere da cache per le interrogazioni più frequenti.</p>
<h3 id="Anomaly-detection" class="common-anchor-header">Rilevamento delle anomalie</h3><p>I dati anomali sono significativamente diversi dagli altri in un determinato set. I database vettoriali come Milvus sono utili per condurre ricerche di similarità, facilitando l'identificazione di tali dati anomali.</p>
<h3 id="Recommender-systems" class="common-anchor-header">Sistemi di raccomandazione</h3><p>Un sistema di raccomandazione consiglia alle persone articoli simili a quelli che già apprezzano. È un classico esempio di Milvus che accelera questo processo eseguendo ricerche di similarità.</p>
<h3 id="Semantic-search" class="common-anchor-header">Ricerca semantica</h3><p>La ricerca per parole chiave non è sufficiente quando si vuole cercare nel testo cose con significati simili. È qui che entra in gioco la ricerca semantica e che Milvus può aiutare. Milvus permette di confrontare le intenzioni che stanno dietro al testo, non solo le parole in sé.</p>
<h3 id="Automatic-data-labeling" class="common-anchor-header">Etichettatura automatica dei dati</h3><p>Avete dati etichettati e avete bisogno di contrassegnarne altri? Memorizzando le rappresentazioni vettoriali in Milvus, è possibile rilevare automaticamente i punti più simili nei nuovi dati e applicare le etichette appropriate.</p>
<h2 id="Five-awesome-upcoming-features" class="common-anchor-header">Cinque fantastiche funzionalità in arrivo<button data-href="#Five-awesome-upcoming-features" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="NVIDIA-GPU-support" class="common-anchor-header">Supporto GPU NVIDIA</h3><p>Il supporto per le GPU è in arrivo in Milvus 2.3 ed è già disponibile nella <a href="https://github.com/milvus-io/milvus/releases/tag/v2.3.0-beta">versione beta</a> più <a href="https://github.com/milvus-io/milvus/releases/tag/v2.3.0-beta">recente</a>!</p>
<h3 id="Delete-by-Expression" class="common-anchor-header">Eliminazione per espressione</h3><p>In Milvus è già possibile eseguire filtri scalari/metadati tramite espressioni booleane. È in arrivo anche la funzione Cancella per espressione.</p>
<h3 id="Change-Data-Capture-CDC" class="common-anchor-header">Cattura dei dati di modifica (CDC)</h3><p>Il CDC è una tecnica per catturare e tenere traccia delle modifiche apportate all'istanza di Milvus in tempo reale.</p>
<h3 id="Range-Search" class="common-anchor-header">Ricerca per intervallo</h3><p>La ricerca per intervallo, nota in alcuni ambienti anche come ricerca epsilon, consente di trovare tutti i vettori entro una certa distanza dal vettore interrogato.</p>
<h3 id="Fast-Scan" class="common-anchor-header">Scansione veloce</h3><p>La quantizzazione a 4 bit e il FastScan sono stati aggiunti di recente a FAISS e arriveranno anche in Milvus.</p>
<h2 id="Looking-forward-to-Milvus-reaching-even-greater-heights" class="common-anchor-header">Non vediamo l'ora che Milvus raggiunga vette ancora più alte!<button data-href="#Looking-forward-to-Milvus-reaching-even-greater-heights" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Desideriamo ringraziare di cuore i nostri utenti, i membri della comunità, i partner dell'ecosistema e gli osservatori delle stelle per il loro continuo supporto, feedback e contributo. Non vediamo l'ora che Milvus raggiunga vette ancora più alte!</p>


Una pietra miliare stellare: Milvus supera le 20.000 stelle su GitHub

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Conversational_Memory_in_Lang_Chain_7c1b4b7ba9.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>LangChain è un framework robusto per la costruzione di applicazioni LLM. Tuttavia, questa potenza comporta una certa complessità. LangChain offre molti modi per sollecitare un LLM e funzioni essenziali come la memoria conversazionale. La memoria conversazionale offre all'LLM un contesto per ricordare le vostre conversazioni.</p>
<p>In questo post vediamo come utilizzare la memoria conversazionale con LangChain e Milvus. Per seguirci, è necessario che <code translate="no">pip</code> installi quattro librerie e una chiave API OpenAI. Le quattro librerie necessarie possono essere installate eseguendo <code translate="no">pip install langchain milvus pymilvus python-dotenv</code>. Oppure eseguendo il primo blocco del <a href="https://colab.research.google.com/drive/11p-u8nKqrQYePlXR0HiSrUapmKLD0QN9?usp=sharing">Quaderno di CoLab</a> per questo articolo.</p>
<p>In questo post, impareremo a conoscere:</p>
<ul>
<li>Memoria conversazionale con LangChain</li>
<li>Impostazione del contesto di conversazione</li>
<li>Prompt della memoria conversazionale con LangChain</li>
<li>Riassunto della memoria conversazionale con LangChain</li>
</ul>
<h2 id="Conversational-Memory-with-LangChain" class="common-anchor-header">Memoria conversazionale con LangChain<button data-href="#Conversational-Memory-with-LangChain" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Nello stato predefinito, si interagisce con un LLM attraverso singoli prompt. L'aggiunta della memoria per il contesto, o "memoria conversazionale", significa che non è più necessario inviare tutto attraverso un solo prompt. LangChain offre la possibilità di memorizzare le conversazioni già avvenute con un LLM per recuperarle in seguito.</p>
<p>Per impostare una memoria conversazionale persistente con un archivio vettoriale, abbiamo bisogno di sei moduli di LangChain. Per prima cosa, dobbiamo procurarci gli LLM <code translate="no">OpenAIEmbeddings</code> e <code translate="no">OpenAI</code>. Abbiamo anche bisogno di <code translate="no">VectorStoreRetrieverMemory</code> e della versione LangChain di <code translate="no">Milvus</code> per utilizzare un backend di memoria vettoriale. Poi abbiamo bisogno di <code translate="no">ConversationChain</code> e <code translate="no">PromptTemplate</code> per salvare la nostra conversazione e interrogarla.</p>
<p>Le librerie <code translate="no">os</code>, <code translate="no">dotenv</code> e <code translate="no">openai</code> servono principalmente per scopi operativi. Le usiamo per caricare e utilizzare la chiave API di OpenAI. L'ultima fase di configurazione consiste nell'avviare un'istanza locale <a href="https://milvus.io/docs/milvus_lite.md">di Milvus Lite</a>. Per farlo, utilizziamo la libreria <code translate="no">default_server</code> del pacchetto Milvus Python.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> langchain.<span class="hljs-property">embeddings</span>.<span class="hljs-property">openai</span> <span class="hljs-keyword">import</span> <span class="hljs-title class_">OpenAIEmbeddings</span>
<span class="hljs-keyword">from</span> langchain.<span class="hljs-property">llms</span> <span class="hljs-keyword">import</span> <span class="hljs-title class_">OpenAI</span>
<span class="hljs-keyword">from</span> langchain.<span class="hljs-property">memory</span> <span class="hljs-keyword">import</span> <span class="hljs-title class_">VectorStoreRetrieverMemory</span>
<span class="hljs-keyword">from</span> langchain.<span class="hljs-property">chains</span> <span class="hljs-keyword">import</span> <span class="hljs-title class_">ConversationChain</span>
<span class="hljs-keyword">from</span> langchain.<span class="hljs-property">prompts</span> <span class="hljs-keyword">import</span> <span class="hljs-title class_">PromptTemplate</span>
<span class="hljs-keyword">from</span> langchain.<span class="hljs-property">vectorstores</span> <span class="hljs-keyword">import</span> <span class="hljs-title class_">Milvus</span>
embeddings = <span class="hljs-title class_">OpenAIEmbeddings</span>()


<span class="hljs-keyword">import</span> os
<span class="hljs-keyword">from</span> dotenv <span class="hljs-keyword">import</span> load_dotenv
<span class="hljs-keyword">import</span> openai
<span class="hljs-title function_">load_dotenv</span>()
openai.<span class="hljs-property">api_key</span> = os.<span class="hljs-title function_">getenv</span>(<span class="hljs-string">&quot;OPENAI_API_KEY&quot;</span>)


<span class="hljs-keyword">from</span> milvus <span class="hljs-keyword">import</span> default_server
default_server.<span class="hljs-title function_">start</span>()
<button class="copy-code-btn"></button></code></pre>
<h2 id="Setting-Up-Conversation-Context" class="common-anchor-header">Impostazione del contesto di conversazione<button data-href="#Setting-Up-Conversation-Context" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Ora che abbiamo impostato tutti i prerequisiti, possiamo procedere alla creazione della memoria di conversazione. Il primo passo è creare una connessione al server Milvus usando LangChain. Poi, usiamo un dizionario vuoto per creare la nostra collezione LangChain Milvus. Inoltre, si passano gli embeddings creati in precedenza e i dettagli della connessione al server Milvus Lite.</p>
<p>Per utilizzare il database vettoriale per la memoria conversazionale, dobbiamo istanziarlo come retriever. In questo caso recuperiamo solo il primo risultato, impostando <code translate="no">k=1</code>. L'ultima fase di impostazione della memoria conversazionale consiste nell'utilizzare l'oggetto <code translate="no">VectorStoreRetrieverMemory</code> come memoria conversazionale attraverso la connessione tra retriever e database vettoriale appena impostata.</p>
<p>Per utilizzare la nostra memoria conversazionale, deve avere un contesto. Diamo quindi alla memoria un contesto. Per questo esempio, forniamo cinque informazioni. Memorizziamo la mia merenda preferita (cioccolato), lo sport (nuoto), la birra (Guinness), il dolce (cheesecake) e il musicista (Taylor Swift). Ogni voce viene salvata nella memoria attraverso la funzione <code translate="no">save_context</code>.</p>
<pre><code translate="no">vectordb = Milvus.from_documents(
   {},
   embeddings,
   connection_args={<span class="hljs-string">&quot;host&quot;</span>: <span class="hljs-string">&quot;127.0.0.1&quot;</span>, <span class="hljs-string">&quot;port&quot;</span>: default_server.listen_port})
retriever = Milvus.as_retriever(vectordb, search_kwargs=<span class="hljs-built_in">dict</span>(k=<span class="hljs-number">1</span>))
memory = VectorStoreRetrieverMemory(retriever=retriever)
about_me = [
   {<span class="hljs-string">&quot;input&quot;</span>: <span class="hljs-string">&quot;My favorite snack is chocolate&quot;</span>,
    <span class="hljs-string">&quot;output&quot;</span>: <span class="hljs-string">&quot;Nice&quot;</span>},
   {<span class="hljs-string">&quot;input&quot;</span>: <span class="hljs-string">&quot;My favorite sport is swimming&quot;</span>,
    <span class="hljs-string">&quot;output&quot;</span>: <span class="hljs-string">&quot;Cool&quot;</span>},
   {<span class="hljs-string">&quot;input&quot;</span>: <span class="hljs-string">&quot;My favorite beer is Guinness&quot;</span>,
    <span class="hljs-string">&quot;output&quot;</span>: <span class="hljs-string">&quot;Great&quot;</span>},
   {<span class="hljs-string">&quot;input&quot;</span>: <span class="hljs-string">&quot;My favorite dessert is cheesecake&quot;</span>,
    <span class="hljs-string">&quot;output&quot;</span>: <span class="hljs-string">&quot;Good to know&quot;</span>},
   {<span class="hljs-string">&quot;input&quot;</span>: <span class="hljs-string">&quot;My favorite musician is Taylor Swift&quot;</span>,
    <span class="hljs-string">&quot;output&quot;</span>: <span class="hljs-string">&quot;Same&quot;</span>}
]
<span class="hljs-keyword">for</span> example <span class="hljs-keyword">in</span> about_me:
   memory.save_context({<span class="hljs-string">&quot;input&quot;</span>: example[<span class="hljs-string">&quot;input&quot;</span>]}, {<span class="hljs-string">&quot;output&quot;</span>: example[<span class="hljs-string">&quot;output&quot;</span>]})
<button class="copy-code-btn"></button></code></pre>
<h2 id="Prompting-the-Conversational-Memory-with-LangChain" class="common-anchor-header">Prompt della memoria conversazionale con LangChain<button data-href="#Prompting-the-Conversational-Memory-with-LangChain" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>È ora di vedere come utilizzare la memoria conversazionale. Iniziamo collegandoci al LLM di OpenAI attraverso LangChain. Utilizziamo una temperatura di 0 per indicare che non vogliamo che il nostro LLM sia creativo.</p>
<p>Poi creiamo un modello. Diciamo al LLM che è impegnato in una conversazione amichevole con un umano e inseriamo due variabili. La variabile <code translate="no">history</code> fornisce il contesto dalla memoria della conversazione. La variabile <code translate="no">input</code> fornisce l'input corrente. Per inserire queste variabili si utilizza l'oggetto <code translate="no">PromptTemplate</code>.</p>
<p>Utilizziamo l'oggetto <code translate="no">ConversationChain</code> per combinare il prompt, l'LLM e la memoria. Ora siamo pronti a verificare la memoria della nostra conversazione dandole alcuni prompt. Iniziamo dicendo all'LLM che il nostro nome è Gary, l'antagonista principale della serie Pokemon (tutto il resto della memoria della conversazione è un fatto che mi riguarda).</p>
<pre><code translate="no">llm = OpenAI(temperature=<span class="hljs-number">0</span>) <span class="hljs-comment"># Can be any valid LLM</span>
_DEFAULT_TEMPLATE = <span class="hljs-string">&quot;&quot;&quot;The following is a friendly conversation between a human and an AI. The AI is talkative and provides lots of specific details from its context. If the AI does not know the answer to a question, it truthfully says it does not know.


Relevant pieces of previous conversation:
{history}


(You do not need to use these pieces of information if not relevant)


Current conversation:
Human: {input}
AI:&quot;&quot;&quot;</span>
PROMPT = PromptTemplate(
   input_variables=[<span class="hljs-string">&quot;history&quot;</span>, <span class="hljs-string">&quot;input&quot;</span>], template=_DEFAULT_TEMPLATE
)
conversation_with_summary = ConversationChain(
   llm=llm,
   prompt=PROMPT,
   memory=memory,
   verbose=<span class="hljs-literal">True</span>
)
conversation_with_summary.predict(<span class="hljs-built_in">input</span>=<span class="hljs-string">&quot;Hi, my name is Gary, what&#x27;s up?&quot;</span>)
<button class="copy-code-btn"></button></code></pre>
<p>L'immagine sottostante mostra come potrebbe essere la risposta attesa dal LLM. In questo esempio, ha risposto dicendo che il suo nome è "AI".</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Conversational_Memory_in_Lang_Chain_graphics_1_2bf386d22a.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Ora proviamo a testare la memoria finora acquisita. Utilizziamo l'oggetto <code translate="no">ConversationChain</code> creato in precedenza e cerchiamo il mio musicista preferito.</p>
<pre><code translate="no">conversation_with_summary.predict(<span class="hljs-built_in">input</span>=<span class="hljs-string">&quot;who is my favorite musician?&quot;</span>)
<button class="copy-code-btn"></button></code></pre>
<p>L'immagine sottostante mostra la risposta attesa dalla Conversation Chain. Poiché abbiamo usato l'opzione verbose, ci mostra anche la conversazione pertinente. Si può notare che la risposta è che la mia artista preferita è Taylor Swift, come previsto.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Conversational_Memory_in_Lang_Chain_graphics_2_8355206f3e.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Poi, verifichiamo il mio dolce preferito, la cheesecake.</p>
<pre><code translate="no">conversation_with_summary.predict(<span class="hljs-built_in">input</span>=<span class="hljs-string">&quot;Whats my favorite dessert?&quot;</span>)
<button class="copy-code-btn"></button></code></pre>
<p>Quando chiediamo il mio dolce preferito, possiamo vedere che la Conversation Chain seleziona ancora una volta le informazioni corrette da Milvus. Trova che il mio dolce preferito è la torta al formaggio, come gli ho detto prima.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Conversational_Memory_in_Lang_Chain_graphics_3_66a5c9690f.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Ora che abbiamo confermato che possiamo interrogare le informazioni fornite in precedenza, controlliamo un'altra cosa: le informazioni fornite all'inizio della nostra conversazione. Abbiamo iniziato la conversazione dicendo all'intelligenza artificiale che ci chiamavamo Gary.</p>
<pre><code translate="no">conversation_with_summary.predict(<span class="hljs-built_in">input</span>=<span class="hljs-string">&quot;What&#x27;s my name?&quot;</span>)
<button class="copy-code-btn"></button></code></pre>
<p>La nostra verifica finale mostra che la catena di conversazione ha memorizzato la parte relativa al nostro nome nella nostra memoria vettoriale di conversazione. Il risultato è che abbiamo detto di chiamarci Gary.</p>
<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/Conversational_Memory_in_Lang_Chain_graphics_4_f446f49672.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<h2 id="LangChain-Conversational-Memory-Summary" class="common-anchor-header">Riassunto sulla memoria conversazionale di LangChain<button data-href="#LangChain-Conversational-Memory-Summary" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>In questo tutorial abbiamo imparato a usare la memoria conversazionale in LangChain. LangChain offre l'accesso a backend di vector store come Milvus per la memoria conversazionale persistente. Possiamo usare la memoria conversazionale iniettando la storia nei nostri prompt e salvando il contesto storico nell'oggetto <code translate="no">ConversationChain</code>.</p>
<p>Per questo esempio di esercitazione, abbiamo fornito alla catena di conversazione cinque informazioni su di me e abbiamo finto di essere il principale rivale dei Pokemon, Gary. Poi, abbiamo sottoposto alla Catena di Conversazione delle domande sulla conoscenza a priori che avevamo memorizzato: il mio musicista preferito e il mio dolce. La Catena ha risposto correttamente a entrambe le domande e ha visualizzato le voci pertinenti. Infine, abbiamo chiesto il nostro nome come indicato all'inizio della conversazione e ci ha risposto correttamente che avevamo detto di chiamarci "Gary".</p>


Memoria conversazionale in LangChain

<p>
  <span class="img-wrapper">
    <img translate="no" src="https://assets.zilliz.com/What_s_New_in_2_2_9_858e54a2d3.png" alt="" class="doc-image" id="" />
    <span></span>
  </span>
</p>
<p>Siamo entusiasti di annunciare l'arrivo di Milvus 2.2.9, una release molto attesa che segna una tappa significativa per il team e la comunità. Questa release offre molte caratteristiche interessanti, tra cui il tanto atteso supporto per i tipi di dati JSON, lo schema dinamico e le chiavi di partizione, garantendo un'esperienza utente ottimizzata e un flusso di lavoro di sviluppo semplificato. Inoltre, questa versione incorpora numerosi miglioramenti e correzioni di bug. Unitevi a noi nell'esplorazione di Milvus 2.2.9 e scoprite perché questa release è così entusiasmante.</p>
<h2 id="Optimized-user-experience-with-JSON-support" class="common-anchor-header">Esperienza utente ottimizzata con il supporto JSON<button data-href="#Optimized-user-experience-with-JSON-support" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus ha introdotto l'atteso supporto per il tipo di dati JSON, che consente di memorizzare senza problemi i dati JSON insieme ai metadati dei vettori nelle collezioni degli utenti. Grazie a questo miglioramento, gli utenti possono inserire in modo efficiente i dati JSON in blocco ed eseguire query e filtri avanzati in base al contenuto dei campi JSON. Inoltre, gli utenti possono sfruttare le espressioni ed eseguire operazioni su misura per i campi JSON del loro set di dati, costruire query e applicare filtri in base al contenuto e alla struttura dei campi JSON, consentendo loro di estrarre informazioni rilevanti e manipolare meglio i dati.</p>
<p>In futuro, il team di Milvus aggiungerà indici per i campi del tipo JSON, ottimizzando ulteriormente le prestazioni delle query miste scalari e vettoriali. Rimanete quindi sintonizzati per gli entusiasmanti sviluppi futuri!</p>
<h2 id="Added-flexibility-with-support-for-dynamic-schema" class="common-anchor-header">Maggiore flessibilità con il supporto di schemi dinamici<button data-href="#Added-flexibility-with-support-for-dynamic-schema" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Con il supporto per i dati JSON, Milvus 2.2.9 offre ora la funzionalità di schema dinamico attraverso un kit di sviluppo software (SDK) semplificato.</p>
<p>A partire da Milvus 2.2.9, l'SDK Milvus include un'API di alto livello che riempie automaticamente i campi dinamici nel campo JSON nascosto della raccolta, consentendo agli utenti di concentrarsi esclusivamente sui campi aziendali.</p>
<h2 id="Better-data-separation-and-enhanced-search-efficiency-with-Partition-Key" class="common-anchor-header">Migliore separazione dei dati e maggiore efficienza di ricerca con Partition Key<button data-href="#Better-data-separation-and-enhanced-search-efficiency-with-Partition-Key" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.2.9 migliora le sue capacità di suddivisione introducendo la funzione Partition Key. Essa consente di utilizzare colonne specifiche dell'utente come chiavi primarie per il partizionamento, eliminando la necessità di API aggiuntive come <code translate="no">loadPartition</code> e <code translate="no">releasePartition</code>. Questa nuova funzione elimina anche il limite del numero di partizioni, consentendo un utilizzo più efficiente delle risorse.</p>
<h2 id="Support-for-Alibaba-Cloud-OSS" class="common-anchor-header">Supporto per Alibaba Cloud OSS<button data-href="#Support-for-Alibaba-Cloud-OSS" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.2.9 supporta ora Alibaba Cloud Object Storage Service (OSS). Gli utenti di Alibaba Cloud possono configurare facilmente <code translate="no">cloudProvider</code> su Alibaba Cloud e sfruttare l'integrazione perfetta per l'archiviazione e il recupero efficiente dei dati vettoriali nel cloud.</p>
<p>Oltre alle caratteristiche già citate, Milvus 2.2.9 offre il supporto per il database in Role-Based Access Control (RBAC), introduce la gestione delle connessioni e include numerosi miglioramenti e correzioni di bug. Per ulteriori informazioni, consultare le <a href="https://milvus.io/docs/release_notes.md">note di rilascio di Milvus 2.2.9</a>.</p>
<h2 id="Let’s-keep-in-touch" class="common-anchor-header">Teniamoci in contatto!<button data-href="#Let’s-keep-in-touch" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Se avete domande o feedback su Milvus, non esitate a contattarci tramite <a href="https://twitter.com/milvusio">Twitter</a> o <a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn</a>. Siete anche invitati a unirvi al nostro <a href="https://milvus.io/slack/">canale Slack</a> per chiacchierare direttamente con i nostri ingegneri e con la comunità, oppure a visitare il nostro <a href="https://us02web.zoom.us/meeting/register/tZ0pcO6vrzsuEtVAuGTpNdb6lGnsPBzGfQ1T#/registration">orario d'ufficio del martedì</a>!</p>


Milvus 2.2.9: Una release molto attesa con un'esperienza utente ottimale

<p><strong><em>Nota importante</em></strong></p>
<p><em>Nel giugno 2024 abbiamo aggiornato Milvus Lite, consentendo agli sviluppatori di IA di creare applicazioni più velocemente e garantendo al contempo un'esperienza coerente tra le varie opzioni di distribuzione, tra cui Milvus su Kurbernetes, Docker e servizi cloud gestiti. Milvus Lite si integra anche con vari framework e tecnologie di IA, semplificando lo sviluppo di applicazioni di IA con capacità di ricerca vettoriale. Per ulteriori informazioni, consultare i seguenti riferimenti:</em></p>
<ul>
<li><p><em>Blog di lancio di Milvus Lite: h<a href="https://milvus.io/blog/introducing-milvus-lite.md">ttps://</a>milvus.io/blog/introducing-milvus-lite.md</em></p></li>
<li><p><em>Documentazione di Milvus Lite: <a href="https://milvus.io/docs/quickstart.md">https://milvus.io/docs/quickstart.md</a></em></p></li>
<li><p><em>Repository GitHub di Milvus Lite: <a href="https://github.com/milvus-io/milvus-lite">https://github.com/milvus-io/milvus-lite</a></em></p></li>
</ul>
<p><br></p>
<p><a href="https://github.com/milvus-io/milvus">Milvus</a> è un database vettoriale open-source costruito appositamente per indicizzare, memorizzare e interrogare i vettori embedding generati da reti neurali profonde e altri modelli di apprendimento automatico (ML) su miliardi di scale. È diventato una scelta popolare per molte aziende, ricercatori e sviluppatori che devono eseguire ricerche di similarità su insiemi di dati su larga scala.</p>
<p>Tuttavia, alcuni utenti potrebbero trovare la versione completa di Milvus troppo pesante o complessa. Per risolvere questo problema, <a href="https://github.com/matrixji">Bin Ji</a>, uno dei collaboratori più attivi della comunità di Milvus, ha creato <a href="https://github.com/milvus-io/milvus-lite">Milvus Lite</a>, una versione leggera di Milvus.</p>
<h2 id="What-is-Milvus-Lite" class="common-anchor-header">Che cos'è Milvus Lite?<button data-href="#What-is-Milvus-Lite" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Come già accennato, <a href="https://github.com/milvus-io/milvus-lite">Milvus Lite</a> è un'alternativa semplificata a Milvus che offre molti vantaggi e benefici.</p>
<ul>
<li>È possibile integrarlo nella propria applicazione Python senza appesantirla.</li>
<li>È autonomo e non richiede altre dipendenze, grazie alla capacità di Milvus standalone di lavorare con Etcd incorporati e storage locale.</li>
<li>È possibile importarlo come libreria Python e utilizzarlo come server standalone basato su interfaccia a riga di comando (CLI).</li>
<li>Funziona senza problemi con Google Colab e Jupyter Notebook.</li>
<li>È possibile migrare in modo sicuro il proprio lavoro e scrivere codice su altre istanze Milvus (versioni standalone, cluster e completamente gestite) senza alcun rischio di perdita di dati.</li>
</ul>
<h2 id="When-should-you-use-Milvus-Lite" class="common-anchor-header">Quando si dovrebbe usare Milvus Lite?<button data-href="#When-should-you-use-Milvus-Lite" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>In particolare, Milvus Lite è molto utile nelle seguenti situazioni:</p>
<ul>
<li>Quando si preferisce usare Milvus senza tecniche e strumenti di container come <a href="https://milvus.io/docs/install_standalone-operator.md">Milvus Operator</a>, <a href="https://milvus.io/docs/install_standalone-helm.md">Helm</a> o <a href="https://milvus.io/docs/install_standalone-docker.md">Docker Compose</a>.</li>
<li>Quando non sono necessarie macchine virtuali o container per utilizzare Milvus.</li>
<li>Quando si desidera incorporare le funzionalità di Milvus nelle proprie applicazioni Python.</li>
<li>Quando si vuole avviare un'istanza di Milvus in Colab o Notebook per un rapido esperimento.</li>
</ul>
<p><strong>Nota</strong>: si sconsiglia l'uso di Milvus Lite in un ambiente di produzione o se si richiedono prestazioni elevate, forte disponibilità o alta scalabilità. Per la produzione, invece, si consiglia di utilizzare i <a href="https://github.com/milvus-io/milvus">cluster Milvus</a> o <a href="https://zilliz.com/cloud">Milvus completamente gestito su Zilliz Cloud</a>.</p>
<h2 id="How-to-get-started-with-Milvus-Lite" class="common-anchor-header">Come iniziare con Milvus Lite?<button data-href="#How-to-get-started-with-Milvus-Lite" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Vediamo ora come installare, configurare e utilizzare Milvus Lite.</p>
<h3 id="Prerequisites" class="common-anchor-header">Prerequisiti</h3><p>Per utilizzare Milvus Lite, assicuratevi di aver soddisfatto i seguenti requisiti:</p>
<ul>
<li>Installare Python 3.7 o una versione successiva.</li>
<li>Utilizzo di uno dei sistemi operativi verificati elencati di seguito:<ul>
<li>Ubuntu &gt;= 18.04 (x86_64)</li>
<li>CentOS &gt;= 7.0 (x86_64)</li>
<li>MacOS &gt;= 11.0 (Apple Silicon)</li>
</ul></li>
</ul>
<p><strong>Note</strong>:</p>
<ol>
<li>Milvus Lite utilizza <code translate="no">manylinux2014</code> come immagine di base, rendendola compatibile con la maggior parte delle distribuzioni Linux per gli utenti Linux.</li>
<li>È possibile eseguire Milvus Lite anche su Windows, anche se questo non è ancora stato completamente verificato.</li>
</ol>
<h3 id="Install-Milvus-Lite" class="common-anchor-header">Installare Milvus Lite</h3><p>Milvus Lite è disponibile su PyPI, quindi è possibile installarlo tramite <code translate="no">pip</code>.</p>
<pre><code translate="no">$ python3 -m pip install milvus
<button class="copy-code-btn"></button></code></pre>
<p>È anche possibile installarlo con PyMilvus come segue:</p>
<pre><code translate="no">$ python3 -m pip install milvus[client]
<button class="copy-code-btn"></button></code></pre>
<h3 id="Use-and-start-Milvus-Lite" class="common-anchor-header">Utilizzare e avviare Milvus Lite</h3><p>Scaricate il <a href="https://github.com/milvus-io/milvus-lite/tree/main/examples">notebook di esempio</a> dalla cartella example del nostro repository di progetto. Avete due opzioni per usare Milvus Lite: importarlo come libreria Python o eseguirlo come server autonomo sulla vostra macchina usando la CLI.</p>
<ul>
<li>Per avviare Milvus Lite come modulo Python, eseguire i seguenti comandi:</li>
</ul>
<pre><code translate="no"><span class="hljs-keyword">from</span> milvus <span class="hljs-keyword">import</span> default_server
<span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> connections, utility

<span class="hljs-comment"># Start your milvus server</span>
default_server.start()

<span class="hljs-comment"># Now you can connect with localhost and the given port</span>
<span class="hljs-comment"># Port is defined by default_server.listen_port</span>
connections.connect(host=<span class="hljs-string">&#x27;127.0.0.1&#x27;</span>, port=default_server.listen_port)

<span class="hljs-comment"># Check if the server is ready.</span>
<span class="hljs-built_in">print</span>(utility.get_server_version())

<span class="hljs-comment"># Stop your milvus server</span>
default_server.stop()
<button class="copy-code-btn"></button></code></pre>
<ul>
<li>Per sospendere o arrestare Milvus Lite, utilizzare l'istruzione <code translate="no">with</code>.</li>
</ul>
<pre><code translate="no"><span class="hljs-keyword">from</span> milvus <span class="hljs-keyword">import</span> default_server

<span class="hljs-keyword">with</span> default_server:
  <span class="hljs-comment"># Milvus Lite has already started, use default_server here.</span>
  connections.connect(host=<span class="hljs-string">&#x27;127.0.0.1&#x27;</span>, port=default_server.listen_port)
<button class="copy-code-btn"></button></code></pre>
<ul>
<li>Per avviare Milvus Lite come server standalone basato su CLI, eseguire il seguente comando:</li>
</ul>
<pre><code translate="no">milvus-server
<button class="copy-code-btn"></button></code></pre>
<p>Dopo aver avviato Milvus Lite, è possibile utilizzare PyMilvus o altri strumenti di connessione al server standalone.</p>
<h3 id="Start-Milvus-Lite-in-a-debug-mode" class="common-anchor-header">Avviare Milvus Lite in modalità debug</h3><ul>
<li>Per eseguire Milvus Lite in modalità debug come modulo Python, eseguite i seguenti comandi:</li>
</ul>
<pre><code translate="no"><span class="hljs-keyword">from</span> milvus <span class="hljs-keyword">import</span> debug_server, MilvusServer

debug_server.run()

<span class="hljs-comment"># Or you can create a MilvusServer by yourself</span>
<span class="hljs-comment"># server = MilvusServer(debug=True)</span>
<button class="copy-code-btn"></button></code></pre>
<ul>
<li>Per eseguire il server standalone in modalità debug, eseguire il seguente comando:</li>
</ul>
<pre><code translate="no">milvus-server --debug
<button class="copy-code-btn"></button></code></pre>
<h3 id="Persist-data-and-logs" class="common-anchor-header">Persistere i dati e i log</h3><ul>
<li>Per creare una directory locale per Milvus Lite che conterrà tutti i dati e i log pertinenti, eseguire i seguenti comandi:</li>
</ul>
<pre><code translate="no"><span class="hljs-keyword">from</span> milvus <span class="hljs-keyword">import</span> default_server

<span class="hljs-keyword">with</span> <span class="hljs-attr">default_server</span>:
  default_server.<span class="hljs-title function_">set_base_dir</span>(<span class="hljs-string">&#x27;milvus_data&#x27;</span>)
<button class="copy-code-btn"></button></code></pre>
<ul>
<li>Per conservare tutti i dati e i log generati dal server standalone sul disco locale, eseguire il seguente comando:</li>
</ul>
<pre><code translate="no">$ milvus-server --data milvus_data
<button class="copy-code-btn"></button></code></pre>
<h3 id="Configure-Milvus-Lite" class="common-anchor-header">Configurare Milvus Lite</h3><p>La configurazione di Milvus Lite è simile alla configurazione delle istanze Milvus tramite le API Python o la CLI.</p>
<ul>
<li>Per configurare Milvus Lite usando le API Python, usare l'API <code translate="no">config.set</code> di un'istanza <code translate="no">MilvusServer</code> per le impostazioni di base ed extra:</li>
</ul>
<pre><code translate="no"><span class="hljs-keyword">from</span> milvus <span class="hljs-keyword">import</span> default_server

<span class="hljs-keyword">with</span> default_server:
  default_server.config.<span class="hljs-built_in">set</span>(<span class="hljs-string">&#x27;system_Log_level&#x27;</span>, <span class="hljs-string">&#x27;info&#x27;</span>)
  default_server.config.<span class="hljs-built_in">set</span>(<span class="hljs-string">&#x27;proxy_port&#x27;</span>, <span class="hljs-number">19531</span>)
  default_server.config.<span class="hljs-built_in">set</span>(<span class="hljs-string">&#x27;dataCoord.segment.maxSize&#x27;</span>, <span class="hljs-number">1024</span>)
<button class="copy-code-btn"></button></code></pre>
<ul>
<li>Per configurare Milvus Lite tramite CLI, eseguire il seguente comando per le impostazioni di base:</li>
</ul>
<pre><code translate="no">$ milvus-server --system-log-level info
$ milvus-server --proxy-port 19531
<button class="copy-code-btn"></button></code></pre>
<ul>
<li>Oppure, eseguire il seguente comando per le configurazioni extra.</li>
</ul>
<pre><code translate="no">$ milvus-server --extra-config dataCoord.segment.maxSize=1024
<button class="copy-code-btn"></button></code></pre>
<p>Tutti gli elementi configurabili sono contenuti nel modello <code translate="no">config.yaml</code> fornito con il pacchetto Milvus.</p>
<p>Per maggiori dettagli tecnici su come installare e configurare Milvus Lite, consultare la nostra <a href="https://milvus.io/docs/milvus_lite.md#Prerequisites">documentazione</a>.</p>
<h2 id="Summary" class="common-anchor-header">Sintesi<button data-href="#Summary" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus Lite è una scelta eccellente per chi cerca le funzionalità di Milvus in un formato compatto. Se siete ricercatori, sviluppatori o data scientist, vale la pena di esplorare questa opzione.</p>
<p>Milvus Lite è anche una bella aggiunta alla comunità open-source, che mette in mostra lo straordinario lavoro dei suoi collaboratori. Grazie agli sforzi di Bin Ji, Milvus è ora disponibile per un maggior numero di utenti. Non vediamo l'ora di vedere le idee innovative che Bin Ji e altri membri della comunità Milvus porteranno avanti in futuro.</p>
<h2 id="Let’s-keep-in-touch" class="common-anchor-header">Teniamoci in contatto!<button data-href="#Let’s-keep-in-touch" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Se riscontrate problemi nell'installazione o nell'utilizzo di Milvus Lite, potete <a href="https://github.com/milvus-io/milvus-lite/issues/new">segnalare un problema qui</a> o contattarci tramite <a href="https://twitter.com/milvusio">Twitter</a> o <a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn</a>. Siete anche invitati a unirvi al nostro <a href="https://milvus.io/slack/">canale Slack</a> per chiacchierare con i nostri ingegneri e con l'intera comunità, o a visitare il <a href="https://us02web.zoom.us/meeting/register/tZ0pcO6vrzsuEtVAuGTpNdb6lGnsPBzGfQ1T#/registration">nostro orario d'ufficio del martedì</a>!</p>


Presentazione di Milvus Lite: la versione leggera di Milvus

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/What_s_New_in_2_2_8_f4dd6de0f2.png" alt="Milvus 2.2.8" class="doc-image" id="milvus-2.2.8" />
   </span> <span class="img-wrapper"> <span>Milvus 2.2.8</span> </span></p>
<p>Siamo lieti di annunciare l'ultima versione di Milvus 2.2.8. Questa release include numerosi miglioramenti e correzioni di bug rispetto alle versioni precedenti, che si traducono in migliori prestazioni di interrogazione, risparmio di risorse e maggiore produttività. Vediamo insieme le novità di questa versione.</p>
<h2 id="Reduced-peak-memory-consumption-during-collection-loading" class="common-anchor-header">Riduzione del consumo di memoria di picco durante il caricamento delle collezioni<button data-href="#Reduced-peak-memory-consumption-during-collection-loading" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Per eseguire le query, Milvus deve caricare i dati e gli indici in memoria. Tuttavia, durante il processo di caricamento, le copie multiple della memoria possono far aumentare il picco di utilizzo della memoria fino a tre o quattro volte rispetto al tempo di esecuzione effettivo. L'ultima versione di Milvus 2.2.8 risolve efficacemente questo problema e ottimizza l'uso della memoria.</p>
<h2 id="Expanded-querying-scenarios-with-QueryNode-supporting-plugins" class="common-anchor-header">Scenari di interrogazione ampliati con il supporto dei plugin di QueryNode<button data-href="#Expanded-querying-scenarios-with-QueryNode-supporting-plugins" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>QueryNode supporta ora i plugin nell'ultima versione di Milvus 2.2.8. È possibile specificare facilmente il percorso del file del plugin con la configurazione <code translate="no">queryNode.soPath</code>. Quindi, Milvus può caricare il plugin in fase di esecuzione ed espandere gli scenari di interrogazione disponibili. Se avete bisogno di una guida per lo sviluppo di <a href="https://pkg.go.dev/plugin">plugin, consultate la documentazione</a> sui <a href="https://pkg.go.dev/plugin">plugin Go</a>.</p>
<h2 id="Optimized-querying-performance-with-enhanced-compaction-algorithm" class="common-anchor-header">Prestazioni di interrogazione ottimizzate con un algoritmo di compattazione migliorato<button data-href="#Optimized-querying-performance-with-enhanced-compaction-algorithm" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>L'algoritmo di compattazione determina la velocità di convergenza dei segmenti, influenzando direttamente le prestazioni delle query. Grazie ai recenti miglioramenti apportati all'algoritmo di compattazione, l'efficienza di convergenza è migliorata notevolmente, con conseguenti query più veloci.</p>
<h2 id="Better-resource-saving-and-querying-performance-with-reduced-collection-shards" class="common-anchor-header">Migliori prestazioni di risparmio delle risorse e di interrogazione con shard di raccolta ridotti<button data-href="#Better-resource-saving-and-querying-performance-with-reduced-collection-shards" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus è un sistema di elaborazione massicciamente parallelo (MPP), il che significa che il numero di frammenti della collezione influisce sull'efficienza di Milvus nella scrittura e nell'interrogazione. Nelle versioni precedenti, una collezione aveva due shard per impostazione predefinita, il che comportava eccellenti prestazioni di scrittura ma comprometteva le prestazioni di interrogazione e il costo delle risorse. Con il nuovo aggiornamento di Milvus 2.2.8, gli shard predefiniti delle collezioni sono stati ridotti a uno, consentendo agli utenti di risparmiare più risorse e di eseguire query migliori. La maggior parte degli utenti della comunità ha meno di 10 milioni di volumi di dati e uno shard è sufficiente per ottenere buone prestazioni di scrittura.</p>
<p><strong>Nota</strong>: questo aggiornamento non riguarda le raccolte create prima di questa release.</p>
<h2 id="20-throughput-increase-with-an-improved-query-grouping-algorithm" class="common-anchor-header">Aumento del 20% del throughput con un algoritmo di raggruppamento delle query migliorato<button data-href="#20-throughput-increase-with-an-improved-query-grouping-algorithm" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus dispone di un efficiente algoritmo di raggruppamento delle query che combina più richieste di query nella coda in una sola per un'esecuzione più rapida, migliorando significativamente il throughput. Nell'ultima versione, abbiamo apportato ulteriori miglioramenti a questo algoritmo, aumentando il throughput di Milvus di almeno il 20%.</p>
<p>Oltre ai miglioramenti citati, Milvus 2.2.8 risolve anche diversi bug. Per maggiori dettagli, consultare le <a href="https://milvus.io/docs/release_notes.md">note di rilascio di Milvus</a>.</p>
<h2 id="Let’s-keep-in-touch" class="common-anchor-header">Restiamo in contatto!<button data-href="#Let’s-keep-in-touch" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Se avete domande o feedback su Milvus, non esitate a contattarci tramite <a href="https://twitter.com/milvusio">Twitter</a> o <a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn</a>. Siete anche invitati a unirvi al nostro <a href="https://milvus.io/slack/">canale Slack</a> per chiacchierare direttamente con i nostri ingegneri e con l'intera comunità o a visitare i nostri <a href="https://us02web.zoom.us/meeting/register/tZ0pcO6vrzsuEtVAuGTpNdb6lGnsPBzGfQ1T#/registration">orari di ufficio del martedì</a>!</p>


Milvus 2.2.8: migliori prestazioni delle query, 20% in più di throughput

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/exploring_milvus_latest_versions_4fa890533e.png" alt="Milvus at Its Best" class="doc-image" id="milvus-at-its-best" />
   </span> <span class="img-wrapper"> <span>Milvus al suo meglio</span> </span></p>
<p>Bentornati, seguaci di Milvus! Sappiamo che è passato un po' di tempo dall'ultima volta che abbiamo condiviso i nostri aggiornamenti su questo database vettoriale open-source all'avanguardia. Ma non temete, perché siamo qui per aggiornarvi su tutti gli entusiasmanti sviluppi avvenuti dallo scorso agosto.</p>
<p>In questo post vi illustreremo le ultime release di Milvus, dalla versione 2.2 alla versione 2.2.6. Abbiamo molto da raccontare, tra cui nuove funzionalità, miglioramenti, correzioni di bug e ottimizzazioni. Quindi, allacciate le cinture di sicurezza e tuffatevi!</p>
<h2 id="Milvus-v22-a-major-release-with-enhanced-stability-faster-search-speed-and-flexible-scalability" class="common-anchor-header">Milvus v2.2: una major release con maggiore stabilità, maggiore velocità di ricerca e scalabilità flessibile<button data-href="#Milvus-v22-a-major-release-with-enhanced-stability-faster-search-speed-and-flexible-scalability" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus v2.2 è una release importante che introduce sette nuovissime funzionalità e numerosi miglioramenti rispetto alle versioni precedenti. Vediamo nel dettaglio alcuni dei punti salienti:</p>
<ul>
<li><strong>Inserimento massivo di entità da file</strong>: Con questa funzione, è possibile caricare un gruppo di entità in uno o più file direttamente in Milvus con poche righe di codice, risparmiando tempo e fatica.</li>
<li><strong>Paginazione dei risultati delle query</strong>: Per evitare la restituzione massiccia dei risultati di ricerche e interrogazioni in un'unica chiamata di procedura remota (RPC), Milvus v2.2 consente di configurare l'impaginazione e il filtraggio dei risultati con parole chiave nelle ricerche e nelle interrogazioni.</li>
<li><strong>Controllo degli accessi basato sui ruoli (RBAC)</strong>: Milvus v2.2 supporta ora RBAC, che consente di controllare l'accesso alla vostra istanza Milvus gestendo utenti, ruoli e autorizzazioni.</li>
<li><strong>Quote e limiti</strong>: Quote e limiti è un nuovo meccanismo di Milvus v2.2 che protegge il sistema di database da errori di memoria esaurita (OOM) e da crash durante improvvisi picchi di traffico. Con questa funzione è possibile controllare l'ingestione, la ricerca e l'utilizzo della memoria.</li>
<li><strong>Tempo di vita (TTL) a livello di raccolta</strong>: Nelle versioni precedenti, Milvus permetteva di configurare il TTL solo per i cluster. Tuttavia, Milvus v2.2 supporta ora la configurazione del TTL a livello di raccolta. Configurando il TTL per una collezione specifica, le entità di quella collezione scadranno automaticamente al termine del TTL. Questa configurazione offre un controllo più preciso sulla conservazione dei dati.</li>
<li><strong>Indici ANNS (Approximate Neighbor Search) basati su disco (Beta)</strong>: Milvus v2.2 introduce il supporto per DiskANN, un algoritmo ANNS basato su grafo Vamana e residente su SSD. Questo supporto consente di effettuare ricerche dirette su insiemi di dati di grandi dimensioni, riducendo in modo significativo l'utilizzo della memoria, fino a 10 volte.</li>
<li><strong>Backup dei dati (Beta)</strong>: Milvus v2.2 offre <a href="https://github.com/zilliztech/milvus-backup">un nuovissimo strumento</a> per eseguire il backup e il ripristino dei dati Milvus in modo corretto, sia attraverso la riga di comando che attraverso un server API.</li>
</ul>
<p>Oltre alle nuove funzioni menzionate sopra, Milvus v2.2 include la correzione di cinque bug e numerosi miglioramenti per migliorare la stabilità, l'osservabilità e le prestazioni di Milvus. Per maggiori dettagli, consultare le <a href="https://milvus.io/docs/release_notes.md#v220">note di rilascio di Milvus v2.2</a>.</p>
<h2 id="Milvus-v221--v222-minor-releases-with-issues-fixed" class="common-anchor-header">Milvus v2.2.1 e v2.2.2: release minori con problemi risolti<button data-href="#Milvus-v221--v222-minor-releases-with-issues-fixed" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus v2.2.1 e v2.2.2 sono release minori che si concentrano sulla correzione di problemi critici nelle versioni precedenti e sull'introduzione di nuove funzionalità. Ecco alcuni punti salienti:</p>
<h3 id="Milvus-v221" class="common-anchor-header">Milvus v2.2.1</h3><ul>
<li>Supporta il tenant e l'autenticazione Pulsa</li>
<li>Supporta la sicurezza del livello di trasporto (TLS) nella sorgente di configurazione etcd</li>
<li>Migliora le prestazioni di ricerca di oltre il 30%.</li>
<li>Ottimizza lo scheduler e aumenta la probabilità di unire le attività</li>
<li>Corregge diversi bug, tra cui il mancato filtraggio dei termini sui campi scalari indicizzati e il panico di IndexNode in caso di mancata creazione di un indice.</li>
</ul>
<h3 id="Milvus-v222" class="common-anchor-header">Milvus v2.2.2</h3><ul>
<li>Corregge il problema per cui il proxy non aggiorna la cache dei leader dello shard</li>
<li>Corregge il problema per cui le informazioni caricate non vengono pulite per le raccolte/partizioni rilasciate.</li>
<li>Corregge il problema per cui il conteggio del carico non viene cancellato in tempo.</li>
</ul>
<p>Per maggiori dettagli, consultare le <a href="https://milvus.io/docs/release_notes.md#v221">Note di rilascio di Milvus v2.2.1</a> e le <a href="https://milvus.io/docs/release_notes.md#v222">Note di rilascio di Milvus v2.2.2</a>.</p>
<h2 id="Milvus-v223-more-secure-stable-and-available" class="common-anchor-header">Milvus v2.2.3: più sicuro, stabile e disponibile<button data-href="#Milvus-v223-more-secure-stable-and-available" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus v2.2.3 è una release che si concentra sul miglioramento della sicurezza, della stabilità e della disponibilità del sistema. Inoltre, introduce due importanti funzionalità:</p>
<ul>
<li><p><strong>Aggiornamento continuo</strong>: questa funzione consente a Milvus di rispondere alle richieste in arrivo durante il processo di aggiornamento, cosa impossibile nelle versioni precedenti. Gli aggiornamenti continui garantiscono che il sistema rimanga disponibile e risponda alle richieste degli utenti anche durante gli aggiornamenti.</p></li>
<li><p><strong>Alta disponibilità del coordinatore (HA)</strong>: Questa funzione consente ai coordinatori di Milvus di lavorare in modalità attiva-standby, riducendo il rischio di guasti in un unico punto. Anche in caso di disastri imprevisti, il tempo di ripristino è ridotto a un massimo di 30 secondi.</p></li>
</ul>
<p>Oltre a queste novità, Milvus v2.2.3 include numerosi miglioramenti e correzioni di bug, tra cui il miglioramento delle prestazioni degli inserimenti massivi, la riduzione dell'uso della memoria, l'ottimizzazione delle metriche di monitoraggio e il miglioramento delle prestazioni del meta-storage. Per maggiori dettagli, consultare le <a href="https://milvus.io/docs/release_notes.md#v223">note di rilascio di Milvus v2.2.3</a>.</p>
<h2 id="Milvus-v224-faster-more-reliable-and-resource-saving" class="common-anchor-header">Milvus v2.2.4: più veloce, più affidabile e con risparmio di risorse<button data-href="#Milvus-v224-faster-more-reliable-and-resource-saving" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus v2.2.4 è un aggiornamento minore a Milvus v2.2. Introduce quattro nuove funzioni e diversi miglioramenti, che si traducono in prestazioni più rapide, maggiore affidabilità e riduzione del consumo di risorse. I punti salienti di questa versione sono:</p>
<ul>
<li><strong>Raggruppamento delle risorse</strong>: Milvus supporta ora il raggruppamento dei QueryNode in altri gruppi di risorse, consentendo il completo isolamento dell'accesso alle risorse fisiche nei diversi gruppi.</li>
<li><strong>Rinominazione delle collezioni</strong>: L'API per la ridenominazione delle collezioni consente agli utenti di cambiare il nome di una collezione, offrendo una maggiore flessibilità nella gestione delle collezioni e migliorando l'usabilità.</li>
<li><strong>Supporto per Google Cloud Storage</strong></li>
<li><strong>Nuova opzione nelle API di ricerca e interrogazione</strong>: Questa nuova funzione consente agli utenti di saltare la ricerca su tutti i segmenti in crescita, offrendo migliori prestazioni di ricerca in scenari in cui la ricerca viene eseguita contemporaneamente all'inserimento dei dati.</li>
</ul>
<p>Per ulteriori informazioni, consultare le <a href="https://milvus.io/docs/release_notes.md#v224">note di rilascio di Milvus v2.2.4</a>.</p>
<h2 id="Milvus-v225-NOT-RECOMMENDED" class="common-anchor-header">Milvus v2.2.5: NON RACCOMANDATO<button data-href="#Milvus-v225-NOT-RECOMMENDED" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus v2.2.5 presenta diversi problemi critici e pertanto si sconsiglia di utilizzare questa versione.  Ci scusiamo sinceramente per i disagi causati da questi problemi. Tuttavia, questi problemi sono stati risolti in Milvus v2.2.6.</p>
<h2 id="Milvus-v226-resolves-critical-issues-from-v225" class="common-anchor-header">Milvus v2.2.6: risolve i problemi critici della v2.2.5<button data-href="#Milvus-v226-resolves-critical-issues-from-v225" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus v2.2.6 ha risolto con successo i problemi critici riscontrati nella v2.2.5, tra cui il problema del riciclo dei dati binlog sporchi e il fallimento del GC di DataCoord. Se attualmente utilizzate la versione 2.2.5, aggiornatela per garantire prestazioni e stabilità ottimali.</p>
<p>I problemi critici risolti includono:</p>
<ul>
<li>Errore di DataCoord GC</li>
<li>Sovrascrittura dei parametri degli indici passati</li>
<li>Ritardo del sistema causato dall'arretratezza dei messaggi RootCoord</li>
<li>Inesattezza della metrica RootCoordInsertChannelTimeTick</li>
<li>Possibile arresto del timestamp</li>
<li>Autodistruzione occasionale del ruolo di coordinatore durante il processo di riavvio</li>
<li>I checkpoint rimangono indietro a causa di un'uscita anomala della garbage collection.</li>
</ul>
<p>Per maggiori dettagli, consultare le <a href="https://milvus.io/docs/release_notes.md#v226">Note di rilascio di Milvus v2.2.6</a>.</p>
<h2 id="Summary" class="common-anchor-header">Sintesi<button data-href="#Summary" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>In conclusione, le ultime release di Milvus, dalla v2.2 alla v2.2.6, hanno apportato molti aggiornamenti e miglioramenti interessanti. Dalle nuove funzionalità alle correzioni di bug e alle ottimizzazioni, Milvus continua a rispettare l'impegno di fornire soluzioni all'avanguardia e potenziare le applicazioni in vari settori. Rimanete sintonizzati per ulteriori aggiornamenti e innovazioni dalla comunità Milvus.</p>


Milvus al suo meglio: esplorazione dalla v2.2 alla v2.2.6

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Dynamically_Change_Log_Levels_in_the_Milvus_Vector_Database_58e31c66cc.png" alt="Cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>Immagine di copertina</span> </span></p>
<blockquote>
<p>Questo articolo è stato scritto da <a href="https://github.com/jiaoew1991">Enwei Jiao</a> e tradotto da <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni</a>.</p>
</blockquote>
<p>Per evitare che un eccesso di registri influisca sulle prestazioni del disco e del sistema, Milvus produce per impostazione predefinita i registri al livello <code translate="no">info</code> durante l'esecuzione. Tuttavia, a volte i log al livello <code translate="no">info</code> non sono sufficienti per aiutarci a identificare efficacemente bug e problemi. Inoltre, in alcuni casi, la modifica del livello di log e il riavvio del servizio possono portare alla mancata riproduzione dei problemi, rendendo ancora più difficile la risoluzione dei problemi. Di conseguenza, il supporto per la modifica dinamica dei livelli di log nel database dei vettori di Milvus è urgentemente necessario.</p>
<p>Questo articolo si propone di introdurre il meccanismo che consente di modificare dinamicamente i livelli di log e di fornire istruzioni su come farlo nel database dei vettori Milvus.</p>
<p><strong>Vai a:</strong></p>
<ul>
<li><a href="#Mechanism">Meccanismo</a></li>
<li><a href="#How-to-dynamically-change-log-levels">Come modificare dinamicamente i livelli di log</a></li>
</ul>
<h2 id="Mechanism" class="common-anchor-header">Meccanismo<button data-href="#Mechanism" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Il database vettoriale Milvus adotta il logger <a href="https://github.com/uber-go/zap">zap</a> open sourced di Uber. Essendo uno dei componenti di log più potenti nell'ecosistema del linguaggio Go, zap incorpora un modulo <a href="https://github.com/uber-go/zap/blob/master/http_handler.go">http_handler.go</a> che consente di visualizzare il livello di log corrente e di modificarlo dinamicamente tramite un'interfaccia HTTP.</p>
<p>Milvus ascolta il servizio HTTP fornito dalla porta <code translate="no">9091</code>. Pertanto, è possibile accedere alla porta <code translate="no">9091</code> per sfruttare funzioni quali il debug delle prestazioni, le metriche e i controlli di salute. Allo stesso modo, la porta <code translate="no">9091</code> viene riutilizzata per consentire la modifica dinamica del livello di log e alla porta viene aggiunto anche un percorso <code translate="no">/log/level</code>. Per ulteriori informazioni, vedere la<a href="https://github.com/milvus-io/milvus/pull/18430"> PR</a> dell'<a href="https://github.com/milvus-io/milvus/pull/18430"> interfaccia di log</a>.</p>
<h2 id="How-to-dynamically-change-log-levels" class="common-anchor-header">Come modificare dinamicamente i livelli di log<button data-href="#How-to-dynamically-change-log-levels" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Questa sezione fornisce istruzioni su come modificare dinamicamente i livelli di log senza dover riavviare il servizio Milvus in esecuzione.</p>
<h3 id="Prerequisite" class="common-anchor-header">Prerequisito</h3><p>Assicurarsi di poter accedere alla porta <code translate="no">9091</code> dei componenti Milvus.</p>
<h3 id="Change-the-log-level" class="common-anchor-header">Cambiare il livello di log</h3><p>Supponiamo che l'indirizzo IP del proxy Milvus sia <code translate="no">192.168.48.12</code>.</p>
<p>Per prima cosa si può eseguire <code translate="no">$ curl -X GET 192.168.48.12:9091/log/level</code> per verificare il livello di log corrente del proxy.</p>
<p>Poi si possono apportare modifiche specificando il livello di log. Le opzioni del livello di log includono:</p>
<ul>
<li><p><code translate="no">debug</code></p></li>
<li><p><code translate="no">info</code></p></li>
<li><p><code translate="no">warn</code></p></li>
<li><p><code translate="no">error</code></p></li>
<li><p><code translate="no">dpanic</code></p></li>
<li><p><code translate="no">panic</code></p></li>
<li><p><code translate="no">fatal</code></p></li>
</ul>
<p>Il seguente esempio di codice modifica il livello di log dal livello di log predefinito da <code translate="no">info</code> a <code translate="no">error</code>.</p>
<pre><code translate="no" class="language-Python">$ curl -X PUT 192.168.48.12:9091/log/level -d level=error
<button class="copy-code-btn"></button></code></pre>


Modifica dinamica dei livelli dei registri nel database Milvus Vector

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1280_X1280_0e0d4bc107.png" alt="Cover_image" class="doc-image" id="cover_image" />
   </span> <span class="img-wrapper"> <span>Immagine di copertina</span> </span></p>
<blockquote>
<p>Questo articolo è stato scritto da <a href="https://github.com/longjiquan">Jiquan Long</a> e trascritto da <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni</a>.</p>
</blockquote>
<p>Nel <a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md">precedente blog</a> sulla consistenza, abbiamo spiegato qual è la connotazione della consistenza in un database vettoriale distribuito, abbiamo trattato i quattro livelli di consistenza - forte, bounded staleness, di sessione ed eventuale - supportati nel database vettoriale Milvus e abbiamo spiegato lo scenario applicativo più adatto a ciascun livello di consistenza.</p>
<p>In questo post continueremo a esaminare il meccanismo che consente agli utenti del database vettoriale Milvus di scegliere in modo flessibile il livello di consistenza ideale per vari scenari applicativi. Inoltre, forniremo un tutorial di base su come sintonizzare il livello di consistenza nel database vettoriale Milvus.</p>
<p><strong>Vai a:</strong></p>
<ul>
<li><a href="#The-underlying-time-tick-mechanism">Il meccanismo di spunta temporale sottostante</a></li>
<li><a href="#Guarantee-timestamp">Timestamp di garanzia</a></li>
<li><a href="#Consistency-levels">Livelli di consistenza</a></li>
<li><a href="#How-to-tune-consistency-level-in-Milvus">Come regolare il livello di coerenza in Milvus?</a></li>
</ul>
<h2 id="The-underlying-time-tick-mechanism" class="common-anchor-header">Il meccanismo di time tick sottostante<button data-href="#The-underlying-time-tick-mechanism" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus utilizza il meccanismo del time tick per garantire diversi livelli di coerenza quando si effettua una ricerca vettoriale o un'interrogazione. Il Time Tick è la filigrana di Milvus che agisce come un orologio in Milvus e indica in quale punto del tempo si trova il sistema Milvus. Ogni volta che viene inviata una richiesta di linguaggio di manipolazione dei dati (DML) al database dei vettori di Milvus, questo assegna un timestamp alla richiesta. Come mostrato nella figura seguente, quando vengono inseriti nuovi dati nella coda dei messaggi, Milvus non solo segna un timestamp sui dati inseriti, ma inserisce anche dei tick temporali a intervalli regolari.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/timetick_b395df9804.png" alt="timetick" class="doc-image" id="timetick" />
   </span> <span class="img-wrapper"> <span>timetick</span> </span></p>
<p>Prendiamo come esempio <code translate="no">syncTs1</code> nella figura precedente. Quando i consumatori a valle, come i nodi di interrogazione, vedono <code translate="no">syncTs1</code>, i componenti del consumatore capiscono che tutti i dati inseriti prima di <code translate="no">syncTs1</code> sono stati consumati. In altre parole, le richieste di inserimento dati i cui valori di timestamp sono inferiori a <code translate="no">syncTs1</code> non appariranno più nella coda dei messaggi.</p>
<h2 id="Guarantee-Timestamp" class="common-anchor-header">Garanzia del timestamp<button data-href="#Guarantee-Timestamp" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Come menzionato nella sezione precedente, i componenti di consumo a valle, come i nodi di interrogazione, ottengono continuamente messaggi di richieste di inserimento dati e tick temporali dalla coda di messaggi. Ogni volta che un time tick viene consumato, il nodo di interrogazione segna questo time tick consumato come tempo di servizio - <code translate="no">ServiceTime</code> e tutti i dati inseriti prima di <code translate="no">ServiceTime</code> sono visibili al nodo di interrogazione.</p>
<p>Oltre a <code translate="no">ServiceTime</code>, Milvus adotta anche un tipo di timestamp - timestamp di garanzia (<code translate="no">GuaranteeTS</code>) per soddisfare l'esigenza di vari livelli di coerenza e disponibilità da parte di diversi utenti. Ciò significa che gli utenti del database vettoriale di Milvus possono specificare <code translate="no">GuaranteeTs</code> per informare i nodi di interrogazione che tutti i dati precedenti a <code translate="no">GuaranteeTs</code> devono essere visibili e coinvolti quando viene effettuata una ricerca o un'interrogazione.</p>
<p>Quando il nodo di interrogazione esegue una richiesta di ricerca nella banca dati vettoriale Milvus, si presentano di solito due scenari.</p>
<h3 id="Scenario-1-Execute-search-request-immediately" class="common-anchor-header">Scenario 1: Esecuzione immediata della richiesta di ricerca</h3><p>Come mostrato nella figura seguente, se <code translate="no">GuaranteeTs</code> è più piccolo di <code translate="no">ServiceTime</code>, i nodi di interrogazione possono eseguire la richiesta di ricerca immediatamente.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/execute_immediately_dd1913775d.png" alt="execute_immediately" class="doc-image" id="execute_immediately" />
   </span> <span class="img-wrapper"> <span>eseguire_immediatamente</span> </span></p>
<h3 id="Scenario-2-Wait-till-ServiceTime--GuaranteeTs" class="common-anchor-header">Scenario 2: Attendere fino a "ServiceTime &gt; GuaranteeTs".</h3><p>Se <code translate="no">GuaranteeTs</code> è maggiore di <code translate="no">ServiceTime</code>, i nodi di interrogazione devono continuare a consumare time tick dalla coda dei messaggi. Le richieste di ricerca non possono essere eseguite finché <code translate="no">ServiceTime</code> non è maggiore di <code translate="no">GuaranteeTs</code>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/wait_search_f09a2f6cf9.png" alt="wait_search" class="doc-image" id="wait_search" />
   </span> <span class="img-wrapper"> <span>attendere_ricerca</span> </span></p>
<h2 id="Consistency-Levels" class="common-anchor-header">Livelli di coerenza<button data-href="#Consistency-Levels" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Pertanto, <code translate="no">GuaranteeTs</code> è configurabile nella richiesta di ricerca per ottenere il livello di consistenza specificato dall'utente. Un <code translate="no">GuaranteeTs</code> con un valore elevato garantisce una <a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md#Strong">forte consistenza</a> al costo di un'elevata latenza di ricerca. Un <code translate="no">GuaranteeTs</code> con un valore piccolo riduce la latenza di ricerca, ma compromette la visibilità dei dati.</p>
<p><code translate="no">GuaranteeTs</code> in Milvus è un formato timestamp ibrido. E l'utente non ha idea del <a href="https://github.com/milvus-io/milvus/blob/master/docs/design_docs/20211214-milvus_hybrid_ts.md">TSO</a> all'interno di Milvus. Pertanto, specificare il valore di<code translate="no">GuaranteeTs</code> è un compito troppo complicato per gli utenti. Per risparmiare agli utenti e offrire loro un'esperienza ottimale, Milvus richiede solo che gli utenti scelgano il livello di coerenza specifico e il database vettoriale di Milvus gestirà automaticamente il valore di <code translate="no">GuaranteeTs</code> per gli utenti. In altre parole, l'utente di Milvus deve solo scegliere tra i quattro livelli di coerenza: <code translate="no">Strong</code>, <code translate="no">Bounded</code>, <code translate="no">Session</code>, e <code translate="no">Eventually</code>. A ciascun livello di consistenza corrisponde un determinato valore di <code translate="no">GuaranteeTs</code>.</p>
<p>La figura seguente illustra il valore <code translate="no">GuaranteeTs</code> per ciascuno dei quattro livelli di consistenza del database vettoriale Milvus.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/guarantee_ts_f4b3e119d3.png" alt="guarantee_ts" class="doc-image" id="guarantee_ts" />
   </span> <span class="img-wrapper"> <span>garanzia_ts</span> </span></p>
<p>Il database vettoriale Milvus supporta quattro livelli di consistenza:</p>
<ul>
<li><p><code translate="no">CONSISTENCY_STRONG</code> <code translate="no">GuaranteeTs</code> è impostato sullo stesso valore dell'ultimo timestamp del sistema e i nodi di interrogazione attendono che il tempo di servizio proceda fino all'ultimo timestamp del sistema per elaborare la richiesta di ricerca o di interrogazione.</p></li>
<li><p><code translate="no">CONSISTENCY_EVENTUALLY</code> <code translate="no">GuaranteeTs</code> è impostato su un valore insignificante rispetto all'ultimo timestamp del sistema per saltare il controllo di coerenza. I nodi di interrogazione effettuano immediatamente una ricerca sulla vista dati esistente.</p></li>
<li><p><code translate="no">CONSISTENCY_BOUNDED</code> <code translate="no">GuaranteeTs</code> è impostato su un valore relativamente più piccolo dell'ultimo timestamp di sistema e i nodi di query effettuano la ricerca su una vista dati meno aggiornata.</p></li>
<li><p><code translate="no">CONSISTENCY_SESSION</code>: Il client utilizza il timestamp dell'ultima operazione di scrittura come <code translate="no">GuaranteeTs</code>, in modo che ogni client possa almeno recuperare i dati inseriti da solo.</p></li>
</ul>
<h2 id="How-to-tune-consistency-level-in-Milvus" class="common-anchor-header">Come si regola il livello di consistenza in Milvus?<button data-href="#How-to-tune-consistency-level-in-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus supporta la regolazione del livello di consistenza durante la <a href="https://milvus.io/docs/v2.1.x/create_collection.md">creazione di una collezione</a> o l'esecuzione di una <a href="https://milvus.io/docs/v2.1.x/search.md">ricerca</a> o di una <a href="https://milvus.io/docs/v2.1.x/query.md">query</a>.</p>
<h3 id="Conduct-a-vector-similarity-search" class="common-anchor-header">Eseguire una ricerca di similarità vettoriale</h3><p>Per effettuare una ricerca di similarità vettoriale con il livello di consistenza desiderato, è sufficiente impostare il valore del parametro <code translate="no">consistency_level</code> come <code translate="no">Strong</code>, <code translate="no">Bounded</code>, <code translate="no">Session</code>, o <code translate="no">Eventually</code>. Se non si imposta il valore del parametro <code translate="no">consistency_level</code>, il livello di consistenza sarà <code translate="no">Bounded</code> per default. L'esempio esegue una ricerca di similarità vettoriale con consistenza <code translate="no">Strong</code>.</p>
<pre><code translate="no">results = collection.search(
        data=[[0.1, 0.2]], 
        anns_field=<span class="hljs-string">&quot;book_intro&quot;</span>, 
        param=search_params, 
        <span class="hljs-built_in">limit</span>=10, 
        <span class="hljs-built_in">expr</span>=None,
        consistency_level=<span class="hljs-string">&quot;Strong&quot;</span>
)
<button class="copy-code-btn"></button></code></pre>
<h3 id="Conduct-a-vector-query" class="common-anchor-header">Eseguire una query vettoriale</h3><p>Analogamente all'esecuzione di una ricerca di similarità vettoriale, è possibile specificare il valore del parametro <code translate="no">consistency_level</code> quando si esegue una query vettoriale. L'esempio esegue una query vettoriale con la consistenza <code translate="no">Strong</code>.</p>
<pre><code translate="no">res = collection.query(
  <span class="hljs-built_in">expr</span> = <span class="hljs-string">&quot;book_id in [2,4,6,8]&quot;</span>, 
  output_fields = [<span class="hljs-string">&quot;book_id&quot;</span>, <span class="hljs-string">&quot;book_intro&quot;</span>],
  consistency_level=<span class="hljs-string">&quot;Strong&quot;</span>
)
<button class="copy-code-btn"></button></code></pre>
<h2 id="Whats-next" class="common-anchor-header">Il prossimo passo<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Con il rilascio ufficiale di Milvus 2.1, abbiamo preparato una serie di blog che introducono le nuove funzionalità. Per saperne di più, leggete questa serie di blog:</p>
<ul>
<li><a href="https://milvus.io/blog/2022-08-08-How-to-use-string-data-to-empower-your-similarity-search-applications.md">Come utilizzare i dati delle stringhe per potenziare le applicazioni di ricerca per similarità</a></li>
<li><a href="https://milvus.io/blog/embedded-milvus.md">Utilizzo di Milvus incorporato per installare ed eseguire immediatamente Milvus con Python</a></li>
<li><a href="https://milvus.io/blog/in-memory-replicas.md">Aumentare la velocità di lettura del database vettoriale con le repliche in memoria</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md">Capire il livello di consistenza nel database vettoriale Milvus</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database-2.md">Capire il livello di consistenza del database vettoriale Milvus (parte II)</a></li>
<li><a href="https://milvus.io/blog/data-security.md">In che modo il database vettoriale Milvus garantisce la sicurezza dei dati?</a></li>
</ul>


Comprendere il livello di consistenza nel database dei vettori Milvus - Parte II

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Security_192e35a790.png" alt="Cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>Immagine di copertina</span> </span></p>
<p>In considerazione della sicurezza dei vostri dati, l'autenticazione dell'utente e la connessione con sicurezza del livello di trasporto (TLS) sono ora ufficialmente disponibili in Milvus 2.1. Senza l'autenticazione dell'utente, chiunque può accedere a tutti i dati del database vettoriale con l'SDK. Tuttavia, a partire da Milvus 2.1, solo chi possiede un nome utente e una password validi può accedere al database vettoriale di Milvus. Inoltre, in Milvus 2.1 la sicurezza dei dati è ulteriormente protetta da TLS, che garantisce comunicazioni sicure in una rete di computer.</p>
<p>Questo articolo si propone di analizzare come il database vettoriale Milvus garantisca la sicurezza dei dati con l'autenticazione dell'utente e la connessione TLS e di spiegare come si possono utilizzare queste due funzioni come utenti che vogliono garantire la sicurezza dei dati quando utilizzano il database vettoriale.</p>
<p><strong>Vai a:</strong></p>
<ul>
<li><a href="#What-is-database-security-and-why-is-it-important">Cos'è la sicurezza del database e perché è importante?</a></li>
<li><a href="#How-does-the-Milvus-vector-database-ensure-data-security">In che modo il database vettoriale Milvus garantisce la sicurezza dei dati?</a><ul>
<li><a href="#User-authentication">Autenticazione dell'utente</a></li>
<li><a href="#TLS-connection">Connessione TLS</a></li>
</ul></li>
</ul>
<h2 id="What-is-database-security-and-why-is-it-important" class="common-anchor-header">Cos'è la sicurezza del database e perché è importante?<button data-href="#What-is-database-security-and-why-is-it-important" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>La sicurezza del database si riferisce alle misure adottate per garantire la sicurezza e la riservatezza di tutti i dati contenuti nel database. I recenti casi di violazione e fuga di dati di <a href="https://firewalltimes.com/recent-data-breaches/">Twitter, Marriott, Texas Department of Insurance, ecc.</a> ci rendono ancora più attenti al problema della sicurezza dei dati. Tutti questi casi ci ricordano costantemente che le aziende e le imprese possono subire gravi perdite se i dati non sono ben protetti e i database che utilizzano sono sicuri.</p>
<h2 id="How-does-the-Milvus-vector-database-ensure-data-security" class="common-anchor-header">In che modo il database vettoriale Milvus garantisce la sicurezza dei dati?<button data-href="#How-does-the-Milvus-vector-database-ensure-data-security" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Nell'attuale versione 2.1, il database vettoriale Milvus cerca di garantire la sicurezza del database attraverso l'autenticazione e la crittografia. In particolare, a livello di accesso, Milvus supporta l'autenticazione di base degli utenti per controllare chi può accedere al database. A livello di database, invece, Milvus adotta il protocollo di crittografia Transport Layer Security (TLS) per proteggere la comunicazione dei dati.</p>
<h3 id="User-authentication" class="common-anchor-header">Autenticazione dell'utente</h3><p>La funzione di autenticazione utente di base di Milvus consente di accedere al database dei vettori utilizzando un nome utente e una password per garantire la sicurezza dei dati. Ciò significa che i clienti possono accedere all'istanza Milvus solo dopo aver fornito un nome utente e una password autenticati.</p>
<h4 id="The-authentication-workflow-in-the-Milvus-vector-database" class="common-anchor-header">Il flusso di autenticazione nel database vettoriale di Milvus</h4><p>Tutte le richieste gRPC sono gestite dal proxy Milvus, quindi l'autenticazione è completata dal proxy. Il flusso di lavoro per l'accesso con le credenziali per la connessione all'istanza Milvus è il seguente.</p>
<ol>
<li>Creare le credenziali per ogni istanza Milvus e le password criptate sono memorizzate in etcd. Milvus utilizza <a href="https://golang.org/x/crypto/bcrypt">bcrypt</a> per la crittografia, poiché implementa l'<a href="http://www.usenix.org/event/usenix99/provos/provos.pdf">algoritmo di hashing adattivo</a> di Provos e Mazières.</li>
<li>Sul lato client, l'SDK invia un testo cifrato quando si connette al servizio Milvus. Il testo cifrato in base64 (<username>:<password>) è allegato ai metadati con la chiave <code translate="no">authorization</code>.</li>
<li>Il proxy Milvus intercetta la richiesta e verifica le credenziali.</li>
<li>Le credenziali sono memorizzate nella cache locale del proxy.</li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1280_X1280_021e90e3c8.jpeg" alt="authetication_workflow" class="doc-image" id="authetication_workflow" />
   </span> <span class="img-wrapper"> <span>flusso_di_autenticazione</span> </span></p>
<p>Quando le credenziali vengono aggiornate, il flusso di lavoro del sistema in Milvus è il seguente</p>
<ol>
<li>Il coordinatore principale si occupa delle credenziali quando vengono chiamate le API di inserimento, interrogazione e cancellazione.</li>
<li>Quando si aggiornano le credenziali, ad esempio perché si è dimenticata la password, la nuova password viene memorizzata in etcd. Quindi tutte le vecchie credenziali nella cache locale del proxy vengono invalidate.</li>
<li>L'intercettore di autenticazione cerca prima i record della cache locale. Se le credenziali nella cache non sono corrette, viene attivata la chiamata RPC per recuperare il record più aggiornato dal coord root. Le credenziali nella cache locale vengono aggiornate di conseguenza.</li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/update_5af81a4173.jpeg" alt="credential_update_workflow" class="doc-image" id="credential_update_workflow" />
   </span> <span class="img-wrapper"> <span>flusso_aggiornamento_credenziali</span> </span></p>
<h4 id="How-to-manage-user-authentication-in-the-Milvus-vector-database" class="common-anchor-header">Come gestire l'autenticazione degli utenti nel database vettoriale Milvus</h4><p>Per abilitare l'autenticazione, è necessario prima impostare <code translate="no">common.security.authorizationEnabled</code> su <code translate="no">true</code> quando si configura Milvus nel file <code translate="no">milvus.yaml</code>.</p>
<p>Una volta abilitata, verrà creato un utente root per l'istanza Milvus. Questo utente root può usare la password iniziale di <code translate="no">Milvus</code> per connettersi al database dei vettori di Milvus.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> connections
connections.<span class="hljs-title function_">connect</span>(
    alias=<span class="hljs-string">&#x27;default&#x27;</span>,
    host=<span class="hljs-string">&#x27;localhost&#x27;</span>,
    port=<span class="hljs-string">&#x27;19530&#x27;</span>,
    user=<span class="hljs-string">&#x27;root_user&#x27;</span>,
    password=<span class="hljs-string">&#x27;Milvus&#x27;</span>,
)
<button class="copy-code-btn"></button></code></pre>
<p>Si consiglia di cambiare la password dell'utente root quando si avvia Milvus per la prima volta.</p>
<p>L'utente root può poi creare altri nuovi utenti per l'accesso autenticato eseguendo il seguente comando per creare nuovi utenti.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> utility
utility.<span class="hljs-title function_">create_credential</span>(<span class="hljs-string">&#x27;user&#x27;</span>, <span class="hljs-string">&#x27;password&#x27;</span>, <span class="hljs-keyword">using</span>=<span class="hljs-string">&#x27;default&#x27;</span>) 
<button class="copy-code-btn"></button></code></pre>
<p>Ci sono due cose da ricordare quando si creano nuovi utenti:</p>
<ol>
<li><p>Per quanto riguarda il nuovo nome utente, non può superare i 32 caratteri e deve iniziare con una lettera. Nel nome utente sono ammessi solo trattini bassi, lettere o numeri. Ad esempio, un nome utente di "2abc!" non è accettato.</p></li>
<li><p>La lunghezza della password deve essere compresa tra 6 e 256 caratteri.</p></li>
</ol>
<p>Una volta impostata la nuova credenziale, il nuovo utente può collegarsi all'istanza Milvus con il nome utente e la password.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> connections
connections.<span class="hljs-title function_">connect</span>(
    alias=<span class="hljs-string">&#x27;default&#x27;</span>,
    host=<span class="hljs-string">&#x27;localhost&#x27;</span>,
    port=<span class="hljs-string">&#x27;19530&#x27;</span>,
    user=<span class="hljs-string">&#x27;user&#x27;</span>,
    password=<span class="hljs-string">&#x27;password&#x27;</span>,
)
<button class="copy-code-btn"></button></code></pre>
<p>Come per tutti i processi di autenticazione, non ci si deve preoccupare se si dimentica la password. La password di un utente esistente può essere reimpostata con il seguente comando.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> utility
utility.<span class="hljs-title function_">reset_password</span>(<span class="hljs-string">&#x27;user&#x27;</span>, <span class="hljs-string">&#x27;new_password&#x27;</span>, <span class="hljs-keyword">using</span>=<span class="hljs-string">&#x27;default&#x27;</span>)
<button class="copy-code-btn"></button></code></pre>
<p>Leggete la <a href="https://milvus.io/docs/v2.1.x/authenticate.md">documentazione</a> di <a href="https://milvus.io/docs/v2.1.x/authenticate.md">Milvus</a> per saperne di più sull'autenticazione degli utenti.</p>
<h3 id="TLS-connection" class="common-anchor-header">Connessione TLS</h3><p>La sicurezza del livello di trasporto (TLS) è un tipo di protocollo di autenticazione che garantisce la sicurezza delle comunicazioni in una rete di computer. TLS utilizza certificati per fornire servizi di autenticazione tra due o più parti comunicanti.</p>
<h4 id="How-to-enable-TLS-in-the-Milvus-vector-database" class="common-anchor-header">Come abilitare il TLS nel database dei vettori Milvus</h4><p>Per abilitare il TLS in Milvus, occorre innanzitutto eseguire il seguente comando per preparare due file per la generazione del certificato: un file di configurazione OpenSSL predefinito chiamato <code translate="no">openssl.cnf</code> e un file chiamato <code translate="no">gen.sh</code> usato per generare i certificati pertinenti.</p>
<pre><code translate="no"><span class="hljs-built_in">mkdir</span> cert &amp;&amp; <span class="hljs-built_in">cd</span> cert
<span class="hljs-built_in">touch</span> openssl.cnf gen.sh
<button class="copy-code-btn"></button></code></pre>
<p>Quindi si può semplicemente copiare e incollare la configurazione fornita <a href="https://milvus.io/docs/v2.1.x/tls.md#Create-files">qui</a> nei due file. Oppure si possono apportare modifiche basate sulla nostra configurazione per adattarla meglio alla propria applicazione.</p>
<p>Quando i due file sono pronti, si può eseguire il file <code translate="no">gen.sh</code> per creare nove file di certificati. Allo stesso modo, è possibile modificare le configurazioni dei nove file di certificato in base alle proprie esigenze.</p>
<pre><code translate="no"><span class="hljs-built_in">chmod</span> +x gen.sh
./gen.sh
<button class="copy-code-btn"></button></code></pre>
<p>C'è un ultimo passaggio prima di potersi connettere al servizio Milvus con TLS. Bisogna impostare <code translate="no">tlsEnabled</code> su <code translate="no">true</code> e configurare i percorsi dei file <code translate="no">server.pem</code>, <code translate="no">server.key</code> e <code translate="no">ca.pem</code> per il server in <code translate="no">config/milvus.yaml</code>. Il codice qui sotto è un esempio.</p>
<pre><code translate="no">tls:
  serverPemPath: configs/cert/server.pem
  serverKeyPath: configs/cert/server.key
  caPemPath: configs/cert/ca.pem

common:
  security:
    tlsEnabled: <span class="hljs-literal">true</span>
<button class="copy-code-btn"></button></code></pre>
<p>A questo punto è tutto pronto e ci si può connettere al servizio Milvus con TLS, purché si specifichino i percorsi dei file <code translate="no">client.pem</code>, <code translate="no">client.key</code> e <code translate="no">ca.pem</code> per il client quando si usa l'SDK di connessione Milvus. Il codice qui sotto è anche un esempio.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> connections

_HOST = <span class="hljs-string">&#x27;127.0.0.1&#x27;</span>
_PORT = <span class="hljs-string">&#x27;19530&#x27;</span>

<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;\nCreate connection...&quot;</span>)
connections.connect(host=_HOST, port=_PORT, secure=<span class="hljs-literal">True</span>, client_pem_path=<span class="hljs-string">&quot;cert/client.pem&quot;</span>,
                        client_key_path=<span class="hljs-string">&quot;cert/client.key&quot;</span>,
                        ca_pem_path=<span class="hljs-string">&quot;cert/ca.pem&quot;</span>, server_name=<span class="hljs-string">&quot;localhost&quot;</span>)
<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;\nList connections:&quot;</span>)
<span class="hljs-built_in">print</span>(connections.list_connections())
<button class="copy-code-btn"></button></code></pre>
<h2 id="Whats-next" class="common-anchor-header">Il prossimo passo<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Con il rilascio ufficiale di Milvus 2.1, abbiamo preparato una serie di blog che introducono le nuove funzionalità. Per saperne di più, leggete questa serie di blog:</p>
<ul>
<li><a href="https://milvus.io/blog/2022-08-08-How-to-use-string-data-to-empower-your-similarity-search-applications.md">Come utilizzare i dati delle stringhe per potenziare le applicazioni di ricerca per similarità</a></li>
<li><a href="https://milvus.io/blog/embedded-milvus.md">Utilizzo di Milvus incorporato per installare ed eseguire immediatamente Milvus con Python</a></li>
<li><a href="https://milvus.io/blog/in-memory-replicas.md">Aumentare la velocità di lettura del database vettoriale con le repliche in memoria</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md">Capire il livello di consistenza del database vettoriale Milvus</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database-2.md">Capire il livello di consistenza del database vettoriale Milvus (parte II)</a></li>
<li><a href="https://milvus.io/blog/data-security.md">In che modo il database vettoriale Milvus garantisce la sicurezza dei dati?</a></li>
</ul>


In che modo il database Milvus Vector garantisce la sicurezza dei dati?

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1280_X1280_0e0d4bc107.png" alt="Cover_image" class="doc-image" id="cover_image" />
   </span> <span class="img-wrapper"> <span>Immagine di copertina</span> </span></p>
<blockquote>
<p>Questo articolo è stato scritto da <a href="https://github.com/JackLCL">Chenglong Li</a> e trascritto da <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni</a>.</p>
</blockquote>
<p>Vi siete mai chiesti perché a volte i dati che avete cancellato dal database vettoriale di Mlivus appaiono ancora nei risultati della ricerca?</p>
<p>È molto probabile che il motivo sia che non avete impostato il livello di coerenza appropriato per la vostra applicazione. Il livello di coerenza in un database vettoriale distribuito è fondamentale perché determina in quale momento una particolare scrittura di dati può essere letta dal sistema.</p>
<p>Per questo motivo, questo articolo intende demistificare il concetto di consistenza e approfondire i livelli di consistenza supportati dal database vettoriale Milvus.</p>
<p><strong>Vai a:</strong></p>
<ul>
<li><a href="#What-is-consistency">Cos'è la coerenza</a></li>
<li><a href="#Four-levels-of-consistency-in-the-Milvus-vector-database">Quattro livelli di coerenza nel database vettoriale Milvus</a><ul>
<li><a href="#Strong">Forte</a></li>
<li><a href="#Bounded-staleness">Stallo limitato</a></li>
<li><a href="#Session">Sessione</a></li>
<li><a href="#Eventual">Eventuale</a></li>
</ul></li>
</ul>
<h2 id="What-is-consistency" class="common-anchor-header">Cos'è la consistenza<button data-href="#What-is-consistency" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Prima di iniziare, è necessario chiarire la connotazione della consistenza in questo articolo, poiché la parola "consistenza" è un termine sovraccarico nell'industria informatica. La consistenza in un database distribuito si riferisce specificamente alla proprietà che assicura che ogni nodo o replica abbia la stessa visione dei dati quando scrive o legge i dati in un determinato momento. Pertanto, qui si parla di coerenza come nel <a href="https://en.wikipedia.org/wiki/CAP_theorem">teorema CAP</a>.</p>
<p>Per servire le grandi aziende online nel mondo moderno, vengono comunemente adottate repliche multiple. Ad esempio, il gigante dell'e-commerce online Amazon replica i suoi ordini o i dati SKU in più centri dati, zone o addirittura paesi per garantire un'elevata disponibilità del sistema in caso di arresto o guasto. Ciò pone una sfida al sistema: la coerenza dei dati tra più repliche. Senza coerenza, è molto probabile che l'articolo cancellato dal carrello di Amazon ricompaia, causando una pessima esperienza all'utente.</p>
<p>Per questo motivo, abbiamo bisogno di diversi livelli di coerenza dei dati per le diverse applicazioni. Fortunatamente Milvus, un database per l'intelligenza artificiale, offre una certa flessibilità nel livello di consistenza e consente di impostare il livello di consistenza più adatto alla propria applicazione.</p>
<h3 id="Consistency-in-the-Milvus-vector-database" class="common-anchor-header">Consistenza nel database vettoriale Milvus</h3><p>Il concetto di livello di coerenza è stato introdotto per la prima volta con il rilascio di Milvus 2.0. La versione 1.0 di Milvus non era un database vettoriale distribuito e quindi non prevedeva livelli di consistenza regolabili. Milvus 1.0 esegue il flussaggio dei dati ogni secondo, il che significa che i nuovi dati sono quasi immediatamente visibili al momento del loro inserimento e che Milvus legge la vista dei dati più aggiornata nel momento esatto in cui arriva una richiesta di ricerca o di interrogazione di similarità vettoriale.</p>
<p>Tuttavia, Milvus è stato ristrutturato nella sua versione 2.0 e <a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">Milvus 2.0 è un database vettoriale distribuito</a> basato su un meccanismo pub-sub. Il teorema <a href="https://en.wikipedia.org/wiki/PACELC_theorem">PACELC</a> indica che un sistema distribuito deve trovare un compromesso tra coerenza, disponibilità e latenza. Inoltre, diversi livelli di consistenza servono per diversi scenari. Per questo motivo, in <a href="https://milvus.io/blog/2022-1-25-annoucing-general-availability-of-milvus-2-0.md">Milvus 2.0</a> è stato introdotto il concetto di consistenza, che supporta la regolazione dei livelli di consistenza.</p>
<h2 id="Four-levels-of-consistency-in-the-Milvus-vector-database" class="common-anchor-header">Quattro livelli di coerenza nel database vettoriale Milvus<button data-href="#Four-levels-of-consistency-in-the-Milvus-vector-database" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus supporta quattro livelli di consistenza: forte, stallo limitato, sessione ed eventuale. L'utente di Milvus può specificare il livello di consistenza quando <a href="https://milvus.io/docs/v2.1.x/create_collection.md">crea una collezione</a> o esegue una <a href="https://milvus.io/docs/v2.1.x/search.md">ricerca</a> o un'<a href="https://milvus.io/docs/v2.1.x/query.md">interrogazione</a> <a href="https://milvus.io/docs/v2.1.x/search.md">di similarità vettoriale</a>. Questa sezione continuerà a spiegare come si differenziano questi quattro livelli di consistenza e per quale scenario sono più adatti.</p>
<h3 id="Strong" class="common-anchor-header">Forte</h3><p>Strong è il livello di coerenza più alto e più rigoroso. Garantisce che gli utenti possano leggere la versione più recente dei dati.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Consistency_Strong_5d791eb8b2.png" alt="Strong" class="doc-image" id="strong" />
   </span> <span class="img-wrapper"> <span>Forte</span> </span></p>
<p>Secondo il teorema PACELC, se il livello di coerenza è impostato su forte, la latenza aumenterà. Pertanto, si consiglia di scegliere una consistenza forte durante i test funzionali per garantire l'accuratezza dei risultati dei test. Inoltre, la consistenza forte è la più adatta per le applicazioni che richiedono una stretta consistenza dei dati a scapito della velocità di ricerca. Un esempio può essere un sistema finanziario online che si occupa di pagamenti e fatturazione degli ordini.</p>
<h3 id="Bounded-staleness" class="common-anchor-header">Stalliezza limitata</h3><p>La staleness limitata, come suggerisce il nome, consente l'inconsistenza dei dati per un certo periodo di tempo. Tuttavia, in genere, i dati sono sempre globalmente coerenti al di fuori di quel periodo di tempo.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Consistency_Bounded_c034bc6e51.png" alt="Bounded_staleness" class="doc-image" id="bounded_staleness" />
   </span> <span class="img-wrapper"> <span>Stallo limitato</span> </span></p>
<p>La staleness limitata è adatta a scenari che devono controllare la latenza di ricerca e possono accettare l'invisibilità sporadica dei dati. Ad esempio, nei sistemi di raccomandazione come i motori di raccomandazione video, l'invisibilità dei dati una volta ogni tanto ha un impatto davvero minimo sul tasso di richiamo complessivo, ma può aumentare significativamente le prestazioni del sistema di raccomandazione. Un esempio può essere un'applicazione per monitorare lo stato degli ordini online.</p>
<h3 id="Session" class="common-anchor-header">Sessione</h3><p>La sessione garantisce che tutti i dati scritti possano essere immediatamente percepiti in lettura durante la stessa sessione. In altre parole, quando si scrivono dati tramite un client, i nuovi dati inseriti diventano istantaneamente ricercabili.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Consistency_Session_6dc4782212.png" alt="Session" class="doc-image" id="session" />
   </span> <span class="img-wrapper"> <span>Sessione</span> </span></p>
<p>Si consiglia di scegliere la sessione come livello di coerenza per quegli scenari in cui la richiesta di coerenza dei dati nella stessa sessione è elevata. Un esempio può essere la cancellazione dei dati di una voce di libro dal sistema bibliotecario; dopo la conferma della cancellazione e l'aggiornamento della pagina (una sessione diversa), il libro non dovrebbe più essere visibile nei risultati di ricerca.</p>
<h3 id="Eventual" class="common-anchor-header">Eventuale</h3><p>Non esiste un ordine garantito di lettura e scrittura, e le repliche finiscono per convergere allo stesso stato se non vengono effettuate altre operazioni di scrittura. In caso di coerenza eventuale, le repliche iniziano a lavorare sulle richieste di lettura con gli ultimi valori aggiornati. La consistenza eventuale è il livello più debole tra i quattro.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Consistency_Eventual_7c66dd5b6f.png" alt="Eventual" class="doc-image" id="eventual" />
   </span> <span class="img-wrapper"> <span>Eventuale</span> </span></p>
<p>Tuttavia, secondo il teorema PACELC, la latenza di ricerca può essere enormemente ridotta sacrificando la coerenza. Pertanto, la consistenza eventuale è più adatta a scenari che non richiedono un'elevata consistenza dei dati, ma che richiedono prestazioni di ricerca rapidissime. Un esempio può essere il recupero delle recensioni e delle valutazioni dei prodotti Amazon con la consistenza eventuale.</p>
<h2 id="Endnote" class="common-anchor-header">Nota finale<button data-href="#Endnote" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Tornando alla domanda posta all'inizio di questo articolo, i dati cancellati vengono comunque restituiti come risultati di ricerca perché l'utente non ha scelto il livello di consistenza adeguato. Il valore predefinito per il livello di consistenza è bounded staleness (<code translate="no">Bounded</code>) nel database vettoriale Milvus. Pertanto, la lettura dei dati potrebbe essere in ritardo e Milvus potrebbe leggere la vista dei dati prima che siano state effettuate operazioni di cancellazione durante una ricerca o una query di similarità. Tuttavia, questo problema è semplice da risolvere. È sufficiente <a href="https://milvus.io/docs/v2.1.x/tune_consistency.md">regolare il livello di coerenza</a> quando si crea una collezione o si esegue una ricerca o una query di similarità vettoriale. Semplice!</p>
<p>Nel prossimo post sveleremo il meccanismo che sta dietro e spiegheremo come il database vettoriale Milvus raggiunge diversi livelli di coerenza. Restate sintonizzati!</p>
<h2 id="Whats-next" class="common-anchor-header">Il prossimo passo<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Con il rilascio ufficiale di Milvus 2.1, abbiamo preparato una serie di blog che introducono le nuove funzionalità. Per saperne di più, leggete questa serie di blog:</p>
<ul>
<li><a href="https://milvus.io/blog/2022-08-08-How-to-use-string-data-to-empower-your-similarity-search-applications.md">Come utilizzare i dati sulle stringhe per potenziare le applicazioni di ricerca per similarità</a></li>
<li><a href="https://milvus.io/blog/embedded-milvus.md">Utilizzo di Milvus incorporato per installare ed eseguire immediatamente Milvus con Python</a></li>
<li><a href="https://milvus.io/blog/in-memory-replicas.md">Aumentare la velocità di lettura del database vettoriale con le repliche in memoria</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md">Capire il livello di consistenza nel database vettoriale Milvus</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database-2.md">Capire il livello di consistenza del database vettoriale Milvus (parte II)</a></li>
<li><a href="https://milvus.io/blog/data-security.md">In che modo il database vettoriale Milvus garantisce la sicurezza dei dati?</a></li>
</ul>


Comprensione del livello di consistenza nel database dei vettori Milvus

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/in_memory_replica_af1fa21d61.png" alt="Cover_image" class="doc-image" id="cover_image" />
   </span> <span class="img-wrapper"> <span>Immagine di copertina</span> </span></p>
<blockquote>
<p>Questo articolo è stato scritto da <a href="https://github.com/congqixia">Congqi Xia</a> e <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni</a>.</p>
</blockquote>
<p>Con il suo rilascio ufficiale, Milvus 2.1 è dotato di molte nuove funzionalità per offrire comodità e una migliore esperienza d'uso. Sebbene il concetto di replica in-memory non sia una novità per il mondo dei database distribuiti, si tratta di una funzionalità fondamentale che può aiutare a incrementare le prestazioni e la disponibilità del sistema in modo semplice. Per questo motivo, questo post si propone di spiegare cos'è la replica in-memory e perché è importante, per poi introdurre come abilitare questa nuova funzionalità in Milvus, un database vettoriale per l'AI.</p>
<p><strong>Vai a:</strong></p>
<ul>
<li><p><a href="#Concepts-related-to-in-memory-replica">Concetti relativi alla replica in-memory</a></p></li>
<li><p><a href="#What-is-in-memory-replica">Cos'è la replica in-memory?</a></p></li>
<li><p><a href="#Why-are-in-memory-replicas-important">Perché le repliche in-memory sono importanti?</a></p></li>
<li><p><a href="#Enable-in-memory-replicas-in-the-Milvus-vector-database">Abilitare le repliche in-memory nel database vettoriale Milvus</a></p></li>
</ul>
<h2 id="Concepts-related-to-in-memory-replica" class="common-anchor-header">Concetti relativi alla replica in-memoria<button data-href="#Concepts-related-to-in-memory-replica" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Prima di capire che cos'è la replica in-memory e perché è importante, è necessario comprendere alcuni concetti rilevanti, tra cui gruppo di replica, replica di shard, replica in streaming, replica storica e leader di shard. L'immagine seguente illustra questi concetti.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/diagram_1_525afc706a.jpg" alt="Replica_concepts" class="doc-image" id="replica_concepts" />
   </span> <span class="img-wrapper"> <span>Concetti di replica</span> </span></p>
<h3 id="Replica-group" class="common-anchor-header">Gruppo di replica</h3><p>Un gruppo di replica è costituito da più <a href="https://milvus.io/docs/v2.1.x/four_layers.md#Query-node">nodi di query</a> responsabili della gestione dei dati storici e delle repliche.</p>
<h3 id="Shard-replica" class="common-anchor-header">Replica shard</h3><p>Una replica shard consiste in una replica streaming e in una replica storica, entrambe appartenenti allo stesso <a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md#Shard">shard</a> (cioè al canale DML). Più repliche shard costituiscono un gruppo di repliche. Il numero esatto di repliche shard in un gruppo di repliche è determinato dal numero di shard in una raccolta specifica.</p>
<h3 id="Streaming-replica" class="common-anchor-header">Replica in streaming</h3><p>Una replica in streaming contiene tutti i <a href="https://milvus.io/docs/v2.1.x/glossary.md#Segment">segmenti in crescita</a> dello stesso canale DML. Tecnicamente, una replica in streaming dovrebbe essere servita da un solo nodo di query in una replica.</p>
<h3 id="Historical-replica" class="common-anchor-header">Replica storica</h3><p>Una replica storica contiene tutti i segmenti sigillati dello stesso canale DML. I segmenti sigillati di una replica storica possono essere distribuiti su diversi nodi di query all'interno dello stesso gruppo di replica.</p>
<h3 id="Shard-leader" class="common-anchor-header">Leader dello shard</h3><p>Uno shard leader è il nodo di query che serve la replica in streaming in una replica shard.</p>
<h2 id="What-is-in-memory-replica" class="common-anchor-header">Che cos'è la replica in-memory?<button data-href="#What-is-in-memory-replica" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>L'abilitazione delle repliche in-memory consente di caricare i dati di una raccolta su più nodi di query, in modo da sfruttare le risorse extra di CPU e memoria. Questa funzione è molto utile se si dispone di un insieme di dati relativamente piccolo ma si desidera aumentare la velocità di lettura e migliorare l'utilizzo delle risorse hardware.</p>
<p>Per il momento, il database vettoriale Milvus conserva in memoria una replica per ogni segmento. Tuttavia, con le repliche in memoria, è possibile avere più repliche di un segmento su diversi nodi di interrogazione. Ciò significa che se un nodo di interrogazione sta conducendo una ricerca su un segmento, una nuova richiesta di ricerca in arrivo può essere assegnata a un altro nodo di interrogazione inattivo, poiché questo nodo di interrogazione ha una replica esattamente dello stesso segmento.</p>
<p>Inoltre, se disponiamo di più repliche in memoria, possiamo affrontare meglio la situazione in cui un nodo di query si blocca. Prima dovevamo aspettare che il segmento venisse ricaricato per poter continuare la ricerca su un altro nodo di query. Tuttavia, con la replica in-memory, la richiesta di ricerca può essere inviata immediatamente a un nuovo nodo di query senza dover ricaricare i dati.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/replication_3_1_2c25513cb9.jpg" alt="Replication" class="doc-image" id="replication" />
   </span> <span class="img-wrapper"> <span>La replica</span> </span></p>
<h2 id="Why-are-in-memory-replicas-important" class="common-anchor-header">Perché le repliche in-memory sono importanti?<button data-href="#Why-are-in-memory-replicas-important" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Uno dei vantaggi più significativi dell'abilitazione delle repliche in-memory è l'aumento del QPS (query per secondo) e del throughput complessivo. Inoltre, è possibile mantenere più repliche di segmento e il sistema è più resiliente in caso di failover.</p>
<h2 id="Enable-in-memory-replicas-in-the-Milvus-vector-database" class="common-anchor-header">Abilitazione delle repliche in-memory nel database vettoriale Milvus<button data-href="#Enable-in-memory-replicas-in-the-Milvus-vector-database" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Abilitare la nuova funzione delle repliche in-memory è facile nel database vettoriale Milvus. È sufficiente specificare il numero di repliche che si desidera quando si carica una collezione (cioè chiamando <code translate="no">collection.load()</code>).</p>
<p>Nell'esempio seguente, supponiamo di aver già <a href="https://milvus.io/docs/v2.1.x/create_collection.md">creato una collezione</a> denominata "libro" e di avervi <a href="https://milvus.io/docs/v2.1.x/insert_data.md">inserito dei dati</a>. Si può quindi eseguire il seguente comando per creare due repliche quando si <a href="https://milvus.io/docs/v2.1.x/load_collection.md">carica</a> un insieme di libri.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> Collection
collection = Collection(<span class="hljs-string">&quot;book&quot;</span>)      <span class="hljs-comment"># Get an existing collection.</span>
collection.load(replica_number=<span class="hljs-number">2</span>) <span class="hljs-comment"># load collection as 2 replicas</span>
<button class="copy-code-btn"></button></code></pre>
<p>È possibile modificare in modo flessibile il numero di repliche nell'esempio di codice sopra riportato, per adattarlo al meglio al proprio scenario applicativo. È quindi possibile eseguire direttamente una <a href="https://milvus.io/docs/v2.1.x/search.md">ricerca</a> o una <a href="https://milvus.io/docs/v2.1.x/query.md">query</a> di somiglianza vettoriale su più repliche senza eseguire altri comandi. Tuttavia, va notato che il numero massimo di repliche consentito è limitato dalla quantità totale di memoria utilizzabile per eseguire i nodi della query. Se il numero di repliche specificato supera i limiti della memoria utilizzabile, verrà restituito un errore durante il caricamento dei dati.</p>
<p>È inoltre possibile verificare le informazioni delle repliche in memoria create eseguendo <code translate="no">collection.get_replicas()</code>. Verranno restituite le informazioni dei gruppi di repliche e dei corrispondenti nodi di query e shard. Di seguito è riportato un esempio di output.</p>
<pre><code translate="no">Replica <span class="hljs-built_in">groups</span>:
- Group: &lt;group_id:435309823872729305&gt;, &lt;group_nodes:(21, 20)&gt;, &lt;shards:[Shard: &lt;channel_name:milvus-zong-rootcoord-dml_27_435367661874184193v0&gt;, &lt;shard_leader:21&gt;, &lt;shard_nodes:[21]&gt;, Shard: &lt;channel_name:milvus-zong-rootcoord-dml_28_435367661874184193v1&gt;, &lt;shard_leader:20&gt;, &lt;shard_nodes:[20, 21]&gt;]&gt;
- Group: &lt;group_id:435309823872729304&gt;, &lt;group_nodes:(25,)&gt;, &lt;shards:[Shard: &lt;channel_name:milvus-zong-rootcoord-dml_28_435367661874184193v1&gt;, &lt;shard_leader:25&gt;, &lt;shard_nodes:[25]&gt;, Shard: &lt;channel_name:milvus-zong-rootcoord-dml_27_435367661874184193v0&gt;, &lt;shard_leader:25&gt;, &lt;shard_nodes:[25]&gt;]&gt;
<button class="copy-code-btn"></button></code></pre>
<h2 id="Whats-next" class="common-anchor-header">Il prossimo passo<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Con il rilascio ufficiale di Milvus 2.1, abbiamo preparato una serie di blog che introducono le nuove funzionalità. Per saperne di più, leggete questa serie di blog:</p>
<ul>
<li><a href="https://milvus.io/blog/2022-08-08-How-to-use-string-data-to-empower-your-similarity-search-applications.md">Come utilizzare i dati delle stringhe per potenziare le applicazioni di ricerca per similarità</a></li>
<li><a href="https://milvus.io/blog/embedded-milvus.md">Utilizzo di Milvus incorporato per installare ed eseguire immediatamente Milvus con Python</a></li>
<li><a href="https://milvus.io/blog/in-memory-replicas.md">Aumentare la velocità di lettura del database vettoriale con le repliche in memoria</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md">Capire il livello di consistenza nel database vettoriale Milvus</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database-2.md">Capire il livello di consistenza del database vettoriale Milvus (parte II)</a></li>
<li><a href="https://milvus.io/blog/data-security.md">In che modo il database vettoriale Milvus garantisce la sicurezza dei dati?</a></li>
</ul>


Aumentate il throughput di lettura del database vettoriale con le repliche in memoria

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Benchmark_Quick_Setup_58cc8eed5b.png" alt="Cover" class="doc-image" id="cover" />
   </span> <span class="img-wrapper"> <span>Copertina</span> </span></p>
<p>Di recente, abbiamo aggiornato il <a href="https://milvus.io/docs/v2.1.x/benchmark.md">rapporto di benchmark di Milvus 2.1</a>. I test con un set di dati di 1 milione di vettori hanno dimostrato che il QPS può essere aumentato drasticamente unendo query di <a href="https://milvus.io/docs/v2.1.x/benchmark.md#Terminology">piccole</a> dimensioni.</p>
<p>Ecco alcuni semplici script per riprodurre facilmente i test.</p>
<h2 id="Procedures" class="common-anchor-header">Procedure<button data-href="#Procedures" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ol>
<li><p>Distribuire un Milvus standalone o un cluster. In questo caso, l'indirizzo IP del server Milvus è 10.100.31.105.</p></li>
<li><p>Distribuire un client. In questo caso, utilizziamo Ubuntu 18.04 e Python 3.8.13 per la distribuzione. Eseguire il seguente codice per installare PyMilvus 2.1.1.</p></li>
</ol>
<pre><code translate="no">pip install pymilvus==2.1.1
<button class="copy-code-btn"></button></code></pre>
<ol start="3">
<li><p>Scaricare e copiare i seguenti file nella stessa directory di lavoro del client. In questo caso, la directory di lavoro è <code translate="no">/go_ben</code>.</p>
<ul>
<li><p><a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/collection_prepare.py"><code translate="no">collection_prepare.py</code></a></p></li>
<li><p><a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/go_benchmark.py"><code translate="no">go_benchmark.py</code></a></p></li>
<li><p><a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/benchmark"><code translate="no">benchmark</code></a> (per Ubuntu) o <a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/benchmark-mac"><code translate="no">benchmark-mac</code></a> (per macOS)</p></li>
</ul>
<p><strong>Nota:</strong></p>
<ul>
<li><p><code translate="no">benchmark</code> e <code translate="no">benchmark-mac</code> sono file eseguibili sviluppati e compilati usando Go SDK 2.1.1. Vengono utilizzati solo per condurre una ricerca concorrente.</p></li>
<li><p>Per gli utenti di Ubuntu, scaricare <code translate="no">benchmark</code>; per gli utenti di macOS, scaricare <code translate="no">benchmark-mac</code>.</p></li>
<li><p>Per accedere a <code translate="no">benchmark</code> o <code translate="no">benchmark-mac</code> sono necessari i permessi di esecuzione.</p></li>
<li><p>Gli utenti Mac devono fidarsi del file <code translate="no">benchmark-mac</code> configurando Sicurezza e privacy nelle Preferenze di sistema.</p></li>
<li><p>Le impostazioni sulla ricerca concorrente possono essere trovate e modificate nel codice sorgente di <code translate="no">go_benchmark.py</code>.</p></li>
</ul></li>
</ol>
<ol start="4">
<li>Creare una collezione e inserire i dati vettoriali.</li>
</ol>
<pre><code translate="no">root@milvus-pytest:/go_ben<span class="hljs-comment"># python collection_prepare.py 10.100.31.105 </span>
<button class="copy-code-btn"></button></code></pre>
<ol start="5">
<li>Aprire <code translate="no">/tmp/collection_prepare.log</code> per verificare il risultato dell'esecuzione.</li>
</ol>
<pre><code translate="no">...
08/11/2022 17:33:34 PM - INFO - Build index costs 263.626
08/11/2022 17:33:54 PM - INFO - Collection prepared completed
<button class="copy-code-btn"></button></code></pre>
<ol start="6">
<li>Chiamare <code translate="no">benchmark</code> (o <code translate="no">benchmark-mac</code> su macOS) per eseguire una ricerca concorrente.</li>
</ol>
<pre><code translate="no">root@milvus-pytest:/go_ben<span class="hljs-meta"># python go_benchmark.py 10.100.31.105 ./benchmark</span>
[<span class="hljs-meta">write_json_file</span>] <span class="hljs-function">Remove <span class="hljs-title">file</span>(<span class="hljs-params">search_vector_file.json</span>).
[write_json_file] Write json <span class="hljs-keyword">file</span>:search_vector_file.json done.
Params of go_benchmark: [&#x27;./benchmark&#x27;, &#x27;locust&#x27;, &#x27;-u&#x27;, &#x27;10.100.31.105:19530&#x27;, &#x27;-q&#x27;, &#x27;search_vector_file.json&#x27;, &#x27;-s&#x27;, &#x27;</span>{\n  <span class="hljs-string">&quot;collection_name&quot;</span>: <span class="hljs-string">&quot;random_1m&quot;</span>,\n  <span class="hljs-string">&quot;partition_names&quot;</span>: [],\n  <span class="hljs-string">&quot;fieldName&quot;</span>: <span class="hljs-string">&quot;embedding&quot;</span>,\n  <span class="hljs-string">&quot;index_type&quot;</span>: <span class="hljs-string">&quot;HNSW&quot;</span>,\n  <span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&quot;L2&quot;</span>,\n  <span class="hljs-string">&quot;params&quot;</span>: {\n    <span class="hljs-string">&quot;sp_value&quot;</span>: <span class="hljs-number">64</span>,\n    <span class="hljs-string">&quot;dim&quot;</span>: <span class="hljs-number">128</span>\n  },\n  <span class="hljs-string">&quot;limit&quot;</span>: <span class="hljs-number">1</span>,\n  <span class="hljs-string">&quot;expr&quot;</span>: <span class="hljs-literal">null</span>,\n  <span class="hljs-string">&quot;output_fields&quot;</span>: [],\n  <span class="hljs-string">&quot;timeout&quot;</span>: <span class="hljs-number">600</span>\n}<span class="hljs-string">&#x27;, &#x27;</span>-p<span class="hljs-string">&#x27;, &#x27;</span><span class="hljs-number">10&#x27;</span>, <span class="hljs-string">&#x27;-f&#x27;</span>, <span class="hljs-string">&#x27;json&#x27;</span>, <span class="hljs-string">&#x27;-t&#x27;</span>, <span class="hljs-string">&#x27;60&#x27;</span>, <span class="hljs-string">&#x27;-i&#x27;</span>, <span class="hljs-string">&#x27;20&#x27;</span>, <span class="hljs-string">&#x27;-l&#x27;</span>, <span class="hljs-string">&#x27;go_log_file.log&#x27;</span>]
[<span class="hljs-meta">2022-08-11 11:37:39.811</span>][    INFO] - Name      <span class="hljs-meta">#   reqs      # fails  |       Avg       Min       Max    Median  |     req/s  failures/s (benchmark_run.go:212:sample)</span>
[<span class="hljs-meta">2022-08-11 11:37:39.811</span>][    INFO] - go search     <span class="hljs-number">9665</span>     <span class="hljs-number">0</span>(<span class="hljs-number">0.00</span>%)  |    <span class="hljs-number">20.679</span>     <span class="hljs-number">6.499</span>    <span class="hljs-number">81.761</span>    <span class="hljs-number">12.810</span>  |    <span class="hljs-number">483.25</span>        <span class="hljs-number">0.00</span> (benchmark_run.go:<span class="hljs-number">213</span>:sample)
[<span class="hljs-meta">2022-08-11 11:37:59.811</span>][    INFO] - Name      <span class="hljs-meta">#   reqs      # fails  |       Avg       Min       Max    Median  |     req/s  failures/s (benchmark_run.go:212:sample)</span>
[<span class="hljs-meta">2022-08-11 11:37:59.811</span>][    INFO] - go search    <span class="hljs-number">19448</span>     <span class="hljs-number">0</span>(<span class="hljs-number">0.00</span>%)  |    <span class="hljs-number">20.443</span>     <span class="hljs-number">6.549</span>    <span class="hljs-number">78.121</span>    <span class="hljs-number">13.401</span>  |    <span class="hljs-number">489.22</span>        <span class="hljs-number">0.00</span> (benchmark_run.go:<span class="hljs-number">213</span>:sample)
[<span class="hljs-meta">2022-08-11 11:38:19.811</span>][    INFO] - Name      <span class="hljs-meta">#   reqs      # fails  |       Avg       Min       Max    Median  |     req/s  failures/s (benchmark_run.go:212:sample)</span>
[<span class="hljs-meta">2022-08-11 11:38:19.811</span>][    INFO] - go search    <span class="hljs-number">29170</span>     <span class="hljs-number">0</span>(<span class="hljs-number">0.00</span>%)  |    <span class="hljs-number">20.568</span>     <span class="hljs-number">6.398</span>    <span class="hljs-number">76.887</span>    <span class="hljs-number">12.828</span>  |    <span class="hljs-number">486.15</span>        <span class="hljs-number">0.00</span> (benchmark_run.go:<span class="hljs-number">213</span>:sample)
[<span class="hljs-meta">2022-08-11 11:38:19.811</span>][   DEBUG] - go search run finished, parallel: <span class="hljs-number">10</span>(benchmark_run.go:<span class="hljs-number">95</span>:benchmark)
[<span class="hljs-meta">2022-08-11 11:38:19.811</span>][    INFO] - Name      <span class="hljs-meta">#   reqs      # fails  |       Avg       Min       Max    Median  |     req/s  failures/s (benchmark_run.go:159:samplingLoop)</span>
[<span class="hljs-meta">2022-08-11 11:38:19.811</span>][    INFO] - go search    <span class="hljs-number">29180</span>     <span class="hljs-number">0</span>(<span class="hljs-number">0.00</span>%)  |    <span class="hljs-number">20.560</span>     <span class="hljs-number">6.398</span>    <span class="hljs-number">81.761</span>    <span class="hljs-number">13.014</span>  |    <span class="hljs-number">486.25</span>        <span class="hljs-number">0.00</span> (benchmark_run.go:<span class="hljs-number">160</span>:samplingLoop)
Result of go_benchmark: {<span class="hljs-string">&#x27;response&#x27;</span>: True, <span class="hljs-string">&#x27;err_code&#x27;</span>: <span class="hljs-number">0</span>, <span class="hljs-string">&#x27;err_message&#x27;</span>: <span class="hljs-string">&#x27;&#x27;</span>} 
<button class="copy-code-btn"></button></code></pre>
<ol start="7">
<li>Aprire il file <code translate="no">go_log_file.log</code> nella directory corrente per controllare il log dettagliato della ricerca. Di seguito sono riportate le informazioni sulla ricerca che si possono trovare nel registro di ricerca.<ul>
<li><p>reqs: numero di richieste di ricerca dal momento in cui si verifica la concomitanza al momento attuale (l'arco di tempo corrente)</p></li>
<li><p>fails: numero di richieste non riuscite come percentuale delle richieste nell'intervallo di tempo corrente</p></li>
<li><p>Avg: tempo medio di risposta della richiesta nell'intervallo di tempo corrente (unità: millisecondi)</p></li>
<li><p>Min: tempo minimo di risposta alla richiesta nell'intervallo di tempo corrente (unità: millisecondi)</p></li>
<li><p>Max: tempo massimo di risposta alla richiesta nell'intervallo di tempo corrente (unità: millisecondi)</p></li>
<li><p>Mediana: tempo di risposta mediano della richiesta nell'intervallo di tempo corrente (unità: millisecondi)</p></li>
<li><p>req/s: numero di richieste al secondo, ovvero QPS</p></li>
<li><p>failures/s: numero medio di richieste fallite al secondo nell'intervallo di tempo corrente.</p></li>
</ul></li>
</ol>
<h2 id="Downloading-Scripts-and-Executable-Files" class="common-anchor-header">Scaricare gli script e i file eseguibili<button data-href="#Downloading-Scripts-and-Executable-Files" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p><a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/collection_prepare.py">collection_prepare.py</a></p></li>
<li><p><a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/go_benchmark.py">go_benchmark.py</a></p></li>
<li><p><a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/benchmark">benchmark</a> per Ubuntu</p></li>
<li><p><a href="https://github.com/milvus-io/milvus-tools/blob/main/benchmark/benchmark-mac">benchmark-mac</a> per macOS</p></li>
</ul>
<h2 id="Whats-next" class="common-anchor-header">Il prossimo passo<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Con il rilascio ufficiale di Milvus 2.1, abbiamo preparato una serie di blog che introducono le nuove funzionalità. Per saperne di più, leggete questa serie di blog:</p>
<ul>
<li><a href="https://milvus.io/blog/2022-08-08-How-to-use-string-data-to-empower-your-similarity-search-applications.md">Come utilizzare i dati delle stringhe per potenziare le applicazioni di ricerca per similarità</a></li>
<li><a href="https://milvus.io/blog/embedded-milvus.md">Utilizzo di Milvus incorporato per installare ed eseguire immediatamente Milvus con Python</a></li>
<li><a href="https://milvus.io/blog/in-memory-replicas.md">Aumentare la velocità di lettura del database vettoriale con le repliche in memoria</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md">Capire il livello di consistenza nel database vettoriale Milvus</a></li>
<li><a href="https://milvus.io/blog/data-security.md">In che modo il database vettoriale Milvus garantisce la sicurezza dei dati?</a></li>
</ul>


Guida rapida al benchmarking di Milvus 2.1

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/embeddded_milvus_1_8132468cac.png" alt="Cover" class="doc-image" id="cover" />
   </span> <span class="img-wrapper"> <span>Copertina</span> </span></p>
<blockquote>
<p>Questo articolo è stato scritto da <a href="https://github.com/soothing-rain/">Alex Gao</a> e <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni</a>.</p>
</blockquote>
<p>Milvus è un database vettoriale open-source per applicazioni di intelligenza artificiale. Offre diversi metodi di installazione, tra cui la creazione dal codice sorgente e l'installazione di Milvus con Docker Compose/Helm/APT/YUM/Ansible. Gli utenti possono scegliere uno dei metodi di installazione a seconda del proprio sistema operativo e delle proprie preferenze. Tuttavia, nella comunità di Milvus ci sono molti scienziati dei dati e ingegneri dell'intelligenza artificiale che lavorano con Python e desiderano un metodo di installazione molto più semplice di quelli attualmente disponibili.</p>
<p>Per questo motivo, insieme a Milvus 2.1, abbiamo rilasciato Milvus embedded, una versione facile da usare per Python, per potenziare gli sviluppatori Python della nostra comunità. Questo articolo presenta cos'è Milvus incorporato e fornisce istruzioni su come installarlo e usarlo.</p>
<p><strong>Vai a:</strong></p>
<ul>
<li><a href="#An-overview-of-embedded-Milvus">Panoramica di Milvus integrato</a><ul>
<li><a href="#When-to-use-embedded-Milvus">Quando usare Milvus integrato?</a></li>
<li><a href="#A-comparison-of-different-modes-of-Milvus">Un confronto tra le diverse modalità di Milvus</a></li>
</ul></li>
<li><a href="#How-to-install-embedded-Milvus">Come installare Milvus incorporato</a></li>
<li><a href="#Start-and-stop-embedded-Milvus">Avviare e arrestare Milvus incorporato</a></li>
</ul>
<h2 id="An-overview-of-embedded-Milvus" class="common-anchor-header">Panoramica di Milvus integrato<button data-href="#An-overview-of-embedded-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><a href="https://github.com/milvus-io/embd-milvus">Milvus incorporato</a> consente di installare e utilizzare rapidamente Milvus con Python. Può creare rapidamente un'istanza di Milvus e consente di avviare e arrestare il servizio Milvus ogni volta che lo si desidera. Tutti i dati e i registri vengono conservati anche se si interrompe Milvus incorporato.</p>
<p>Milvus incorporato non ha dipendenze interne e non richiede la preinstallazione e l'esecuzione di dipendenze di terze parti come etcd, MinIO, Pulsar, ecc.</p>
<p>Tutto ciò che si fa con Milvus incorporato e ogni pezzo di codice scritto per esso può essere migrato in modo sicuro ad altre modalità di Milvus: standalone, cluster, versione cloud, ecc. Questo riflette una delle caratteristiche più distintive di Milvus embedded: <strong>"Scrivi una volta, esegui ovunque".</strong></p>
<h3 id="When-to-use-embedded-Milvus" class="common-anchor-header">Quando usare Milvus integrato?</h3><p>Milvus incorporato e <a href="https://milvus.io/docs/v2.1.x/install-pymilvus.md">PyMilvus</a> sono costruiti per scopi diversi. Si può scegliere Milvus integrato nei seguenti scenari:</p>
<ul>
<li><p>Si desidera utilizzare Milvus senza installare Milvus in uno dei modi previsti <a href="https://milvus.io/docs/v2.1.x/install_standalone-docker.md">qui</a>.</p></li>
<li><p>Si desidera utilizzare Milvus senza mantenere un processo Milvus a lungo in esecuzione nel computer.</p></li>
<li><p>Si desidera utilizzare Milvus rapidamente senza avviare un processo Milvus separato e altri componenti necessari come etcd, MinIO, Pulsar, ecc.</p></li>
</ul>
<p>Si consiglia di <strong>NON</strong> usare Milvus incorporato:</p>
<ul>
<li><p>In un ambiente di produzione.<em>(Per utilizzare Milvus per la produzione, considerare il cluster Milvus o il <a href="https://zilliz.com/cloud">cloud Zilliz</a>, un servizio Milvus completamente gestito</em>).</p></li>
<li><p>Se la richiesta di prestazioni è elevata.<em>(In termini comparativi, Milvus incorporato potrebbe non fornire le migliori prestazioni</em>).</p></li>
</ul>
<h3 id="A-comparison-of-different-modes-of-Milvus" class="common-anchor-header">Un confronto tra le diverse modalità di Milvus</h3><p>La tabella seguente mette a confronto diverse modalità di Milvus: standalone, cluster, Milvus integrato e Zilliz Cloud, un servizio Milvus completamente gestito.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/comparison_ebcd7c5b07.jpeg" alt="comparison" class="doc-image" id="comparison" />
   </span> <span class="img-wrapper"> <span>confronto</span> </span></p>
<h2 id="How-to-install-embedded-Milvus" class="common-anchor-header">Come installare Milvus integrato?<button data-href="#How-to-install-embedded-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Prima di installare Milvus incorporato, è necessario assicurarsi di aver installato Python 3.6 o versione successiva. Milvus integrato supporta i seguenti sistemi operativi:</p>
<ul>
<li><p>Ubuntu 18.04</p></li>
<li><p>Mac x86_64 &gt;= 10.4</p></li>
<li><p>Mac M1 &gt;= 11.0</p></li>
</ul>
<p>Se i requisiti sono soddisfatti, è possibile eseguire <code translate="no">$ python3 -m pip install milvus</code> per installare Milvus incorporato. È anche possibile aggiungere la versione nel comando per installare una versione specifica di Milvus incorporato. Ad esempio, se si vuole installare la versione 2.1.0, eseguire <code translate="no">$ python3 -m pip install milvus==2.1.0</code>. In seguito, quando verrà rilasciata una nuova versione di Milvus incorporato, si potrà anche eseguire <code translate="no">$ python3 -m pip install --upgrade milvus</code> per aggiornare Milvus incorporato alla versione più recente.</p>
<p>Se siete un vecchio utente di Milvus che ha già installato PyMilvus e volete installare Milvus integrato, potete eseguire <code translate="no">$ python3 -m pip install --no-deps milvus</code>.</p>
<p>Dopo aver eseguito il comando di installazione, è necessario creare una cartella dati per Milvus incorporato in <code translate="no">/var/bin/e-milvus</code> eseguendo il seguente comando:</p>
<pre><code translate="no"><span class="hljs-built_in">sudo</span> <span class="hljs-built_in">mkdir</span> -p /var/bin/e-milvus
<span class="hljs-built_in">sudo</span> <span class="hljs-built_in">chmod</span> -R 777 /var/bin/e-milvus
<button class="copy-code-btn"></button></code></pre>
<h2 id="Start-and-stop-embedded-Milvus" class="common-anchor-header">Avvia e arresta Milvus incorporato<button data-href="#Start-and-stop-embedded-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Quando l'installazione è riuscita, è possibile avviare il servizio.</p>
<p>Se si avvia Milvus incorporato per la prima volta, è necessario importare Milvus e configurare Milvus incorporato.</p>
<pre><code translate="no">$ python3
Python 3.9.10 (main, Jan 15 2022, 11:40:53)
[Clang 13.0.0 (clang-1300.0.29.3)] on darwin
Type <span class="hljs-string">&quot;help&quot;</span>, <span class="hljs-string">&quot;copyright&quot;</span>, <span class="hljs-string">&quot;credits&quot;</span> or <span class="hljs-string">&quot;license&quot;</span> <span class="hljs-keyword">for</span> more information.
&gt;&gt;&gt; import milvus
&gt;&gt;&gt; milvus.before()
please <span class="hljs-keyword">do</span> the following <span class="hljs-keyword">if</span> you have not already <span class="hljs-keyword">done</span> so:
1. install required dependencies: bash /var/bin/e-milvus/lib/install_deps.sh
2. <span class="hljs-built_in">export</span> LD_PRELOAD=/SOME_PATH/embd-milvus.so
3. <span class="hljs-built_in">export</span> LD_LIBRARY_PATH=<span class="hljs-variable">$LD_LIBRARY_PATH</span>:/usr/lib:/usr/local/lib:/var/bin/e-milvus/lib/
&gt;&gt;&gt;
<button class="copy-code-btn"></button></code></pre>
<p>Se si è già avviato con successo Milvus incorporato e si torna a riavviarlo, si può eseguire direttamente <code translate="no">milvus.start()</code> dopo aver importato Milvus.</p>
<pre><code translate="no">$ python3
Python <span class="hljs-number">3.9</span><span class="hljs-number">.10</span> (main, Jan <span class="hljs-number">15</span> <span class="hljs-number">2022</span>, <span class="hljs-number">11</span>:<span class="hljs-number">40</span>:<span class="hljs-number">53</span>)
[Clang <span class="hljs-number">13.0</span><span class="hljs-number">.0</span> (clang-<span class="hljs-number">1300.0</span><span class="hljs-number">.29</span><span class="hljs-number">.3</span>)] on darwinType <span class="hljs-string">&quot;help&quot;</span>, <span class="hljs-string">&quot;copyright&quot;</span>, <span class="hljs-string">&quot;credits&quot;</span> <span class="hljs-keyword">or</span> <span class="hljs-string">&quot;license&quot;</span> <span class="hljs-keyword">for</span> more information.
<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">import</span> milvus
<span class="hljs-meta">&gt;&gt;&gt; </span>milvus.start()
&gt;&gt;&gt;
<button class="copy-code-btn"></button></code></pre>
<p>Se il servizio Milvus incorporato è stato avviato con successo, si vedrà il seguente risultato.</p>
<pre><code translate="no">---<span class="hljs-title class_">Milvus</span> <span class="hljs-title class_">Proxy</span> successfully initialized and ready to serve!---
<button class="copy-code-btn"></button></code></pre>
<p>Dopo l'avvio del servizio, è possibile avviare un'altra finestra di terminale ed eseguire il codice di esempio di &quot;<a href="https://github.com/milvus-io/embd-milvus/blob/main/milvus/examples/hello_milvus.py">Hello Milvus</a>&quot; per giocare con Milvus incorporato!</p>
<pre><code translate="no"><span class="hljs-comment"># Download hello_milvus script</span>
$ wget https://raw.githubusercontent.com/milvus-io/pymilvus/v2.1.0/examples/hello_milvus.py
<span class="hljs-comment"># Run Hello Milvus </span>
$ python3 hello_milvus.py
<button class="copy-code-btn"></button></code></pre>
<p>Una volta terminato l'utilizzo di Milvus incorporato, si consiglia di interromperlo con garbo e di ripulire le variabili d'ambiente eseguendo il seguente comando o premendo Ctrl-D.</p>
<pre><code translate="no">&gt;&gt;&gt; milvus.stop()
<span class="hljs-keyword">if</span> you need to clean up the environment variables, run:
<span class="hljs-built_in">export</span> LD_PRELOAD=
<span class="hljs-built_in">export</span> LD_LIBRARY_PATH=
&gt;&gt;&gt;
&gt;&gt;&gt; <span class="hljs-built_in">exit</span>()
<button class="copy-code-btn"></button></code></pre>
<h2 id="Whats-next" class="common-anchor-header">Il prossimo passo<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Con il rilascio ufficiale di Milvus 2.1, abbiamo preparato una serie di blog che presentano le nuove funzionalità. Per saperne di più, leggete questa serie di blog:</p>
<ul>
<li><a href="https://milvus.io/blog/2022-08-08-How-to-use-string-data-to-empower-your-similarity-search-applications.md">Come utilizzare i dati delle stringhe per potenziare le applicazioni di ricerca per similarità</a></li>
<li><a href="https://milvus.io/blog/embedded-milvus.md">Utilizzo di Milvus incorporato per installare ed eseguire immediatamente Milvus con Python</a></li>
<li><a href="https://milvus.io/blog/in-memory-replicas.md">Aumentare la velocità di lettura del database vettoriale con le repliche in memoria</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database.md">Capire il livello di consistenza del database vettoriale Milvus</a></li>
<li><a href="https://milvus.io/blog/understanding-consistency-levels-in-the-milvus-vector-database-2.md">Capire il livello di consistenza del database vettoriale Milvus (parte II)</a></li>
<li><a href="https://milvus.io/blog/data-security.md">In che modo il database vettoriale Milvus garantisce la sicurezza dei dati?</a></li>
</ul>


Utilizzo di Milvus incorporato per installare ed eseguire immediatamente Milvus con Python

Come utilizzare i dati sulle stringhe per potenziare le applicazioni di ricerca per similarità

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/What_s_New_in_2_1_2_a0660df2a5.png" alt="What's new in Milvus 2.1 - Towards simplicity and speed" class="doc-image" id="what's-new-in-milvus-2.1---towards-simplicity-and-speed" />
   </span> <span class="img-wrapper"> <span>Cosa c'è di nuovo in Milvus 2.1 - Verso la semplicità e la velocità</span> </span></p>
<p>Siamo molto lieti di annunciare che il<a href="https://milvus.io/docs/v2.1.x/release_notes.md">rilascio</a> di Milvus 2.1 è ora disponibile dopo sei mesi di duro lavoro da parte di tutti i collaboratori della comunità Milvus. Questa importante iterazione del popolare database vettoriale enfatizza le <strong>prestazioni</strong> e l'<strong>usabilità</strong>, due parole chiave fondamentali del nostro obiettivo. Abbiamo aggiunto il supporto per le stringhe, la coda di messaggi Kafka e Milvus incorporato, oltre a una serie di miglioramenti in termini di prestazioni, scalabilità, sicurezza e osservabilità. Milvus 2.1 è un aggiornamento entusiasmante che colmerà l'"ultimo miglio" dal laptop dell'ingegnere algoritmico ai servizi di ricerca di similarità vettoriale a livello di produzione.</p>
<custom-h1>Prestazioni - Più di un incremento di 3,2 volte</custom-h1><h2 id="5ms-level-latency" class="common-anchor-header">Latenza di 5 ms<button data-href="#5ms-level-latency" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus supporta già la ricerca approssimativa dei vicini (ANN), un salto sostanziale rispetto al metodo KNN tradizionale. Tuttavia, i problemi di throughput e latenza continuano a sfidare gli utenti che devono gestire scenari di recupero di dati vettoriali su scala miliardaria.</p>
<p>In Milvus 2.1 è stato introdotto un nuovo protocollo di routing che non si affida più alle code di messaggi nel collegamento di recupero, riducendo in modo significativo la latenza di recupero per piccoli insiemi di dati. I risultati dei nostri test dimostrano che Milvus ha abbassato il livello di latenza a 5 ms, soddisfacendo i requisiti dei collegamenti online critici come la ricerca di similarità e la raccomandazione.</p>
<h2 id="Concurrency-control" class="common-anchor-header">Controllo della concorrenza<button data-href="#Concurrency-control" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.1 perfeziona il suo modello di concorrenza introducendo un nuovo modello di valutazione dei costi e uno scheduler di concorrenza. Ora offre un controllo della concorrenza che garantisce che non ci sia un gran numero di richieste simultanee in competizione per le risorse della CPU e della cache, né che la CPU sia sottoutilizzata perché non ci sono abbastanza richieste. Il nuovo livello di scheduler intelligente di Milvus 2.1 unisce anche le query di piccole dimensioni che hanno parametri di richiesta coerenti, offrendo un incredibile aumento delle prestazioni di 3,2 volte in scenari con query di piccole dimensioni e alta concurrency.</p>
<h2 id="In-memory-replicas" class="common-anchor-header">Repliche in memoria<button data-href="#In-memory-replicas" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.1 introduce repliche in-memory che migliorano la scalabilità e la disponibilità per i piccoli insiemi di dati. Simili alle repliche di sola lettura dei database tradizionali, le repliche in-memory possono scalare orizzontalmente aggiungendo macchine quando il QPS di lettura è elevato. Nel recupero vettoriale di piccoli insiemi di dati, un sistema di raccomandazione deve spesso fornire QPS che superano il limite di prestazioni di una singola macchina. In questi scenari, il throughput del sistema può essere notevolmente migliorato caricando più repliche in memoria. In futuro, introdurremo anche un meccanismo di hedged read basato su repliche in-memory, che richiederà rapidamente altre copie funzionali nel caso in cui il sistema debba riprendersi da guasti e sfrutterà appieno la ridondanza della memoria per migliorare la disponibilità complessiva del sistema.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/What_s_New_in_Milvus_2_1_Figure_1_excalidraw_1f7fe3c998.png" alt="In-memory replicas allow query services to be based on separate
copies of the same data." class="doc-image" id="in-memory-replicas-allow-query-services-to-be-based-on-separate-copies-of-the-same-data." />
   </span> <span class="img-wrapper"> <span>Le repliche in-memory consentono ai servizi di interrogazione di basarsi su copie separate degli stessi dati</span>. </span></p>
<h2 id="Faster-data-loading" class="common-anchor-header">Caricamento dei dati più veloce<button data-href="#Faster-data-loading" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>L'ultimo incremento di prestazioni viene dal caricamento dei dati. Milvus 2.1 ora comprime <a href="https://milvus.io/docs/v2.1.x/glossary.md#Log-snapshot">i log binari</a> con Zstandard (zstd), riducendo in modo significativo le dimensioni dei dati nei magazzini di oggetti e messaggi e l'overhead di rete durante il caricamento dei dati. Inoltre, sono stati introdotti i pool di goroutine, in modo che Milvus possa caricare i segmenti in modo simultaneo con un footprint di memoria controllato e ridurre al minimo il tempo necessario per il ripristino dai guasti e per il caricamento dei dati.</p>
<p>I risultati completi dei benchmark di Milvus 2.1 saranno presto pubblicati sul nostro sito web. Restate sintonizzati.</p>
<h2 id="String-and-scalar-index-support" class="common-anchor-header">Supporto per indici stringa e scalari<button data-href="#String-and-scalar-index-support" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Con la versione 2.1, Milvus supporta ora le stringhe di lunghezza variabile (VARCHAR) come tipo di dati scalari. VARCHAR può essere utilizzato come chiave primaria da restituire come output e può anche fungere da filtro per gli attributi. <a href="https://milvus.io/docs/v2.1.x/hybridsearch.md">Il filtraggio degli attributi</a> è una delle funzioni più richieste dagli utenti di Milvus. Se vi capita spesso di voler &quot;trovare i prodotti più simili a un utente in una fascia di prezzo <span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mo>200-200</mo></mrow><annotation encoding="application/x-tex">-</annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.7278em;vertical-align:-0.0833em;"></span><span class="mord">200-300</span></span></span></span>&quot;, o &quot;trovare gli articoli che hanno la parola chiave 'database vettoriale' e sono correlati ad argomenti cloud-native&quot;, Milvus 2.1 vi piacerà.</p>
<p>Milvus 2.1 supporta anche l'indice scalare invertito per migliorare la velocità di filtraggio basato su<a href="https://github.com/s-yata/marisa-trie">MARISA-Tries</a> come struttura dati. Tutti i dati possono ora essere caricati in memoria con un ingombro molto ridotto, il che consente un confronto, un filtraggio e una corrispondenza di prefissi molto più rapidi sulle stringhe. I risultati dei nostri test mostrano che il requisito di memoria di MARISA-trie è solo il 10% di quello dei dizionari Python per caricare tutti i dati in memoria e fornire funzionalità di interrogazione.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/What_s_new_in_Milvus_Figure_2_excalidraw_a1149aca96.png" alt="Milvus 2.1 combines MARISA-Trie with inverted index to significantly improve filtering speed." class="doc-image" id="milvus-2.1-combines-marisa-trie-with-inverted-index-to-significantly-improve-filtering-speed." />
   </span> <span class="img-wrapper"> <span>Milvus 2.1 combina MARISA-trie con un indice invertito per migliorare significativamente la velocità di filtraggio.</span> </span></p>
<p>In futuro, Milvus continuerà a concentrarsi sugli sviluppi relativi alle query scalari, a supportare altri tipi di indici scalari e operatori di query e a fornire funzionalità di query scalari basate su disco, il tutto nell'ambito di uno sforzo continuo per ridurre i costi di archiviazione e di utilizzo dei dati scalari.</p>
<custom-h1>Miglioramenti dell'usabilità</custom-h1><h2 id="Kafka-support" class="common-anchor-header">Supporto Kafka<button data-href="#Kafka-support" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>La nostra comunità ha richiesto da tempo il supporto di <a href="https://kafka.apache.org">Apache Kafka</a> come <a href="https://milvus.io/docs/v2.1.x/deploy_pulsar.md">storage dei messaggi</a> in Milvus. Milvus 2.1 offre ora la possibilità di utilizzare<a href="https://pulsar.apache.org">Pulsar</a> o Kafka come storage dei messaggi in base alle configurazioni dell'utente, grazie al design di astrazione e incapsulamento di Milvus e all'SDK Go Kafka fornito da Confluent.</p>
<h2 id="Production-ready-Java-SDK" class="common-anchor-header">SDK Java pronto per la produzione<button data-href="#Production-ready-Java-SDK" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Con Milvus 2.1, il nostro <a href="https://github.com/milvus-io/milvus-sdk-java">SDK Java</a> è ora ufficialmente rilasciato. L'SDK Java ha le stesse funzionalità dell'SDK Python, con prestazioni di concorrenza ancora migliori. Nella prossima fase, i collaboratori della nostra comunità miglioreranno gradualmente la documentazione e i casi d'uso dell'SDK Java e contribuiranno a rendere pronti per la produzione anche gli SDK Go e RESTful.</p>
<h2 id="Observability-and-maintainability" class="common-anchor-header">Osservabilità e manutenibilità<button data-href="#Observability-and-maintainability" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus 2.1 aggiunge importanti<a href="https://milvus.io/docs/v2.1.x/metrics_dashboard.md">metriche di</a> monitoraggio come il conteggio degli inserimenti di vettori, la latenza/throughput di ricerca, l'overhead della memoria del nodo e l'overhead della CPU. Inoltre, la nuova versione ottimizza in modo significativo la tenuta dei registri, regolandone i livelli e riducendo la stampa di registri inutili.</p>
<h2 id="Embedded-Milvus" class="common-anchor-header">Milvus integrato<button data-href="#Embedded-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus ha semplificato notevolmente l'implementazione di servizi di recupero di dati vettoriali massivi su larga scala, ma per gli scienziati che vogliono convalidare gli algoritmi su scala ridotta, Docker o K8s sono ancora troppo inutilmente complicati. Con l'introduzione di <a href="https://github.com/milvus-io/embd-milvus">Milvus incorporato</a>, è ora possibile installare Milvus utilizzando pip, proprio come con Pyrocksb e Pysqlite. Milvus integrato supporta tutte le funzionalità sia della versione cluster che di quella standalone, consentendo di passare facilmente dal proprio portatile a un ambiente di produzione distribuito senza modificare una sola riga di codice. I progettisti di algoritmi avranno un'esperienza molto migliore quando costruiranno un prototipo con Milvus.</p>
<custom-h1>Provate subito la ricerca vettoriale out-of-the-box</custom-h1><p>Inoltre, Milvus 2.1 presenta anche alcuni grandi miglioramenti in termini di stabilità e scalabilità, e attendiamo il vostro utilizzo e i vostri feedback.</p>
<h2 id="Whats-next" class="common-anchor-header">Il prossimo passo<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li>Consultate le <a href="https://milvus.io/docs/v2.1.x/release_notes.md">note di rilascio</a> dettagliate per tutte le modifiche apportate a Milvus 2.1.</li>
<li><a href="https://milvus.io/docs/v2.1.x/install_standalone-docker.md">Installate</a>Milvus 2.1 e provate le nuove funzionalità.</li>
<li>Unitevi alla nostra <a href="https://slack.milvus.io/">comunità Slack</a> e discutete delle nuove funzionalità con migliaia di utenti Milvus in tutto il mondo</li>
<li>Seguiteci su <a href="https://twitter.com/milvusio">Twitter</a> e<a href="https://www.linkedin.com/company/the-milvus-project">LinkedIn</a> per ricevere gli aggiornamenti quando i nostri blog sulle nuove funzionalità specifiche saranno pubblicati.</li>
</ul>
<blockquote>
<p>A cura di <a href="https://github.com/songxianj">Songxian Jiang</a></p>
</blockquote>


Cosa c'è di nuovo in Milvus 2.1 - Verso la semplicità e la velocità

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Frame_1282_edc1fb7d99.png" alt="cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>immagine di copertina</span> </span></p>
<p>Se state cercando un armadio che si adatti perfettamente alla vostra camera da letto o al vostro camerino, scommetto che la maggior parte delle persone penserà a quelli su misura. Tuttavia, non tutti hanno a disposizione un budget così ampio. E allora che dire di quelli già pronti? Il problema di questo tipo di armadi è che è molto probabile che non soddisfino le vostre aspettative, perché non sono abbastanza flessibili da soddisfare le vostre esigenze di spazio. Inoltre, quando si effettua una ricerca online, è piuttosto difficile riassumere il tipo di armadio che si sta cercando con delle parole chiave. È molto probabile che la parola chiave digitata nella casella di ricerca (ad esempio, un armadio con vassoio portagioie) sia molto diversa da come viene definita nel motore di ricerca (ad esempio, un armadio con <a href="https://www.ikea.com/us/en/p/komplement-pull-out-tray-with-insert-black-brown-s79249366/">vassoio estraibile con inserto</a>).</p>
<p>Ma grazie alle tecnologie emergenti, c'è una soluzione! IKEA, il conglomerato di vendita al dettaglio di mobili, fornisce un popolare strumento di progettazione <a href="https://www.ikea.com/us/en/rooms/bedroom/how-to/how-to-design-your-perfect-pax-wardrobe-pub8b76dda0">PAX wardrobe</a> che consente agli utenti di scegliere tra una serie di armadi già pronti e di personalizzarne il colore, le dimensioni e il design interno. Che abbiate bisogno di spazio per appendere, di più ripiani o di cassetti interni, questo sistema intelligente di personalizzazione degli armadi è sempre in grado di soddisfare le vostre esigenze.</p>
<p>Per trovare o costruire il vostro guardaroba ideale utilizzando questo sistema intelligente di progettazione di armadi, è necessario:</p>
<ol>
<li>Specificare i requisiti di base: forma (normale, a L o a U), lunghezza e profondità dell'armadio.</li>
<li>Specificare le esigenze di stoccaggio e l'organizzazione interna dell'armadio (ad esempio, è necessario uno spazio per appendere, un portapantaloni estraibile, ecc.)</li>
<li>Aggiungete o rimuovete parti dell'armadio come cassetti o ripiani.</li>
</ol>
<p>Il progetto è completato. Semplice e facile!</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Pax_system_ff4c3fa182.png" alt="pax system" class="doc-image" id="pax-system" />
   </span> <span class="img-wrapper"> <span>sistema pax</span> </span></p>
<p>Un componente molto importante che rende possibile un sistema di progettazione di armadi è il <a href="https://zilliz.com/learn/what-is-vector-database">database vettoriale</a>. Per questo motivo, questo articolo si propone di presentare il flusso di lavoro e le soluzioni di ricerca per similarità utilizzate per costruire un sistema intelligente di personalizzazione del guardaroba basato sulla ricerca per similarità vettoriale.</p>
<p>Vai a:</p>
<ul>
<li><a href="#System-overview">Panoramica del sistema</a></li>
<li><a href="#Data-flow">Flusso di dati</a></li>
<li><a href="#System-demo">Demo del sistema</a></li>
</ul>
<h2 id="System-Overview" class="common-anchor-header">Panoramica del sistema<button data-href="#System-Overview" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Per fornire uno strumento di personalizzazione del guardaroba così intelligente, dobbiamo innanzitutto definire la logica aziendale e comprendere gli attributi degli articoli e il percorso dell'utente. Gli armadi e i loro componenti, come cassetti, vassoi e scaffali, sono tutti dati non strutturati. Pertanto, il secondo passo consiste nello sfruttare gli algoritmi e le regole dell'intelligenza artificiale, le conoscenze pregresse, la descrizione degli articoli e altro ancora, per convertire questi dati non strutturati in un tipo di dati comprensibili ai computer: i vettori!</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Customization_tool_overview_86d62e1730.png" alt="Customization tool overview" class="doc-image" id="customization-tool-overview" />
   </span> <span class="img-wrapper"> <span>Panoramica dello strumento di personalizzazione</span> </span></p>
<p>Con i vettori generati, abbiamo bisogno di potenti database vettoriali e motori di ricerca per elaborarli.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/tool_architecutre_33fb646954.png" alt="tool architecture" class="doc-image" id="tool-architecture" />
   </span> <span class="img-wrapper"> <span>architettura dello strumento</span> </span></p>
<p>Lo strumento di personalizzazione sfrutta alcuni dei motori di ricerca e dei database più diffusi: Elasticsearch, <a href="https://milvus.io/">Milvus</a> e PostgreSQL.</p>
<h3 id="Why-Milvus" class="common-anchor-header">Perché Milvus?</h3><p>Un componente del guardaroba contiene informazioni molto complesse, come il colore, la forma, l'organizzazione interna, ecc. Tuttavia, il modo tradizionale di conservare i dati del guardaroba in un database relazionale non è sufficiente. Un metodo molto diffuso è quello di utilizzare tecniche di embedding per convertire i guardaroba in vettori. Pertanto, è necessario cercare un nuovo tipo di database specificamente progettato per l'archiviazione vettoriale e la ricerca di similarità. Dopo aver sondato diverse soluzioni popolari, è stato scelto il database vettoriale <a href="https://github.com/milvus-io/milvus">Milvus</a> per le sue eccellenti prestazioni, stabilità, compatibilità e facilità d'uso. Il grafico che segue è un confronto tra le diverse soluzioni di ricerca vettoriale più diffuse.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Solution_comparison_d96b8f1dd5.png" alt="solution comparison" class="doc-image" id="solution-comparison" />
   </span> <span class="img-wrapper"> <span>confronto tra le soluzioni</span> </span></p>
<h3 id="System-workflow" class="common-anchor-header">Flusso di lavoro del sistema</h3><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/System_workflow_250c275ec1.png" alt="System workflow" class="doc-image" id="system-workflow" />
   </span> <span class="img-wrapper"> <span>Flusso di lavoro del sistema</span> </span></p>
<p>Elasticsearch viene utilizzato per un filtraggio grossolano in base alle dimensioni del guardaroba, al colore, ecc. Poi i risultati filtrati passano attraverso Milvus, il database vettoriale, per una ricerca di similarità e i risultati vengono classificati in base alla loro distanza/similarità rispetto al vettore della query. Infine, i risultati vengono consolidati e ulteriormente raffinati in base alle intuizioni aziendali.</p>
<h2 id="Data-flow" class="common-anchor-header">Flusso di dati<button data-href="#Data-flow" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Il sistema di personalizzazione del guardaroba è molto simile ai tradizionali motori di ricerca e sistemi di raccomandazione. Si compone di tre parti:</p>
<ul>
<li>Preparazione dei dati offline, compresa la definizione e la generazione dei dati.</li>
<li>Servizi online, tra cui richiamo e classificazione.</li>
<li>Postelaborazione dei dati basata sulla logica aziendale.</li>
</ul>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/data_flow_d0d9fa0fca.png" alt="Data flow" class="doc-image" id="data-flow" />
   </span> <span class="img-wrapper"> <span>Flusso di dati</span> </span></p>
<h3 id="Offline-data-flow" class="common-anchor-header">Flusso di dati offline</h3><ol>
<li>Definire i dati utilizzando le intuizioni aziendali.</li>
<li>Utilizzare le conoscenze pregresse per definire il modo in cui combinare i diversi componenti e formarli in un guardaroba.</li>
<li>Riconoscere le etichette delle caratteristiche degli armadi e codificare le caratteristiche nei dati Elasticsearch in un file <code translate="no">.json</code>.</li>
<li>Preparare i dati di richiamo codificando i dati non strutturati in vettori.</li>
<li>Utilizzare il database vettoriale Milvus per classificare i risultati richiamati ottenuti nella fase precedente.</li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/offline_data_flow_f91ac9cf4c.png" alt="offline data flow" class="doc-image" id="offline-data-flow" />
   </span> <span class="img-wrapper"> <span>flusso di dati offline</span> </span></p>
<h3 id="Online-data-flow" class="common-anchor-header">Flusso di dati online</h3><ol>
<li>Ricevere le richieste di informazioni dagli utenti e raccogliere i profili degli utenti.</li>
<li>Comprendere le richieste degli utenti identificando i loro requisiti per il guardaroba.</li>
<li>Ricerca grossolana con Elasticsearch.</li>
<li>Attribuire un punteggio e classificare i risultati ottenuti dalla ricerca grossolana in base al calcolo della similarità vettoriale in Milvus.</li>
<li>Post-processare e organizzare i risultati sulla piattaforma back-end per generare i risultati finali.</li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/online_data_flow_1f2af25cc3.png" alt="online data flow" class="doc-image" id="online-data-flow" />
   </span> <span class="img-wrapper"> <span>flusso di dati online</span> </span></p>
<h3 id="Data-post-processing" class="common-anchor-header">Post-elaborazione dei dati</h3><p>La logica aziendale varia da un'azienda all'altra. È possibile aggiungere un tocco finale ai risultati applicando la logica aziendale.</p>
<h2 id="System-demo" class="common-anchor-header">Demo del sistema<button data-href="#System-demo" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Vediamo ora come funziona il sistema che abbiamo costruito.</p>
<p>L'interfaccia utente (UI) mostra la possibilità di diverse combinazioni di componenti del guardaroba.</p>
<p>Ogni componente viene etichettato in base alle sue caratteristiche (taglia, colore, ecc.) e memorizzato in Elasticsearch (ES). Quando si memorizzano le etichette in ES, si devono compilare quattro campi di dati principali: ID, tag, percorso di archiviazione e altri campi di supporto. ES e i dati etichettati vengono utilizzati per il richiamo granulare e il filtraggio degli attributi.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/es_d5b0639610.png" alt="es" class="doc-image" id="es" />
   </span> <span class="img-wrapper"> <span>es</span> </span></p>
<p>Quindi vengono utilizzati diversi algoritmi di intelligenza artificiale per codificare un guardaroba in un insieme di vettori. Gli insiemi di vettori vengono memorizzati in Milvus per la ricerca di similarità e la classificazione. Questa fase restituisce risultati più raffinati e accurati.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Milvus_38dd93a439.jpeg" alt="Milvus" class="doc-image" id="milvus" />
   </span> <span class="img-wrapper"> <span>Milvus</span> </span></p>
<p>Elasticsearch, Milvus e altri componenti del sistema formano complessivamente la piattaforma di progettazione della personalizzazione. Durante il richiamo, il linguaggio specifico del dominio (DSL) in Elasticsearch e Milvus è il seguente.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/dsl_df60097d23.png" alt="dsl" class="doc-image" id="dsl" />
   </span> <span class="img-wrapper"> <span>dsl</span> </span></p>
<h2 id="Looking-for-more-resources" class="common-anchor-header">Cercate altre risorse?<button data-href="#Looking-for-more-resources" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Scoprite come il database vettoriale Milvus può alimentare altre applicazioni di intelligenza artificiale:</p>
<ul>
<li><a href="https://milvus.io/blog/2022-06-23-How-Short-video-Platform-Likee-Removes-Duplicate-Videos-with-Milvus.md">Come la piattaforma di video brevi Likee rimuove i video duplicati con Milvus</a></li>
<li><a href="https://milvus.io/blog/2022-06-20-Zhentu-the-Photo-Fraud-Detector-Based-on-Milvus.md">Zhentu - Il rilevatore di frodi fotografiche basato su Milvus</a></li>
</ul>


Creare un sistema intelligente di personalizzazione del guardaroba grazie al database vettoriale di Milvus

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/How_Short_video_Platform_Likee_Removes_Duplicate_Videos_with_Milvus_07bd75ec82.png" alt="Cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>Immagine di copertina</span> </span></p>
<blockquote>
<p>Questo articolo è stato scritto da Xinyang Guo e Baoyu Han, ingegneri di BIGO, e tradotto da <a href="https://www.linkedin.cn/incareer/in/rosie-zhang-694528149">Rosie Zhang</a>.</p>
</blockquote>
<p><a href="https://www.bigo.sg/">BIGO Technology</a> (BIGO) è una delle aziende tecnologiche di Singapore in più rapida crescita. Grazie alla tecnologia dell'intelligenza artificiale, i prodotti e i servizi di BIGO basati sui video hanno guadagnato un'immensa popolarità in tutto il mondo, con oltre 400 milioni di utenti in più di 150 Paesi. Tra questi, <a href="https://www.bigo.tv/bigo_intro/en.html?hk=true">Bigo Live</a> (live streaming) e <a href="https://likee.video/">Likee</a> (video di breve durata).</p>
<p>Likee è una piattaforma globale per la creazione di video brevi in cui gli utenti possono condividere i loro momenti, esprimersi e connettersi con il mondo. Per migliorare l'esperienza degli utenti e raccomandare loro contenuti di qualità superiore, Likee deve eliminare i video duplicati dall'enorme quantità di video generati dagli utenti ogni giorno, un compito non semplice.</p>
<p>Questo blog presenta come BIGO utilizza <a href="https://milvus.io">Milvus</a>, un database vettoriale open-source, per rimuovere efficacemente i video duplicati.</p>
<p><strong>Vai a:</strong></p>
<ul>
<li><a href="#Overview">Panoramica</a></li>
<li><a href="#Video-deduplication-workflow">Flusso di lavoro della deduplicazione video</a></li>
<li><a href="#System-architecture">Architettura del sistema</a></li>
<li><a href="#Using-Milvus-vector-database-to-power-similarity-search">Utilizzo di Milvus per la ricerca di similarità</a></li>
</ul>
<custom-h1>Panoramica</custom-h1><p>Milvus è un database vettoriale open-source che offre una ricerca vettoriale ultraveloce. Grazie a Milvus, Likee è in grado di completare una ricerca in 200 ms, garantendo un elevato tasso di richiamo. Inoltre, <a href="https://milvus.io/docs/v2.0.x/scaleout.md#Scale-a-Milvus-Cluster">scalando Milvus orizzontalmente</a>, Likee riesce ad aumentare il throughput delle query vettoriali, migliorando ulteriormente la sua efficienza.</p>
<custom-h1>Flusso di lavoro della deduplicazione video</custom-h1><p>Come fa Likee a identificare i video duplicati? Ogni volta che un video viene inserito nel sistema di Likee, viene tagliato in 15-20 fotogrammi e ogni fotogramma viene convertito in un vettore di caratteristiche. Poi Likee effettua una ricerca in un database di 700 milioni di vettori per trovare i primi K vettori più simili. Ciascuno dei primi K vettori corrisponde a un video del database. Likee effettua ulteriori ricerche raffinate per ottenere i risultati finali e determinare i video da rimuovere.</p>
<custom-h1>Architettura del sistema</custom-h1><p>Vediamo più da vicino come funziona il sistema di de-duplicazione dei video di Likee utilizzando Milvus. Come mostrato nel diagramma sottostante, i nuovi video caricati su Likee vengono scritti in tempo reale su Kafka, un sistema di archiviazione dati, e consumati dai consumatori di Kafka. I vettori di caratteristiche di questi video vengono estratti attraverso modelli di deep learning, dove i dati non strutturati (video) vengono convertiti in vettori di caratteristiche. Questi vettori di caratteristiche vengono confezionati dal sistema e inviati al verificatore di similarità.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Likee_1_6f7ebcd8fc.png" alt="Architechure of Likee's video de-duplication system" class="doc-image" id="architechure-of-likee's-video-de-duplication-system" />
   </span> <span class="img-wrapper"> <span>Architettura del sistema di de-duplicazione video di Likee</span> </span></p>
<p>I vettori di caratteristiche estratti vengono indicizzati da Milvus e memorizzati in Ceph, prima di essere <a href="https://milvus.io/blog/deep-dive-5-real-time-query.md">caricati dal nodo di interrogazione di Milvus</a> per ulteriori ricerche. Gli ID video corrispondenti a questi vettori di caratteristiche saranno memorizzati simultaneamente in TiDB o Pika, a seconda delle esigenze effettive.</p>
<h3 id="Using-Milvus-vector-database-to-power-similarity-search" class="common-anchor-header">Utilizzo del database vettoriale Milvus per la ricerca di similarità</h3><p>Nella ricerca di vettori simili, miliardi di dati esistenti e grandi quantità di nuovi dati generati ogni giorno pongono grandi sfide alla funzionalità del motore di ricerca vettoriale. Dopo un'analisi approfondita, Likee ha scelto Milvus, un motore di ricerca vettoriale distribuito con elevate prestazioni e un alto tasso di richiamo, per condurre la ricerca di similarità vettoriale.</p>
<p>Come mostrato nel diagramma seguente, la procedura di una ricerca di similarità si svolge come segue:</p>
<ol>
<li><p>In primo luogo, Milvus esegue una ricerca batch per richiamare i primi 100 vettori simili per ciascuno dei vettori di caratteristiche multiple estratti da un nuovo video. Ogni vettore simile è legato all'ID video corrispondente.</p></li>
<li><p>In secondo luogo, confrontando gli ID dei video, Milvus rimuove i video duplicati e recupera i vettori di caratteristiche dei video rimanenti da TiDB o Pika.</p></li>
<li><p>Infine, Milvus calcola e assegna un punteggio alla somiglianza tra ciascun set di vettori di caratteristiche recuperati e i vettori di caratteristiche del video di query. L'ID del video con il punteggio più alto viene restituito come risultato. La ricerca di similarità dei video è così conclusa.</p></li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/02_a24d251c8f.png" alt="Procedure of a similarity search" class="doc-image" id="procedure-of-a-similarity-search" />
   </span> <span class="img-wrapper"> <span>Procedura di una ricerca di similarità</span> </span></p>
<p>Come motore di ricerca vettoriale ad alte prestazioni, Milvus ha svolto un lavoro straordinario nel sistema di de-duplicazione dei video di Likee, alimentando notevolmente la crescita del business dei video brevi di BIGO. In termini di attività video, Milvus può essere applicato a molti altri scenari, come il blocco dei contenuti illegali o la raccomandazione di video personalizzati. Sia BIGO che Milvus sono impazienti di collaborare in futuro in altri settori.</p>


Come la piattaforma di video brevi Likee rimuove i video duplicati con Milvus

Ricerca di similarità scalabile e velocissima con il database vettoriale Milvus

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/zhentu_0ae11c98ee.png" alt="cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>immagine di copertina</span> </span></p>
<blockquote>
<p>Questo articolo è stato scritto da Yan Shi e Minwei Tang, ingegneri senior degli algoritmi di BestPay, e tradotto da <a href="https://www.linkedin.cn/incareer/in/rosie-zhang-694528149">Rosie Zhang</a>.</p>
</blockquote>
<p>Negli ultimi anni, con il diffondersi dell'e-commerce e delle transazioni online in tutto il mondo, sono fiorite anche le frodi nell'e-commerce. Utilizzando foto generate al computer invece di quelle reali per superare la verifica dell'identità sulle piattaforme commerciali online, i truffatori creano enormi account falsi e approfittano delle offerte speciali delle aziende (ad esempio, regali di iscrizione, coupon, token), con perdite irrecuperabili sia per i consumatori che per le aziende.</p>
<p>I metodi tradizionali di controllo del rischio non sono più efficaci di fronte a un'ingente quantità di dati. Per risolvere il problema, <a href="https://www.bestpay.com.cn">BestPay</a> ha creato un rilevatore di frodi fotografiche, Zhentu (che in cinese significa rilevamento di immagini), basato sulle tecnologie di deep learning (DL) e di elaborazione digitale delle immagini (DIP). Zhentu è applicabile a diversi scenari che prevedono il riconoscimento delle immagini, tra cui l'identificazione di licenze commerciali false. Se la foto della licenza commerciale inviata da un utente è molto simile a un'altra foto già presente nella libreria fotografica di una piattaforma, è probabile che l'utente abbia rubato la foto da qualche parte o abbia falsificato la licenza per scopi fraudolenti.</p>
<p>Gli algoritmi tradizionali per misurare la somiglianza delle immagini, come <a href="https://en.wikipedia.org/wiki/Peak_signal-to-noise_ratio">PSNR</a> e ORB, sono lenti e imprecisi, applicabili solo a compiti offline. L'apprendimento profondo, invece, è in grado di elaborare dati di immagini su larga scala in tempo reale ed è il metodo definitivo per abbinare immagini simili. Grazie agli sforzi congiunti del team di ricerca e sviluppo di BestPay e della <a href="https://milvus.io/">comunità Milvus</a>, è stato sviluppato un sistema di rilevamento delle frodi fotografiche come parte di Zhentu. Il sistema funziona convertendo enormi quantità di dati di immagini in vettori di caratteristiche attraverso modelli di deep learning e inserendoli in <a href="https://milvus.io/">Milvus</a>, un motore di ricerca vettoriale. Con Milvus, il sistema di rilevamento è in grado di indicizzare trilioni di vettori e di recuperare in modo efficiente foto simili tra decine di milioni di immagini.</p>
<p><strong>Vai a:</strong></p>
<ul>
<li><a href="#an-overview-of-zhentu">Panoramica di Zhentu</a></li>
<li><a href="#system-structure">Struttura del sistema</a></li>
<li><a href="#deployment"><strong>Distribuzione</strong></a></li>
<li><a href="#real-world-performance"><strong>Prestazioni nel mondo reale</strong></a></li>
<li><a href="#reference"><strong>Riferimento</strong></a></li>
<li><a href="#about-bestpay"><strong>Informazioni su BestPay</strong></a></li>
</ul>
<h2 id="An-overview-of-Zhentu" class="common-anchor-header">Una panoramica di Zhentu<button data-href="#An-overview-of-Zhentu" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Zhentu è il prodotto di controllo del rischio visivo multimediale autoprogettato da BestPay e profondamente integrato con tecnologie di apprendimento automatico (ML) e di riconoscimento delle immagini su rete neurale. Il suo algoritmo integrato è in grado di identificare con precisione i truffatori durante l'autenticazione degli utenti e di rispondere a livello di millisecondi. Grazie alla sua tecnologia leader nel settore e alla sua soluzione innovativa, Zhentu ha ottenuto cinque brevetti e due copyright software. Attualmente viene utilizzato da numerose banche e istituzioni finanziarie per aiutare a identificare in anticipo i potenziali rischi.</p>
<h2 id="System-structure" class="common-anchor-header">Struttura del sistema<button data-href="#System-structure" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>BestPay dispone attualmente di oltre 10 milioni di foto di licenze commerciali e il volume effettivo continua a crescere in modo esponenziale con la crescita dell'attività. Per recuperare rapidamente foto simili da un database così ampio, Zhentu ha scelto Milvus come motore di calcolo della similarità dei vettori di caratteristiche. La struttura generale del sistema di rilevamento delle frodi fotografiche è illustrata nel diagramma seguente.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Structure_of_the_photo_fraud_detection_system_cf5d20d431.png" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<p>La procedura può essere suddivisa in quattro fasi:</p>
<ol>
<li><p>Pre-elaborazione dell'immagine. La pre-elaborazione, che comprende la riduzione del rumore, la rimozione del disturbo e il miglioramento del contrasto, garantisce l'integrità delle informazioni originali e la rimozione delle informazioni inutili dal segnale dell'immagine.</p></li>
<li><p>Estrazione del vettore di caratteristiche. Un modello di deep learning appositamente addestrato viene utilizzato per estrarre i vettori di caratteristiche dell'immagine. La conversione delle immagini in vettori per un'ulteriore ricerca di somiglianza è un'operazione di routine.</p></li>
<li><p>Normalizzazione. La normalizzazione dei vettori di caratteristiche estratti aiuta a migliorare l'efficienza dell'elaborazione successiva.</p></li>
<li><p>Ricerca vettoriale con Milvus. Inserimento dei vettori di caratteristiche normalizzati nel database Milvus per la ricerca di similarità vettoriale.</p></li>
</ol>
<h2 id="Deployment" class="common-anchor-header"><strong>Distribuzione</strong><button data-href="#Deployment" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Ecco una breve descrizione di come viene implementato il sistema di rilevamento delle frodi fotografiche di Zhentu.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/milvus_architecture_ea45a5ab53.png" alt="Milvus system architecture" class="doc-image" id="milvus-system-architecture" />
   </span> <span class="img-wrapper"> <span>Architettura del sistema Milvus</span> </span></p>
<p>Abbiamo implementato il nostro <a href="https://milvus.io/docs/v2.0.x/install_cluster-helm.md">cluster Milvus su Kubernetes</a> per garantire l'alta disponibilità e la sincronizzazione in tempo reale dei servizi cloud. I passi generali sono i seguenti:</p>
<ol>
<li><p>Visualizzare le risorse disponibili. Eseguire il comando <code translate="no">kubectl describe nodes</code> per vedere le risorse che il cluster Kubernetes può allocare ai casi creati.</p></li>
<li><p>Allocare le risorse. Eseguire il comando <code translate="no">kubect`` -- apply xxx.yaml</code> per allocare le risorse di memoria e CPU per i componenti del cluster Milvus utilizzando Helm.</p></li>
<li><p>Applicare la nuova configurazione. Eseguire il comando <code translate="no">helm upgrade my-release milvus/milvus --reuse-values -fresources.yaml</code>.</p></li>
<li><p>Applicare la nuova configurazione al cluster Milvus. Il cluster distribuito in questo modo non solo ci permette di regolare la capacità del sistema in base alle diverse esigenze aziendali, ma soddisfa anche meglio i requisiti di alte prestazioni per il recupero massiccio di dati vettoriali.</p></li>
</ol>
<p>È possibile <a href="https://milvus.io/docs/v2.0.x/configure-docker.md">configurare Milvus</a> per ottimizzare le prestazioni di ricerca per diversi tipi di dati provenienti da diversi scenari aziendali, come mostrato nei due esempi seguenti.</p>
<p>Nella <a href="https://milvus.io/docs/v2.0.x/build_index.md">costruzione dell'indice vettoriale</a>, si parametrizza l'indice in base allo scenario reale del sistema come segue:</p>
<pre><code translate="no" class="language-Python">index = {<span class="hljs-string">&quot;index_type&quot;</span>: <span class="hljs-string">&quot;IVF_PQ&quot;</span>, <span class="hljs-string">&quot;params&quot;</span>: {<span class="hljs-string">&quot;nlist&quot;</span>: <span class="hljs-number">2048</span>}, <span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&quot;IP&quot;</span>}
<button class="copy-code-btn"></button></code></pre>
<p><a href="https://milvus.io/docs/v2.0.x/index.md#IVF_PQ">IVF_PQ</a> esegue il clustering dell'indice IVF prima di quantizzare il prodotto dei vettori. È caratterizzato da un'alta velocità di interrogazione del disco e da un consumo di memoria molto basso, che soddisfa le esigenze dell'applicazione reale di Zhentu.</p>
<p>Inoltre, abbiamo impostato i parametri di ricerca ottimali come segue:</p>
<pre><code translate="no" class="language-Python">search_params = {<span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&quot;IP&quot;</span>, <span class="hljs-string">&quot;params&quot;</span>: {<span class="hljs-string">&quot;nprobe&quot;</span>: <span class="hljs-number">32</span>}}
<button class="copy-code-btn"></button></code></pre>
<p>Poiché i vettori sono già normalizzati prima di essere inseriti in Milvus, si sceglie il prodotto interno (IP) per calcolare la distanza tra due vettori. Gli esperimenti hanno dimostrato che il tasso di richiamo aumenta di circa il 15% utilizzando l'IP rispetto alla distanza euclidea (L2).</p>
<p>Gli esempi sopra riportati dimostrano che è possibile testare e impostare i parametri di Milvus in base ai diversi scenari aziendali e ai requisiti di prestazione.</p>
<p>Inoltre, Milvus non solo integra diverse librerie di indici, ma supporta anche diversi tipi di indici e metodi di calcolo della similarità. Milvus fornisce anche SDK ufficiali in diverse lingue e ricche API per l'inserimento, l'interrogazione e così via, consentendo ai nostri gruppi aziendali front-end di utilizzare gli SDK per chiamare il centro di controllo dei rischi.</p>
<h2 id="Real-world-performance" class="common-anchor-header"><strong>Prestazioni nel mondo reale</strong><button data-href="#Real-world-performance" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Finora il sistema di rilevamento delle frodi fotografiche ha funzionato costantemente, aiutando le aziende a identificare i potenziali truffatori. Nel 2021, ha rilevato oltre 20.000 patenti false nel corso dell'anno. In termini di velocità di interrogazione, un'interrogazione di un singolo vettore tra decine di milioni di vettori richiede meno di 1 secondo e il tempo medio di interrogazione in batch è inferiore a 0,08 secondi. La ricerca ad alte prestazioni di Milvus soddisfa le esigenze delle aziende sia in termini di accuratezza che di concomitanza.</p>
<h2 id="Reference" class="common-anchor-header"><strong>Riferimento</strong><button data-href="#Reference" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Aglave P, Kolkure V S. Implementation of High Performance Feature Extraction Method Using Oriented Fast and Rotated Brief Algorithm[J]. Int. J. Res. Eng. Technol, 2015, 4: 394-397.</p>
<h2 id="About-BestPay" class="common-anchor-header"><strong>Informazioni su BestPay</strong><button data-href="#About-BestPay" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>China Telecom BestPay Co., Ltd è una società interamente controllata da China Telecom. Gestisce le attività di pagamento e finanza. BestPay si impegna a utilizzare tecnologie all'avanguardia come i big data, l'intelligenza artificiale e il cloud computing per potenziare l'innovazione aziendale, fornendo prodotti intelligenti, soluzioni di controllo del rischio e altri servizi. Fino a gennaio 2016, l'applicazione BestPay ha attirato oltre 200 milioni di utenti ed è diventata il terzo operatore di piattaforme di pagamento in Cina, dopo Alipay e WeChat Payment.</p>


Zhentu - il rilevatore di frodi fotografiche basato su Milvus

Zattera o no? La soluzione migliore per la consistenza dei dati nei database cloud-nativi

Che cosa potenzia la ricerca di similarità nel database vettoriale Milvus?

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Deep_Dive_7_baae830823.png" alt="Cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>Immagine di copertina</span> </span></p>
<blockquote>
<p>Questo articolo è stato trascritto da <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni</a>.</p>
</blockquote>
<p>Una <a href="https://milvus.io/docs/v2.0.x/query.md">query vettoriale</a> in Milvus è il processo di recupero di vettori tramite un filtro scalare basato su un'espressione booleana. Con il filtraggio scalare, gli utenti possono limitare i risultati delle loro interrogazioni con determinate condizioni applicate agli attributi dei dati. Ad esempio, se un utente interroga i film usciti nel periodo 1990-2010 e con un punteggio superiore a 8,5, solo i film i cui attributi (anno di uscita e punteggio) soddisfano la condizione.</p>
<p>Questo post si propone di esaminare come viene completata una query in Milvus, dall'inserimento di un'espressione di query alla generazione del piano di query e all'esecuzione della stessa.</p>
<p><strong>Vai a:</strong></p>
<ul>
<li><a href="#Query-expression">Espressione di query</a></li>
<li><a href="#Plan-AST-generation">Generazione del piano AST</a></li>
<li><a href="#Query-execution">Esecuzione della query</a></li>
</ul>
<h2 id="Query-expression" class="common-anchor-header">Espressione della query<button data-href="#Query-expression" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>L'espressione di una query con filtraggio degli attributi in Milvus adotta la sintassi EBNF (Extended Backus-Naur form). L'immagine seguente mostra le regole di espressione in Milvus.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Expression_Syntax_966493a5be.png" alt="Expression Syntax" class="doc-image" id="expression-syntax" />
   </span> <span class="img-wrapper"> <span>Sintassi dell'espressione</span> </span></p>
<p>Le espressioni logiche possono essere create utilizzando la combinazione di operatori logici binari, operatori logici unari, espressioni logiche e singole espressioni. Poiché la sintassi EBNF è di per sé ricorsiva, un'espressione logica può essere il risultato della combinazione o parte di un'espressione logica più grande. Un'espressione logica può contenere molte sottoespressioni logiche. La stessa regola si applica a Milvus. Se un utente ha bisogno di filtrare gli attributi dei risultati con molte condizioni, può creare il proprio insieme di condizioni di filtraggio combinando diversi operatori logici ed espressioni.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Boolean_expression_1_dce12f8483.png" alt="Boolean expression" class="doc-image" id="boolean-expression" />
   </span> <span class="img-wrapper"> <span>Espressione booleana</span> </span></p>
<p>L'immagine qui sopra mostra una parte delle <a href="https://milvus.io/docs/v2.0.x/boolean.md">regole delle espressioni booleane</a> in Milvus. Gli operatori logici unari possono essere aggiunti a un'espressione. Attualmente Milvus supporta solo l'operatore logico unario &quot;not&quot;, che indica che il sistema deve prendere i vettori i cui valori del campo scalare non soddisfano i risultati del calcolo. Gli operatori logici binari includono &quot;and&quot; e &quot;or&quot;. Le espressioni singole includono le espressioni di termine e le espressioni di confronto.</p>
<p>In Milvus sono supportati anche i calcoli aritmetici di base, come addizione, sottrazione, moltiplicazione e divisione, durante un'interrogazione. L'immagine seguente mostra la precedenza delle operazioni. Gli operatori sono elencati dall'alto verso il basso in ordine decrescente.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Precedence_b8cfbdf17b.png" alt="Precedence" class="doc-image" id="precedence" />
   </span> <span class="img-wrapper"> <span>Precedenza</span> </span></p>
<h3 id="How-a-query-expression-on-certain-films-is-processed-in-Milvus" class="common-anchor-header">Come viene elaborata in Milvus un'espressione di interrogazione su determinati film?</h3><p>Supponiamo che in Milvus ci sia un'abbondanza di dati di film e che l'utente voglia interrogare alcuni film. Ad esempio, ogni film memorizzato in Milvus ha i seguenti cinque campi: ID film, anno di uscita, tipo di film, colonna sonora e poster. In questo esempio, il tipo di dati dell'ID del film e dell'anno di uscita è int64, mentre i punteggi dei film sono dati in virgola mobile. Inoltre, le locandine dei film sono memorizzate nel formato di vettori a virgola mobile e il tipo di film nel formato di dati stringa. In particolare, il supporto per i dati di tipo stringa è una novità di Milvus 2.1.</p>
<p>Per esempio, se un utente vuole interrogare i film con un punteggio superiore a 8,5. I film devono essere usciti da un decennio prima del 2000 a un decennio dopo il 2000 o devono essere di tipo commedia o film d'azione, l'utente deve inserire la seguente espressione di predicato: <code translate="no">score &gt; 8.5 &amp;&amp; (2000 - 10 &lt; release_year &lt; 2000 + 10 || type in [comedy,action])</code>.</p>
<p>Una volta ricevuta l'espressione della query, il sistema la eseguirà con la seguente precedenza:</p>
<ol>
<li>Ricerca di film con punteggio superiore a 8,5. I risultati della query sono chiamati &quot;risultato1&quot;.</li>
<li>Calcolare 2000 - 10 per ottenere "risultato2" (1990).</li>
<li>Calcolare 2000 + 10 per ottenere "risultato3" (2010).</li>
<li>Cercare i film con il valore di <code translate="no">release_year</code> maggiore di &quot;risultato2&quot; e minore di &quot;risultato3&quot;. In altre parole, il sistema deve cercare i film usciti tra il 1990 e il 2010. I risultati dell'interrogazione sono chiamati &quot;risultato4&quot;.</li>
<li>Interrogare i film che sono commedie o film d'azione. I risultati della query sono chiamati &quot;risultato5&quot;.</li>
<li>Combinare "risultato4" e "risultato5" per ottenere film che sono usciti tra il 1990 e il 2010 o che appartengono alla categoria delle commedie o dei film d'azione. I risultati sono chiamati &quot;risultato6&quot;.</li>
<li>Prendete la parte comune di "risultato1" e "risultato6" per ottenere i risultati finali che soddisfano tutte le condizioni.</li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Frame_1_16_00972a6e5d.png" alt="Film example" class="doc-image" id="film-example" />
   </span> <span class="img-wrapper"> <span>Esempio di film</span> </span></p>
<h2 id="Plan-AST-generation" class="common-anchor-header">Generazione di piani AST<button data-href="#Plan-AST-generation" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus utilizza lo strumento open-source <a href="https://www.antlr.org/">ANTLR</a> (ANother Tool for Language Recognition) per la generazione di piani AST (abstract syntax tree). ANTLR è un potente generatore di parser per la lettura, l'elaborazione, l'esecuzione o la traduzione di file di testo o binari. Più specificamente, ANTLR può generare un parser per costruire e percorrere alberi di parsing basati su regole o sintassi predefinite. L'immagine seguente è un esempio in cui l'espressione di input è &quot;SP=100;&quot;. LEXER, la funzionalità di riconoscimento linguistico integrata in ANTLR, genera quattro token per l'espressione di input: &quot;SP&quot;, &quot;=&quot;, &quot;100&quot; e &quot;;&quot;. Quindi lo strumento analizza ulteriormente i quattro token per generare l'albero di parsè corrispondente.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/parse_tree_b2c3fb0b36.png" alt="parse tree" class="doc-image" id="parse-tree" />
   </span> <span class="img-wrapper"> <span>albero di parsè</span> </span></p>
<p>Il meccanismo del walker è una parte fondamentale dello strumento ANTLR. È progettato per percorrere tutti gli alberi di parsing per esaminare se ogni nodo rispetta le regole sintattiche o per rilevare alcune parole sensibili. Alcune delle API rilevanti sono elencate nell'immagine seguente. Poiché ANTLR parte dal nodo radice e scende attraverso ogni sotto-nodo fino in fondo, non è necessario differenziare l'ordine di percorrenza dell'albero di parses.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/parse_tree_walker_9a27942502.png" alt="parse tree walker" class="doc-image" id="parse-tree-walker" />
   </span> <span class="img-wrapper"> <span>camminatore dell'albero di parsè</span> </span></p>
<p>Milvus genera il PlanAST per le query in modo simile ad ANTLR. Tuttavia, l'uso di ANTLR richiede la ridefinizione di regole sintattiche piuttosto complicate. Pertanto, Milvus adotta una delle regole più diffuse, quella delle espressioni booleane, e dipende dal pacchetto <a href="https://github.com/antonmedv/expr">Expr</a>, disponibile su GitHub, per interrogare e analizzare la sintassi delle espressioni di query.</p>
<p>Durante una query con filtraggio degli attributi, Milvus genera un albero del piano primitivo irrisolto usando ant-parser, il metodo di parsing fornito da Expr, quando riceve l'espressione della query. Il piano primitivo ottenuto è un semplice albero binario. L'albero del piano viene poi perfezionato da Expr e dall'ottimizzatore integrato in Milvus. L'ottimizzatore di Milvus è molto simile al meccanismo del walker già citato. Poiché la funzionalità di ottimizzazione dell'albero del piano fornita da Expr è piuttosto sofisticata, l'onere dell'ottimizzatore integrato in Milvus viene alleggerito in larga misura. Infine, l'analizzatore analizza l'albero del piano ottimizzato in modo ricorsivo per generare un AST del piano nella struttura dei <a href="https://developers.google.com/protocol-buffers">buffer di protocollo</a> (protobuf).</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/plan_AST_workflow_3e50b7a0d4.png" alt="plan AST workflow" class="doc-image" id="plan-ast-workflow" />
   </span> <span class="img-wrapper"> <span>Flusso di lavoro del piano AST</span> </span></p>
<h2 id="Query-execution" class="common-anchor-header">Esecuzione della query<button data-href="#Query-execution" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>L'esecuzione di una query è in fondo l'esecuzione del piano AST generato nelle fasi precedenti.</p>
<p>In Milvus, un piano AST è definito in una struttura proto. L'immagine sottostante rappresenta un messaggio con la struttura protobuf. Esistono sei tipi di espressioni, tra cui l'espressione binaria e l'espressione unaria, che possono avere anche l'espressione logica binaria e l'espressione logica unaria.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Protobuf1_232132dcf2.png" alt="protobuf1" class="doc-image" id="protobuf1" />
   </span> <span class="img-wrapper"> <span>protobuf1</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/protobuf2_193f92f033.png" alt="protobuf2" class="doc-image" id="protobuf2" />
   </span> <span class="img-wrapper"> <span>protobuf2</span> </span></p>
<p>L'immagine seguente è un'immagine UML dell'espressione di query. Mostra la classe base e la classe derivata di ogni espressione. Ogni classe è dotata di un metodo per accettare i parametri del visitatore. Questo è un tipico modello di progettazione del visitatore. Milvus utilizza questo pattern per eseguire il piano AST, in quanto il suo principale vantaggio è che gli utenti non devono fare nulla alle espressioni primitive, ma possono accedere direttamente a uno dei metodi del pattern per modificare la classe dell'espressione di query e i relativi elementi.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/UML_1238bc30e1.png" alt="UML" class="doc-image" id="uml" />
   </span> <span class="img-wrapper"> <span>UML</span> </span></p>
<p>Quando si esegue un piano AST, Milvus riceve prima un nodo di piano di tipo proto. Poi ottiene un nodo di piano di tipo segcore tramite il parser interno C++ proto. Una volta ottenuti i due tipi di nodi di piano, Milvus accetta una serie di accessi alle classi e poi modifica ed esegue la struttura interna dei nodi di piano. Infine, Milvus cerca tra tutti i nodi del piano di esecuzione per ottenere i risultati filtrati. I risultati finali sono presentati nel formato di una bitmask. Una bitmask è un array di numeri di bit ("0" e "1"). I dati che soddisfano le condizioni del filtro sono contrassegnati da "1" nella bitmask, mentre quelli che non soddisfano i requisiti sono contrassegnati da "0" nella bitmask.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/execute_workflow_d89f1ee925.png" alt="execute workflow" class="doc-image" id="execute-workflow" />
   </span> <span class="img-wrapper"> <span>eseguire il flusso di lavoro</span> </span></p>
<h2 id="About-the-Deep-Dive-Series" class="common-anchor-header">Informazioni sulla serie Deep Dive<button data-href="#About-the-Deep-Dive-Series" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Con l'<a href="https://milvus.io/blog/2022-1-25-annoucing-general-availability-of-milvus-2-0.md">annuncio ufficiale della disponibilità generale</a> di Milvus 2.0, abbiamo organizzato questa serie di blog Milvus Deep Dive per fornire un'interpretazione approfondita dell'architettura e del codice sorgente di Milvus. Gli argomenti trattati in questa serie di blog includono:</p>
<ul>
<li><a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">Panoramica dell'architettura Milvus</a></li>
<li><a href="https://milvus.io/blog/deep-dive-2-milvus-sdk-and-api.md">API e SDK Python</a></li>
<li><a href="https://milvus.io/blog/deep-dive-3-data-processing.md">Elaborazione dei dati</a></li>
<li><a href="https://milvus.io/blog/deep-dive-4-data-insertion-and-data-persistence.md">Gestione dei dati</a></li>
<li><a href="https://milvus.io/blog/deep-dive-5-real-time-query.md">Interrogazione in tempo reale</a></li>
<li><a href="https://milvus.io/blog/deep-dive-7-query-expression.md">Motore di esecuzione scalare</a></li>
<li><a href="https://milvus.io/blog/deep-dive-6-oss-qa.md">Sistema QA</a></li>
<li><a href="https://milvus.io/blog/deep-dive-8-knowhere.md">Motore di esecuzione vettoriale</a></li>
</ul>


In che modo il database comprende ed esegue la query?

Garanzia di qualità del software open source (OSS) - Un caso di studio di Milvus

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220516_163732_d40acac221.png" alt="Cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>Immagine di copertina</span> </span></p>
<p>Di recente abbiamo raggiunto un'incredibile pietra miliare nel viaggio del database vettoriale: oltre 10.000 stelle sul <a href="https://github.com/milvus-io/milvus">repo GitHub di Milvus</a>. Grazie a tutti coloro che ci hanno sostenuto dandoci una stella ⭐️.</p>
<p>Sono passati due anni e mezzo meravigliosi da quando Milvus è diventato un progetto open-source. Quando abbiamo iniziato, pochissime persone capivano esattamente cosa fosse un database vettoriale, per non parlare di come avrebbe permesso e accelerato l'adozione dell'intelligenza artificiale nella nostra vita quotidiana. Il database vettoriale Milvus porta avanti la nostra visione di definire e costruire il database di nuova generazione per l'IA. Nel progetto Milvus abbiamo combinato gli algoritmi SOTA con le tecnologie cloud, in modo che gli sviluppatori potessero creare applicazioni di IA con facilità grazie al database vettoriale Milvus.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Milvus_0_10000_d50a914332.gif" alt="Gif2" class="doc-image" id="gif2" />
   </span> <span class="img-wrapper"> <span>Gif2</span> </span></p>
<div align="center">Fare clic <a href="https://www.youtube.com/watch?v=zIAX_oPI2Jk&ab_channel=Milvus-VectorDatabase">qui</a> per vedere il video completo della visualizzazione dello sviluppo del repository Milvus.</div>
<p><br/></p>
<p>Ci sono molti <a href="https://github.com/milvus-io/milvus">progetti brillanti</a> che hanno gettato le basi per Milvus e siamo grati di stare sulle spalle dei giganti. Senza di loro Milvus non sarebbe esistito.</p>
<p>Siamo anche incredibilmente grati alla nostra fantastica comunità, che ha contribuito ad aprire un capitolo emozionante per questo nuovo tipo di database. Prima di guardare avanti, vogliamo prenderci un momento per riflettere su questo viaggio, guardare le nostre pietre miliari e riconoscere e ringraziare i nostri sviluppatori:</p>
<ul>
<li>Siamo entrati a far parte di LF AI &amp; Data Foundation a livello di <a href="https://lfaidata.foundation/blog/2020/04/02/milvus-joins-lf-ai-as-new-incubation-project/">incubazione</a>, trovando la nostra casa accanto a molti altri grandi progetti open source di AI e dati. Ora Milvus è già un <a href="https://lfaidata.foundation/blog/2021/06/23/lf-ai-data-foundation-announces-graduation-of-milvus-project/">progetto di laurea</a>.</li>
<li>Abbiamo rilasciato due versioni principali: <a href="https://milvus.io/docs/v1.0.0/announcement.md">Milvus 1.0</a> e <a href="https://milvus.io/docs/v2.0.x/comparison.md">Milvus 2.0</a>.</li>
<li>È stato pubblicato un documento SIGMOD: <a href="https://dl.acm.org/doi/abs/10.1145/3448016.3457550">Milvus: A Purpose-Built Vector Data Management System</a>.</li>
<li>Attualmente abbiamo più di 10.000 membri della comunità e oltre 220 collaboratori in tutto il mondo.</li>
<li>Sono oltre <a href="https://milvus.io/">1000 gli utenti aziendali</a> che hanno adottato Milvus. Tra questi, ci sono molti leader del settore.</li>
</ul>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Milvus_10000_star_timeline_3sec_de1a7c906a.gif" alt="Timeline gif" class="doc-image" id="timeline-gif" />
   </span> <span class="img-wrapper"> <span>Timeline gif</span> </span></p>
<p>Tutto questo è possibile solo grazie a ogni singola persona che contribuisce. Grazie per le richieste di pull, le segnalazioni di problemi, le e-mail, le riunioni e la condivisione della vostra conoscenza di Milvus. Tutti voi state svolgendo un ruolo prezioso nel progresso di Milvus.</p>
<h2 id="Special-event" class="common-anchor-header">Evento speciale<button data-href="#Special-event" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Per questo traguardo speciale, abbiamo preparato un piccolo regalo di ringraziamento: <a href="https://assets.zilliz.com/10_K_stars_2b2e0e0b36.png">uno sfondo per il desktop scaricabile</a>. Speriamo che vi piaccia!</p>
<p>Sarebbe bello se aiutaste a <a href="https://twitter.com/milvusio">diffondere la notizia</a>! ❤️</p>


Un piccolo passo per Milvus - 10.000 stelle

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/deep_dive_5_5e9175c7f7.png" alt="Cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>Immagine di copertina</span> </span></p>
<blockquote>
<p>Questo articolo è stato scritto da <a href="https://github.com/xige-16">Xi Ge</a> e trascritto da <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni</a>.</p>
</blockquote>
<p>Nel post precedente abbiamo parlato dell'<a href="https://milvus.io/blog/deep-dive-4-data-insertion-and-data-persistence.md">inserimento e della persistenza dei dati</a> in Milvus. In questo articolo continueremo a spiegare come <a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">i diversi componenti</a> di Milvus interagiscono tra loro per completare l'interrogazione dei dati in tempo reale.</p>
<p><em>Di seguito sono elencate alcune risorse utili prima di iniziare. Si consiglia di leggerle prima per comprendere meglio l'argomento di questo post.</em></p>
<ul>
<li><a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">Approfondimento sull'architettura di Milvus</a></li>
<li><a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md#Data-Model">Modello di dati Milvus</a></li>
<li><a href="https://milvus.io/docs/v2.0.x/four_layers.md">Il ruolo e la funzione di ciascun componente di Milvus</a></li>
<li><a href="https://milvus.io/blog/deep-dive-3-data-processing.md">Elaborazione dei dati in Milvus</a></li>
<li><a href="https://milvus.io/blog/deep-dive-4-data-insertion-and-data-persistence.md">Inserimento e persistenza dei dati in Milvus</a></li>
</ul>
<h2 id="Load-data-to-query-node" class="common-anchor-header">Caricare i dati sul nodo di interrogazione<button data-href="#Load-data-to-query-node" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Prima di eseguire una query, i dati devono essere caricati nei nodi di query.</p>
<p>Ci sono due tipi di dati che vengono caricati sul nodo di query: i dati in streaming dal <a href="https://milvus.io/docs/v2.0.x/four_layers.md#Log-broker">log broker</a> e i dati storici dall'<a href="https://milvus.io/docs/v2.0.x/four_layers.md#Object-storage">object storage</a> (chiamato anche storage persistente).</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/flowchart_b1c51dfdaa.png" alt="Flowchart" class="doc-image" id="flowchart" />
   </span> <span class="img-wrapper"> <span>Diagramma di flusso</span> </span></p>
<p>Il Data Coord è responsabile della gestione dei dati in streaming che vengono continuamente inseriti in Milvus. Quando un utente di Milvus chiama <code translate="no">collection.load()</code> per caricare una collezione, il query coord interroga il data coord per sapere quali segmenti sono stati conservati nello storage e i loro checkpoint corrispondenti. Un checkpoint è un segno che indica che i segmenti persistiti prima del checkpoint sono consumati, mentre quelli dopo il checkpoint non lo sono.</p>
<p>Quindi, la query coord produce una strategia di allocazione basata sulle informazioni della data coord: per segmento o per canale. L'allocatore di segmenti è responsabile dell'allocazione dei segmenti nello storage persistente (dati batch) ai diversi nodi di interrogazione. Ad esempio, nell'immagine precedente, l'allocatore di segmenti assegna i segmenti 1 e 3 (S1, S3) al nodo di interrogazione 1, e i segmenti 2 e 4 (S2, S4) al nodo di interrogazione 2. L'allocatore di canali assegna diversi nodi di interrogazione per guardare più <a href="https://milvus.io/docs/v2.0.x/data_processing.md#Data-insertion">canali di</a> manipolazione dei dati (DMChannels) nel log broker. Ad esempio, nell'immagine precedente, l'allocatore di canali assegna al nodo di query 1 il canale 1 (Ch1) e al nodo di query 2 il canale 2 (Ch2).</p>
<p>Con la strategia di allocazione, ogni nodo di query carica i dati del segmento e guarda i canali di conseguenza. Nel nodo di interrogazione 1 dell'immagine, i dati storici (dati batch) vengono caricati tramite gli allocati S1 e S3 dalla memoria persistente. Nel frattempo, il nodo di query 1 carica i dati incrementali (dati in streaming) abbonandosi al canale 1 del log broker.</p>
<h2 id="Data-management-in-query-node" class="common-anchor-header">Gestione dei dati nel nodo di interrogazione<button data-href="#Data-management-in-query-node" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Un nodo di interrogazione deve gestire sia i dati storici che quelli incrementali. I dati storici sono memorizzati in <a href="https://milvus.io/blog/deep-dive-4-data-insertion-and-data-persistence.md#Sealed-segment">segmenti sigillati</a>, mentre i dati incrementali sono memorizzati in <a href="https://milvus.io/blog/deep-dive-4-data-insertion-and-data-persistence.md#Growing-segment">segmenti crescenti</a>.</p>
<h3 id="Historical-data-management" class="common-anchor-header">Gestione dei dati storici</h3><p>Le considerazioni da fare per la gestione dei dati storici sono principalmente due: bilanciamento del carico e failover del nodo di query.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/load_balance_c77e22bb5c.png" alt="Load balance" class="doc-image" id="load-balance" />
   </span> <span class="img-wrapper"> <span>Bilanciamento del carico</span> </span></p>
<p>Ad esempio, come mostrato nell'illustrazione, al nodo di query 4 sono stati assegnati più segmenti sigillati rispetto agli altri nodi di query. È molto probabile che il nodo di query 4 diventi il collo di bottiglia che rallenta l'intero processo di interrogazione. Per risolvere questo problema, il sistema deve assegnare diversi segmenti del nodo di query 4 ad altri nodi di query. Questa operazione è chiamata bilanciamento del carico.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Query_node_failover_3278c0e307.png" alt="Query node failover" class="doc-image" id="query-node-failover" />
   </span> <span class="img-wrapper"> <span>Failover del nodo di query</span> </span></p>
<p>Un'altra situazione possibile è illustrata nell'immagine precedente. Uno dei nodi, il nodo di query 4, è improvvisamente inattivo. In questo caso, il carico (segmenti allocati al nodo di query 4) deve essere trasferito ad altri nodi di query funzionanti per garantire l'accuratezza dei risultati della query.</p>
<h3 id="Incremental-data-management" class="common-anchor-header">Gestione incrementale dei dati</h3><p>Il nodo di interrogazione guarda i canali DMC per ricevere dati incrementali. In questo processo viene introdotto il diagramma di flusso. Per prima cosa filtra tutti i messaggi di inserimento dei dati. Questo per garantire che vengano caricati solo i dati di una determinata partizione. Ogni collezione in Milvus ha un canale corrispondente, che è condiviso da tutte le partizioni di quella collezione. Pertanto, è necessario un diagramma di flusso per filtrare i dati inseriti se un utente di Milvus ha bisogno di caricare solo i dati di una determinata partizione. Altrimenti, i dati di tutte le partizioni della collezione saranno caricati sul nodo di interrogazione.</p>
<p>Dopo essere stati filtrati, i dati incrementali vengono inseriti in segmenti crescenti e poi passati ai nodi temporali del server.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/flow_graph_dc58651367.png" alt="Flowgraph" class="doc-image" id="flowgraph" />
   </span> <span class="img-wrapper"> <span>Diagramma di flusso</span> </span></p>
<p>Durante l'inserimento dei dati, a ogni messaggio di inserimento viene assegnato un timestamp. Nel canale DMC mostrato nell'immagine precedente, i dati vengono inseriti in ordine, da sinistra a destra. Il timestamp per il primo messaggio di inserimento è 1; il secondo, 2; e il terzo, 6. Il quarto messaggio segnato in rosso non è un messaggio di inserimento, ma piuttosto un messaggio di timetick. Ciò significa che i dati inseriti i cui timestamp sono inferiori a questo timetick sono già presenti nel log broker. In altre parole, i dati inseriti dopo questo messaggio timetick dovrebbero avere tutti timestamp il cui valore è maggiore di questo timetick. Ad esempio, nell'immagine precedente, quando il nodo di interrogazione percepisce che il timetick corrente è 5, significa che tutti i messaggi di inserimento il cui valore di timestamp è inferiore a 5 sono tutti caricati sul nodo di interrogazione.</p>
<p>Il nodo temporale del server fornisce un valore <code translate="no">tsafe</code> aggiornato ogni volta che riceve un timetick dal nodo di inserimento. <code translate="no">tsafe</code> significa tempo di sicurezza e tutti i dati inseriti prima di questo momento possono essere interrogati. Ad esempio, se <code translate="no">tsafe</code> = 9, tutti i dati inseriti con timestamp inferiori a 9 possono essere interrogati.</p>
<h2 id="Real-time-query-in-Milvus" class="common-anchor-header">Interrogazione in tempo reale in Milvus<button data-href="#Real-time-query-in-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>L'interrogazione in tempo reale in Milvus è abilitata dai messaggi di interrogazione. I messaggi di query vengono inseriti nel log broker tramite proxy. I nodi di interrogazione ottengono i messaggi di interrogazione osservando il canale di interrogazione nel log broker.</p>
<h3 id="Query-message" class="common-anchor-header">Messaggio di interrogazione</h3><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/query_message_4d57814f47.png" alt="Query message" class="doc-image" id="query-message" />
   </span> <span class="img-wrapper"> <span>Messaggio di query</span> </span></p>
<p>Un messaggio di query include le seguenti informazioni cruciali su una query:</p>
<ul>
<li><code translate="no">msgID</code>: ID messaggio, l'ID del messaggio di query assegnato dal sistema.</li>
<li><code translate="no">collectionID</code>: L'ID della collezione da interrogare (se specificato dall'utente).</li>
<li><code translate="no">execPlan</code>: Il piano di esecuzione è utilizzato principalmente per il filtraggio degli attributi in una query.</li>
<li><code translate="no">service_ts</code>: Il timestamp del servizio sarà aggiornato insieme a <code translate="no">tsafe</code> di cui sopra. Il timestamp del servizio indica il momento in cui il servizio è attivo. Tutti i dati inseriti prima di <code translate="no">service_ts</code> sono disponibili per la query.</li>
<li><code translate="no">travel_ts</code>: Il timestamp del viaggio specifica un intervallo di tempo nel passato. L'interrogazione sarà condotta sui dati esistenti nel periodo di tempo specificato da <code translate="no">travel_ts</code>.</li>
<li><code translate="no">guarantee_ts</code>: Il timestamp di garanzia specifica un periodo di tempo dopo il quale la query deve essere condotta. La query verrà eseguita solo quando <code translate="no">service_ts</code> &gt; <code translate="no">guarantee_ts</code>.</li>
</ul>
<h3 id="Real-time-query" class="common-anchor-header">Interrogazione in tempo reale</h3><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/query_process_7f676972d8.png" alt="Query process" class="doc-image" id="query-process" />
   </span> <span class="img-wrapper"> <span>Processo di interrogazione</span> </span></p>
<p>Quando riceve un messaggio di interrogazione, Milvus valuta innanzitutto se il tempo di servizio corrente, <code translate="no">service_ts</code>, è maggiore del timestamp di garanzia, <code translate="no">guarantee_ts</code>, contenuto nel messaggio di interrogazione. In caso affermativo, la query viene eseguita. La query sarà condotta in parallelo sia sui dati storici che su quelli incrementali. Poiché può esserci una sovrapposizione di dati tra i dati in streaming e i dati batch, è necessaria un'azione chiamata "riduzione locale" per filtrare i risultati ridondanti della query.</p>
<p>Tuttavia, se il tempo di servizio corrente è inferiore al timestamp di garanzia in un messaggio di query appena inserito, il messaggio di query diventerà un messaggio irrisolto e attenderà di essere elaborato finché il tempo di servizio non diventerà maggiore del timestamp di garanzia.</p>
<p>I risultati delle query vengono infine inviati al canale dei risultati. Il proxy ottiene i risultati della query da quel canale. Allo stesso modo, il proxy effettuerà una "riduzione globale" perché riceve i risultati da più nodi di interrogazione e i risultati delle interrogazioni potrebbero essere ripetitivi.</p>
<p>Per garantire che il proxy abbia ricevuto tutti i risultati della query prima di restituirli all'SDK, il messaggio di risultato terrà anche un registro delle informazioni, compresi i segmenti sigillati ricercati, i canali DMC ricercati e i segmenti sigillati globali (tutti i segmenti su tutti i nodi di query). Il sistema può concludere che il proxy ha ricevuto tutti i risultati della query solo se sono soddisfatte entrambe le condizioni seguenti:</p>
<ul>
<li>L'unione di tutti i segmenti sigillati ricercati registrati in tutti i messaggi di risultato è maggiore dei segmenti sigillati globali,</li>
<li>Tutti i canali DMC della collezione sono stati interrogati.</li>
</ul>
<p>Infine, il proxy restituisce i risultati finali dopo la "riduzione globale" all'SDK Milvus.</p>
<h2 id="About-the-Deep-Dive-Series" class="common-anchor-header">Informazioni sulla serie Deep Dive<button data-href="#About-the-Deep-Dive-Series" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Con l'<a href="https://milvus.io/blog/2022-1-25-annoucing-general-availability-of-milvus-2-0.md">annuncio ufficiale della disponibilità generale</a> di Milvus 2.0, abbiamo organizzato questa serie di blog Milvus Deep Dive per fornire un'interpretazione approfondita dell'architettura e del codice sorgente di Milvus. Gli argomenti trattati in questa serie di blog includono:</p>
<ul>
<li><a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">Panoramica dell'architettura Milvus</a></li>
<li><a href="https://milvus.io/blog/deep-dive-2-milvus-sdk-and-api.md">API e SDK Python</a></li>
<li><a href="https://milvus.io/blog/deep-dive-3-data-processing.md">Elaborazione dei dati</a></li>
<li><a href="https://milvus.io/blog/deep-dive-4-data-insertion-and-data-persistence.md">Gestione dei dati</a></li>
<li><a href="https://milvus.io/blog/deep-dive-5-real-time-query.md">Interrogazione in tempo reale</a></li>
<li><a href="https://milvus.io/blog/deep-dive-7-query-expression.md">Motore di esecuzione scalare</a></li>
<li><a href="https://milvus.io/blog/deep-dive-6-oss-qa.md">Sistema QA</a></li>
<li><a href="https://milvus.io/blog/deep-dive-8-knowhere.md">Motore di esecuzione vettoriale</a></li>
</ul>


Utilizzo del database vettoriale Milvus per le interrogazioni in tempo reale

Inserimento e persistenza dei dati in un database vettoriale

Come vengono elaborati i dati in un database vettoriale?

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220322_175856_e8e7bea7dc.png" alt="Cover image" class="doc-image" id="cover-image" />
   </span> <span class="img-wrapper"> <span>Immagine di copertina</span> </span></p>
<p>Di <a href="https://github.com/XuanYang-cn">Xuan Yang</a></p>
<h2 id="Background" class="common-anchor-header">Sfondo<button data-href="#Background" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>La figura seguente illustra l'interazione tra gli SDK e Milvus attraverso gRPC. Immaginiamo che Milvus sia una scatola nera. I buffer di protocollo sono utilizzati per definire le interfacce del server e la struttura delle informazioni che trasportano. Pertanto, tutte le operazioni nella scatola nera Milvus sono definite dalle API di protocollo.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/SDK_10c9673111.png" alt="Interaction" class="doc-image" id="interaction" />
   </span> <span class="img-wrapper"> <span>Interazione</span> </span></p>
<h2 id="Milvus-Protocol-API" class="common-anchor-header">API di protocollo Milvus<button data-href="#Milvus-Protocol-API" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>L'API di protocollo Milvus è costituita da <code translate="no">milvus.proto</code>, <code translate="no">common.proto</code>, e <code translate="no">schema.proto</code>, che sono file di Protocol Buffers con il suffisso <code translate="no">.proto</code>. Per garantire il corretto funzionamento, gli SDK devono interagire con Milvus con questi file Protocol Buffers.</p>
<h3 id="milvusproto" class="common-anchor-header">milvus.proto</h3><p><code translate="no">milvus.proto</code> è il componente fondamentale dell'API di protocollo di Milvus, perché definisce l'interfaccia <code translate="no">MilvusService</code>, che definisce ulteriormente tutte le interfacce RPC di Milvus.</p>
<p>Il seguente esempio di codice mostra l'interfaccia <code translate="no">CreatePartitionRequest</code>. Ha due parametri principali di tipo stringa <code translate="no">collection_name</code> e <code translate="no">partition_name</code>, in base ai quali è possibile avviare una richiesta di creazione di partizione.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/code_d5f034d58d.png" alt="CreatePartitionRequest" class="doc-image" id="createpartitionrequest" />
   </span> <span class="img-wrapper"> <span>Richiesta di creazione di partizione</span> </span></p>
<p>Si veda un esempio di protocollo nel <a href="https://github.com/milvus-io/milvus-proto/blob/44f59db22b27cc55e4168c8e53b6e781c010a713/proto/milvus.proto">repository GitHub di PyMilvus</a> alla riga 19.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/create_partition_938691f07f.png" alt="Example" class="doc-image" id="example" />
   </span> <span class="img-wrapper"> <span>Esempio</span> </span></p>
<p>La definizione di <code translate="no">CreatePartitionRequest</code> si trova qui.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220321_112254_4ec4f35bd3.png" alt="Definition" class="doc-image" id="definition" />
   </span> <span class="img-wrapper"> <span>Definizione</span> </span></p>
<p>I collaboratori che desiderano sviluppare una funzione di Milvus o un SDK in un linguaggio di programmazione diverso sono invitati a trovare tutte le interfacce che Milvus offre tramite RPC.</p>
<h3 id="commonproto" class="common-anchor-header">comune.proto</h3><p><code translate="no">common.proto</code> definisce i tipi comuni di informazioni, tra cui <code translate="no">ErrorCode</code>, e <code translate="no">Status</code>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220321_112303_eaafc432a8.png" alt="common.proto" class="doc-image" id="common.proto" />
   </span> <span class="img-wrapper"> <span>comune.proto</span> </span></p>
<h3 id="schemaproto" class="common-anchor-header">schema.proto</h3><p><code translate="no">schema.proto</code> definisce lo schema nei parametri. Il seguente esempio di codice è un esempio di <code translate="no">CollectionSchema</code>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220321_112313_df4ebe36e7.png" alt="schema.proto" class="doc-image" id="schema.proto" />
   </span> <span class="img-wrapper"> <span>schema.proto</span> </span></p>
<p><code translate="no">milvus.proto</code>, <code translate="no">common.proto</code> e <code translate="no">schema.proto</code> insieme costituiscono l'API di Milvus, rappresentando tutte le operazioni che possono essere chiamate tramite RPC.</p>
<p>Se si scava nel codice sorgente e si osserva attentamente, si scopre che quando si chiamano interfacce come <code translate="no">create_index</code>, in realtà si chiamano più interfacce RPC come <code translate="no">describe_collection</code> e <code translate="no">describe_index</code>. Molte delle interfacce esterne di Milvus sono una combinazione di più interfacce RPC.</p>
<p>Avendo compreso i comportamenti di RPC, è possibile sviluppare nuove funzionalità per Milvus attraverso una combinazione. Siete più che invitati a usare la vostra immaginazione e creatività e a contribuire alla comunità di Milvus.</p>
<h2 id="PyMilvus-20" class="common-anchor-header">PyMilvus 2.0<button data-href="#PyMilvus-20" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="Object-relational-mapping-ORM" class="common-anchor-header">Mappatura relazionale degli oggetti (ORM)</h3><p>In poche parole, il termine Object-relational mapping (ORM) si riferisce al fatto che quando si opera su un oggetto locale, tali operazioni hanno effetto sull'oggetto corrispondente sul server. L'API in stile ORM di PyMilvus presenta le seguenti caratteristiche:</p>
<ol>
<li>Opera direttamente sugli oggetti.</li>
<li>Isola la logica del servizio e i dettagli dell'accesso ai dati.</li>
<li>Nasconde la complessità dell'implementazione ed è possibile eseguire gli stessi script su diverse istanze di Milvus, indipendentemente dal loro approccio di distribuzione o dalla loro implementazione.</li>
</ol>
<h3 id="ORM-style-API" class="common-anchor-header">API in stile ORM</h3><p>L'essenza dell'API in stile ORM risiede nel controllo della connessione a Milvus. Ad esempio, è possibile specificare alias per più server Milvus e connettersi o disconnettersi da essi semplicemente con i loro alias. È anche possibile eliminare l'indirizzo del server locale e controllare determinati oggetti tramite una connessione specifica.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220321_112320_d5ff08a582.png" alt="Control Connection" class="doc-image" id="control-connection" />
   </span> <span class="img-wrapper"> <span>Controllo della connessione</span> </span></p>
<p>Un'altra caratteristica dell'API in stile ORM è che, dopo l'astrazione, tutte le operazioni possono essere eseguite direttamente sugli oggetti, comprese le raccolte, le partizioni e gli indici.</p>
<p>È possibile astrarre un oggetto collezione ottenendo un oggetto esistente o creandone uno nuovo. È anche possibile assegnare una connessione Milvus a oggetti specifici utilizzando gli alias di connessione, in modo da poter operare su questi oggetti localmente.</p>
<p>Per creare un oggetto partizione, è possibile crearlo con il suo oggetto collezione genitore, oppure è possibile farlo come quando si crea un oggetto collezione. Questi metodi possono essere utilizzati anche per un oggetto indice.</p>
<p>Nel caso in cui questi oggetti partizione o indice esistano, è possibile ottenerli attraverso l'oggetto collezione padre.</p>
<h2 id="About-the-Deep-Dive-Series" class="common-anchor-header">Informazioni sulla serie Deep Dive<button data-href="#About-the-Deep-Dive-Series" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Con l'<a href="https://milvus.io/blog/2022-1-25-annoucing-general-availability-of-milvus-2-0.md">annuncio ufficiale della disponibilità generale</a> di Milvus 2.0, abbiamo organizzato questa serie di blog Milvus Deep Dive per fornire un'interpretazione approfondita dell'architettura e del codice sorgente di Milvus. Gli argomenti trattati in questa serie di blog includono:</p>
<ul>
<li><a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">Panoramica dell'architettura Milvus</a></li>
<li><a href="https://milvus.io/blog/deep-dive-2-milvus-sdk-and-api.md">API e SDK Python</a></li>
<li><a href="https://milvus.io/blog/deep-dive-3-data-processing.md">Elaborazione dei dati</a></li>
<li><a href="https://milvus.io/blog/deep-dive-4-data-insertion-and-data-persistence.md">Gestione dei dati</a></li>
<li><a href="https://milvus.io/blog/deep-dive-5-real-time-query.md">Interrogazione in tempo reale</a></li>
<li><a href="https://milvus.io/blog/deep-dive-7-query-expression.md">Motore di esecuzione scalare</a></li>
<li><a href="https://milvus.io/blog/deep-dive-6-oss-qa.md">Sistema QA</a></li>
<li><a href="https://milvus.io/blog/deep-dive-8-knowhere.md">Motore di esecuzione vettoriale</a></li>
</ul>


Introduzione all'SDK e all'API Milvus Python

Costruire un database vettoriale per una ricerca di similarità scalabile

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Attu_3ff9a76156.png" alt="Binlog Cover Image" class="doc-image" id="binlog-cover-image" />
   </span> <span class="img-wrapper"> <span>Immagine di copertina di Binlog</span> </span></p>
<p>Bozza di <a href="https://github.com/czhen-zilliz">Zhen Chen</a> e trascrizione di <a href="https://github.com/LocoRichard">Lichen Wang</a>.</p>
<p style="font-size: 12px;color: #4c5a67">Cliccare <a href="https://zilliz.com/blog/manage-your-milvus-vector-database-with-one-click-simplicity">qui</a> per controllare il post originale.</p> 
<p>Di fronte alla rapida crescita della domanda di elaborazione di dati non strutturati, Milvus 2.0 si distingue. Si tratta di un sistema di database vettoriale orientato all'intelligenza artificiale e progettato per scenari di produzione massiva. Oltre a tutti questi SDK Milvus e a Milvus CLI, un'interfaccia a riga di comando per Milvus, esiste uno strumento che permetta agli utenti di utilizzare Milvus in modo più intuitivo? La risposta è SÌ. Zilliz ha annunciato un'interfaccia grafica - Attu - specifica per Milvus. In questo articolo vi mostriamo passo dopo passo come eseguire una ricerca di similarità vettoriale con Attu.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/map_aa1cda30d4.png" alt="Attu island" class="doc-image" id="attu-island" />
   </span> <span class="img-wrapper"> <span>L'isola di Attu</span> </span></p>
<p>Rispetto alla CLI di Milvus, che offre la massima semplicità d'uso, Attu presenta altre caratteristiche:</p>
<ul>
<li>Installatori per i sistemi operativi Windows, macOS e Linux;</li>
<li>GUI intuitiva per facilitare l'uso di Milvus;</li>
<li>Copertura delle principali funzionalità di Milvus;</li>
<li>Plugin per l'espansione delle funzionalità personalizzate;</li>
<li>Informazioni complete sulla topologia del sistema per facilitare la comprensione e l'amministrazione dell'istanza Milvus.</li>
</ul>
<h2 id="Installation" class="common-anchor-header">Installazione<button data-href="#Installation" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>La versione più recente di Attu è disponibile su <a href="https://github.com/zilliztech/attu/releases">GitHub</a>. Attu offre installatori eseguibili per diversi sistemi operativi. È un progetto open-source e accoglie i contributi di tutti.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/installation_bbe62873af.png" alt="Installation" class="doc-image" id="installation" />
   </span> <span class="img-wrapper"> <span>Installazione</span> </span></p>
<p>È possibile installare Attu anche tramite Docker.</p>
<pre><code translate="no" class="language-shell">docker run -p <span class="hljs-number">8000</span>:<span class="hljs-number">3000</span> -e <span class="hljs-variable constant_">HOST_URL</span>=<span class="hljs-attr">http</span>:<span class="hljs-comment">//{ attu IP }:8000 -e MILVUS_URL={milvus server IP}:19530 zilliz/attu:latest</span>
<button class="copy-code-btn"></button></code></pre>
<p><code translate="no">attu IP</code> è l'indirizzo IP dell'ambiente in cui viene eseguito Attu e <code translate="no">milvus server IP</code> è l'indirizzo IP dell'ambiente in cui viene eseguito Milvus.</p>
<p>Dopo aver installato Attu con successo, è possibile inserire l'IP e la porta di Milvus nell'interfaccia per avviare Attu.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/connect_1fde46d9d5.png" alt="Connect Milvus with Attu" class="doc-image" id="connect-milvus-with-attu" />
   </span> <span class="img-wrapper"> <span>Collegare Milvus con Attu</span> </span></p>
<h2 id="Feature-overview" class="common-anchor-header">Panoramica delle funzioni<button data-href="#Feature-overview" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/overview_591e230514.png" alt="Overview page" class="doc-image" id="overview-page" />
   </span> <span class="img-wrapper"> <span>Pagina di panoramica</span> </span></p>
<p>L'interfaccia di Attu è composta da una pagina <strong>di panoramica</strong>, una pagina di <strong>raccolta</strong>, una pagina di <strong>ricerca vettoriale</strong> e una pagina di <strong>visualizzazione del sistema</strong>, corrispondenti rispettivamente alle quattro icone del pannello di navigazione di sinistra.</p>
<p>La pagina <strong>Panoramica</strong> mostra le raccolte caricate. La pagina <strong>Raccolta</strong> elenca tutte le raccolte e indica se sono caricate o rilasciate.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/collection_42656fe308.png" alt="Collection page" class="doc-image" id="collection-page" />
   </span> <span class="img-wrapper"> <span>Pagina delle raccolte</span> </span></p>
<p>Le pagine <strong>Ricerca vettoriale</strong> e <strong>Vista del sistema</strong> sono plugin di Attu. I concetti e l'uso dei plugin saranno introdotti nella parte finale del blog.</p>
<p>È possibile eseguire una ricerca di similarità vettoriale nella pagina <strong>Ricerca vettoriale</strong>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/vector_search_be7365687c.png" alt="Vector Search page" class="doc-image" id="vector-search-page" />
   </span> <span class="img-wrapper"> <span>Pagina Ricerca vettoriale</span> </span></p>
<p>Nella pagina <strong>System View</strong> è possibile controllare la struttura topologica di Milvus.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/system_view_e1df15023d.png" alt="System View page" class="doc-image" id="system-view-page" />
   </span> <span class="img-wrapper"> <span>Pagina Vista del sistema</span> </span></p>
<p>È inoltre possibile controllare le informazioni dettagliate di ogni nodo facendo clic sul nodo stesso.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/node_view_5bbc25f9b2.png" alt="Node view" class="doc-image" id="node-view" />
   </span> <span class="img-wrapper"> <span>Vista dei nodi</span> </span></p>
<h2 id="Demonstration" class="common-anchor-header">Dimostrazione<button data-href="#Demonstration" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Esploriamo Attu con un set di dati di prova.</p>
<p>Consultate il nostro <a href="https://github.com/zilliztech/attu/tree/main/examples">repo GitHub</a> per il set di dati utilizzato nel seguente test.</p>
<p>Per prima cosa, creare una collezione denominata test con i seguenti quattro campi:</p>
<ul>
<li>Nome campo: id, campo chiave primaria</li>
<li>Nome campo: vector, campo vettoriale, vettore float, dimensione: 128</li>
<li>Nome campo: brand, campo scalare, Int64</li>
<li>Nome campo: colore, campo scalare, Int64</li>
</ul>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/create_collection_95dfa15354.png" alt="Create a collection" class="doc-image" id="create-a-collection" />
   </span> <span class="img-wrapper"> <span>Creare una raccolta</span> </span></p>
<p>Caricare la collezione per la ricerca dopo che è stata creata con successo.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/load_collection_fec39171df.png" alt="Load the collection" class="doc-image" id="load-the-collection" />
   </span> <span class="img-wrapper"> <span>Caricare l'insieme</span> </span></p>
<p>È ora possibile controllare la collezione appena creata nella pagina <strong>Panoramica</strong>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/check_collection_163b05477e.png" alt="Check the collection" class="doc-image" id="check-the-collection" />
   </span> <span class="img-wrapper"> <span>Controllare la collezione</span> </span></p>
<p>Importare il set di dati di prova in Milvus.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/import_data_1_f73d71be85.png" alt="Import data" class="doc-image" id="import-data" />
   </span> <span class="img-wrapper"> <span>Importazione dei dati</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/import_data_2_4b3c3c3c25.png" alt="Import data" class="doc-image" id="import-data" />
   </span> <span class="img-wrapper"> <span>Importazione dei dati</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/import_data_3_0def4e8550.png" alt="Import data" class="doc-image" id="import-data" />
   </span> <span class="img-wrapper"> <span>Importazione dei dati</span> </span></p>
<p>Fare clic sul nome della raccolta nella pagina Panoramica o Raccolta per accedere all'interfaccia di interrogazione per verificare i dati importati.</p>
<p>Aggiungere un filtro, specificare l'espressione <code translate="no">id != 0</code>, fare clic su <strong>Applica filtro</strong> e fare clic su <strong>Query</strong>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/query_data_24d9f71ccc.png" alt="Query data" class="doc-image" id="query-data" />
   </span> <span class="img-wrapper"> <span>Interrogazione dei dati</span> </span></p>
<p>Tutte le cinquanta voci delle entità sono state importate con successo.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/query_result_bcbbd17084.png" alt="Query result" class="doc-image" id="query-result" />
   </span> <span class="img-wrapper"> <span>Risultato dell'interrogazione</span> </span></p>
<p>Proviamo la ricerca di similarità vettoriale.</p>
<p>Copiare un vettore da <code translate="no">search_vectors.csv</code> e incollarlo nel campo <strong>Valore vettore</strong>. Scegliere la collezione e il campo. Fare clic su <strong>Cerca</strong>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/search_data_5af3a1db53.png" alt="Search data" class="doc-image" id="search-data" />
   </span> <span class="img-wrapper"> <span>Ricerca dei dati</span> </span></p>
<p>È possibile controllare i risultati della ricerca. Senza compilare alcuno script, è possibile effettuare ricerche con Milvus in modo semplice.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/search_result_961886efab.png" alt="Search result" class="doc-image" id="search-result" />
   </span> <span class="img-wrapper"> <span>Risultato della ricerca</span> </span></p>
<p>Infine, controlliamo la pagina <strong>System View</strong>.</p>
<p>Grazie all'API Metrics incapsulata nell'SDK Milvus Node.js, è possibile controllare lo stato del sistema, le relazioni tra i nodi e lo stato dei nodi.</p>
<p>Come caratteristica esclusiva di Attu, la pagina Panoramica del sistema include un grafico topologico completo del sistema. Facendo clic su ciascun nodo, è possibile verificarne lo stato (aggiornamento ogni 10 secondi).</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/topological_graph_d0c5c17586.png" alt="Milvus node topological graph" class="doc-image" id="milvus-node-topological-graph" />
   </span> <span class="img-wrapper"> <span>Grafico topologico dei nodi Milvus</span> </span></p>
<p>Facendo clic su ciascun nodo si accede alla <strong>vista Elenco nodi</strong>. È possibile controllare tutti i nodi figli di un nodo coord. Ordinando i nodi, è possibile identificare rapidamente i nodi con un elevato utilizzo della CPU o della memoria e individuare il problema del sistema.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/node_list_64fc610a8d.png" alt="Milvus node list" class="doc-image" id="milvus-node-list" />
   </span> <span class="img-wrapper"> <span>Elenco dei nodi Milvus</span> </span></p>
<h2 id="Whats-more" class="common-anchor-header">Cosa c'è di più<button data-href="#Whats-more" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Come già detto, le pagine <strong>Ricerca vettoriale</strong> e <strong>Vista del sistema</strong> sono plugin di Attu. Incoraggiamo gli utenti a sviluppare i propri plugin in Attu per adattarli ai loro scenari applicativi. Nel codice sorgente c'è una cartella creata appositamente per i codici dei plugin.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/plugins_a2d98e4e5b.png" alt="Plugins" class="doc-image" id="plugins" />
   </span> <span class="img-wrapper"> <span>I plugin</span> </span></p>
<p>È possibile fare riferimento a qualsiasi plugin per imparare a costruire un plugin. Impostando il seguente file di configurazione, è possibile aggiungere il plugin ad Attu.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/add_plugins_e3ef53cc0d.png" alt="Add plugins to Attu" class="doc-image" id="add-plugins-to-attu" />
   </span> <span class="img-wrapper"> <span>Aggiungere plugin ad Attu</span> </span></p>
<p>Per istruzioni dettagliate è possibile consultare <a href="https://github.com/zilliztech/attu/tree/main/doc">Attu GitHub Repo</a> e <a href="https://milvus.io/docs/v2.0.x/attu.md">Milvus Technical Document</a>.</p>
<p>Attu è un progetto open-source. Tutti i contributi sono benvenuti. È inoltre possibile <a href="https://github.com/zilliztech/attu/issues">segnalare un problema</a> se si riscontrano problemi con Attu.</p>
<p>Ci auguriamo sinceramente che Attu possa migliorare l'esperienza d'uso di Milvus. Se vi piace Attu o se avete dei commenti sull'utilizzo, potete compilare il <a href="https://wenjuan.feishu.cn/m/cfm?t=suw4QnODU1ui-ok7r">sondaggio Attu per</a> aiutarci a ottimizzare Attu per una migliore esperienza d'uso.</p>


Gestire il database vettoriale Milvus con la semplicità di un clic

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Load_balance_b2f35a5577.png" alt="Binlog Cover Image" class="doc-image" id="binlog-cover-image" />
   </span> <span class="img-wrapper"> <span>Immagine di copertina di Binlog</span> </span></p>
<p>Di <a href="https://github.com/xige-16">Xi Ge</a>.</p>
<p>Nei precedenti articoli del blog abbiamo introdotto le funzioni di cancellazione, bitet e compattazione di Milvus 2.0. Per concludere questa serie, vorremmo condividere il progetto del bilanciamento del carico, una funzione vitale nel cluster distribuito di Milvus.</p>
<h2 id="Implementation" class="common-anchor-header">L'implementazione<button data-href="#Implementation" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Mentre il numero e la dimensione dei segmenti bufferizzati nei nodi di interrogazione differiscono, anche le prestazioni di ricerca tra i nodi di interrogazione possono variare. Il caso peggiore è quello in cui alcuni nodi di interrogazione esauriscono la ricerca su una grande quantità di dati, ma i nodi di interrogazione appena creati rimangono inattivi perché non viene distribuito loro alcun segmento, causando un enorme spreco di risorse della CPU e un'enorme diminuzione delle prestazioni di ricerca.</p>
<p>Per evitare tali circostanze, il coordinatore delle query (query coord) è programmato per distribuire i segmenti in modo uniforme a ogni nodo di query, in base all'utilizzo della RAM dei nodi. In questo modo, le risorse della CPU vengono consumate equamente da tutti i nodi, migliorando in modo significativo le prestazioni di ricerca.</p>
<h3 id="Trigger-automatic-load-balance" class="common-anchor-header">Attivare il bilanciamento automatico del carico</h3><p>In base al valore predefinito della configurazione <code translate="no">queryCoord.balanceIntervalSeconds</code>, il query coord controlla l'utilizzo della RAM (in percentuale) di tutti i nodi di query ogni 60 secondi. Se una delle seguenti condizioni è soddisfatta, il query coord inizia a bilanciare il carico delle query sui nodi di query:</p>
<ol>
<li>L'utilizzo della RAM di qualsiasi nodo di query nel cluster è superiore a <code translate="no">queryCoord.overloadedMemoryThresholdPercentage</code> (valore predefinito: 90);</li>
<li>Oppure il valore assoluto della differenza di utilizzo della RAM di due nodi di query è maggiore di <code translate="no">queryCoord.memoryUsageMaxDifferencePercentage</code> (valore predefinito: 30).</li>
</ol>
<p>Dopo che i segmenti sono stati trasferiti dal nodo di query di origine al nodo di query di destinazione, devono soddisfare entrambe le condizioni seguenti:</p>
<ol>
<li>L'utilizzo della RAM del nodo di query di destinazione non è superiore a <code translate="no">queryCoord.overloadedMemoryThresholdPercentage</code> (valore predefinito: 90);</li>
<li>il valore assoluto della differenza di utilizzo della RAM dei nodi di query di origine e di destinazione dopo il bilanciamento del carico è inferiore a quello precedente al bilanciamento del carico.</li>
</ol>
<p>Se le condizioni di cui sopra sono soddisfatte, il query coord procede a bilanciare il carico della query tra i nodi.</p>
<h2 id="Load-balance" class="common-anchor-header">Bilanciamento del carico<button data-href="#Load-balance" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Quando viene attivato il bilanciamento del carico, il coordinamentodella query carica prima i segmenti di destinazione sul nodo di query di destinazione. A questo punto, entrambi i nodi di interrogazione restituiscono i risultati di ricerca del/i segmento/i di destinazione a qualsiasi richiesta di ricerca, per garantire la completezza del risultato.</p>
<p>Dopo che il nodo di interrogazione di destinazione ha caricato con successo il segmento di destinazione, il nodo di interrogazione pubblica un <code translate="no">sealedSegmentChangeInfo</code> sul Query Channel. Come mostrato di seguito, <code translate="no">onlineNodeID</code> e <code translate="no">onlineSegmentIDs</code> indicano rispettivamente il nodo di query che carica il segmento e il segmento caricato, mentre <code translate="no">offlineNodeID</code> e <code translate="no">offlineSegmentIDs</code> indicano rispettivamente il nodo di query che deve rilasciare il segmento e il segmento da rilasciare.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220228_145413_f253cec15b.png" alt="sealedSegmentChangeInfo" class="doc-image" id="sealedsegmentchangeinfo" />
   </span> <span class="img-wrapper"> <span>sealedSegmentChangeInfo</span> </span></p>
<p>Dopo aver ricevuto il messaggio <code translate="no">sealedSegmentChangeInfo</code>, il nodo di query di origine rilascia il segmento di destinazione.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/20220228_145436_2604bc57a5.png" alt="Load Balance Workflow" class="doc-image" id="load-balance-workflow" />
   </span> <span class="img-wrapper"> <span>Flusso di lavoro del bilanciamento del carico</span> </span></p>
<p>L'intero processo ha successo quando il nodo di query di origine rilascia il segmento di destinazione. Al termine di questo processo, il carico della query è bilanciato tra i nodi di query, il che significa che l'utilizzo della RAM di tutti i nodi di query non è superiore a <code translate="no">queryCoord.overloadedMemoryThresholdPercentage</code> e che il valore assoluto della differenza di utilizzo della RAM dei nodi di query di origine e di destinazione dopo il bilanciamento del carico è inferiore a quello precedente al bilanciamento del carico.</p>
<h2 id="Whats-next" class="common-anchor-header">Cosa succederà in seguito?<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Nella serie di blog sulle nuove funzionalità 2.0, ci proponiamo di spiegare il design delle nuove funzionalità. Leggete di più in questa serie di blog!</p>
<ul>
<li><a href="https://milvus.io/blog/2022-02-07-how-milvus-deletes-streaming-data-in-distributed-cluster.md">Come Milvus elimina i dati in streaming in un cluster distribuito</a></li>
<li><a href="https://milvus.io/blog/2022-2-21-compact.md">Come compattare i dati in Milvus?</a></li>
<li><a href="https://milvus.io/blog/2022-02-28-how-milvus-balances-query-load-across-nodes.md">Come Milvus bilancia il carico delle query tra i nodi?</a></li>
<li><a href="https://milvus.io/blog/2022-2-14-bitset.md">Come Bitset consente la versatilità della ricerca per similarità vettoriale</a></li>
</ul>
<p>Questa è la conclusione della serie di blog sulle nuove funzionalità di Milvus 2.0. Dopo questa serie, abbiamo in programma una nuova serie di Milvus <a href="https://milvus.io/blog/deep-dive-1-milvus-architecture-overview.md">Deep Dive</a>, che introdurrà l'architettura di base di Milvus 2.0. Restate sintonizzati.</p>


Come Milvus bilancia il carico delle query tra i nodi?

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Compact_173a08ec1c.png" alt="Binlog Cover Image" class="doc-image" id="binlog-cover-image" />
   </span> <span class="img-wrapper"> <span>Immagine di copertina di Binlog</span> </span></p>
<p>Di <a href="https://github.com/sunby">Bingyi Sun</a> e <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni</a>.</p>
<p>Con il <a href="https://milvus.io/blog/2022-1-25-annoucing-general-availability-of-milvus-2-0.md">rilascio ufficiale</a> di Milvus 2.0 GA, viene supportato un elenco di nuove funzionalità. Tra queste, la compattazione è una delle nuove funzioni che può aiutare a risparmiare spazio di archiviazione.</p>
<p>La compattazione si riferisce al processo di fusione di piccoli segmenti in segmenti grandi e alla pulizia dei dati eliminati logicamente. In altre parole, la compattazione riduce l'utilizzo dello spazio su disco eliminando le entità eliminate o scadute nei binlog. Si tratta di un'attività in background che viene attivata da <a href="https://milvus.io/docs/v2.0.x/four_layers.md#Data-coordinator-data-coord">Data Coord</a> ed eseguita da <a href="https://milvus.io/docs/v2.0.x/four_layers.md#Data-node">Data Node</a> in Milvus.</p>
<p>Questo articolo analizza il concetto e l'implementazione della compattazione in Milvus.</p>
<h2 id="What-is-compaction" class="common-anchor-header">Che cos'è la compattazione?<button data-href="#What-is-compaction" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Prima di entrare nel dettaglio di come implementare la compattazione in Milvus 2.0, è fondamentale capire cosa sia la compattazione in Milvus.</p>
<p>Spesso, come utenti di Milvus, potreste essere infastiditi dal crescente utilizzo di spazio sul disco rigido. Un altro problema è che un segmento con meno di 1.024 righe non viene indicizzato e supporta solo la ricerca bruta per elaborare le query. I segmenti di piccole dimensioni causati dal flush automatico o dal flush invocato dall'utente possono ostacolare l'efficienza delle query.</p>
<p>Pertanto, per risolvere i due problemi sopra menzionati e contribuire a ridurre l'utilizzo del disco e migliorare l'efficienza delle query, Milvus supporta la compattazione.</p>
<p>I database come <a href="https://github.com/google/leveldb">LevelDB</a> e <a href="http://rocksdb.org/">RocksDB</a> aggiungono i dati alle tabelle di stringhe ordinate (SSTables). Le letture medie su disco per ogni query aumentano con il numero di SSTables, il che porta a query inefficienti. Per ridurre l'amplificazione delle letture e liberare spazio sul disco rigido, questi database compattano le SSTable in una sola. I processi di compattazione vengono eseguiti automaticamente in background.</p>
<p>Allo stesso modo, Milvus aggiunge i dati inseriti e cancellati ai <a href="https://github.com/milvus-io/milvus/blob/master/docs/developer_guides/chap08_binlog.md">binlog</a>. Quando il numero di binlog aumenta, viene utilizzato più spazio sul disco rigido. Per liberare spazio sul disco rigido, Milvus compatta i binlog dei dati cancellati e inseriti. Se un'entità viene inserita ma successivamente cancellata, una volta compattata non esiste più nei binlog che registrano l'inserimento o la cancellazione dei dati. Inoltre, Milvus compatta anche i <a href="https://milvus.io/docs/v2.0.x/glossary.md#Segment">segmenti</a>, file di dati creati automaticamente da Milvus per contenere i dati inseriti.</p>
<h2 id="How-to-configure-compaction" class="common-anchor-header">Come si configura la compattazione?<button data-href="#How-to-configure-compaction" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>La configurazione della compattazione in Milvus prevede principalmente due parametri: <code translate="no">dataCoord.enableCompaction</code> e <code translate="no">common.retentionDuration</code>.</p>
<p><code translate="no">dataCoord.enableCompaction</code> specifica se abilitare la compattazione. Il suo valore predefinito è <code translate="no">true</code>.</p>
<p><code translate="no">common.retentionDuration</code> specifica un periodo in cui la compattazione non viene eseguita. L'unità di misura è il secondo. Quando si compattano i dati, tutte le entità cancellate non saranno più disponibili per la ricerca con Time Travel. Pertanto, se si intende effettuare una ricerca con Time Travel, è necessario specificare un periodo di tempo durante il quale la compattazione non viene eseguita e non influisce sui dati cancellati. Per garantire risultati accurati delle ricerche con Time Travel, Milvus conserva i dati gestiti in un periodo specificato da <code translate="no">common.retentionDuration</code>. In altre parole, i dati gestiti in questo periodo non vengono compattati. Per maggiori dettagli, vedere <a href="https://milvus.io/docs/v2.0.x/timetravel.md">Ricerca con viaggio nel tempo</a>.</p>
<p>La compattazione è attivata in Milvus per impostazione predefinita. Se si disattiva la compattazione ma in seguito si desidera abilitarla manualmente, si può seguire la procedura seguente:</p>
<ol>
<li>Chiamare il metodo <code translate="no">collection.compact()</code> per attivare manualmente un processo di compattazione globale. Tuttavia, si noti che questa operazione potrebbe richiedere molto tempo.</li>
<li>Dopo aver chiamato il metodo, viene restituito un ID di compattazione. Per visualizzare lo stato della compattazione, chiamare il metodo <code translate="no">collection.get_compaction_state()</code>.</li>
</ol>
<p>Dopo aver abilitato la compattazione, questa viene eseguita automaticamente in background. Poiché il processo di compattazione potrebbe richiedere molto tempo, le richieste di compattazione vengono elaborate in modo asincrono per risparmiare tempo.</p>
<h2 id="How-to-implement-compaction" class="common-anchor-header">Come si implementa la compattazione?<button data-href="#How-to-implement-compaction" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>In Milvus è possibile implementare la compattazione manualmente o automaticamente.</p>
<p>La compattazione manuale di binlog o segmenti non richiede il rispetto di alcuna condizione di attivazione. Pertanto, se si richiama manualmente la compattazione, i binlog o i segmenti saranno compattati a prescindere.</p>
<p>Tuttavia, se si desidera attivare la compattazione automatica, è necessario che siano soddisfatte alcune condizioni di attivazione della compattazione affinché il sistema compatti i segmenti o i binlog.</p>
<p>In generale ci sono due tipi di oggetti che possono essere compattati in Milvus: i binlog e i segmenti.</p>
<h2 id="Binlog-compaction" class="common-anchor-header">Compattazione dei binlog<button data-href="#Binlog-compaction" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Un binlog è un registro binario, o un'unità più piccola di segmento, che registra e gestisce gli aggiornamenti e le modifiche apportate ai dati nel database vettoriale di Milvus. I dati di un segmento sono conservati in più binlog. La compattazione dei binlog coinvolge due tipi di binlog in Milvus: i binlog di inserimento e i binlog delta.</p>
<p>I binlog delta vengono generati quando i dati vengono cancellati, mentre i binlog insert vengono generati nelle seguenti tre circostanze.</p>
<ul>
<li>Durante l'aggiunta di dati, il segmento raggiunge il limite superiore di dimensione e viene automaticamente scaricato sul disco.</li>
<li>DataCoord elimina automaticamente i segmenti che rimangono non sigillati per molto tempo.</li>
<li>Alcune API, come <code translate="no">collection.num_entities</code>, <code translate="no">collection.load()</code> e altre, invocano automaticamente il flush per scrivere i segmenti sul disco.</li>
</ul>
<p>Pertanto, la compattazione dei binlog, come suggerisce il nome, si riferisce alla compattazione dei binlog all'interno di un segmento. Più precisamente, durante la compattazione dei binlog, tutti i binlog delta e i binlog insert che non vengono conservati vengono compattati.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/binlog_compaction_d7f8f910c8.png" alt="Binlog compaction" class="doc-image" id="binlog-compaction" />
   </span> <span class="img-wrapper"> <span>Compattazione dei binlog</span> </span></p>
<p>Quando un segmento viene scaricato su disco, o quando Milvus richiede una compattazione globale perché la compattazione non è stata eseguita per molto tempo, almeno una delle due condizioni seguenti deve essere soddisfatta per attivare la compattazione automatica:</p>
<ol>
<li>Le righe nei binlog delta sono più del 20% delle righe totali.</li>
<li>La dimensione dei binlog delta supera i 10 MB.</li>
</ol>
<h2 id="Segment-compaction" class="common-anchor-header">Compattazione dei segmenti<button data-href="#Segment-compaction" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Un <a href="https://milvus.io/docs/v2.0.x/glossary.md#Segment">segmento</a> è un file di dati creato automaticamente da Milvus per contenere i dati inseriti. In Milvus esistono due tipi di segmenti: il segmento crescente e il segmento chiuso.</p>
<p>Un segmento in crescita continua a ricevere i nuovi dati inseriti finché non viene sigillato. Un segmento sigillato non riceve più nuovi dati e viene scaricato nella memoria degli oggetti, lasciando che i nuovi dati vengano inseriti in un segmento crescente appena creato.</p>
<p>Pertanto, la compattazione dei segmenti si riferisce alla compattazione di più segmenti sigillati. In particolare, durante la compattazione dei segmenti, i segmenti piccoli vengono compattati in segmenti più grandi.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/segment_compaction_92eecc0e55.jpeg" alt="Segment compaction" class="doc-image" id="segment-compaction" />
   </span> <span class="img-wrapper"> <span>Compattazione dei segmenti</span> </span></p>
<p>Ogni segmento generato dopo la compattazione non può superare il limite superiore della dimensione di un segmento, che per impostazione predefinita è di 512 MB. Leggere le <a href="https://milvus.io/docs/v2.0.x/system_configuration.md">configurazioni del sistema</a> per sapere come modificare il limite superiore della dimensione di un segmento.</p>
<p>Quando un segmento viene scaricato su disco o quando Milvus richiede una compattazione globale perché la compattazione non è stata eseguita per molto tempo, è necessario che sia soddisfatta la seguente condizione per attivare la compattazione automatica:</p>
<ul>
<li>Segmenti più piccoli di 0,5 * <code translate="no">MaxSegmentSize</code> è superiore a 10.</li>
</ul>
<h2 id="Whats-next" class="common-anchor-header">Cosa fare dopo?<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Cosa succede dopo aver appreso le basi della compattazione in Milvus? Attualmente, non tutti i parametri per la configurazione della compattazione sono presenti nel file <code translate="no">milvus.yaml</code> e le strategie di generazione dei piani sono relativamente elementari. Se siete interessati, venite a contribuire a Milvus, <a href="https://github.com/milvus-io">il progetto open-source</a>!</p>
<p>Inoltre, nella serie di blog sulle nuove funzionalità 2.0, ci proponiamo di spiegare il design delle nuove funzionalità. Leggete di più in questa serie di blog!</p>
<ul>
<li><a href="https://milvus.io/blog/2022-02-07-how-milvus-deletes-streaming-data-in-distributed-cluster.md">Come Milvus elimina i dati in streaming in un cluster distribuito</a></li>
<li><a href="https://milvus.io/blog/2022-2-21-compact.md">Come compattare i dati in Milvus?</a></li>
<li><a href="https://milvus.io/blog/2022-02-28-how-milvus-balances-query-load-across-nodes.md">Come Milvus bilancia il carico delle query tra i nodi?</a></li>
<li><a href="https://milvus.io/blog/2022-2-14-bitset.md">Come Bitset consente la versatilità della ricerca per similarità vettoriale</a></li>
</ul>
<h2 id="About-the-author" class="common-anchor-header">Informazioni sull'autore<button data-href="#About-the-author" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Bingyi Sun, Senior Software Engineer del progetto Milvus, ha conseguito il Master in ingegneria del software presso la Shanghai Jiao Tong University. È principalmente responsabile dello sviluppo dei componenti relativi allo storage in Milvus 2.0. La sua area di interesse sono i database e i sistemi distribuiti. È un grande appassionato di progetti open source e un buongustaio che nel tempo libero ama giocare ai videogiochi e leggere.</p>


Come compattare i dati in Milvus?

<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Bitset_cd54487e7b.png" alt="Bitset Cover Image" class="doc-image" id="bitset-cover-image" />
   </span> <span class="img-wrapper"> <span>Immagine di copertina di Bitset</span> </span></p>
<p>Di <a href="https://github.com/cydrain">Yudong Cai</a> e <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni</a>.</p>
<p>Con il <a href="https://milvus.io/blog/2022-1-25-annoucing-general-availability-of-milvus-2-0.md">rilascio</a> di Milvus 2.0 vengono fornite diverse <a href="https://milvus.io/blog/2022-1-27-milvus-2-0-a-glimpse-at-new-features.md">nuove caratteristiche essenziali</a> di un database vettoriale. Tra le nuove funzionalità, il <a href="https://milvus.io/docs/v2.0.x/timetravel_ref.md">viaggio nel tempo</a>, il filtraggio degli attributi e le <a href="https://milvus.io/blog/2022-02-07-how-milvus-deletes-streaming-data-in-distributed-cluster.md">operazioni di cancellazione</a> sono correlate, poiché queste tre caratteristiche sono ottenute con un meccanismo comune: il bitset.</p>
<p>Questo articolo si propone quindi di chiarire il concetto di bitset in Milvus e di spiegare come funziona per supportare le operazioni di cancellazione, il Time Travel e il filtraggio degli attributi con tre esempi.</p>
<h2 id="What-is-bitset" class="common-anchor-header">Che cos'è un bitset?<button data-href="#What-is-bitset" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Un bitset è un array di numeri di bit ("0" e "1") che può essere utilizzato per rappresentare determinate informazioni di dati. Con i bitset è possibile memorizzare alcuni tipi di dati in modo compatto ed efficiente, invece di memorizzarli in Ints, float o caratteri. I bitet funzionano in base alla <a href="https://milvus.io/docs/v2.0.x/boolean.md">logica booleana</a>, secondo la quale il valore di un'uscita è valido o non valido, solitamente indicato con "1" e "0" rispettivamente. "1" sta per valido e "0" per non valido. Poiché i bitset sono molto efficienti e consentono di risparmiare spazio di archiviazione, possono essere utilizzati per ottenere molte funzioni, come il filtraggio degli attributi, le operazioni di cancellazione, i viaggi nel tempo e altro ancora.</p>
<p>A partire dalla versione 0.7.0, il concetto di bitset è stato introdotto in Milvus per consentire la <a href="https://milvus.io/blog/deleting-data-in-milvus.md">funzione di cancellazione</a>. In particolare, il bitset viene utilizzato per indicare se ogni riga del segmento è stata cancellata. Le entità cancellate sono contrassegnate con "1" nel bitset corrispondente e, di conseguenza, le entità cancellate non saranno calcolate durante una ricerca o un'interrogazione.</p>
<p>Nella versione Milvus 2.0, l'applicazione dei bitset è stata estesa per consentire ulteriori funzionalità, come il filtraggio degli attributi e il viaggio nel tempo. Il principio generale di un bitset rimane lo stesso. Cioè, se un'entità è contrassegnata con "1" nel bitset corrispondente, l'entità sarà ignorata durante una ricerca o un'interrogazione. I bitset sono utilizzati per abilitare 3 funzioni in Milvus:</p>
<ul>
<li>Filtraggio degli attributi</li>
<li>Eliminazione dei dati</li>
<li>Interrogazione con viaggio nel tempo</li>
</ul>
<h2 id="How-does-bitset-work-in-Milvus" class="common-anchor-header">Come funzionano i bitset in Milvus?<button data-href="#How-does-bitset-work-in-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Gli esempi che seguono illustrano il funzionamento dei bitset in Milvus.</p>
<h3 id="Prerequisites" class="common-anchor-header">Prerequisiti</h3><p>Supponiamo che ci sia un segmento con otto entità e che una serie di eventi del linguaggio di manipolazione dei dati (DML) avvenga nell'ordine mostrato nella figura seguente.</p>
<ul>
<li>Quattro delle entità, il cui <code translate="no">primary_keys</code> è rispettivamente [1, 2, 3, 4], vengono inserite quando il timestamp <code translate="no">ts</code> è uguale a 100. Le restanti quattro entità, il cui è uguale a 100, vengono inserite quando il timestamp è uguale a 100.</li>
<li>Le restanti quattro entità, i cui <code translate="no">primary_keys</code> sono [5, 6, 7, 8], vengono inserite quando il timestamp <code translate="no">ts</code> è uguale a 200.</li>
<li>Le entità il cui <code translate="no">primary_keys</code> è [7, 8] sono cancellate quando il timestamp <code translate="no">ts</code> è uguale a 300.</li>
<li>Solo le entità il cui <code translate="no">primary_keys</code> è [1, 3, 5, 7] soddisfano le condizioni di filtraggio degli attributi.</li>
</ul>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/UML_1_0a3605808c.jpg" alt="DML events" class="doc-image" id="dml-events" />
   </span> <span class="img-wrapper"> <span>Eventi DML</span> </span></p>
<h3 id="Case-one" class="common-anchor-header">Caso uno</h3><p>Si supponga che il valore impostato da un utente per <code translate="no">time_travel</code> sia 150. In altre parole, l'utente esegue un'operazione di filtraggio dell'attributo . In altre parole, l'utente esegue una query sui dati memorizzati in Milvus quando <code translate="no">ts</code> = 150. Il processo di generazione del bitset è illustrato in figura. La Figura 1 illustra il processo di generazione del bitset.</p>
<p>Durante la fase iniziale di filtraggio, il risultato di <code translate="no">filter_bitset</code> dovrebbe essere [1, 0, 1, 0, 1, 0, 1, 0] poiché le entità [1, 3, 5, 7] sono risultati validi del filtraggio e sono contrassegnate come "1" nel bitset. Tuttavia, le entità [4, 5, 6, 7] non sono state inserite nel database dei vettori quando <code translate="no">ts</code> è uguale a 150. Pertanto, queste quattro entità dovrebbero essere contrassegnate come "1" nel set di bit. Pertanto, queste quattro entità devono essere contrassegnate come "0", indipendentemente dalla condizione di filtraggio. Ora il risultato del set di bit dovrebbe essere [1, 0, 1, 0, 0, 0, 0, 0]. Poiché in Milvus, il principio generale del calcolo dei bitset è che le entità contrassegnate con "1" nel bitset vengono ignorate durante una ricerca o un'interrogazione, il risultato del bitset dopo il Viaggio nel tempo e il filtraggio degli attributi deve essere capovolto per essere combinato con la bitmap di cancellazione. Il risultato capovolto di <code translate="no">filter_bitset</code> dovrebbe essere [0, 1, 0, 1, 1, 1, 1, 1].</p>
<p>Per quanto riguarda il bitmap di cancellazione <code translate="no">del_bitset</code>, il valore iniziale dovrebbe essere [0, 0, 0, 0, 0, 0, 1, 1]. Tuttavia, le entità 7 e 8 non vengono cancellate finché <code translate="no">ts</code> non è 300. Pertanto, quando è 150, le entità 7 e 8 vengono cancellate. Pertanto, quando <code translate="no">ts</code> è 150, le entità 7 e 8 sono ancora valide. Di conseguenza, il valore di <code translate="no">del_bitset</code> dopo il Viaggio nel tempo dovrebbe essere [0, 0, 0, 0, 0, 0, 0, 0].</p>
<p>Ora abbiamo due set di bit dopo il Viaggio nel tempo e il filtraggio degli attributi: <code translate="no">filter_bitset</code> [0, 1, 0, 1, 1, 1, 1] e <code translate="no">del_bitset</code> [0, 0, 0, 0, 0, 0, 0, 0, 0].  Combinare questi due set di bit con l'operatore logico binario "OR". Il valore finale di <code translate="no">result_bitset</code> è [0, 1, 0, 1, 1, 1, 1, 1]. Ciò significa che solo le entità 1 e 3 saranno calcolate nella successiva fase di ricerca o interrogazione.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/bitset_figure1_1b5852f7a7.jpeg" alt="Figure 1" class="doc-image" id="figure-1" />
   </span> <span class="img-wrapper"> <span>Figura 1</span> </span></p>
<h3 id="Case-two" class="common-anchor-header">Caso due</h3><p>Supponiamo che il valore impostato dall'utente per <code translate="no">time_travel</code> sia 250. In altre parole, l'utente esegue un'interrogazione sui dati memorizzati in Milvus quando <code translate="no">ts</code> = 250. Il processo di generazione del bitset è illustrato in figura. La Figura 2 illustra il processo di generazione del set di bit.</p>
<p>Come nel primo caso, il risultato <code translate="no">filter_bitset</code> della fase iniziale di filtraggio degli attributi dovrebbe essere [1, 0, 1, 0, 1, 0, 1, 0].</p>
<p>Tutte le entità [1, 2, 3, 4, 5, 6, 7, 8] vengono inserite nel database vettoriale quando <code translate="no">ts</code>= 250. Pertanto, il risultato precedente di <code translate="no">filter_bitset</code> rimane invariato. Anche in questo caso, è necessario capovolgere il risultato di <code translate="no">filter_bitset</code> e si otterrà [0, 1, 0, 1, 0, 1, 0, 1].</p>
<p>Per quanto riguarda l'insieme di bit di cancellazione <code translate="no">del_bitset</code>, il valore iniziale dovrebbe essere [0, 0, 0, 0, 0, 0, 1, 1]. Tuttavia, le entità 7 e 8 non sono state cancellate fino a quando <code translate="no">ts</code> non è 300. Pertanto, quando è 250, le entità 7 e 8 sono state cancellate. Pertanto, quando <code translate="no">ts</code> è 250, le entità 7 e 8 sono ancora valide. Di conseguenza, il valore di <code translate="no">del_bitset</code> dopo il Viaggio nel tempo dovrebbe essere [0, 0, 0, 0, 0, 0, 0, 0].</p>
<p>Ora abbiamo due set di bit dopo il Viaggio nel tempo e il filtraggio degli attributi: <code translate="no">filter_bitset</code> [0, 1, 0, 1, 0, 1, 0, 1] e <code translate="no">del_bitset</code> [0, 0, 0, 0, 0, 0, 0, 0, 0].  Combinare questi due set di bit con l'operatore logico binario "OR". Il valore finale di <code translate="no">result_bitset</code> è [0, 1, 0, 1, 0, 1, 0, 0, 1]. Ciò significa che solo le entità [1, 3, 5, 7] saranno calcolate nella successiva fase di ricerca o interrogazione.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/bitset_figure2_7cbaa7c719.jpeg" alt="Figure 2" class="doc-image" id="figure-2" />
   </span> <span class="img-wrapper"> <span>Figura 2</span> </span></p>
<h3 id="Case-three" class="common-anchor-header">Caso tre</h3><p>Si supponga che il valore impostato dall'utente per <code translate="no">time_travel</code> sia 350. In altre parole, l'utente esegue un'interrogazione sui dati memorizzati in Milvus quando <code translate="no">ts</code> = 350. Il processo di generazione del bitset è illustrato nella figura 3. La Figura 3 illustra il processo di generazione del set di bit.</p>
<p>Come nei casi uno e due, il risultato <code translate="no">filter_bitset</code> della fase iniziale di filtraggio degli attributi è [0, 1, 0, 1, 0, 1, 0, 1].</p>
<p>Tutte le entità [1, 2, 3, 4, 5, 6, 7, 8] sono inserite nel database vettoriale quando <code translate="no">ts</code>= 350. Pertanto, il risultato finale capovolto di <code translate="no">filter_bitset</code> è [0, 1, 0, 1, 0, 1, 0, 1], come nel caso due.</p>
<p>Per quanto riguarda il bitet di cancellazione <code translate="no">del_bitset</code>, poiché le entità 7 e 8 sono già state cancellate quando <code translate="no">ts</code>=350, il risultato di <code translate="no">del_bitset</code> dovrebbe essere [0, 0, 0, 0, 0, 0, 1, 1].</p>
<p>Ora abbiamo due set di bit dopo il viaggio nel tempo e il filtraggio degli attributi: <code translate="no">filter_bitset</code> [0, 1, 0, 1, 0, 1, 0, 1] e <code translate="no">del_bitset</code> [0, 0, 0, 0, 0, 0, 0, 1, 1].  Combinare questi due set di bit con l'operatore logico binario "OR". Il valore finale di <code translate="no">result_bitset</code> è [0, 1, 0, 1, 0, 1, 1, 1]. Ciò significa che solo le entità [1, 3, 5] saranno calcolate nella successiva fase di ricerca o interrogazione.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/bitset_figure3_dd46a6aecf.jpeg" alt="Figure 3" class="doc-image" id="figure-3" />
   </span> <span class="img-wrapper"> <span>Figura 3</span> </span></p>
<h2 id="Whats-next" class="common-anchor-header">Cosa succederà in seguito?<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Nella serie di blog sulle nuove funzionalità 2.0, ci proponiamo di spiegare il design delle nuove funzionalità. Leggete di più in questa serie di blog!</p>
<ul>
<li><a href="https://milvus.io/blog/2022-02-07-how-milvus-deletes-streaming-data-in-distributed-cluster.md">Come Milvus elimina i dati in streaming in un cluster distribuito</a></li>
<li><a href="https://milvus.io/blog/2022-2-21-compact.md">Come compattare i dati in Milvus?</a></li>
<li><a href="https://milvus.io/blog/2022-02-28-how-milvus-balances-query-load-across-nodes.md">Come Milvus bilancia il carico delle query tra i nodi?</a></li>
<li><a href="https://milvus.io/blog/2022-2-14-bitset.md">Come Bitset consente la versatilità della ricerca per similarità vettoriale</a></li>
</ul>


Come il Bitset consente la versatilità della ricerca di similarità vettoriale

<custom-h1>Come Milvus elimina i dati in streaming in un cluster distribuito</custom-h1><p>Grazie all'elaborazione unificata di batch e stream e all'architettura cloud-native, Milvus 2.0 ha posto una sfida maggiore rispetto al suo predecessore durante lo sviluppo della funzione DELETE. Grazie al suo design avanzato di disaggregazione storage-computazione e al meccanismo flessibile di pubblicazione/sottoscrizione, siamo orgogliosi di annunciare che ci siamo riusciti. In Milvus 2.0, è possibile cancellare un'entità in una determinata collezione con la sua chiave primaria, in modo che l'entità cancellata non venga più elencata nei risultati di una ricerca o di una query.</p>
<p>Si noti che l'operazione DELETE in Milvus si riferisce alla cancellazione logica, mentre la pulizia fisica dei dati avviene durante la Compattazione dei dati. La cancellazione logica non solo aumenta notevolmente le prestazioni di ricerca limitate dalla velocità di I/O, ma facilita anche il recupero dei dati. I dati eliminati logicamente possono essere recuperati con l'aiuto della funzione Time Travel.</p>
<h2 id="Usage" class="common-anchor-header">Utilizzo<button data-href="#Usage" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Proviamo innanzitutto la funzione DELETE di Milvus 2.0. (L'esempio seguente utilizza PyMilvus 2.0.0 su Milvus 2.0.0).</p>
<pre><code translate="no" class="language-python"><span class="hljs-keyword">from</span> pymilvus <span class="hljs-keyword">import</span> connections, utility, Collection, DataType, FieldSchema, CollectionSchema
<span class="hljs-comment"># Connect to Milvus</span>
connections.connect(
    alias=<span class="hljs-string">&quot;default&quot;</span>, 
    host=<span class="hljs-string">&#x27;x.x.x.x&#x27;</span>, 
    port=<span class="hljs-string">&#x27;19530&#x27;</span>
)
<span class="hljs-comment"># Create a collection with Strong Consistency level</span>
pk_field = FieldSchema(
    name=<span class="hljs-string">&quot;id&quot;</span>, 
    dtype=DataType.INT64, 
    is_primary=<span class="hljs-literal">True</span>, 
)
vector_field = FieldSchema(
    name=<span class="hljs-string">&quot;vector&quot;</span>, 
    dtype=DataType.FLOAT_VECTOR, 
    dim=<span class="hljs-number">2</span>
)
schema = CollectionSchema(
    fields=[pk_field, vector_field], 
    description=<span class="hljs-string">&quot;Test delete&quot;</span>
)
collection_name = <span class="hljs-string">&quot;test_delete&quot;</span>
collection = Collection(
    name=collection_name, 
    schema=schema, 
    using=<span class="hljs-string">&#x27;default&#x27;</span>, 
    shards_num=<span class="hljs-number">2</span>,
    consistency_level=<span class="hljs-string">&quot;Strong&quot;</span>
)
<span class="hljs-comment"># Insert randomly generated vectors</span>
<span class="hljs-keyword">import</span> random
data = [
    [i <span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-number">100</span>)],
    [[random.random() <span class="hljs-keyword">for</span> _ <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-number">2</span>)] <span class="hljs-keyword">for</span> _ <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-number">100</span>)],
]
collection.insert(data)
<span class="hljs-comment"># Query to make sure the entities to delete exist</span>
collection.load()
expr = <span class="hljs-string">&quot;id in [2,4,6,8,10]&quot;</span>
pre_del_res = collection.query(
    expr,
    output_fields = [<span class="hljs-string">&quot;id&quot;</span>, <span class="hljs-string">&quot;vector&quot;</span>]
)
<span class="hljs-built_in">print</span>(pre_del_res)
<span class="hljs-comment"># Delete the entities with the previous expression</span>
collection.delete(expr)
<span class="hljs-comment"># Query again to check if the deleted entities exist</span>
post_del_res = collection.query(
    expr,
    output_fields = [<span class="hljs-string">&quot;id&quot;</span>, <span class="hljs-string">&quot;vector&quot;</span>]
)
<span class="hljs-built_in">print</span>(post_del_res)
<button class="copy-code-btn"></button></code></pre>
<h2 id="Implementation" class="common-anchor-header">Implementazione<button data-href="#Implementation" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>In un'istanza Milvus, un nodo dati è principalmente responsabile dell'impacchettamento dei dati in streaming (registri nel log broker) come dati storici (istantanee dei registri) e del loro scarico automatico nella memoria degli oggetti. Un nodo di interrogazione esegue le richieste di ricerca sui dati completi, cioè sia sui dati in streaming che sui dati storici.</p>
<p>Per sfruttare al meglio la capacità di scrittura dei dati dei nodi paralleli di un cluster, Milvus adotta una strategia di sharding basata sull'hashing delle chiavi primarie per distribuire uniformemente le operazioni di scrittura ai diversi nodi worker. In altre parole, il proxy instrada i messaggi DML (Data Manipulation Language) (cioè le richieste) di un'entità verso lo stesso nodo dati e lo stesso nodo di interrogazione. Questi messaggi vengono pubblicati attraverso il canale DML e consumati dal nodo dati e dal nodo di interrogazione separatamente per fornire servizi di ricerca e interrogazione insieme.</p>
<h3 id="Data-node" class="common-anchor-header">Nodo dati</h3><p>Dopo aver ricevuto i messaggi INSERT, il nodo dati inserisce i dati in un segmento in crescita, che è un nuovo segmento creato per ricevere i dati in streaming in memoria. Se il conteggio delle righe di dati o la durata del segmento in crescita raggiunge la soglia, il nodo dati lo sigilla per impedire l'arrivo di dati. Il nodo dati quindi scarica il segmento sigillato, che contiene i dati storici, nella memoria degli oggetti. Nel frattempo, il nodo dati genera un filtro bloom basato sulle chiavi primarie dei nuovi dati e lo archivia nella memoria oggetti insieme al segmento sigillato, salvando il filtro bloom come parte del registro binario delle statistiche (binlog), che contiene le informazioni statistiche del segmento.</p>
<blockquote>
<p>Un filtro bloom è una struttura dati probabilistica che consiste in un lungo vettore binario e in una serie di funzioni di mappatura casuale. Può essere utilizzato per verificare se un elemento è un membro di un insieme, ma potrebbe restituire false corrispondenze positive.           -- Wikipedia</p>
</blockquote>
<p>Quando arrivano i messaggi di DELETE dei dati, il nodo dei dati esegue un buffer di tutti i filtri bloom nello shard corrispondente e li abbina alle chiavi primarie fornite nei messaggi per recuperare tutti i segmenti (sia quelli in crescita che quelli sigillati) che potrebbero includere le entità da cancellare. Dopo aver individuato i segmenti corrispondenti, il nodo dati li bufferizza in memoria per generare i binlog Delta per registrare le operazioni di cancellazione, e poi scarica questi binlog insieme ai segmenti nello storage degli oggetti.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/data_node_2397ad70c3.png" alt="Data Node" class="doc-image" id="data-node" />
   </span> <span class="img-wrapper"> <span>Nodo dati</span> </span></p>
<p>Poiché a uno shard è assegnato un solo canale DML, i nodi di query aggiunti al cluster non saranno in grado di sottoscrivere il canale DML. Per garantire che tutti i nodi di interrogazione possano ricevere i messaggi DELETE, i nodi dati filtrano i messaggi DELETE dal canale DML e li inoltrano al canale Delta per notificare a tutti i nodi di interrogazione le operazioni di cancellazione.</p>
<h3 id="Query-node" class="common-anchor-header">Nodo di interrogazione</h3><p>Quando si carica una collezione dall'archivio oggetti, il nodo di query ottiene innanzitutto il checkpoint di ogni shard, che segna le operazioni DML dall'ultima operazione di flush. Sulla base del checkpoint, il nodo di query carica tutti i segmenti sigillati insieme ai loro filtri binlog e bloom Delta. Una volta caricati tutti i dati, il nodo di query si iscrive al DML-Channel, al Delta-Channel e al Query-Channel.</p>
<p>Se arrivano altri messaggi INSERT dopo che la raccolta è stata caricata in memoria, il nodo di query individua prima i segmenti in crescita in base ai messaggi e aggiorna i filtri bloom corrispondenti in memoria solo a scopo di query. Questi filtri bloom dedicati alla query non verranno scaricati nella memoria degli oggetti al termine della query.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/query_node_a78b1d664f.png" alt="Query Node" class="doc-image" id="query-node" />
   </span> <span class="img-wrapper"> <span>Nodo di interrogazione</span> </span></p>
<p>Come già detto, solo un certo numero di nodi di query può ricevere messaggi DELETE dal canale DML, il che significa che solo loro possono eseguire le richieste DELETE in segmenti crescenti. I nodi di interrogazione che si sono iscritti al canale DML filtrano prima i messaggi DELETE nei segmenti in crescita, individuano le entità facendo corrispondere le chiavi primarie fornite con i filtri bloom dei segmenti in crescita dedicati alla query e quindi registrano le operazioni di cancellazione nei segmenti corrispondenti.</p>
<p>I nodi di interrogazione che non possono sottoscrivere il canale DML possono elaborare solo richieste di ricerca o di interrogazione su segmenti sigillati, perché possono solo sottoscrivere il canale Delta e ricevere i messaggi DELETE inoltrati dai nodi dati. Dopo aver raccolto tutti i messaggi DELETE nei segmenti sigillati dal Delta-Channel, i nodi di interrogazione localizzano le entità facendo corrispondere le chiavi primarie fornite con i filtri bloom dei segmenti sigillati e quindi registrano le operazioni di cancellazione nei segmenti corrispondenti.</p>
<p>Alla fine, in una ricerca o in un'interrogazione, i nodi di interrogazione generano un set di bit basato sui record di cancellazione per omettere le entità cancellate e cercare tra le entità rimanenti di tutti i segmenti, indipendentemente dallo stato del segmento. Infine, il livello di coerenza influisce sulla visibilità dei dati cancellati. Con il livello di consistenza Strong (come mostrato nell'esempio di codice precedente), le entità cancellate sono immediatamente invisibili dopo l'eliminazione. Se invece si adotta il livello di consistenza Bounded, ci saranno diversi secondi di latenza prima che le entità cancellate diventino invisibili.</p>
<h2 id="Whats-next" class="common-anchor-header">Cosa succederà in seguito?<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Nella serie di blog sulle nuove funzionalità 2.0, ci proponiamo di spiegare il design delle nuove funzionalità. Leggete di più in questa serie di blog!</p>
<ul>
<li><a href="https://milvus.io/blog/2022-02-07-how-milvus-deletes-streaming-data-in-distributed-cluster.md">Come Milvus elimina i dati in streaming in un cluster distribuito</a></li>
<li><a href="https://milvus.io/blog/2022-2-21-compact.md">Come compattare i dati in Milvus?</a></li>
<li><a href="https://milvus.io/blog/2022-02-28-how-milvus-balances-query-load-across-nodes.md">Come Milvus bilancia il carico delle query tra i nodi?</a></li>
<li><a href="https://milvus.io/blog/2022-2-14-bitset.md">Come Bitset consente la versatilità della ricerca per similarità vettoriale</a></li>
</ul>


Utilizzo

Milvus 2.0 - Uno sguardo alle nuove funzionalità

<p>Cari membri e amici della comunità Milvus:</p>
<p>Oggi, sei mesi dopo che la prima Release Candidate (RC) è stata resa pubblica, siamo entusiasti di annunciare che Milvus 2.0 è <a href="https://milvus.io/docs/v2.0.x/release_notes.md#v200">General Available (GA)</a> e pronto per la produzione! È stato un lungo viaggio e ringraziamo tutti coloro - collaboratori della comunità, utenti e LF AI &amp; Data Foundation - che ci hanno aiutato a realizzarlo.</p>
<p>La capacità di gestire miliardi di dati ad alta dimensionalità è una questione importante per i sistemi di intelligenza artificiale al giorno d'oggi, e per buone ragioni:</p>
<ol>
<li>I dati non strutturati occupano volumi dominanti rispetto ai tradizionali dati strutturati.</li>
<li>La freschezza dei dati non è mai stata così importante. I data scientist sono desiderosi di soluzioni tempestive per i dati, piuttosto che il tradizionale compromesso T+1.</li>
<li>I costi e le prestazioni sono diventati ancora più critici, eppure esiste ancora un grande divario tra le soluzioni attuali e i casi d'uso reali. Da qui nasce Milvus 2.0. Milvus è un database che aiuta a gestire dati ad alta dimensionalità su scala. È progettato per il cloud e può essere eseguito ovunque. Se avete seguito i nostri rilasci RC, sapete che ci siamo impegnati a fondo per rendere Milvus più stabile e più facile da distribuire e mantenere.</li>
</ol>
<h2 id="Milvus-20-GA-now-offers" class="common-anchor-header">Milvus 2.0 GA offre ora<button data-href="#Milvus-20-GA-now-offers" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><strong>Eliminazione delle entità</strong></p>
<p>Come database, Milvus supporta ora la <a href="https://milvus.io/docs/v2.0.x/delete_data.md">cancellazione di entità per chiave primaria</a> e più avanti supporterà la cancellazione di entità per espressione.</p>
<p><strong>Bilanciamento automatico del carico</strong></p>
<p>Milvus supporta ora la politica di bilanciamento del carico tramite plugin per bilanciare il carico di ogni nodo di query e di ogni nodo di dati. Grazie alla disaggregazione del calcolo e dello storage, il bilanciamento avviene in un paio di minuti.</p>
<p><strong>Trasferimento</strong></p>
<p>Una volta che i segmenti in crescita sono stati sigillati attraverso il flush, le attività di handoff sostituiscono i segmenti in crescita con segmenti storici indicizzati per migliorare le prestazioni di ricerca.</p>
<p><strong>Compattazione dei dati</strong></p>
<p>La compattazione dei dati è un'attività in background per unire segmenti piccoli in segmenti grandi e pulire i dati logici eliminati.</p>
<p><strong>Supporto per etcd incorporato e per l'archiviazione locale dei dati</strong></p>
<p>In modalità standalone, Milvus può rimuovere la dipendenza da etcd/MinIO con poche configurazioni. L'archiviazione locale dei dati può anche essere usata come cache locale per evitare di caricare tutti i dati nella memoria principale.</p>
<p><strong>SDK multilingue</strong></p>
<p>Oltre a <a href="https://github.com/milvus-io/pymilvus">PyMilvus</a>, sono ora pronti all'uso gli SDK per <a href="https://github.com/milvus-io/milvus-sdk-node">Node.js</a>, <a href="https://github.com/milvus-io/milvus-sdk-java">Java</a> e <a href="https://github.com/milvus-io/milvus-sdk-go">Go</a>.</p>
<p><strong>Operatore Milvus K8s</strong></p>
<p><a href="https://milvus.io/docs/v2.0.x/install_cluster-milvusoperator.md">Milvus Operator</a> fornisce una soluzione semplice per distribuire e gestire un intero stack di servizi Milvus, compresi i componenti Milvus e le relative dipendenze (ad esempio etcd, Pulsar e MinIO), sui cluster <a href="https://kubernetes.io/">Kubernetes</a> di destinazione in modo scalabile e altamente disponibile.</p>
<p><strong>Strumenti che aiutano a gestire Milvus</strong></p>
<p>Dobbiamo ringraziare <a href="https://zilliz.com/">Zilliz</a> per il fantastico contributo degli strumenti di gestione. Ora abbiamo <a href="https://milvus.io/docs/v2.0.x/attu.md">Attu</a>, che ci permette di interagire con Milvus tramite una GUI intuitiva, e <a href="https://milvus.io/docs/v2.0.x/cli_overview.md">Milvus_CLI</a>, uno strumento a riga di comando per gestire Milvus.</p>
<p>Grazie a tutti i 212 collaboratori, la comunità ha completato 6718 commit negli ultimi 6 mesi e sono stati chiusi molti problemi di stabilità e prestazioni. Apriremo il nostro rapporto di benchmark sulla stabilità e le prestazioni subito dopo il rilascio della versione 2.0 GA.</p>
<h2 id="Whats-next" class="common-anchor-header">Cosa ci aspetta?<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><strong>Funzionalità</strong></p>
<p>Il supporto per i tipi di stringa sarà la prossima caratteristica di Milvus 2.1. Introdurremo anche il meccanismo del time to live (TTL) e la gestione di base delle ACL per soddisfare meglio le esigenze degli utenti.</p>
<p><strong>Disponibilità</strong></p>
<p>Stiamo lavorando per rifattorizzare il meccanismo di schedulazione delle query per supportare repliche multimemoria per ogni segmento. Con più repliche attive, Milvus può supportare un failover più rapido e un'esecuzione speculativa per ridurre i tempi di inattività a un paio di secondi.</p>
<p><strong>Prestazioni</strong></p>
<p>I risultati dei benchmark delle prestazioni saranno presto disponibili sui nostri siti web. Si prevede che le versioni successive vedranno un impressionante miglioramento delle prestazioni. Il nostro obiettivo è quello di dimezzare la latenza di ricerca su insiemi di dati più piccoli e raddoppiare il throughput del sistema.</p>
<p><strong>Facilità d'uso</strong></p>
<p>Milvus è progettato per funzionare ovunque. Nei prossimi rilasci supporteremo Milvus su MacOS (sia M1 che X86) e su server ARM. Offriremo anche PyMilvus incorporato, in modo che possiate semplicemente <code translate="no">pip install</code> Milvus senza dover configurare un ambiente complesso.</p>
<p><strong>Governance della comunità</strong></p>
<p>Raffineremo le regole di adesione e chiariremo i requisiti e le responsabilità dei ruoli di contributore. È in fase di sviluppo anche un programma di mentorship; chiunque sia interessato a database cloud-native, ricerca vettoriale e/o governance della comunità, non esiti a contattarci.</p>
<p>Siamo davvero entusiasti dell'ultimo rilascio di Milvus GA! Come sempre, siamo felici di ascoltare il vostro feedback. Se riscontrate qualche problema, non esitate a contattarci su <a href="https://github.com/milvus-io/milvus">GitHub</a> o via <a href="http://milvusio.slack.com/">Slack</a>.</p>
<p><br/></p>
<p>Cordiali saluti,</p>
<p>Xiaofan Luan</p>
<p>Manutentore del progetto Milvus</p>
<p><br/></p>
<blockquote>
<p><em>Modificato da <a href="https://github.com/claireyuw">Claire Yu</a>.</em></p>
</blockquote>


Annuncio della disponibilità generale di Milvus 2.0

<p>Questo articolo è stato tradotto da <a href="https://www.linkedin.com/in/yiyun-n-2aa713163/">Angela Ni</a>.</p>
<p>Le informazioni sono ovunque nella nostra vita. Meta (precedentemente noto come Facebook), Instagram, Twitter e altre piattaforme di social media rendono i flussi di informazioni ancora più onnipresenti. Pertanto, i motori che gestiscono tali flussi di informazioni sono diventati un must nella maggior parte delle architetture di sistema. Tuttavia, in qualità di utenti delle piattaforme di social media e delle relative app, scommetto che sarete stati infastiditi da articoli, notizie, meme e altro ancora duplicati. L'esposizione a contenuti duplicati ostacola il processo di recupero delle informazioni e porta a una cattiva esperienza dell'utente.</p>
<p>Per un prodotto che si occupa di flussi di informazioni, è una priorità assoluta per gli sviluppatori trovare un processore di dati flessibile che possa essere integrato perfettamente nell'architettura del sistema per deduplicare notizie o pubblicità identiche.</p>
<p><a href="https://www.smartnews.com/en/">SmartNews</a>, valutata <a href="https://techcrunch.com/2021/09/15/news-aggregator-smartnews-raises-230-million-valuing-its-business-at-2-billion/">2 miliardi di dollari</a>, è l'azienda di app di notizie più quotata degli Stati Uniti. In passato era un utente di Milvus, un database vettoriale open-source, ma in seguito si è trasformata in un collaboratore attivo del progetto Milvus.</p>
<p>Questo articolo racconta la storia di SmartNews e spiega perché ha deciso di contribuire al progetto Milvus.</p>
<h2 id="An-overview-of-SmartNews" class="common-anchor-header">Una panoramica di SmartNews<button data-href="#An-overview-of-SmartNews" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>SmartNews, fondata nel 2012, ha sede a Tokyo, in Giappone. L'app di notizie sviluppata da SmartNews è sempre stata <a href="https://www.businessinsider.com/guides/smartnews-free-news-app-2018-9">ai primi posti</a> nel mercato giapponese. SmartNews è l'app di notizie <a href="https://about.smartnews.com/en/2019/06/12/smartnews-builds-global-momentum-with-over-500-us-growth-new-executives-and-three-new-offices/">in più rapida crescita</a> e vanta anche <a href="https://about.smartnews.com/en/2018/07/21/smartnews-reaches-more-than-10-million-monthly-active-users-in-the-united-states-and-japan/">un'elevata viscosità di utenti</a> nel mercato statunitense. Secondo le statistiche di <a href="https://www.appannie.com/en/">APP Annie</a>, alla fine di luglio 2021 la durata media mensile delle sessioni di SmartNews era al primo posto tra tutte le app di notizie, superiore alla durata cumulativa delle sessioni di AppleNews e Google News.</p>
<p>Con la rapida crescita della base di utenti e della viscosità, SmartNews deve affrontare ulteriori sfide in termini di meccanismo di raccomandazione e algoritmo di intelligenza artificiale. Tali sfide includono l'utilizzo di enormi caratteristiche discrete nell'apprendimento automatico (ML) su larga scala, l'accelerazione della ricerca di dati non strutturati con la ricerca di similarità vettoriale e altro ancora.</p>
<p>All'inizio del 2021, il team dell'algoritmo di dynamic Ad di SmartNews ha chiesto al team dell'infrastruttura AI di ottimizzare le funzioni di richiamo e interrogazione degli annunci pubblicitari. Dopo due mesi di ricerche, l'ingegnere dell'infrastruttura AI Shu ha deciso di utilizzare Milvus, un database vettoriale open-source che supporta indici multipli e metriche di somiglianza e aggiornamenti online dei dati. Milvus è apprezzato da più di mille organizzazioni in tutto il mondo.</p>
<h2 id="Advertisement-recommendation-powered-by-vector-similarity-search" class="common-anchor-header">Raccomandazione pubblicitaria basata sulla ricerca di similarità vettoriale<button data-href="#Advertisement-recommendation-powered-by-vector-similarity-search" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Il database vettoriale open-source Milvus è adottato nel sistema SmartNews Ad per abbinare e raccomandare agli utenti annunci dinamici provenienti da un set di dati su scala di 10 milioni. In questo modo, SmartNews è in grado di creare una relazione di mappatura tra due insiemi di dati precedentemente non abbinabili: i dati degli utenti e quelli degli annunci pubblicitari. Nel secondo trimestre del 2021, Shu è riuscita a distribuire Milvus 1.0 su Kubernetes. Per saperne di più su come <a href="https://milvus.io/docs">distribuire Milvus</a>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/image1_2a88ed162f.png" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<p>Dopo il successo dell'implementazione di Milvus 1.0, il primo progetto a utilizzare Milvus è stato il progetto di richiamo delle pubblicità avviato dal team Ad di SmartNews. Durante la fase iniziale, il set di dati pubblicitari era su scala milionaria. Nel frattempo, la latenza di P99 era rigorosamente controllata entro meno di 10 millisecondi.</p>
<p>Nel giugno 2021, Shu e i suoi colleghi del team di algoritmi hanno applicato Milvus a più scenari aziendali e hanno tentato l'aggregazione dei dati e l'aggiornamento dei dati/indici online in tempo reale.</p>
<p>A questo punto, Milvus, il database vettoriale open-source, è stato utilizzato in vari scenari aziendali di SmartNews, compresa la raccomandazione di annunci pubblicitari.</p>
<h2 id="From-a-user-to-an-active-contributor" class="common-anchor-header"><strong>Da utente a collaboratore attivo</strong><button data-href="#From-a-user-to-an-active-contributor" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Durante l'integrazione di Milvus nell'architettura del prodotto Smartnews, Shu e altri sviluppatori hanno avanzato richieste di funzioni come l'hot reload, il TTL (time-to-live) degli articoli, l'aggiornamento/sostituzione degli articoli e altro ancora. Si tratta di funzioni desiderate anche da molti utenti della comunità Milvus. Per questo motivo, Dennis Zhao, responsabile del team dell'infrastruttura AI di SmartNews, ha deciso di sviluppare e contribuire alla funzione di ricarica a caldo per la comunità. Dennis ritiene che "il team di SmartNews ha beneficiato della comunità di Milvus, quindi siamo più che disposti a contribuire se abbiamo qualcosa da condividere con la comunità".</p>
<p>Il Data reload supporta la modifica del codice durante l'esecuzione. Con l'aiuto di Data reload, gli sviluppatori non devono più fermarsi a un punto di interruzione o riavviare l'applicazione. Possono invece modificare direttamente il codice e vedere il risultato in tempo reale.</p>
<p>Alla fine di luglio, Yusup, ingegnere di SmartNews, ha proposto l'idea di utilizzare gli <a href="https://milvus.io/docs/v2.0.x/collection_alias.md#Collection-Alias">alias delle collezioni</a> per ottenere il caricamento a caldo.</p>
<p>La creazione di alias di raccolta si riferisce alla specificazione di nomi di alias per una raccolta. Una collezione può avere più alias. Tuttavia, un alias corrisponde al massimo a una collezione. È sufficiente fare un'analogia tra una raccolta e un armadietto. Un armadietto, come una collezione, ha il suo numero e la sua posizione, che rimarranno sempre invariati. Tuttavia, è sempre possibile inserire ed estrarre cose diverse dall'armadietto. Allo stesso modo, il nome della collezione è fisso, ma i dati in essa contenuti sono dinamici. È sempre possibile inserire o eliminare vettori in una collezione, poiché la cancellazione dei dati è supportata nella <a href="https://milvus.io/docs/v2.0.x/release_notes.md#v200-PreGA">versione</a> Milvus <a href="https://milvus.io/docs/v2.0.x/release_notes.md#v200-PreGA">pre-GA</a>.</p>
<p>Nel caso dell'attività pubblicitaria di SmartNews, quasi 100 milioni di vettori vengono inseriti o aggiornati quando vengono generati nuovi vettori pubblicitari dinamici. Ci sono diverse soluzioni a questo problema:</p>
<ul>
<li>Soluzione 1: cancellare prima i vecchi dati e inserirne di nuovi.</li>
<li>Soluzione 2: creare una nuova raccolta per i nuovi dati.</li>
<li>Soluzione 3: utilizzare alias di raccolta.</li>
</ul>
<p>Per quanto riguarda la soluzione 1, uno dei difetti più evidenti è che richiede molto tempo, soprattutto quando il set di dati da aggiornare è enorme. In genere ci vogliono ore per aggiornare un set di dati su scala di 100 milioni.</p>
<p>Per quanto riguarda la soluzione 2, il problema è che la nuova raccolta non è immediatamente disponibile per la ricerca. In altre parole, una raccolta non è ricercabile durante il caricamento. Inoltre, Milvus non consente a due raccolte di utilizzare lo stesso nome. Per passare a una nuova raccolta, gli utenti devono sempre modificare manualmente il codice lato client. In altre parole, gli utenti devono rivedere il valore del parametro <code translate="no">collection_name</code> ogni volta che devono passare da una collezione all'altra.</p>
<p>La soluzione 3 sarebbe la soluzione migliore. È sufficiente inserire i nuovi dati in una nuova raccolta e utilizzare gli alias di raccolta. In questo modo, è sufficiente scambiare l'alias della raccolta ogni volta che è necessario cambiare la raccolta per effettuare la ricerca. Non è necessario un ulteriore sforzo per rivedere il codice. Questa soluzione evita i problemi menzionati nelle due soluzioni precedenti.</p>
<p>Yusup è partito da questa richiesta e ha aiutato tutto il team di SmartNews a capire l'architettura di Milvus. Dopo un mese e mezzo, il progetto Milvus ha ricevuto da Yusup una PR sul caricamento a caldo. In seguito, questa funzione è stata resa ufficialmente disponibile con il rilascio di Milvus 2.0.0-RC7.</p>
<p>Attualmente, il team dell'infrastruttura AI sta prendendo l'iniziativa di distribuire Milvus 2.0 e migrare gradualmente tutti i dati da Milvus 1.0 a 2.0.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/image2_96c064a627.png" alt="img_collection alias" class="doc-image" id="img_collection-alias" />
   </span> <span class="img-wrapper"> <span>alias img_collection</span> </span></p>
<p>Il supporto degli alias di raccolta può migliorare notevolmente l'esperienza dell'utente, soprattutto per le grandi aziende Internet con grandi volumi di richieste da parte degli utenti. Chenglong Li, ingegnere dei dati della comunità Milvus, che ha contribuito a creare il ponte tra Milvus e Smartnews, ha dichiarato: "La funzione alias di raccolta nasce da una richiesta reale di SmartNews, un utente di Milvus. E SmartNews ha contribuito al codice della comunità Milvus. Questo atto di reciprocità è un grande esempio dello spirito open-source: dalla comunità e per la comunità. Ci auguriamo di vedere altri collaboratori come SmartNews e di costruire insieme una comunità Milvus più prospera".</p>
<p>"Attualmente, una parte del settore pubblicitario sta adottando Milvus come database vettoriale offline. Il rilascio ufficiale di Mivus 2.0 si avvicina e speriamo di poter utilizzare Milvus per costruire sistemi più affidabili e fornire servizi in tempo reale per un maggior numero di scenari aziendali", ha dichiarato Dennis.</p>
<blockquote>
<p>Aggiornamento: Milvus 2.0 è ora disponibile a livello generale! <a href="/blog/it/2022-1-25-annoucing-general-availability-of-milvus-2-0.md">Per saperne di più</a></p>
</blockquote>


La storia di SmartNews: da utente Milvus a collaboratore attivo

<p>Il 2021 è stato un anno straordinario per Milvus come progetto open-source. Desidero ringraziare tutti i collaboratori e gli utenti di Milvus, nonché i partner, per aver contribuito a un anno così eccezionale.</p>
<p><strong>Uno dei momenti più impressionanti di quest'anno per me è il rilascio di Milvus 2.0. Prima che iniziassimo questo progetto, solo una persona era in grado di gestire le risorse di Milvus. Prima di iniziare questo progetto, solo pochi membri della comunità credevano che avremmo potuto fornire il database vettoriale più avanzato al mondo, ma ora sono orgoglioso di dire che Milvus 2.0 GA è pronto per la produzione.</strong></p>
<p>Stiamo già lavorando a una nuova ed entusiasmante serie di sfide per il 2022, ma ho pensato che sarebbe stato divertente celebrare un paio di grandi passi avanti che abbiamo fatto lo scorso anno. Eccone alcuni:</p>
<h2 id="Community-Growth" class="common-anchor-header">Crescita della comunità<button data-href="#Community-Growth" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Per prima cosa, ecco un riepilogo delle statistiche della comunità da GitHub e Slack. Alla fine di dicembre 2021:</p>
<ul>
<li><p>I<strong>collaboratori</strong> sono passati da 121 nel dicembre 2020 a 209 nel dicembre 2021 (aumento del 172%).</p></li>
<li><p><strong>Le stelle</strong> sono passate da 4828 nel dicembre 2020 a 9090 nel dicembre 2021 (aumento del 188%).</p></li>
<li><p><strong>Le forchette</strong> sono aumentate da 756 nel dicembre 2020 a 1383 nel dicembre 2021 (+182%).</p></li>
<li><p>I<strong>membri di Slack</strong> sono aumentati da 541 nel dicembre 2020 a 1233 nel dicembre 2021 (+227%).</p></li>
</ul>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_1_e94deb087f.png" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<h2 id="Community-Governance-and-Advocacy" class="common-anchor-header">Governance e advocacy della comunità<button data-href="#Community-Governance-and-Advocacy" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Quando Milvus è diventato open source per la prima volta, nell'ottobre 2019, avevamo un team e una comunità relativamente piccoli, quindi naturalmente il progetto era governato principalmente da alcuni membri del core team. Ma da allora la comunità è cresciuta in modo significativo e ci siamo resi conto che avevamo bisogno di un sistema migliore per gestire il progetto in modo da poter accogliere nuovi collaboratori in modo più efficiente.</p>
<p>Di conseguenza, abbiamo nominato 5 nuovi manutentori nel 2021 per tenere traccia del lavoro in corso e dei problemi segnalati, per assicurarci che vengano rivisti e uniti in modo tempestivo. Gli ID GitHub dei cinque manutentori sono @xiaofan-luan; @congqixia; @scsven; @czs007; @yanliang567. Sentitevi liberi di contattare questi manutentori se avete bisogno di aiuto con le vostre PR.</p>
<p>Abbiamo anche lanciato il <a href="https://milvus.io/community/milvus_advocate.md">Milvus Advocate Program</a> e siamo lieti che altre persone si uniscano a noi per condividere le proprie esperienze, offrire aiuto ai membri della comunità e ottenere in cambio un riconoscimento.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_2_835f379fb0.png" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<p>(Immagine: contributori di Milvus GitHub, realizzata con il <a href="https://github.com/dynamicwebpaige/nanowrimo-2021/blob/main/15_VS_Code_contributors.ipynb">progetto</a> di dynamicwebpaige)</p>
<h2 id="Milvus-Project-Announcements-and-Milestones" class="common-anchor-header">Annunci e tappe del progetto Milvus<button data-href="#Milvus-Project-Announcements-and-Milestones" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ol>
<li><strong>Numero di versioni rilasciate: 14</strong></li>
</ol>
<ul>
<li><a href="https://milvus.io/blog/Whats-Inside-Milvus-1.0.md">Rilascio di Milvus 1.0</a></li>
<li><a href="https://milvus.io/blog/milvus2.0-redefining-vector-database.md">Milvus 2.0 rilascio RC</a></li>
<li><a href="https://milvus.io/docs/v2.0.x/release_notes.md#v200-PreGA">Milvus 2.0 rilascio PreGA</a></li>
</ul>
<ol>
<li><strong>SDK supportati da Milvus v2.0.0 GA</strong></li>
</ol>
<ul>
<li><p>PyMilvus (disponibile)</p></li>
<li><p>Go SDK (disponibile)</p></li>
<li><p>SDK Java (Disponibile)</p></li>
<li><p>SDK Node.js (Disponibile)</p></li>
<li><p>SDK C++ (in fase di sviluppo)</p></li>
</ul>
<ol start="3">
<li><strong>Lancio di nuovi strumenti Milvus:</strong></li>
</ol>
<ul>
<li><a href="https://github.com/zilliztech/milvus_cli#community">Milvus_CLI</a> (linea di comando Milvus)</li>
<li><a href="https://github.com/zilliztech/attu">Attu</a> (GUI di gestione Milvus)</li>
<li><a href="https://github.com/milvus-io/milvus-operator">Operatore Milvus K8s</a></li>
</ul>
<ol start="4">
<li><p><strong><a href="https://lfaidata.foundation/blog/2021/06/23/lf-ai-data-foundation-announces-graduation-of-milvus-project/">Milvus è diventato un progetto di laurea della LF AI &amp; Data Foundation.</a></strong></p></li>
<li><p><strong><a href="https://www.cs.purdue.edu/homes/csjgwang/pubs/SIGMOD21_Milvus.pdf">Milvus: A Purpose-Built Vector Data Management System pubblicato in SIGMOD'2021</a>)<a href="https://www.cs.purdue.edu/homes/csjgwang/pubs/SIGMOD21_Milvus.pdf">.</a></strong></p></li>
<li><p><strong><a href="https://discuss.milvus.io/">Lancio del forum della comunità Milvus.</a></strong></p></li>
</ol>
<h2 id="Community-Events" class="common-anchor-header">Eventi comunitari<button data-href="#Community-Events" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Quest'anno abbiamo ospitato e partecipato a molti eventi per consentire ai membri della nostra comunità globale di incontrarsi (per lo più virtualmente), nonostante l'attuale situazione di Covid-19. In totale, abbiamo partecipato a 21 conferenze e ospitato:</p>
<ul>
<li>6 riunioni tecniche</li>
<li>7 Orari d'ufficio Milvus</li>
<li>34 webinar</li>
<li>3 incontri offline</li>
</ul>
<p>Stiamo pianificando altri eventi per il 2022. Se volete partecipare agli eventi più vicini a voi, controllate la categoria <a href="https://discuss.milvus.io/c/events-and-meetups/13">Eventi e Meetup</a> nel nostro forum della comunità per vedere i prossimi eventi e le loro sedi. Se volete essere relatori o ospiti di eventi futuri, contattateci all'indirizzo <a href="mailto:community@milvus.io">community@milvus.io.</a></p>
<h2 id="Looking-Ahead-to-2022--Roadmap--Announcement" class="common-anchor-header">Prospettive per il 2022: tabella di marcia e annuncio<button data-href="#Looking-Ahead-to-2022--Roadmap--Announcement" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p><strong>Comunità:</strong></p>
<ol>
<li>Migliorare l'adesione al progetto Milvus per attirare/eleggere un maggior numero di manutentori e committer per costruire insieme la comunità.</li>
<li>Avviare un programma di mentorship per offrire maggiore aiuto ai nuovi arrivati che vogliono unirsi alla comunità e contribuire.</li>
<li>Migliorare la gestione dei documenti della comunità, compresi i <strong>documenti tecnici, le guide per gli utenti e i documenti della comunità</strong>. Nel 2022, si spera che i membri della comunità possano completare insieme un manuale Milvus, in modo che le persone possano imparare a usare meglio Milvus.</li>
<li>Rafforzare la cooperazione e l'interazione con altre comunità open source, comprese le comunità di AI a monte e comunità come Kubernetes, MinIO, etcd e Pulsar su cui Milvus si basa.</li>
<li>Diventare più orientati alla comunità organizzando riunioni SIG più regolari. Oltre al sig-pymilvus attualmente in corso, il nostro piano è di avere altri SIG nel 2022.</li>
</ol>
<p><strong>Progetto Milvus:</strong></p>
<ol>
<li>Messa a punto delle prestazioni</li>
</ol>
<p>Le prestazioni eccellenti sono sempre state un motivo importante per cui gli utenti scelgono Milvus. Nel 2022 intendiamo avviare un progetto di ottimizzazione delle prestazioni per aumentare il throughput e il ritardo di almeno due volte. Abbiamo inoltre in programma l'introduzione di repliche di memoria per migliorare il throughput e la stabilità del sistema in caso di set di dati di piccole dimensioni e il supporto delle GPU per accelerare la creazione di indici e il servizio online.</p>
<ol start="2">
<li>Funzionalità</li>
</ol>
<p>Milvus 2.0 ha già supportato funzionalità come la ricerca ibrida vettoriale/scalare, la cancellazione di entità e il viaggio nel tempo. Abbiamo in programma di supportare le seguenti funzionalità nelle prossime due major release:</p>
<ul>
<li>Supporto per tipi di dati più ricchi: Stringa, Blob, Geospaziale, ecc.</li>
<li>Controllo dell'accesso basato sui ruoli</li>
<li>Deduplicazione delle chiavi primarie</li>
<li>Supporto per la ricerca per intervallo sui vettori (ricerca dove la distanza è &lt; 0,8)</li>
<li>Supporto API Restful e SDK di altri linguaggi</li>
</ul>
<ol start="3">
<li>Facilità d'uso</li>
</ol>
<p>Nel corso del prossimo anno abbiamo in programma lo sviluppo di diversi strumenti per migliorare la distribuzione e la gestione di Milvus.</p>
<ul>
<li><p>Milvus up:  Un componente di distribuzione che aiuta gli utenti ad avviare Milvus in un ambiente offline senza cluster K8s. Aiuta anche a distribuire il monitoraggio, il tracciamento e altri sviluppi di Milvus.</p></li>
<li><p>Attu - Continueremo a migliorare Attu come sistema di gestione dei cluster. Stiamo pianificando di aggiungere funzionalità come la diagnosi dello stato di salute e l'ottimizzazione degli indici.</p></li>
<li><p>Milvus DM: strumento di migrazione dei dati per migrare i vettori da altri database o file a Milvus. Supporteremo prima FAISS, HNSW, Milvus 1.0/2.0, poi altri database come MySQL ed Elasticsearch.</p></li>
</ul>
<h2 id="About-the-author" class="common-anchor-header">Informazioni sull'autore<button data-href="#About-the-author" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Xiaofan Luan, partner e direttore tecnico di Zilliz e membro del comitato consultivo tecnico della LF AI &amp; Data Foundation. Ha lavorato successivamente nella sede centrale di Oracle US e in Hedvig, una startup di software defined storage. È entrato a far parte del team di Alibaba Cloud Database e si è occupato dello sviluppo dei database NoSQL HBase e Lindorm. Luan ha conseguito un master in Ingegneria elettronica informatica presso la Cornell University.</p>


Milvus nel 2021 - Anno in rassegna

<p>Nell'era dell'esplosione delle informazioni, produciamo continuamente voci, immagini, video e altri dati non strutturati. Come possiamo analizzare in modo efficiente questa enorme quantità di dati? L'avvento delle reti neurali consente di incorporare i dati non strutturati sotto forma di vettori e il database Milvus è un software di servizio dati di base che aiuta a completare l'archiviazione, la ricerca e l'analisi dei dati vettoriali.</p>
<p>Ma come si può utilizzare rapidamente il database vettoriale Milvus?</p>
<p>Alcuni utenti si sono lamentati del fatto che le API sono difficili da memorizzare e sperano che ci siano semplici linee di comando per utilizzare il database Milvus.</p>
<p>Siamo entusiasti di presentare Milvus_CLI, uno strumento a riga di comando dedicato al database vettoriale Milvus.</p>
<p>Milvus_CLI è una comoda CLI per il database Milvus, che supporta la connessione al database, l'importazione e l'esportazione dei dati e il calcolo dei vettori utilizzando comandi interattivi in shell. L'ultima versione di Milvus_CLI presenta le seguenti caratteristiche.</p>
<ul>
<li><p>Tutte le piattaforme supportate, tra cui Windows, Mac e Linux.</p></li>
<li><p>Supporto dell'installazione online e offline con pip</p></li>
<li><p>Portatile, può essere utilizzato ovunque</p></li>
<li><p>Basato sull'SDK Milvus per Python</p></li>
<li><p>Documentazione di aiuto inclusa</p></li>
<li><p>Supporto del completamento automatico</p></li>
</ul>
<h2 id="Installation" class="common-anchor-header">Installazione<button data-href="#Installation" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>È possibile installare Milvus_CLI sia online che offline.</p>
<h3 id="Install-MilvusCLI-online" class="common-anchor-header">Installare Milvus_CLI online</h3><p>Eseguire il seguente comando per installare Milvus_CLI online con pip. È richiesto Python 3.8 o successivo.</p>
<pre><code translate="no">pip install milvus-cli
<button class="copy-code-btn"></button></code></pre>
<h3 id="Install-MilvusCLI-offline" class="common-anchor-header">Installare Milvus_CLI offline</h3><p>Per installare Milvus_CLI offline, <a href="https://github.com/milvus-io/milvus_cli/releases">scaricare</a> prima l'ultimo tarball dalla pagina di rilascio.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_af0e832119.png" alt="1.png" class="doc-image" id="1.png" />
   </span> <span class="img-wrapper"> <span>1.png</span> </span></p>
<p>Dopo aver scaricato il tarball, eseguire il seguente comando per installare Milvus_CLI.</p>
<pre><code translate="no">pip install milvus_cli-&lt;version&gt;.tar.gz
<button class="copy-code-btn"></button></code></pre>
<p>Dopo aver installato Milvus_CLI, eseguire <code translate="no">milvus_cli</code>. Il prompt <code translate="no">milvus_cli &gt;</code> che appare indica che la linea di comando è pronta.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/2_b50f5d2a5a.png" alt="2.png" class="doc-image" id="2.png" />
   </span> <span class="img-wrapper"> <span>2.png</span> </span></p>
<p>Se si utilizza un Mac con il chip M1 o un PC senza ambiente Python, si può scegliere di utilizzare un'applicazione portatile. A tale scopo, <a href="https://github.com/milvus-io/milvus_cli/releases">scaricare</a> un file dalla pagina di rilascio corrispondente al proprio sistema operativo, eseguire <code translate="no">chmod +x</code> sul file per renderlo eseguibile ed eseguire <code translate="no">./</code> sul file per eseguirlo.</p>
<h4 id="Example" class="common-anchor-header"><strong>Esempio</strong></h4><p>L'esempio seguente rende eseguibile <code translate="no">milvus_cli-v0.1.8-fix2-macOS</code> e lo esegue.</p>
<pre><code translate="no"><span class="hljs-built_in">sudo</span> <span class="hljs-built_in">chmod</span> +x milvus_cli-v0.1.8-fix2-macOS
./milvus_cli-v0.1.8-fix2-macOS
<button class="copy-code-btn"></button></code></pre>
<h2 id="Usage" class="common-anchor-header">Utilizzo<button data-href="#Usage" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="Connect-to-Milvus" class="common-anchor-header">Connettersi a Milvus</h3><p>Prima di connettersi a Milvus, assicurarsi che Milvus sia installato sul server. Per ulteriori informazioni, vedere <a href="https://milvus.io/docs/v2.0.x/install_standalone-docker.md">Installazione di Milvus Standalone</a> o <a href="https://milvus.io/docs/v2.0.x/install_cluster-docker.md">Installazione di Milvus Cluster</a>.</p>
<p>Se Milvus è installato su localhost con la porta predefinita, eseguire <code translate="no">connect</code>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/3_f950d3739a.png" alt="3.png" class="doc-image" id="3.png" />
   </span> <span class="img-wrapper"> <span>3.png</span> </span></p>
<p>Altrimenti, eseguire il seguente comando con l'indirizzo IP del server Milvus. L'esempio seguente utilizza <code translate="no">172.16.20.3</code> come indirizzo IP e <code translate="no">19530</code> come numero di porta.</p>
<pre><code translate="no">connect -h 172.16.20.3
<button class="copy-code-btn"></button></code></pre>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/4_9ff2db9855.png" alt="4.png" class="doc-image" id="4.png" />
   </span> <span class="img-wrapper"> <span>4.png</span> </span></p>
<h3 id="Create-a-collection" class="common-anchor-header">Creare una raccolta</h3><p>Questa sezione spiega come creare una collezione.</p>
<p>Una collezione è composta da entità ed è simile a una tabella in RDBMS. Per ulteriori informazioni, consultare il <a href="https://milvus.io/docs/v2.0.x/glossary.md">Glossario</a>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/5_95a88c1cbf.png" alt="5.png" class="doc-image" id="5.png" />
   </span> <span class="img-wrapper"> <span>5.png</span> </span></p>
<h4 id="Example" class="common-anchor-header">Esempio</h4><p>L'esempio seguente crea una collezione denominata <code translate="no">car</code>. L'insieme <code translate="no">car</code> ha quattro campi: <code translate="no">id</code>, <code translate="no">vector</code>, <code translate="no">color</code> e <code translate="no">brand</code>. Il campo chiave primario è <code translate="no">id</code>. Per ulteriori informazioni, vedere <a href="https://milvus.io/docs/v2.0.x/cli_commands.md#create-collection">Creare una raccolta</a>.</p>
<pre><code translate="no">create collection -c car -f <span class="hljs-built_in">id</span>:INT64:primary_field -f vector:FLOAT_VECTOR:<span class="hljs-number">128</span> -f color:INT64:color -f brand:INT64:brand -p <span class="hljs-built_in">id</span> -a -d <span class="hljs-string">&#x27;car_collection&#x27;</span>
<button class="copy-code-btn"></button></code></pre>
<h3 id="List-collections" class="common-anchor-header">Elencare le raccolte</h3><p>Eseguire il seguente comando per elencare tutte le raccolte in questa istanza di Milvus.</p>
<pre><code translate="no">list collections
<button class="copy-code-btn"></button></code></pre>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/6_1331f4c8bc.png" alt="6.png" class="doc-image" id="6.png" />
   </span> <span class="img-wrapper"> <span>6.png</span> </span></p>
<p>Eseguire il seguente comando per controllare i dettagli della raccolta <code translate="no">car</code>.</p>
<pre><code translate="no">describe collection -c car 
<button class="copy-code-btn"></button></code></pre>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/7_1d70beee54.png" alt="7.png" class="doc-image" id="7.png" />
   </span> <span class="img-wrapper"> <span>7.png</span> </span></p>
<h3 id="Calculate-the-distance-between-two-vectors" class="common-anchor-header">Calcolare la distanza tra due vettori</h3><p>Eseguire il seguente comando per importare i dati nella raccolta <code translate="no">car</code>.</p>
<pre><code translate="no"><span class="hljs-keyword">import</span> -c car <span class="hljs-string">&#x27;https://raw.githubusercontent.com/zilliztech/milvus_cli/main/examples/import_csv/vectors.csv&#x27;</span>
<button class="copy-code-btn"></button></code></pre>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/8_7609a4359a.png" alt="8.png" class="doc-image" id="8.png" />
   </span> <span class="img-wrapper"> <span>8.png</span> </span></p>
<p>Eseguire <code translate="no">query</code> e inserire <code translate="no">car</code> come nome della raccolta e <code translate="no">id&gt;0</code> come espressione della query quando richiesto. Gli ID delle entità che soddisfano i criteri vengono restituiti come mostrato nella figura seguente.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/9_f0755589f6.png" alt="9.png" class="doc-image" id="9.png" />
   </span> <span class="img-wrapper"> <span>9.png</span> </span></p>
<p>Eseguire <code translate="no">calc</code> e inserire i valori appropriati quando richiesto per calcolare le distanze tra le matrici di vettori.</p>
<h3 id="Delete-a-collection" class="common-anchor-header">Eliminazione di una collezione</h3><p>Eseguire il seguente comando per eliminare la collezione <code translate="no">car</code>.</p>
<pre><code translate="no"><span class="hljs-keyword">delete</span> collection -c car
<button class="copy-code-btn"></button></code></pre>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/10_16b2b01935.png" alt="10.png" class="doc-image" id="10.png" />
   </span> <span class="img-wrapper"> <span>10.png</span> </span></p>
<h2 id="More" class="common-anchor-header">Altro<button data-href="#More" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus_CLI non si limita alle funzioni precedenti. Eseguire <code translate="no">help</code> per visualizzare tutti i comandi che Milvus_CLI include e le rispettive descrizioni. Eseguire <code translate="no">&lt;command&gt; --help</code> per visualizzare i dettagli di un comando specifico.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/11_5f31ccb1e8.png" alt="11.png" class="doc-image" id="11.png" />
   </span> <span class="img-wrapper"> <span>11.png</span> </span></p>
<p><strong>Vedere anche:</strong></p>
<p><a href="https://milvus.io/docs/v2.0.x/cli_commands.md">Riferimento ai comandi di Milvus_CLI</a> in Milvus Docs</p>
<p>Ci auguriamo che Milvus_CLI possa aiutarvi a utilizzare facilmente il database dei vettori di Milvus. Continueremo a ottimizzare Milvus_CLI e i vostri contributi sono benvenuti.</p>
<p>Se avete domande, non esitate a <a href="https://github.com/zilliztech/milvus_cli/issues">segnalare un problema</a> su GitHub.</p>


Iniziare con Milvus_CLI

Evoluzione del database vettoriale scalabile in cloud Milvus

<p>Negli ultimi anni, il tema della protezione della proprietà intellettuale è salito alla ribalta per la crescente consapevolezza della violazione della proprietà intellettuale. In particolare, il gigante tecnologico multinazionale Apple Inc. ha <a href="https://en.wikipedia.org/wiki/Apple_Inc._litigation">intentato cause contro varie aziende per violazione della proprietà intellettuale</a>, tra cui violazioni di marchi, brevetti e design. Oltre ai casi più noti, nel 2009 Apple Inc. ha anche <a href="https://www.smh.com.au/business/apple-bites-over-woolworths-logo-20091005-ghzr.html">contestato una richiesta di marchio da parte di Woolworths Limited</a>, una catena di supermercati australiana, per violazione del marchio.  Apple. Inc. ha sostenuto che il logo del marchio australiano, una &quot;w&quot; stilizzata, assomiglia al proprio logo di una mela. Pertanto, Apple Inc. ha contestato la gamma di prodotti, compresi i dispositivi elettronici, che Woolworths ha chiesto di vendere con il logo. La storia si conclude con la modifica del logo da parte di Woolworths e il ritiro dell'opposizione da parte di Apple.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Logo_of_Woolworths_b04ece5b20.png" alt="Logo of Woolworths.png" class="doc-image" id="logo-of-woolworths.png" />
   </span> <span class="img-wrapper"> <span>Logo di Woolworths.png</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Logo_of_Apple_Inc_181e5bd5f8.png" alt="Logo of Apple Inc.png" class="doc-image" id="logo-of-apple-inc.png" />
   </span> <span class="img-wrapper"> <span>Logo di Apple Inc.png</span> </span></p>
<p>Con la crescente consapevolezza della cultura del marchio, le aziende sono sempre più attente a qualsiasi minaccia che possa danneggiare i loro diritti di proprietà intellettuale (PI). La violazione della proprietà intellettuale comprende:</p>
<ul>
<li>Violazione del copyright</li>
<li>Violazione di brevetti</li>
<li>Violazione del marchio</li>
<li>Violazione del design</li>
<li>Cybersquatting</li>
</ul>
<p>La suddetta controversia tra Apple e Woolworths riguarda principalmente la violazione del marchio, precisamente la somiglianza tra le immagini dei marchi delle due entità. Per evitare di diventare un altro Woolworths, una ricerca esaustiva sulla somiglianza dei marchi è un passo fondamentale per i richiedenti, sia prima del deposito che durante la revisione delle domande di marchio. Il metodo più comune è la ricerca nel <a href="https://tmsearch.uspto.gov/search/search-information">database</a> dell'<a href="https://tmsearch.uspto.gov/search/search-information">Ufficio Marchi e Brevetti degli Stati Uniti (USPTO)</a>, che contiene tutte le registrazioni e le domande di marchio attive e inattive. Nonostante l'interfaccia utente non proprio affascinante, anche questo processo di ricerca è profondamente difettoso per la sua natura testuale, in quanto si basa sulle parole e sui codici di Trademark Design (che sono etichette annotate a mano delle caratteristiche del design) per cercare le immagini.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/image_8_b2fff6ca11.png" alt="8.png" class="doc-image" id="8.png" />
   </span> <span class="img-wrapper"> <span>8.png</span> </span></p>
<p>Questo articolo intende quindi mostrare come costruire un efficiente sistema di ricerca della somiglianza dei marchi basato sulle immagini utilizzando <a href="https://milvus.io">Milvus</a>, un database vettoriale open-source.</p>
<h2 id="A-vector-similarity-search-system-for-trademarks" class="common-anchor-header">Un sistema di ricerca per similarità vettoriale dei marchi<button data-href="#A-vector-similarity-search-system-for-trademarks" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Per costruire un sistema di ricerca di somiglianza vettoriale per i marchi, è necessario procedere come segue:</p>
<ol>
<li>Preparare un set di dati massiccio di loghi. Probabilmente il sistema può utilizzare un set di dati come <a href="https://developer.uspto.gov/product/trademark-24-hour-box-and-supplemental">questo</a>).</li>
<li>Addestrare un modello di estrazione delle caratteristiche dell'immagine utilizzando il set di dati e modelli basati sui dati o algoritmi di intelligenza artificiale.</li>
<li>Convertire i loghi in vettori utilizzando il modello o l'algoritmo addestrato al punto 2.</li>
<li>Memorizzare i vettori e condurre ricerche di similarità vettoriale in Milvus, il database vettoriale open-source.</li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/trademark_system_e9700df555.png" alt="Nike.png" class="doc-image" id="nike.png" />
   </span> <span class="img-wrapper"> <span>Nike.png</span> </span></p>
<p>Nelle sezioni seguenti, esaminiamo più da vicino le due fasi principali della costruzione di un sistema di ricerca per similarità vettoriale per i marchi: l'utilizzo di modelli AI per l'estrazione delle caratteristiche delle immagini e l'utilizzo di Milvus per la ricerca di similarità vettoriale. Nel nostro caso, abbiamo utilizzato VGG16, una rete neurale convoluzionale (CNN), per estrarre le caratteristiche delle immagini e convertirle in vettori di incorporamento.</p>
<h3 id="Using-VGG16-for-image-feature-extraction" class="common-anchor-header">Utilizzo di VGG16 per l'estrazione delle caratteristiche delle immagini</h3><p><a href="https://medium.com/@mygreatlearning/what-is-vgg16-introduction-to-vgg16-f2d63849f615">VGG16</a> è una CNN progettata per il riconoscimento di immagini su larga scala. Il modello è rapido e preciso nel riconoscimento delle immagini e può essere applicato a immagini di tutte le dimensioni. Di seguito sono riportate due illustrazioni dell'architettura di VGG16.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/vgg16_layers_9e621f62cc.png" alt="9.png" class="doc-image" id="9.png" />
   </span> <span class="img-wrapper"> <span>9.png</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/vgg16_architecture_992614e882.png" alt="10.png" class="doc-image" id="10.png" />
   </span> <span class="img-wrapper"> <span>10.png</span> </span></p>
<p>Il modello VGG16, come suggerisce il nome, è una CNN a 16 strati. Tutti i modelli VGG, compresi il VGG16 e il VGG19, contengono 5 blocchi VGG, con uno o più strati convoluzionali in ogni blocco VGG. Alla fine di ogni blocco, viene collegato uno strato di pooling massimo per ridurre le dimensioni dell'immagine di ingresso. Il numero di kernel è equivalente in ogni strato convoluzionale, ma raddoppia in ogni blocco VGG. Pertanto, il numero di kernel nel modello cresce da 64 nel primo blocco a 512 nel quarto e quinto blocco. Tutti i kernel convoluzionali sono<em>di 33 dimensioni, mentre i kernel di pooling sono tutti di 22 dimensioni</em>. Ciò consente di preservare un maggior numero di informazioni sull'immagine di ingresso.</p>
<p>Pertanto, in questo caso, VGG16 è un modello adatto per il riconoscimento di immagini di grandi insiemi di dati. È possibile utilizzare Python, Tensorflow e Keras per addestrare un modello di estrazione delle caratteristiche delle immagini sulla base di VGG16.</p>
<h3 id="Using-Milvus-for-vector-similarity-search" class="common-anchor-header">Utilizzo di Milvus per la ricerca di similarità vettoriale</h3><p>Dopo aver utilizzato il modello VGG16 per estrarre le caratteristiche dell'immagine e convertire le immagini del logo in vettori di incorporamento, è necessario cercare vettori simili da un insieme di dati massiccio.</p>
<p>Milvus è un database cloud-native caratterizzato da elevata scalabilità ed elasticità. Inoltre, come database, è in grado di garantire la coerenza dei dati. Per un sistema di ricerca della somiglianza dei marchi come questo, i nuovi dati, come le ultime registrazioni di marchi, vengono caricati nel sistema in tempo reale. E questi dati appena caricati devono essere immediatamente disponibili per la ricerca. Pertanto, questo articolo adotta Milvus, un database vettoriale open-source, per condurre una ricerca di somiglianza vettoriale.</p>
<p>Quando si inseriscono i vettori di logo, è possibile creare in Milvus delle raccolte per diversi tipi di vettori di logo secondo la <a href="https://en.wikipedia.org/wiki/International_(Nice)_Classification_of_Goods_and_Services">Classificazione internazionale (di Nizza) dei prodotti e dei servizi</a>, un sistema di classificazione dei prodotti e dei servizi per la registrazione dei marchi. Ad esempio, è possibile inserire un gruppo di vettori di loghi di marchi di abbigliamento in una raccolta denominata &quot;abbigliamento&quot; in Milvus e inserire un altro gruppo di vettori di loghi di marchi tecnologici in un'altra raccolta denominata &quot;tecnologia&quot;. In questo modo è possibile aumentare notevolmente l'efficienza e la velocità della ricerca di similarità vettoriale.</p>
<p>Milvus non solo supporta indici multipli per la ricerca di similarità vettoriale, ma fornisce anche ricche API e strumenti per facilitare DevOps. Il diagramma seguente illustra l'<a href="https://milvus.io/docs/v2.0.x/architecture_overview.md">architettura</a> di <a href="https://milvus.io/docs/v2.0.x/architecture_overview.md">Milvus</a>. Per saperne di più su Milvus, leggete la sua <a href="https://milvus.io/docs/v2.0.x/overview.md">introduzione</a>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/milvus_architecture_ea45a5ab53.png" alt="11.png" class="doc-image" id="11.png" />
   </span> <span class="img-wrapper"> <span>11.png</span> </span></p>
<h2 id="Looking-for-more-resources" class="common-anchor-header">Cercate altre risorse?<button data-href="#Looking-for-more-resources" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p>Costruite altri sistemi di ricerca per similarità vettoriale per altri scenari applicativi con Milvus:</p>
<ul>
<li><a href="https://milvus.io/blog/dna-sequence-classification-based-on-milvus.md">Classificazione di sequenze di DNA basata su Milvus</a></li>
<li><a href="https://milvus.io/blog/audio-retrieval-based-on-milvus.md">Recupero di audio basato su Milvus</a></li>
<li><a href="https://milvus.io/blog/building-video-search-system-with-milvus.md">4 passi per costruire un sistema di ricerca video</a></li>
<li><a href="https://milvus.io/blog/building-intelligent-chatbot-with-nlp-and-milvus.md">Costruire un sistema di QA intelligente con NLP e Milvus</a></li>
<li><a href="https://milvus.io/blog/molecular-structure-similarity-with-milvus.md">Accelerare la scoperta di nuovi farmaci</a></li>
</ul></li>
<li><p>Impegnatevi con la nostra comunità open-source:</p>
<ul>
<li>Trovate o contribuite a Milvus su <a href="https://bit.ly/307b7jC">GitHub</a>.</li>
<li>Interagite con la comunità tramite il <a href="https://bit.ly/3qiyTEk">Forum</a>.</li>
<li>Connettetevi con noi su <a href="https://bit.ly/3ob7kd8">Twitter</a>.</li>
</ul></li>
</ul>


Milvus nella protezione della proprietà intellettuale：Costruire un sistema di ricerca della somiglianza dei marchi con Milvus

<p>Per aiutarvi a iniziare rapidamente a utilizzare Milvus, il database vettoriale open-source, abbiamo rilasciato un altro progetto open-source affiliato, <a href="https://github.com/milvus-io/bootcamp">Milvus Bootcamp</a> su GitHub. Il Milvus Bootcamp non solo fornisce script e dati per i test di benchmark, ma include anche progetti che utilizzano Milvus per costruire alcuni MVP (minimum viable product), come un sistema di ricerca inversa di immagini, un sistema di analisi video, un chatbot QA o un sistema di raccomandazione. Nel Milvus Bootcamp potrete imparare ad applicare la ricerca per similarità vettoriale in un mondo pieno di dati non strutturati e fare un po' di esperienza pratica.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/2_5b60157b4d.png" alt="2.png" class="doc-image" id="2.png" />
   </span> <span class="img-wrapper"> <span>2.png</span> </span></p>
<p>Forniamo servizi sia di front-end che di back-end per i progetti del Milvus Bootcamp. Tuttavia, di recente abbiamo deciso di cambiare il framework web adottato, passando da Flask a FastAPI.</p>
<p>Questo articolo intende spiegare le motivazioni che ci hanno spinto a cambiare il framework web adottato per Milvus Bootcamp, chiarendo perché abbiamo preferito FastAPI a Flask.</p>
<h2 id="Web-frameworks-for-Python" class="common-anchor-header">Framework web per Python<button data-href="#Web-frameworks-for-Python" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Un framework web si riferisce a un insieme di pacchetti o moduli. Si tratta di un insieme di architetture software per lo sviluppo web che consentono di scrivere applicazioni o servizi web, evitando di gestire dettagli di basso livello come protocolli, socket o gestione di processi/thread. L'uso di framework web può ridurre significativamente il carico di lavoro dello sviluppo di applicazioni web, in quanto è sufficiente "inserire" il codice nel framework, senza dover prestare ulteriore attenzione alla cache dei dati, all'accesso al database e alla verifica della sicurezza dei dati. Per maggiori informazioni su cosa sia un framework web per Python, vedere <a href="https://wiki.python.org/moin/WebFrameworks">Framework web</a>.</p>
<p>Esistono vari tipi di framework web per Python. Quelli più diffusi sono Django, Flask, Tornado e FastAPI.</p>
<h3 id="Flask" class="common-anchor-header">Flask</h3><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/3_1abd170939.png" alt="3.png" class="doc-image" id="3.png" />
   </span> <span class="img-wrapper"> <span>3.png</span> </span></p>
<p><a href="https://flask.palletsprojects.com/en/2.0.x/">Flask</a> è un microframework leggero progettato per Python, con un nucleo semplice e facile da usare che consente di sviluppare le proprie applicazioni web. Inoltre, il nucleo di Flask è anche estensibile. Pertanto, Flask supporta l'estensione on-demand di diverse funzioni per soddisfare le vostre esigenze personalizzate durante lo sviluppo di applicazioni web. In altre parole, con una libreria di vari plug-in in Flask, è possibile sviluppare siti web potenti.</p>
<p>Flask ha le seguenti caratteristiche:</p>
<ol>
<li>Flask è un microframework che non si affida ad altri strumenti specifici o a componenti di librerie di terze parti per fornire funzionalità condivise. Flask non ha un livello di astrazione del database e non richiede la validazione dei moduli. Tuttavia, Flask è altamente estensibile e supporta l'aggiunta di funzionalità applicative in modo simile alle implementazioni all'interno di Flask stesso. Le estensioni rilevanti includono i mapper relazionali a oggetti, la validazione dei moduli, l'elaborazione degli upload, le tecnologie di autenticazione aperte e alcuni strumenti comuni progettati per i framework web.</li>
<li>Flask è un framework per applicazioni web basato su <a href="https://wsgi.readthedocs.io/">WSGI</a> (Web Server Gateway Interface). WSGI è una semplice interfaccia che collega un server web con un'applicazione web o un framework definito per il linguaggio Python.</li>
<li>Flask include due librerie di funzioni fondamentali, <a href="https://www.palletsprojects.com/p/werkzeug">Werkzeug</a> e <a href="https://www.palletsprojects.com/p/jinja">Jinja2</a>. Werkzeug è un toolkit WSGI che implementa oggetti di richiesta e risposta e funzioni pratiche, che consentono di costruire framework web su di esso. Jinja2 è un popolare motore di template completo per Python. Ha un supporto completo per Unicode e un ambiente di esecuzione sandbox integrato, opzionale ma ampiamente adottato.</li>
</ol>
<h3 id="FastAPI" class="common-anchor-header">FastAPI</h3><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/4_05cb0dac4e.png" alt="4.png" class="doc-image" id="4.png" />
   </span> <span class="img-wrapper"> <span>4.png</span> </span></p>
<p><a href="https://fastapi.tiangolo.com/">FastAPI</a> è un moderno framework per applicazioni web in Python che offre lo stesso livello di prestazioni elevate di Go e NodeJS. Il nucleo di FastAPI è basato su <a href="https://www.starlette.io/">Starlette</a> e <a href="https://pydantic-docs.helpmanual.io/">Pydantic</a>. Starlette è un framework leggero <a href="https://asgi.readthedocs.io/">ASGI</a>(Asynchronous Server Gateway Interface) per la creazione di servizi <a href="https://docs.python.org/3/library/asyncio.html">Asyncio</a> ad alte prestazioni. Pydantic è una libreria che definisce la convalida dei dati, la serializzazione e la documentazione basandosi sui suggerimenti di tipo Python.</p>
<p>FastAPI ha le seguenti caratteristiche:</p>
<ol>
<li>FastAPI è un framework per applicazioni web basato su ASGI, un'interfaccia di protocollo gateway asincrona che collega servizi di protocollo di rete e applicazioni Python. FastAPI è in grado di gestire diversi tipi di protocollo comuni, tra cui HTTP, HTTP2 e WebSocket.</li>
<li>FastAPI si basa su Pydantic, che fornisce la funzione di verifica del tipo di dati dell'interfaccia. Non è necessario verificare ulteriormente i parametri dell'interfaccia o scrivere codice aggiuntivo per verificare se i parametri sono vuoti o se il tipo di dati è corretto. L'utilizzo di FastAPI consente di evitare efficacemente gli errori umani nel codice e di migliorare l'efficienza dello sviluppo.</li>
<li>FastAPI supporta documenti in due formati: <a href="https://swagger.io/specification/">OpenAPI</a> (ex Swagger) e <a href="https://www.redoc.com/">Redoc</a>. Pertanto, l'utente non deve perdere tempo a scrivere documenti di interfaccia aggiuntivi. Il documento OpenAPI fornito da FastAPI è mostrato nella schermata seguente.</li>
</ol>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/5_d91d34cb0f.png" alt="5.png" class="doc-image" id="5.png" />
   </span> <span class="img-wrapper"> <span>5.png</span> </span></p>
<h3 id="Flask-Vs-FastAPI" class="common-anchor-header">Flask contro FastAPI</h3><p>La tabella seguente mostra le differenze tra Flask e FastAPI sotto diversi aspetti.</p>
<table>
<thead>
<tr><th></th><th><strong>FastAPI</strong></th><th><strong>Flask</strong></th></tr>
</thead>
<tbody>
<tr><td><strong>Interfaccia gateway</strong></td><td>ASGI</td><td>WSGI</td></tr>
<tr><td><strong>Struttura asincrona</strong></td><td>✅</td><td>❌</td></tr>
<tr><td><strong>Prestazioni</strong></td><td>Più veloce</td><td>Più lento</td></tr>
<tr><td><strong>Documenti interattivi</strong></td><td>OpenAPI, Redoc</td><td>Nessuno</td></tr>
<tr><td><strong>Verifica dei dati</strong></td><td>✅</td><td>❌</td></tr>
<tr><td><strong>Costi di sviluppo</strong></td><td>Più bassi</td><td>Più alti</td></tr>
<tr><td><strong>Facilità d'uso</strong></td><td>Più basso</td><td>Superiore</td></tr>
<tr><td><strong>Flessibilità</strong></td><td>Meno flessibile</td><td>Più flessibile</td></tr>
<tr><td><strong>Comunità</strong></td><td>Più piccola</td><td>Più attiva</td></tr>
</tbody>
</table>
<h2 id="Why-FastAPI" class="common-anchor-header">Perché FastAPI?<button data-href="#Why-FastAPI" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Prima di decidere quale framework Python per applicazioni web scegliere per i progetti del Milvus Bootcamp, abbiamo fatto una ricerca su diversi framework mainstream, tra cui Django, Flask, FastAPI, Tornado e altri. Poiché i progetti di Milvus Bootcamp servono da riferimento per voi, la nostra priorità è adottare un framework esterno di massima leggerezza e destrezza. In base a questa regola, abbiamo ristretto le nostre scelte a Flask e FastAPI.</p>
<p>Potete vedere il confronto tra i due framework web nella sezione precedente. Di seguito viene spiegata nel dettaglio la motivazione che ci ha spinto a scegliere FastAPI rispetto a Flask per i progetti di Milvus Bootcamp. Le ragioni sono molteplici:</p>
<h3 id="1-Performance" class="common-anchor-header">1. Prestazioni</h3><p>La maggior parte dei progetti di Milvus Bootcamp sono costruiti intorno a sistemi di ricerca inversa di immagini, chatbot QA, motori di ricerca di testi, che hanno tutti elevate esigenze di elaborazione dei dati in tempo reale. Di conseguenza, abbiamo bisogno di un framework con prestazioni eccezionali, che è esattamente il punto forte di FastAPI. Pertanto, dal punto di vista delle prestazioni del sistema, abbiamo deciso di scegliere FastAPI.</p>
<h3 id="2-Efficiency" class="common-anchor-header">2. Efficienza</h3><p>Quando si utilizza Flask, è necessario scrivere codice per la verifica del tipo di dati in ciascuna interfaccia, in modo che il sistema possa determinare se i dati in ingresso sono vuoti o meno. Tuttavia, supportando la verifica automatica del tipo di dati, FastAPI aiuta a evitare errori umani nella codifica durante lo sviluppo del sistema e può aumentare notevolmente l'efficienza dello sviluppo. Il Bootcamp è un tipo di risorsa di formazione. Ciò significa che il codice e i componenti che utilizziamo devono essere intuitivi e altamente efficienti. A questo proposito, abbiamo scelto FastAPI per migliorare l'efficienza del sistema e l'esperienza dell'utente.</p>
<h3 id="3-Asynchronous-framework" class="common-anchor-header">3. Struttura asincrona</h3><p>FastAPI è intrinsecamente un framework asincrono. Inizialmente, abbiamo rilasciato quattro <a href="https://zilliz.com/milvus-demos?isZilliz=true">demo</a>, la ricerca inversa di immagini, l'analisi video, il chatbot QA e la ricerca di somiglianze molecolari. In queste demo, è possibile caricare i set di dati e viene immediatamente visualizzato il messaggio &quot;richiesta ricevuta&quot;. Quando i dati vengono caricati nel sistema della demo, viene visualizzato un altro messaggio &quot;caricamento dei dati riuscito&quot;. Si tratta di un processo asincrono che richiede un framework che supporti questa funzione. FastAPI è un framework asincrono. Per allineare tutte le risorse di Milvus, abbiamo deciso di adottare un unico set di strumenti di sviluppo e software sia per il Milvus Bootcamp che per le demo di Milvus. Di conseguenza, abbiamo cambiato il framework da Flask a FastAPI.</p>
<h3 id="4-Automatic-interactive-documents" class="common-anchor-header">4. Documenti interattivi automatici</h3><p>In modo tradizionale, quando si finisce di scrivere il codice per il lato server, è necessario scrivere un documento aggiuntivo per creare un'interfaccia e poi utilizzare strumenti come <a href="https://www.postman.com/">Postman</a> per il test e il debug delle API. E se si volesse solo iniziare rapidamente la parte di sviluppo del lato server dei progetti in Milvus Bootcamp senza scrivere codice aggiuntivo per creare un'interfaccia? FastAPI è la soluzione. Fornendo un documento OpenAPI, FastAPI vi risparmia la fatica di testare o eseguire il debug delle API e di collaborare con i team di front-end per sviluppare un'interfaccia utente. Con FastAPI, è possibile provare rapidamente l'applicazione creata con un'interfaccia automatica ma intuitiva, senza ulteriori sforzi di codifica.</p>
<h3 id="5-User-friendliness" class="common-anchor-header">5. Facilità d'uso</h3><p>FastAPI è più facile da usare e da sviluppare, consentendo così di prestare maggiore attenzione all'implementazione specifica del progetto stesso. Senza dedicare troppo tempo allo sviluppo di framework web, ci si può concentrare maggiormente sulla comprensione dei progetti di Milvus Bootcamp.</p>
<h2 id="Recap" class="common-anchor-header">Riconoscimento<button data-href="#Recap" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Flask e FlastAPI hanno i loro pro e contro. FlastAPI è un framework emergente per applicazioni web, mentre FlastAPI, nella sua essenza, si basa su toolkit e librerie mature, Starlette e Pydantic. FastAPI è un framework asincrono ad alte prestazioni. La sua destrezza, l'estensibilità e il supporto per la verifica automatica del tipo di dati, insieme a molte altre potenti caratteristiche, ci hanno spinto ad adottare FastAPI come framework per i progetti Milvus Bootcamp.</p>
<p>Si noti che è necessario scegliere il framework appropriato in base al proprio scenario applicativo se si vuole costruire un sistema di ricerca per similarità vettoriale in produzione.</p>
<h2 id="About-the-author" class="common-anchor-header">L'autore<button data-href="#About-the-author" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Yunmei Li, Data Engineer di Zilliz, si è laureata in informatica presso la Huazhong University of Science and Technology. Da quando è entrata a far parte di Zilliz, ha lavorato all'esplorazione di soluzioni per il progetto open source Milvus e ha aiutato gli utenti ad applicare Milvus in scenari reali. La sua attenzione principale è rivolta all'NLP e ai sistemi di raccomandazione e vorrebbe approfondire ulteriormente queste due aree. Le piace passare il tempo da sola e leggere.</p>
<h2 id="Looking-for-more-resources" class="common-anchor-header">Cercate altre risorse?<button data-href="#Looking-for-more-resources" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p>Iniziate a costruire sistemi di intelligenza artificiale con Milvus e fate più esperienza pratica leggendo i nostri tutorial!</p>
<ul>
<li><a href="https://milvus.io/blog/2021-10-10-milvus-helps-analys-vedios.md">Che cos'è? Chi è? Milvus aiuta ad analizzare i video in modo intelligente</a></li>
<li><a href="https://milvus.io/blog/2021-09-26-onnx.md">Combinare modelli di intelligenza artificiale per la ricerca di immagini con ONNX e Milvus</a></li>
<li><a href="https://milvus.io/blog/dna-sequence-classification-based-on-milvus.md">Classificazione delle sequenze di DNA basata su Milvus</a></li>
<li><a href="https://milvus.io/blog/audio-retrieval-based-on-milvus.md">Recupero dell'audio basato su Milvus</a></li>
<li><a href="https://milvus.io/blog/building-video-search-system-with-milvus.md">4 passi per costruire un sistema di ricerca video</a></li>
<li><a href="https://milvus.io/blog/building-intelligent-chatbot-with-nlp-and-milvus.md">Creare un sistema di QA intelligente con NLP e Milvus</a></li>
<li><a href="https://milvus.io/blog/molecular-structure-similarity-with-milvus.md">Accelerare la scoperta di nuovi farmaci</a></li>
</ul></li>
<li><p>Impegnatevi con la nostra comunità open-source:</p>
<ul>
<li>Trovate o contribuite a Milvus su <a href="https://bit.ly/307b7jC">GitHub</a>.</li>
<li>Interagite con la comunità tramite il <a href="https://bit.ly/3qiyTEk">Forum</a>.</li>
<li>Connettetevi con noi su <a href="https://bit.ly/3ob7kd8">Twitter</a>.</li>
</ul></li>
</ul>


Perché scegliere FastAPI rispetto a Flask?

Accelerare la generazione di candidati nei sistemi di raccomandazione usando Milvus e PaddlePaddle

<p>Questo tutorial spiega come eseguire Milvus 2.0 su Windows. Se volete iniziare a usare Milvus 2.0 su Windows, o semplicemente dovete eseguire Milvus su Windows a causa dei limiti dell'ambiente, questo tutorial può essere un buon riferimento. Questo articolo è stato scritto originariamente da <a href="https://github.com/matrixji">@matrixji</a>.</p>
<p>Ci sono due modi per eseguire Milvus 2.0 su Windows:</p>
<ul>
<li><a href="#Compile-from-source-code">Compilare dal codice sorgente</a></li>
<li><a href="#Install-from-the-binary-package">Installare dal pacchetto binario</a></li>
</ul>
<h2 id="Compile-from-source-code" class="common-anchor-header">Compilare dal codice sorgente<button data-href="#Compile-from-source-code" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="Prerequisites" class="common-anchor-header">Prerequisiti</h3><p>È necessario installare la toolchain MinGW64/MSYS prima di compilare Milvus 2.0 su Windows. Vedere <a href="https://www.msys2.org/">MSYS2</a> per la guida all'installazione. La compilazione in questo tutorial è completata nella shell di MSYS2 MinGW 64-bit. È possibile eseguire <code translate="no">$ pacman -Su</code> per aggiornare la toolchain.</p>
<p>Si consiglia inoltre di eseguire <code translate="no">$ pacman -S git</code> per installare git.</p>
<h3 id="Step-1-Clone-code" class="common-anchor-header">Passo 1. Clonare il codice</h3><p>Eseguire il seguente comando per clonare il codice dal ramo <strong>windows-dev</strong> nel repository <strong>matrixji/milvus</strong>. Al momento, tutti i commit possono essere rintracciati in <strong>windows-dev</strong>, che effettua il rebase dei commit dal ramo principale upstream <a href="https://github.com/milvus-io/milvus"><strong>milvus-io/milvus</strong></a> su base settimanale.</p>
<pre><code translate="no" class="language-python">$ git <span class="hljs-built_in">clone</span> git@github.com:matrixji/milvus.git -b windows-dev
<button class="copy-code-btn"></button></code></pre>
<h3 id="Step-2-Compile-Milvus" class="common-anchor-header">Passo 2. Compilazione di Milvus</h3><h4 id="1-Install-dependencies-and-toolchain" class="common-anchor-header">1. Installare le dipendenze e la toolchain</h4><p>Eseguire il seguente comando per installare le dipendenze e la toolchain necessarie. Dopo l'installazione, è necessario riavviare la shell MinGW/MYSY per assicurarsi che le configurazioni di alcuni strumenti siano applicate correttamente.</p>
<pre><code translate="no" class="language-python">$ <span class="hljs-built_in">cd</span> milvus
$ scripts/install_deps_msys.sh
<button class="copy-code-btn"></button></code></pre>
<h4 id="2-Compile-Milvus" class="common-anchor-header">2. Compilazione di Milvus</h4><p>Eseguite il seguente comando per compilare e pacchettizzare Milvus.</p>
<pre><code translate="no" class="language-python">$ make
$ sh scripts/package_windows.sh
<button class="copy-code-btn"></button></code></pre>
<p>In caso di successo, troverete un file zip nella sottodirectory di <code translate="no">windows_package</code>. Il file zip contiene tutti i file per l'esecuzione di <code translate="no">milvus.exe</code>, compresi <code translate="no">minio.exe</code> e <code translate="no">etcd.exe</code>.</p>
<div class="alert note">
Milvus 2.0 è sviluppato in Go. Potrebbe essere necessario configurare <a href='https://goproxy.cn/'>Goproxy</a> per installare moduli di terze parti.</div>
<h2 id="Install-from-the-binary-package" class="common-anchor-header">Installazione dal pacchetto binario<button data-href="#Install-from-the-binary-package" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>È anche possibile scaricare il pacchetto binario già compilato da <a href="https://github.com/matrixji/milvus/releases">Releases - matrixji/milvus</a>. Ogni release ha come prefisso <strong>windows-test-</strong>, ad esempio <strong>windows-test-v8</strong>. Trovate la release desiderata e scaricate il pacchetto zip corrispondente.</p>
<h3 id="Step-1-Start-Milvus" class="common-anchor-header">Passo 1. Avviare Milvus</h3><h4 id="1-Unzip-the-package" class="common-anchor-header">1. Decomprimere il pacchetto</h4><p>Decomprimete il pacchetto e troverete una directory <code translate="no">milvus</code>, che contiene tutti i file necessari.</p>
<h4 id="2-Start-a-MinIO-service" class="common-anchor-header">2. Avviare un servizio MinIO</h4><p>Fare doppio clic sul file <code translate="no">run_minio.bat</code> per avviare un servizio MinIO con le configurazioni predefinite. I dati saranno memorizzati nella sottodirectory <code translate="no">s3data</code>.</p>
<h4 id="3-Start-an-etcd-service" class="common-anchor-header">3. Avviare un servizio etcd</h4><p>Fare doppio clic sul file <code translate="no">run_etcd.bat</code> per avviare un servizio etcd con le configurazioni predefinite.</p>
<h4 id="4-Start-Milvus-service" class="common-anchor-header">4. Avviare il servizio Milvus</h4><p>Fate doppio clic sul file <code translate="no">run_milvus.bat</code> per avviare il servizio Milvus.</p>
<h3 id="Step-2-Run-hellomilvuspy" class="common-anchor-header">Passo 2. Esecuzione <code translate="no">hello_milvus.py</code></h3><p>Dopo aver avviato il servizio Milvus, è possibile eseguire un test eseguendo <code translate="no">hello_milvus.py</code>. Per ulteriori informazioni, vedere <a href="https://milvus.io/docs/v2.0.x/example_code.md">Ciao Milvus</a>.</p>
<h2 id="Engage-with-our-open-source-community" class="common-anchor-header">Partecipate alla nostra comunità open-source:<button data-href="#Engage-with-our-open-source-community" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li>Trovate o contribuite a Milvus su <a href="https://bit.ly/3khejQB">GitHub</a>.</li>
<li>Interagite con la comunità tramite il <a href="https://bit.ly/307HVsY">Forum</a>.</li>
<li>Connettetevi con noi su <a href="https://bit.ly/3wn5aek">Twitter</a>.</li>
</ul>


Eseguire Milvus 2.0 su Windows

<custom-h1>E' tutto pronto - Milvus Hacktoberfest 2021</custom-h1><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Blog_cover_a6ce8748d7.jpeg" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<p>L'Hacktoberfest è giunto al termine, ma non c'è fine alla contribuzione ai progetti open-source!</p>
<p>Durante il mese di ottobre, abbiamo avuto un totale di <strong>44 richieste di pull</strong> (PR) nei nostri repository da parte di <strong>36 collaboratori</strong> (escluso il nostro core team). Sebbene sia il primo anno che la comunità di Milvus partecipa all'Hacktoberfest, il numero di partecipanti è andato oltre le nostre aspettative, a dimostrazione della crescente consapevolezza dello spirito open-source.</p>
<p>Ci auguriamo che tutti coloro che hanno partecipato a questo evento abbiano acquisito un'esperienza pratica o una conoscenza dell'open source, della comunità e delle competenze tecniche utili nel corso del processo.</p>
<p>In questo post, vorremmo invitarvi a celebrare i nostri successi insieme e a come continuare a contribuire a Milvus dopo l'Hacktoberfest.</p>
<h2 id="📣-Shout-out-to-our-contributors" class="common-anchor-header"><strong>📣 Un urlo ai nostri collaboratori:</strong><button data-href="#📣-Shout-out-to-our-contributors" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Durante l'Hacktoberfest di quest'anno, nei repository del progetto Milvus sono state <strong>unite 44 richieste di pull</strong>! Questo è un grande risultato da parte di tutti. Buon lavoro a tutti! 🎉</p>
<p><a href="https://github.com/parthiv11">parthiv11</a>, <a href="https://github.com/joremysh">joremysh</a>, <a href="https://github.com/noviicee">noviicee</a>, <a href="https://github.com/Biki-das">Biki-das</a>, <a href="https://github.com/Nadyamilona">Nadyamilona</a>, <a href="https://github.com/ashish4arora">ashish4arora</a>, <a href="https://github.com/Dhruvacube">Dhruvacube</a>, <a href="https://github.com/iamartyaa">iamartyaa</a>, <a href="https://github.com/RafaelDSS">RafaelDSS</a>, <a href="https://github.com/kartikcho">kartikcho</a>, <a href="https://github.com/GuyKh">GuyKh</a>, <a href="https://github.com/Deep1Shikha">Deep1Shikha</a>, <a href="https://github.com/shreemaan-abhishek">shreemaan-abhishek</a>, <a href="https://github.com/daniel-shuy">daniel-shuy</a>, <a href="https://github.com/Hard-Coder05">Hard-Coder05</a>, <a href="https://github.com/sapora1">sapora1</a>, <a href="https://github.com/Rutam21">Rutam21</a>, <a href="https://github.com/idivyanshbansal">idivyanshbansal</a>, <a href="https://github.com/Mihir501">Mihir501</a>, <a href="https://github.com/Ayushchaudhary-Github">YushChaudhary</a>, <a href="https://github.com/sreyan-ghosh">sreyan-ghosh</a>, <a href="https://github.com/chiaramistro">chiaramistro</a>, <a href="https://github.com/appledora">appledora</a>, <a href="https://github.com/luisAzcuaga">luisAzcuaga</a>, <a href="https://github.com/matteomessmer">matteomessmer</a>, <a href="https://github.com/Nadyamilona">Nadyamilona</a>, <a href="https://github.com/Tititesouris">Tititesouris</a>, <a href="https://github.com/amusfq">amusfq</a>, <a href="https://github.com/matrixji">matrixji</a> &amp; <a href="https://github.com/zamanmub">generaleZman</a></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/_80b0d87746.png" alt="image-20211110180357460" class="doc-image" id="image-20211110180357460" />
   </span> <span class="img-wrapper"> <span>image-20211110180357460</span> </span></p>
<h3 id="Here-are-some-extraordinary-Milvus-Hacktoberfest-2021-contributions" class="common-anchor-header">Ecco alcuni straordinari contributi del Milvus Hacktoberfest 2021:</h3><p><strong>⚙️ Nuove funzionalità</strong></p>
<p><a href="https://github.com/milvus-io/milvus/issues/7706">Compilazione ed esecuzione di Milvus su più piattaforme</a> da <a href="https://github.com/matrixji">matrixji</a></p>
<p><strong>(🏆 Top Contributor 🏆 )</strong></p>
<p><strong>📝 Documentazione</strong></p>
<ul>
<li><a href="https://github.com/milvus-io/bootcamp/issues/720">Tradurre Hello Milvus (example_code.md) in qualsiasi lingua</a> da <a href="https://github.com/chiaramistro">chiaramistro</a>, <a href="https://github.com/appledora">appledora</a>, <a href="https://github.com/luisAzcuaga">luisAzcuaga</a>, <a href="https://github.com/matteomessmer">matteomessmer</a>, <a href="https://github.com/Nadyamilona">Nadyamilona</a>, <a href="https://github.com/Tititesouris">Tititesouris</a> &amp; <a href="https://github.com/amusfq">amusfq</a></li>
<li><a href="https://github.com/milvus-io/bootcamp/issues/720">Aggiungere un esempio di NodeJS a example_code.md</a> da <a href="https://github.com/GuyKh">GuyKh</a></li>
<li><a href="https://github.com/milvus-io/milvus-docs/pull/921/files">tradotto upgrade.md</a> e <a href="https://github.com/milvus-io/milvus-docs/pull/892">aggiunto e tradotto i parametri nella Guida utente in CN</a> da <a href="https://github.com/joremysh">joremysh</a></li>
<li><a href="https://github.com/milvus-io/milvus-docs/pull/753">Tradurre tutorial/dna_sequence_classification.md in CN</a> &amp; <a href="https://github.com/milvus-io/milvus-docs/pull/752">Tradurre reference/schema/collection_schema.md in CN</a> da <a href="https://github.com/daniel-shuy">daniel-shuy</a></li>
</ul>
<p><strong>🚀 Bootcamp</strong></p>
<ul>
<li><a href="https://github.com/milvus-io/bootcamp/pull/858">Miglioramento del tutorial del Jupyter Notebook per la ricerca di hash nelle immagini </a>da <a href="https://github.com/zamanmub">generalZman</a></li>
<li><a href="https://github.com/milvus-io/bootcamp/pull/792">correzione del bug TOPK di reverse_image_search</a> da <a href="https://github.com/RafaelDSS">RafaelDSS</a></li>
</ul>
<p><strong>🐍 PyMilvus</strong></p>
<ul>
<li><a href="https://github.com/milvus-io/pymilvus/issues/741">Aggiornare i moduli dei problemi di GitHub </a>(più repository) di <a href="https://github.com/Hard-Coder05">Hard-Coder05</a></li>
</ul>
<h3 id="Share-your-feedback-with-us" class="common-anchor-header">Condividete il vostro feedback con noi!</h3><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/h3_412b0f649b.png" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<p>Siete più che benvenuti a condividere con noi la vostra esperienza del Milvus Hacktoberfest 2021! Che si tratti di un post sul blog, di un tweet (@milvusio) o semplicemente di un post nel nostro <a href="https://discuss.milvus.io/c/hacktoberfest/9">forum</a>, tutto sarà molto apprezzato!</p>
<h2 id="Whats-Next" class="common-anchor-header">Cosa c'è dopo？<button data-href="#Whats-Next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="👩‍💻-Code--Documentation" class="common-anchor-header"><strong>👩‍💻</strong> <strong>Codice e documentazione</strong></h3><p>Se avete una conoscenza limitata di Milvus, potete familiarizzare con il funzionamento della comunità contribuendo ai repository <a href="https://github.com/milvus-io/pymilvus">pymilvus</a> o <a href="https://github.com/milvus-io/milvus-docs">docs</a>. Si possono anche cercare tag come <strong>#goodfirstissue</strong> o <strong>#helpwanted</strong>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/h4_f18c9b6c2c.png" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/h5_a4f90c24a8.png" alt="img" class="doc-image" id="img" />
   </span> <span class="img-wrapper"> <span>img</span> </span></p>
<p>Se avete domande sulla contribuzione, potete sempre chiedere alla comunità nella categoria <strong>Contributori</strong> del forum: https://discuss.milvus.io/t/things-you-need-to-know-before-you-get-started/64.</p>
<h3 id="🏆-Be-a-Milvus-Advocate" class="common-anchor-header">🏆 Sii un sostenitore di Milvus</h3><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/advocate_1052d8249a.jpg" alt="image-20211110180730866" class="doc-image" id="image-20211110180730866" />
   </span> <span class="img-wrapper"> <span>image-20211110180730866</span> </span></p>
<p>Condividi la tua esperienza e le cose che hai imparato con la comunità；proponi idee su come migliorare; rispondi alle domande e aiuta gli altri sul Forum Milvus, ecc. Ci sono molti modi per partecipare alla comunità; di seguito abbiamo elencato alcuni esempi, ma accogliamo con favore qualsiasi forma di contributo:</p>
<ul>
<li><p><strong>Dimostrazioni e soluzioni:</strong> Mostrate agli utenti di Milvus come sfruttare la piattaforma in scenari specifici (ad esempio, un sistema di raccomandazione musicale). Gli esempi sono disponibili nel <a href="https://github.com/milvus-io/bootcamp">Milvus Bootcamp</a>.</p></li>
<li><p><strong>Articoli di blog, storie di utenti o whitepaper:</strong> Scrivere contenuti di alta qualità che spieghino in modo chiaro e accurato i dettagli tecnici di Milvus.</p></li>
<li><p><strong>Conferenze tecniche/trasmissioni dal vivo:</strong> Tenere conferenze o ospitare trasmissioni dal vivo che contribuiscano a far conoscere Milvus.</p></li>
<li><p><strong>Altri contenuti:</strong> Qualsiasi contenuto che svolga un ruolo positivo nello sviluppo di Milvus e della sua comunità open-source sarà considerato idoneo.</p></li>
</ul>
<p>Per maggiori dettagli, leggete: https://milvus.io/community/milvus_advocate.md</p>
<p>Infine, grazie ancora per aver partecipato all'Hacktoberfest di quest'anno e per averci permesso di essere i vostri mentori e studenti. Grazie a <a href="https://hacktoberfest.digitalocean.com/">Digital Ocean</a> per aver ospitato un altro anno di questo fantastico evento. Alla prossima volta!</p>
<p>Buon Coding!</p>
<p>Team della comunità Milvus</p>


E' tutto pronto! Milvus Hacktoberfest 2021

<p><em>Yufen Zong, Test Development Engineer di Zilliz, si è laureata presso la Huazhong University of Science and Technology con un master in tecnologia informatica. Attualmente si occupa della garanzia di qualità del database vettoriale Milvus, compresi, ma non solo, i test di integrazione dell'interfaccia, i test SDK, i test di benchmark, ecc. Yufen è un'appassionata di risoluzione dei problemi nei test e nello sviluppo di Milvus, nonché una grande fan della teoria dell'ingegneria del caos e della pratica di perforazione degli errori.</em></p>
<h2 id="Background" class="common-anchor-header">Il contesto<button data-href="#Background" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Quando si utilizza il database vettoriale di Milvus, è necessario modificare la configurazione predefinita per soddisfare i requisiti di diversi scenari. In precedenza, un utente di Milvus ha condiviso <a href="/blog/it/2021-10-22-apply-configuration-changes-on-milvus-2.md">Come modificare la configurazione di Milvus distribuito utilizzando Docker Compose</a>. In questo articolo, vorrei condividere con voi come modificare la configurazione di Milvus distribuito su Kubernetes.</p>
<h2 id="Modify-configuration-of-Milvus-on-Kubernetes" class="common-anchor-header">Modificare la configurazione di Milvus su Kubernetes<button data-href="#Modify-configuration-of-Milvus-on-Kubernetes" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>È possibile scegliere diversi piani di modifica in base ai parametri di configurazione che si desidera modificare. Tutti i file di configurazione di Milvus sono memorizzati in <strong>milvus/configs</strong>. Durante l'installazione di Milvus su Kubernetes, viene aggiunto localmente un repository Milvus Helm Chart. Eseguendo <code translate="no">helm show values milvus/milvus</code>, è possibile controllare i parametri che possono essere modificati direttamente con Chart. Per i parametri modificabili con Chart, è possibile passare il parametro utilizzando <code translate="no">--values</code> o <code translate="no">--set</code>. Per ulteriori informazioni, vedere <a href="https://artifacthub.io/packages/helm/milvus/milvus">Milvus Helm Chart</a> e <a href="https://helm.sh/docs/">Helm</a>.</p>
<p>Se i parametri che si desidera modificare non sono presenti nell'elenco, è possibile seguire le istruzioni riportate di seguito.</p>
<p>Nei passi seguenti, il parametro <code translate="no">rootcoord.dmlChannelNum</code> in <strong>/milvus/configs/advanced/root_coord.yaml</strong> deve essere modificato a scopo dimostrativo. La gestione dei file di configurazione di Milvus su Kubernetes è implementata attraverso l'oggetto risorsa ConfigMap. Per modificare il parametro, si deve prima aggiornare l'oggetto ConfigMap della corrispondente release di Chart e poi modificare i file delle risorse di distribuzione dei pod corrispondenti.</p>
<p>Attenzione: questo metodo si applica solo alla modifica dei parametri dell'applicazione Milvus distribuita. Per modificare i parametri in <strong>/milvus/configs/advanced/*.yaml</strong> prima della distribuzione, è necessario sviluppare nuovamente il diagramma di Milvus Helm.</p>
<h3 id="Modify-ConfigMap-YAML" class="common-anchor-header">Modificare la ConfigMap YAML</h3><p>Come mostrato di seguito, la release di Milvus in esecuzione su Kubernetes corrisponde a un oggetto ConfigMap con lo stesso nome della release. La sezione <code translate="no">data</code> dell'oggetto ConfigMap include solo le configurazioni in <strong>milvus.yaml</strong>. Per modificare <code translate="no">rootcoord.dmlChannelNum</code> in <strong>root_coord.yaml</strong>, è necessario aggiungere i parametri di <strong>root_coord.yaml</strong> alla sezione <code translate="no">data</code> nello YAML di ConfigMap e modificare il parametro specifico.</p>
<pre><code translate="no">kind: ConfigMap
apiVersion: v1
metadata:
  name: milvus-chaos
  ...
data:
  milvus.yaml: &gt;
    ......
  root_coord.yaml: |
    rootcoord:
      dmlChannelNum: 128
      maxPartitionNum: 4096
      minSegmentSizeToEnableIndex: 1024
      <span class="hljs-built_in">timeout</span>: 3600 <span class="hljs-comment"># time out, 5 seconds</span>
      timeTickInterval: 200 <span class="hljs-comment"># ms</span>
<button class="copy-code-btn"></button></code></pre>
<h3 id="Modify-Deployment-YAML" class="common-anchor-header">Modifica dello YAML di distribuzione</h3><p>I dati memorizzati in una ConfigMap possono essere referenziati in un volume di tipo configMap e quindi consumati dalle applicazioni containerizzate in esecuzione in un pod. Per indirizzare i pod ai nuovi file di configurazione, è necessario modificare i modelli di pod che devono caricare le configurazioni in <strong>root_coord.yaml</strong>. In particolare, è necessario aggiungere una dichiarazione di mount nella sezione <code translate="no">spec.template.spec.containers.volumeMounts</code> dello YAML di distribuzione.</p>
<p>Prendendo come esempio lo YAML di deployment del pod rootcoord, nella sezione <code translate="no">.spec.volumes</code> è specificato un volume di tipo <code translate="no">configMap</code> chiamato <strong>milvus-config</strong>. Inoltre, nella sezione <code translate="no">spec.template.spec.containers.volumeMounts</code>, il volume è dichiarato per montare <strong>milvus.yaml</strong> della propria release di Milvus su <strong>/milvus/configs/milvus.yaml</strong>. Allo stesso modo, è sufficiente aggiungere una dichiarazione di mount specifica per il contenitore rootcoord per montare il file <strong>root_coord.yaml</strong> su <strong>/milvus/configs/advanced/root_coord.yaml</strong> e quindi il contenitore può accedere al nuovo file di configurazione.</p>
<pre><code translate="no" class="language-yaml">spec:
  replicas: 1
  selector:
    ......
  template:
    metadata:
      ...
    spec:
      volumes:
        - name: milvus-config
          configMap:
            name: milvus-chaos
            defaultMode: 420
      containers:
        - name: rootcoord
          image: <span class="hljs-string">&#x27;milvusdb/milvus-dev:master-20210906-86afde4&#x27;</span>
          args:
            ...
          ports:
            ...
          resources: {}
          volumeMounts:
            - name: milvus-config
              readOnly: <span class="hljs-literal">true</span>
              mountPath: /milvus/configs/milvus.yaml
              subPath: milvus.yaml
            - name: milvus-config
              readOnly: <span class="hljs-literal">true</span>
              mountPath: /milvus/configs/advanced/`root_coord.yaml
              subPath: root_coord.yaml
          terminationMessagePath: /dev/termination-log
          terminationMessagePolicy: File
          imagePullPolicy: IfNotPresent
      restartPolicy: Always
      terminationGracePeriodSeconds: 30
      dnsPolicy: ClusterFirst
      securityContext: {}
      schedulerName: default-scheduler
<button class="copy-code-btn"></button></code></pre>
<h3 id="Verify-the-result" class="common-anchor-header">Verifica del risultato</h3><p>Il kubelet controlla se il ConfigMap montato è fresco a ogni sincronizzazione periodica. Quando il ConfigMap consumato nel volume viene aggiornato, anche le chiavi proiettate vengono automaticamente aggiornate. Quando il nuovo pod è di nuovo in funzione, è possibile verificare se la modifica è avvenuta con successo nel pod. I comandi per verificare il parametro <code translate="no">rootcoord.dmlChannelNum</code> sono condivisi di seguito.</p>
<pre><code translate="no" class="language-bash">$ kctl <span class="hljs-built_in">exec</span> -ti milvus-chaos-rootcoord-6f56794f5b-xp2zs -- sh
<span class="hljs-comment"># cd configs/advanced</span>
<span class="hljs-comment"># pwd</span>
/milvus/configs/advanced
<span class="hljs-comment"># ls</span>
channel.yaml  common.yaml  data_coord.yaml  data_node.yaml  etcd.yaml  proxy.yaml  query_node.yaml  root_coord.yaml
<span class="hljs-comment"># cat root_coord.yaml</span>
rootcoord:
  dmlChannelNum: 128
  maxPartitionNum: 4096
  minSegmentSizeToEnableIndex: 1024
  <span class="hljs-built_in">timeout</span>: 3600 <span class="hljs-comment"># time out, 5 seconds</span>
  timeTickInterval: 200 <span class="hljs-comment"># ms</span>
<span class="hljs-comment"># exit</span>
<button class="copy-code-btn"></button></code></pre>
<p>Questo è il metodo per modificare le configurazioni avanzate in Milvus distribuito su Kubernetes. La futura versione di Milvus integrerà tutte le configurazioni in un unico file e supporterà l'aggiornamento della configurazione tramite il grafico helm. Ma prima di allora, spero che questo articolo possa aiutarvi come soluzione temporanea.</p>
<h2 id="Engage-with-our-open-source-community" class="common-anchor-header">Impegnatevi con la nostra comunità open-source:<button data-href="#Engage-with-our-open-source-community" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p>Trovate o contribuite a Milvus su <a href="https://bit.ly/307b7jC">GitHub</a>.</p></li>
<li><p>Interagite con la comunità tramite il <a href="https://bit.ly/3qiyTEk">forum</a>.</p></li>
<li><p>Collegatevi con noi su <a href="https://bit.ly/3ob7kd8">Twitter</a>.</p></li>
</ul>


Come modificare le configurazioni avanzate di Milvus

Introduzione

<custom-h1>Condivisione tecnica: Applicare le modifiche di configurazione su Milvus 2.0 usando Docker Compose</custom-h1><p><em>Jingjing Jia, Data Engineer di Zilliz, si è laureata in Informatica presso la Xi'an Jiaotong University. Dopo essere entrata a far parte di Zilliz, si occupa principalmente della pre-elaborazione dei dati, dell'implementazione di modelli di intelligenza artificiale, della ricerca tecnologica relativa a Milvus e dell'assistenza agli utenti della comunità nell'implementazione di scenari applicativi. È molto paziente, le piace comunicare con i partner della comunità e le piace ascoltare musica e guardare anime.</em></p>
<p>Come utente abituale di Milvus, ero molto entusiasta del nuovo rilascio di Milvus 2.0 RC. Secondo l'introduzione sul sito ufficiale, Milvus 2.0 sembra superare di gran lunga i suoi predecessori. Ero così ansioso di provarlo personalmente.</p>
<p>E l'ho fatto.  Tuttavia, quando ho messo veramente le mani su Milvus 2.0, mi sono reso conto che non ero in grado di modificare il file di configurazione di Milvus 2.0 con la stessa facilità con cui lo facevo con Milvus 1.1.1. Non potevo modificare il file di configurazione all'interno del contenitore docker di Milvus 2.0 avviato con Docker Compose, e anche la modifica forzata non aveva effetto. In seguito ho scoperto che Milvus 2.0 RC non era in grado di rilevare le modifiche al file di configurazione dopo l'installazione. La futura versione stabile risolverà questo problema.</p>
<p>Dopo aver provato diversi approcci, ho trovato un modo affidabile per applicare le modifiche ai file di configurazione per Milvus 2.0 standalone e cluster.</p>
<p>Si noti che tutte le modifiche alla configurazione devono essere apportate prima di riavviare Milvus utilizzando Docker Compose.</p>
<h2 id="Modify-configuration-file-in-Milvus-standalone" class="common-anchor-header">Modifica del file di configurazione in Milvus standalone<button data-href="#Modify-configuration-file-in-Milvus-standalone" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Per prima cosa, è necessario <a href="https://github.com/milvus-io/milvus/blob/master/configs/milvus.yaml">scaricare</a> una copia del file <strong>milvus.yaml</strong> sul dispositivo locale.</p>
<p>Quindi è possibile modificare le configurazioni del file. Ad esempio, è possibile modificare il formato del registro come <code translate="no">.json</code>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_1_ee4a16a3ee.png" alt="1.1.png" class="doc-image" id="1.1.png" />
   </span> <span class="img-wrapper"> <span>1.1.png</span> </span></p>
<p>Una volta modificato il file <strong>milvus.yaml</strong>, è necessario <a href="https://github.com/milvus-io/milvus/blob/master/deployments/docker/standalone/docker-compose.yml">scaricare</a> e modificare anche il file <strong>docker-compose.yaml</strong> per lo standalone, mappando il percorso locale di milvus.yaml sul corrispondente percorso del contenitore docker al file di configurazione <code translate="no">/milvus/configs/milvus.yaml</code> nella sezione <code translate="no">volumes</code>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_2_5e7c73708c.png" alt="1.2.png" class="doc-image" id="1.2.png" />
   </span> <span class="img-wrapper"> <span>1.2.png</span> </span></p>
<p>Infine, avviate Milvus standalone usando <code translate="no">docker-compose up -d</code> e verificate se le modifiche hanno avuto successo. Ad esempio, eseguire <code translate="no">docker logs</code> per verificare il formato del registro.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_3_a0406df3ab.png" alt="1.3.png" class="doc-image" id="1.3.png" />
   </span> <span class="img-wrapper"> <span>1.3.png</span> </span></p>
<h2 id="Modify-configuration-file-in-Milvus-cluster" class="common-anchor-header">Modifica del file di configurazione nel cluster Milvus<button data-href="#Modify-configuration-file-in-Milvus-cluster" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Per prima cosa, <a href="https://github.com/milvus-io/milvus/blob/master/configs/milvus.yaml">scaricare</a> e modificare il file <strong>milvus.yaml</strong> in base alle proprie esigenze.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_4_758b182846.png" alt="1.4.png" class="doc-image" id="1.4.png" />
   </span> <span class="img-wrapper"> <span>1.4.png</span> </span></p>
<p>Quindi è necessario <a href="https://github.com/milvus-io/milvus/blob/master/deployments/docker/cluster/docker-compose.yml">scaricare</a> e modificare il file <strong>docker-compose.yml</strong> del cluster, mappando il percorso locale di <strong>milvus.yaml</strong> sul percorso corrispondente ai file di configurazione di tutti i componenti, ossia root coord, data coord, data node, query coord, query node, index coord, index node e proxy.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_5_80e15811b8.png" alt="1.5.png" class="doc-image" id="1.5.png" />
   </span> <span class="img-wrapper"> <span>1.5.png</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_6_b2f3e4e47f.png" alt="1.6.png" class="doc-image" id="1.6.png" />
   </span> <span class="img-wrapper"> <span>1.6.png</span> </span> <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_7_4d1eb5e1e5.png" alt="1.7.png" class="doc-image" id="1.7.png" /></span> <span class="img-wrapper">1 </span>. <span class="img-wrapper">7 <span>.png</span> </span></p>
<p>Infine, è possibile avviare il cluster Milvus utilizzando <code translate="no">docker-compose up -d</code> e verificare se le modifiche sono state eseguite correttamente.</p>
<h2 id="Change-log-file-path-in-configuration-file" class="common-anchor-header">Modifica del percorso del file di log nel file di configurazione<button data-href="#Change-log-file-path-in-configuration-file" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Per prima cosa, <a href="https://github.com/milvus-io/milvus/blob/master/configs/milvus.yaml">scaricare</a> il file <strong>milvus.yaml</strong> e modificare la sezione <code translate="no">rootPath</code> come la directory in cui si prevede di memorizzare i file di log nel contenitore Docker.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_8_e3bdc4843f.png" alt="1.8.png" class="doc-image" id="1.8.png" />
   </span> <span class="img-wrapper"> <span>1.8.png</span> </span></p>
<p>Successivamente, scaricare il file <strong>docker-compose.yml</strong> corrispondente per Milvus <a href="https://github.com/milvus-io/milvus/blob/master/deployments/docker/standalone/docker-compose.yml">standalone</a> o <a href="https://github.com/milvus-io/milvus/blob/master/deployments/docker/cluster/docker-compose.yml">cluster</a>.</p>
<p>Per lo standalone, è necessario mappare il percorso locale di <strong>milvus.yaml</strong> sul percorso del contenitore docker corrispondente al file di configurazione <code translate="no">/milvus/configs/milvus.yaml</code> e mappare la directory locale dei file di log sulla directory del contenitore Docker creata in precedenza.</p>
<p>Per i cluster, è necessario mappare entrambi i percorsi in ogni componente.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_9_22d8929d92.png" alt="1.9.png" class="doc-image" id="1.9.png" />
   </span> <span class="img-wrapper"> <span>1.9.png</span> </span></p>
<p>Infine, avviare Milvus standalone o il cluster usando <code translate="no">docker-compose up -d</code> e controllare i file di log per vedere se la modifica è riuscita.</p>


Condivisione tecnica:Applicare le modifiche di configurazione su Milvus 2.0 usando Docker Compose

<custom-h1>Costruire un sistema di analisi video con il database vettoriale Milvus</custom-h1><p><em>Shiyu Chen, ingegnere dei dati presso Zilliz, si è laureata in informatica all'Università di Xidian. Da quando è entrata a far parte di Zilliz, ha esplorato soluzioni per Milvus in vari campi, come l'analisi audio e video, il reperimento di formule molecolari, ecc. Attualmente sta esplorando altre soluzioni interessanti. Nel tempo libero, ama lo sport e la lettura.</em></p>
<p>Mentre guardavo <em>Free Guy</em> lo scorso fine settimana, mi è sembrato di aver già visto da qualche parte l'attore che interpreta Buddy, la guardia giurata, ma non riuscivo a ricordare nessuno dei suoi lavori. La mia testa era piena di "chi è questo tizio?". Ero sicuro di aver visto quel volto e mi sforzavo di ricordare il suo nome. Un caso simile è quello di una volta in cui ho visto l'attore protagonista di un video che beveva una bevanda che mi piaceva molto, ma alla fine non sono riuscito a ricordare il nome della marca.</p>
<p>La risposta era sulla punta della lingua, ma il mio cervello era completamente bloccato.</p>
<p>Il fenomeno della punta della lingua (TOT) mi fa impazzire quando guardo i film. Se solo esistesse un motore di ricerca inversa di immagini per i video che mi permettesse di trovare i video e di analizzarne il contenuto. In precedenza, ho costruito un <a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/reverse_image_search/quick_deploy">motore di ricerca inverso per immagini utilizzando Milvus</a>. Considerando che l'analisi dei contenuti video assomiglia in qualche modo all'analisi delle immagini, ho deciso di costruire un motore di analisi dei contenuti video basato su Milvus.</p>
<h2 id="Object-detection" class="common-anchor-header">Rilevamento degli oggetti<button data-href="#Object-detection" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="Overview" class="common-anchor-header">Panoramica</h3><p>Prima di essere analizzati, gli oggetti in un video devono essere rilevati. Rilevare gli oggetti in un video in modo efficace e accurato è la sfida principale del compito. È anche un compito importante per applicazioni come il pilota automatico, i dispositivi indossabili e l'IoT.</p>
<p>Sviluppati dai tradizionali algoritmi di elaborazione delle immagini alle reti neurali profonde (DNN), gli attuali modelli mainstream per il rilevamento degli oggetti includono R-CNN, FRCNN, SSD e YOLO. Il sistema di analisi video deep learning basato su Milvus introdotto in questo argomento è in grado di rilevare gli oggetti in modo intelligente e rapido.</p>
<h3 id="Implementation" class="common-anchor-header">Implementazione</h3><p>Per rilevare e riconoscere gli oggetti in un video, il sistema deve innanzitutto estrarre i fotogrammi da un video e rilevare gli oggetti nelle immagini dei fotogrammi utilizzando il rilevamento degli oggetti, in secondo luogo, estrarre i vettori di caratteristiche dagli oggetti rilevati e, infine, analizzare l'oggetto in base ai vettori di caratteristiche.</p>
<ul>
<li>Estrazione dei fotogrammi</li>
</ul>
<p>L'analisi dei video viene convertita in analisi delle immagini mediante l'estrazione dei fotogrammi. Attualmente la tecnologia di estrazione dei fotogrammi è molto matura. Programmi come FFmpeg e OpenCV supportano l'estrazione di fotogrammi a intervalli specifici. Questo articolo illustra come estrarre fotogrammi da un video ogni secondo utilizzando OpenCV.</p>
<ul>
<li>Rilevamento degli oggetti</li>
</ul>
<p>Il rilevamento degli oggetti consiste nel trovare gli oggetti nei fotogrammi estratti e nell'estrarre le schermate degli oggetti in base alla loro posizione. Come mostrato nelle figure seguenti, sono stati rilevati una bicicletta, un cane e un'automobile. Questo argomento illustra come rilevare gli oggetti utilizzando YOLOv3, comunemente usato per il rilevamento degli oggetti.</p>
<ul>
<li>Estrazione delle caratteristiche</li>
</ul>
<p>L'estrazione delle caratteristiche si riferisce alla conversione di dati non strutturati, difficili da riconoscere per le macchine, in vettori di caratteristiche. Ad esempio, le immagini possono essere convertite in vettori di caratteristiche multidimensionali utilizzando modelli di deep learning. Attualmente, i modelli di intelligenza artificiale per il riconoscimento delle immagini più diffusi sono VGG, GNN e ResNet. Questo argomento presenta come estrarre le caratteristiche dagli oggetti rilevati utilizzando ResNet-50.</p>
<ul>
<li>Analisi dei vettori</li>
</ul>
<p>I vettori di caratteristiche estratti vengono confrontati con i vettori di libreria e vengono restituite le informazioni corrispondenti ai vettori più simili. Per gli insiemi di vettori di caratteristiche su larga scala, il calcolo è una sfida enorme. Questo argomento presenta come analizzare i vettori di caratteristiche utilizzando Milvus.</p>
<h2 id="Key-technologies" class="common-anchor-header">Tecnologie chiave<button data-href="#Key-technologies" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="OpenCV" class="common-anchor-header">OpenCV</h3><p>Open Source Computer Vision Library (OpenCV) è una libreria di computer vision multipiattaforma, che fornisce molti algoritmi universali per l'elaborazione delle immagini e la computer vision. OpenCV è comunemente utilizzato nel campo della computer vision.</p>
<p>L'esempio seguente mostra come catturare fotogrammi video a intervalli specifici e salvarli come immagini utilizzando OpenCV con Python.</p>
<pre><code translate="no" class="language-python"><span class="hljs-keyword">import</span> cv2 
<span class="hljs-built_in">cap</span> = cv2.VideoCapture(file_path)   
framerate = <span class="hljs-built_in">cap</span>.get(cv2.CAP_PROP_FPS)   
allframes = <span class="hljs-type">int</span>(cv2.VideoCapture.get(<span class="hljs-built_in">cap</span>, <span class="hljs-type">int</span>(cv2.CAP_PROP_FRAME_COUNT)))  
success, image = <span class="hljs-built_in">cap</span>.read() 
cv2.imwrite(file_name, image)
<button class="copy-code-btn"></button></code></pre>
<h3 id="YOLOv3" class="common-anchor-header">YOLOv3</h3><p>You Only Look Once, Version 3 (YOLOv3 [5]) è un algoritmo di rilevamento degli oggetti a una fase proposto negli ultimi anni. Rispetto ai tradizionali algoritmi di rilevamento degli oggetti con la stessa precisione, YOLOv3 è due volte più veloce. YOLOv3 citato in questo argomento è la versione migliorata di PaddlePaddle [6]. Utilizza più metodi di ottimizzazione con una maggiore velocità di inferenza.</p>
<h3 id="ResNet-50" class="common-anchor-header">ResNet-50</h3><p>ResNet [7] è il vincitore dell'ILSVRC 2015 nella classificazione delle immagini per la sua semplicità e praticità. Come base di molti metodi di analisi delle immagini, ResNet si dimostra un modello popolare specializzato nel rilevamento, nella segmentazione e nel riconoscimento delle immagini.</p>
<h3 id="Milvus" class="common-anchor-header">Milvus</h3><p><a href="https://milvus.io/">Milvus</a> è un database vettoriale cloud-native e open-source costruito per gestire vettori di incorporamento generati da modelli di apprendimento automatico e reti neurali. È ampiamente utilizzato in scenari quali la computer vision, l'elaborazione del linguaggio naturale, la chimica computazionale, i sistemi di raccomandazione personalizzati e altro ancora.</p>
<p>Le seguenti procedure descrivono il funzionamento di Milvus.</p>
<ol>
<li>I dati non strutturati vengono convertiti in vettori di caratteristiche utilizzando modelli di deep learning e importati in Milvus.</li>
<li>Milvus memorizza e indicizza i vettori di caratteristiche.</li>
<li>Milvus restituisce i vettori più simili a quelli interrogati dagli utenti.</li>
</ol>
<h2 id="Deployment" class="common-anchor-header">Distribuzione<button data-href="#Deployment" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Ora avete una certa conoscenza dei sistemi di analisi video basati su Milvus. Il sistema è composto principalmente da due parti, come mostrato nella figura seguente.</p>
<ul>
<li><p>Le frecce rosse indicano il processo di importazione dei dati. Utilizziamo ResNet-50 per estrarre i vettori di caratteristiche dal dataset di immagini e importiamo i vettori di caratteristiche in Milvus.</p></li>
<li><p>Le frecce nere indicano il processo di analisi video. Innanzitutto, si estraggono i fotogrammi da un video e si salvano come immagini. In secondo luogo, si individuano ed estraggono gli oggetti nelle immagini utilizzando YOLOv3. Quindi, si utilizza ResNet-50 per estrarre vettori di caratteristiche dalle immagini. Infine, Milvus cerca e restituisce le informazioni sugli oggetti con i vettori di caratteristiche corrispondenti.</p></li>
</ul>
<p>Per ulteriori informazioni, vedere <a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/video_similarity_search/object_detection">Milvus Bootcamp: Sistema di rilevamento di oggetti video</a>.</p>
<p><strong>Importazione dei dati</strong></p>
<p>Il processo di importazione dei dati è semplice. Convertire i dati in vettori a 2.048 dimensioni e importare i vettori in Milvus.</p>
<pre><code translate="no" class="language-python">vector = image_encoder.execute(filename)
entities = [vector]
collection.insert(data=entities)
<button class="copy-code-btn"></button></code></pre>
<p><strong>Analisi video</strong></p>
<p>Come già detto, il processo di analisi video comprende l'acquisizione di fotogrammi video, il rilevamento di oggetti in ogni fotogramma, l'estrazione di vettori dagli oggetti, il calcolo della similarità vettoriale con la metrica della distanza euclidea (L2) e la ricerca dei risultati con Milvus.</p>
<pre><code translate="no" class="language-python">images = extract_frame(filename, 1, prefix)   
detector = Detector()   
run(detector, DATA_PATH)       
vectors = get_object_vector(image_encoder, DATA_PATH)
search_params = {<span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&quot;L2&quot;</span>, <span class="hljs-string">&quot;params&quot;</span>: {<span class="hljs-string">&quot;nprobe&quot;</span>: 10}}
results = collection.search(vectors, param=search_params, <span class="hljs-built_in">limit</span>=10)
<button class="copy-code-btn"></button></code></pre>
<h2 id="Conclusion" class="common-anchor-header">Conclusione<button data-href="#Conclusion" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Attualmente, oltre l'80% dei dati non è strutturato. Con il rapido sviluppo dell'intelligenza artificiale, è stato sviluppato un numero crescente di modelli di deep learning per l'analisi dei dati non strutturati. Tecnologie come il rilevamento degli oggetti e l'elaborazione delle immagini hanno fatto grandi progressi sia in ambito accademico che industriale. Grazie a queste tecnologie, sempre più piattaforme di IA hanno soddisfatto le esigenze pratiche.</p>
<p>Il sistema di analisi video discusso in questo argomento è costruito con Milvus, che può analizzare rapidamente i contenuti video.</p>
<p>Come database vettoriale open-source, Milvus supporta vettori di caratteristiche estratti con diversi modelli di deep learning. Integrato con librerie come Faiss, NMSLIB e Annoy, Milvus fornisce una serie di API intuitive, che supportano la commutazione dei tipi di indice a seconda degli scenari. Inoltre, Milvus supporta il filtraggio scalare, che aumenta il tasso di richiamo e la flessibilità della ricerca. Milvus è stato applicato a molti campi come l'elaborazione delle immagini, la computer vision, l'elaborazione del linguaggio naturale, il riconoscimento vocale, i sistemi di raccomandazione e la scoperta di nuovi farmaci.</p>
<h2 id="References" class="common-anchor-header">Riferimenti<button data-href="#References" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>[1] A. D. Bagdanov, L. Ballan, M. Bertini, A. Del Bimbo. "Corrispondenza e recupero di marchi in database di video sportivi". Atti del workshop internazionale sul Workshop on multimedia information retrieval, ACM, 2007. https://www.researchgate.net/publication/210113141_Trademark_matching_and_retrieval_in_sports_video_databases</p>
<p>[2] J. Kleban, X. Xie, W.-Y. Ma. "Estrazione di piramidi spaziali per il rilevamento di loghi in scene naturali". Conferenza internazionale IEEE, 2008. https://ieeexplore.ieee.org/document/4607625</p>
<p>[3] R. Boia, C. Florea, L. Florea, R. Dogaru. "Localizzazione e riconoscimento di logo in immagini naturali mediante grafi di classe omografici". Machine Vision and Applications 27 (2), 2016. https://link.springer.com/article/10.1007/s00138-015-0741-7</p>
<p>[4] R. Boia, C. Florea, L. Florea. "Agglomerazione di aste ellittiche in prototipi di classi per il rilevamento di loghi". BMVC, 2015. http://citeseerx.ist.psu.edu/viewdoc/download;jsessionid=5C87F52DE38AB0C90F8340DFEBB841F7?doi=10.1.1.707.9371&amp;rep=rep1&amp;type=pdf</p>
<p>[5] https://arxiv.org/abs/1804.02767</p>
<p>[6] https://paddlepaddle.org.cn/modelbasedetail/yolov3</p>
<p>[7] https://arxiv.org/abs/1512.03385</p>


Rilevamento degli oggetti

<custom-h1>Milvus parteciperà all'Hacktoberfest 2021</custom-h1><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Hacktoberfest_89c929cace.png" alt="hacktoberfestCover" class="doc-image" id="hacktoberfestcover" />
   </span> <span class="img-wrapper"> <span>hacktoberfestCoprire</span> </span></p>
<p><strong>Milvus, il database vettoriale che potenzia le applicazioni AI, ha annunciato oggi la sua partecipazione all'ottavo evento annuale Hacktoberfest sponsorizzato da DigitalOcean!</strong></p>
<p>Nel 2014 DigitalOcean ha dato vita all'<a href="https://hacktoberfest.digitalocean.com/">Hacktoberfest</a> con l'idea di celebrare i progetti software open source. Nel corso degli anni, l'evento è cresciuto costantemente da decine a migliaia di partecipanti.  Quest'anno l'evento, della durata di un mese, si propone di crescere fino a superare i 200.000 partecipanti attivi!</p>
<p>A partire dal 1° ottobre, tutti, dagli sviluppatori esperti agli studenti, dai neofiti del codice agli scrittori di tecnologia e ai designer UX, possono contribuire alle comunità open source e sviluppare le proprie competenze, con il vantaggio di vincere gadget in edizione limitata e altro ancora.</p>
<h2 id="Everyone-is-welcome" class="common-anchor-header">Tutti sono i benvenuti<button data-href="#Everyone-is-welcome" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Ci sono molti modi per contribuire al progetto Milvus: non è necessario essere una superstar del codice per contribuire! In effetti, non è nemmeno necessario avere un background approfondito o un lungo elenco di competenze per poter dare una mano. Sei un grande scrittore o redattore, fantastico!  Vi piace creare grafici o illustrazioni: perfetto!  Ecco alcuni modi in cui potete dare il vostro contributo durante l'evento, insieme a un elenco di "questioni" GitHub da affrontare per i nuovi collaboratori!</p>
<p>Per maggiori informazioni, <a href="https://discuss.milvus.io/t/join-hacktoberfest-2021-with-us/72#how-to-participate-1">cliccate qui</a>.</p>
<h2 id="Contribute-get-noticed--earn-swag" class="common-anchor-header">Contribuisci, fatti notare e guadagna uno swag<button data-href="#Contribute-get-noticed--earn-swag" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/swag_cae44023e8.png" alt="swag" class="doc-image" id="swag" />
   </span> <span class="img-wrapper"> <span>swag</span> </span></p>
<p>Certamente contribuire all'open source, o al concetto di open source, è in sé un'incarnazione dell'altruismo, ma qualche bello swag non guasta. Abbiamo in palio adesivi esclusivi, magliette, tastiere e anche un drone! Scoprite i dettagli sulla nostra <a href="https://discuss.milvus.io/t/join-hacktoberfest-2021-with-us/72#prizes-8">pagina del forum</a>.</p>
<p>Anche DigitalOcean mette a disposizione dei partecipanti dei gadget; consultate le regole sul sito ufficiale dell'Hacktoberfest.</p>
<h2 id="Whats-next" class="common-anchor-header">Il prossimo passo<button data-href="#Whats-next" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p>Di recente abbiamo ospitato una telefonata virtuale di domande e risposte sull'Hacktoberfest.  Potete vedere la registrazione <a href="https://www.youtube.com/watch?v=cHjSTEHoiF8">qui</a>.</p></li>
<li><p>Per partecipare all'evento, vi consigliamo di iniziare dalla nostra pagina milvus.io Hacktoberfest e di consultare la <a href="https://hacktoberfest.com/">guida "Quick Start"</a>.</p></li>
<li><p>Date un'occhiata al nostro <a href="https://github.com/milvus-io">repo GitHub</a> (e dateci una stella)!</p></li>
<li><p>Visualizza il nostro elenco di <a href="https://github.com/milvus-io/milvus/issues?q=is%3Aopen+is%3Aissue+label%3AHacktoberfest">"problemi"</a> curati per i partecipanti che possono aiutarti a diventare una rockstar!</p></li>
</ul>
<h2 id="Helpful-links" class="common-anchor-header">Link utili<button data-href="#Helpful-links" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p><a href="https://hacktoberfest.com/"><strong>Pagina dell'evento Milvus x Hactoberfest</strong></a></p></li>
<li><p><a href="https://discuss.milvus.io/c/hacktoberfest/9"><strong>Forum di discussione Milvus</strong></a> - Unitevi al nostro forum Milvus per rimanere aggiornati sui rilasci di Milvus, interagire con altri utenti e porre domande durante l'evento.</p></li>
<li><p><strong>Seguiteci su <a href="https://twitter.com/milvusio">Twitter</a></strong> e se il vostro contributo verrà messo in evidenza durante l'evento potrete guadagnare uno swag speciale!</p></li>
</ul>


Tutti sono i benvenuti

<custom-h1>Combinare modelli di intelligenza artificiale per la ricerca di immagini con ONNX e Milvus</custom-h1><p>Open Neural Network Exchange (ONNX) è un formato aperto costruito per rappresentare i modelli di apprendimento automatico. Da quando è stato open-sourced nel 2017, ONNX si è trasformato in uno standard per l'IA, fornendo elementi costitutivi per i modelli di apprendimento automatico e deep learning. ONNX definisce un formato di file comune per consentire agli sviluppatori di IA di utilizzare i modelli con vari framework, strumenti, runtime e compilatori e contribuisce ad aumentare la velocità dell'innovazione nella comunità dell'intelligenza artificiale.</p>
<p>Milvus è un database vettoriale open-source altamente flessibile, affidabile e velocissimo. Supporta l'aggiunta, la cancellazione, l'aggiornamento e la ricerca di vettori quasi in tempo reale. Milvus dispone di una serie completa di API intuitive e del supporto per diverse librerie di indici ampiamente adottate (ad esempio Faiss, NMSLIB e Annoy), che semplificano la selezione degli indici per un determinato scenario. Milvus è semplice da usare ed è stato utilizzato in centinaia di organizzazioni e istituzioni in tutto il mondo, tra cui ricerca di immagini, audio e video, raccomandazioni, chatbot, ricerca di nuovi farmaci, ecc.</p>
<p>Questo articolo illustra come utilizzare modelli multipli per la ricerca di immagini basati su ONNX e Milvus. Prende come esempio i modelli VGG16 e ResNet50, utilizza ONNX per eseguire diversi modelli AI per generare vettori di caratteristiche e infine esegue il recupero dei vettori di caratteristiche in Milvus per restituire immagini simili.</p>
<h2 id="Process-Models-with-ONNX" class="common-anchor-header">Elaborare i modelli con ONNX<button data-href="#Process-Models-with-ONNX" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Il formato ONNX può essere facilmente scambiato tra i modelli di intelligenza artificiale. Ad esempio, il modello TensorFlow può essere convertito in formato ONNX ed eseguito nell'ambiente Caffe. In questo esempio, convertiamo il modello ResNet50 pre-addestrato nell'ambito del framework Keras nel formato ONNX e quindi richiamiamo il modello VGG16 in formato ONNX per analizzare modelli diversi.</p>
<pre><code translate="no" class="language-python"><span class="hljs-keyword">from</span> keras.applications.resnet50 <span class="hljs-keyword">import</span> ResNet50
<span class="hljs-keyword">import</span> tensorflow <span class="hljs-keyword">as</span> tf

<span class="hljs-comment"># load keras-resnet50 model and save as a floder</span>
model_resnet50 = ResNet50(include_top=<span class="hljs-literal">False</span>, pooling=<span class="hljs-string">&#x27;max&#x27;</span>, weights=<span class="hljs-string">&#x27;imagenet&#x27;</span>)
tf.saved_model.save(model_resnet50, <span class="hljs-string">&quot;keras_resnet50_model&quot;</span>)

<span class="hljs-comment"># convert resnet50 model to onnx</span>
! python -m tf2onnx.convert --saved-model <span class="hljs-string">&quot;keras_resnet50_model&quot;</span> --output <span class="hljs-string">&quot;onnx_resnet50.onnx&quot;</span>
<button class="copy-code-btn"></button></code></pre>
<p>Nota: quando abbiamo usato l'interfaccia <code translate="no">keras2onnx.convert_keras(model, model.name)</code> per convertire il modello, essa restituisce l'errore <code translate="no">AttributeError:'KerasTensor' object has no attribute'graph'</code>. Si può quindi usare il comando Bash di Python per convertire secondo la soluzione su Stack Overflow.</p>
<h2 id="Extract-Feature-Vectors-using-Models" class="common-anchor-header">Estrarre i vettori di funzioni usando i modelli<button data-href="#Extract-Feature-Vectors-using-Models" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Dopo aver convertito il modello ResNet50 in formato ONNX, è possibile estrarre il vettore di caratteristiche dell'immagine direttamente attraverso l'inferenza. Nota: i vettori di caratteristiche devono essere normalizzati dopo l'estrazione.</p>
<pre><code translate="no" class="language-python"><span class="hljs-comment"># get the image vectors with onnx model</span>
<span class="hljs-keyword">def</span> <span class="hljs-title function_">get_onnx_vectors</span>(<span class="hljs-params">onnx_model, img_path</span>):
    img = image.load_img(img_path, target_size=(<span class="hljs-number">224</span>, <span class="hljs-number">224</span>))
    x = image.img_to_array(img)
    x = np.expand_dims(x, axis=<span class="hljs-number">0</span>)
    x = preprocess_input(x)
    
    sess = onnxruntime.InferenceSession(onnx_model)
    x = x <span class="hljs-keyword">if</span> <span class="hljs-built_in">isinstance</span>(x, <span class="hljs-built_in">list</span>) <span class="hljs-keyword">else</span> [x]
    feed = <span class="hljs-built_in">dict</span>([(<span class="hljs-built_in">input</span>.name, x[n]) <span class="hljs-keyword">for</span> n, <span class="hljs-built_in">input</span> <span class="hljs-keyword">in</span> <span class="hljs-built_in">enumerate</span>(sess.get_inputs())])
    feat = sess.run(<span class="hljs-literal">None</span>, feed)[<span class="hljs-number">0</span>]
    
    norm_feat = feat[<span class="hljs-number">0</span>] / LA.norm(feat[<span class="hljs-number">0</span>])
    norm_feat = [i.item() <span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> norm_feat]
    <span class="hljs-keyword">return</span> norm_feat
<button class="copy-code-btn"></button></code></pre>
<p>Utilizzare il modello VGG16 in formato ONNX per elaborare i dati delle immagini:</p>
<pre><code translate="no" class="language-python"><span class="hljs-comment"># generate vectors with ResNet50 and VGG16 ONNX model</span>
2vec_resnet = get_onnx_vectors(<span class="hljs-string">&quot;onnx_resnet50.onnx&quot;</span>, <span class="hljs-string">&quot;./pic/example.jpg&quot;</span>)
3vec_vgg = get_onnx_vectors(<span class="hljs-string">&quot;onnx_vgg16.onnx&quot;</span>, <span class="hljs-string">&quot;./pic/example.jpg&quot;</span>)
<button class="copy-code-btn"></button></code></pre>
<h2 id="Store-Vector-Data" class="common-anchor-header">Memorizzare i dati vettoriali<button data-href="#Store-Vector-Data" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>I dati non strutturati, come le immagini, non possono essere elaborati direttamente dal computer, ma possono essere convertiti in vettori attraverso il modello AI e quindi analizzati da un computer. Il database vettoriale Milvus è progettato per l'analisi massiva di dati non strutturati. È in grado di memorizzare dati vettoriali e di eseguire analisi quasi in tempo reale. Per prima cosa, creare una raccolta del modello corrispondente in Milvus, quindi inserire i vettori di immagini.</p>
<pre><code translate="no" class="language-python"><span class="hljs-keyword">from</span> milvus <span class="hljs-keyword">import</span> *

<span class="hljs-comment"># create collections in Milvus</span>
milvus.create_collection(resnet_collection_param)
milvus.create_collection(vgg_collection_param)

<span class="hljs-comment"># insert data to Milvus and return ids</span>
status, resnet_ids = milvus.insert(resnet_collection_name, resnet_vectors)
status, vgg_ids = milvus.insert(vgg_collection_name, vgg_vectors)
<button class="copy-code-btn"></button></code></pre>
<p>Dopo aver inserito i dati con successo, Milvus restituirà l'ID corrispondente al vettore e sarà possibile trovare l'immagine in base all'ID. Poiché Milvus 1.1 utilizzato in questo caso non supporta il filtraggio scalare (ora supportato da Milvus 2.0), si utilizza Redis per memorizzare l'ID del vettore e il valore-chiave del percorso dell'immagine.</p>
<pre><code translate="no" class="language-python"><span class="hljs-keyword">import</span> redis
<span class="hljs-keyword">def</span> <span class="hljs-title function_">img_ids_to_redis</span>(<span class="hljs-params">img_directory, res_ids</span>):
  <span class="hljs-keyword">for</span> img, ids <span class="hljs-keyword">in</span> <span class="hljs-built_in">zip</span>(images, res_ids):
    redis.<span class="hljs-built_in">set</span>(ids, img)
<button class="copy-code-btn"></button></code></pre>
<h2 id="Search-for-Similar-Images" class="common-anchor-header">Ricerca di immagini simili<button data-href="#Search-for-Similar-Images" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Dopo aver memorizzato i dati, possiamo recuperare il vettore. Milvus supporta diversi metodi di calcolo della distanza, tra cui la distanza euclidea, il prodotto interno e la distanza di Hamming. La ricerca della somiglianza delle immagini in questo articolo adotta il calcolo della distanza euclidea tra i vettori in Milvus, restituisce l'ID del vettore simile e quindi trova l'immagine corrispondente all'ID in Redis.</p>
<pre><code translate="no" class="language-python"><span class="hljs-comment"># search in Milvus and return the similarly results with ids</span>
<span class="hljs-keyword">def</span> <span class="hljs-title function_">search_in_milvus</span>(<span class="hljs-params">collection_name, search_vector</span>):
    status, results = milvus.search(collection_name, TOP_K, [search_vector])
    <span class="hljs-built_in">print</span>(status)
    re_ids = [x.<span class="hljs-built_in">id</span> <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> results[<span class="hljs-number">0</span>]]
    re_distance = [x.distance <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> results[<span class="hljs-number">0</span>]]
    <span class="hljs-keyword">return</span> re_ids, re_distance
    
<span class="hljs-comment"># get the images according the result ids</span>
<span class="hljs-keyword">def</span> <span class="hljs-title function_">get_sim_imgs</span>(<span class="hljs-params">collection_name, search_vector</span>):
    ids, distance = search_in_milvus(collection_name, search_vector)
    img = [red.get(i).decode(<span class="hljs-string">&quot;utf-8&quot;</span>) <span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> ids]
    <span class="hljs-keyword">return</span> ids, distance, img
<button class="copy-code-btn"></button></code></pre>
<p>Prendendo come esempio i modelli VGG16 e ResNet50, questo articolo mostra l'elaborazione di più modelli tramite ONNX e la combinazione di più modelli con Milvus per il recupero di vettori simili per ottenere immagini simili. I due modelli di cui sopra sono basati sul framework Keras, che può estrarre rapidamente vettori di caratteristiche. Dal Quaderno si può notare che, sebbene i risultati della ricerca di immagini da parte di Milvus sul set di dati COCO basati su questi due modelli siano simili, le loro distanze euclidee non sono le stesse. Si può anche provare a confrontare i risultati della ricerca dei due modelli utilizzando altri insiemi di dati.</p>
<p>Milvus è un database vettoriale ad alte prestazioni e ad alta disponibilità che può essere utilizzato per elaborare vettori di caratteristiche generati da enormi dati non strutturati. Per ulteriori soluzioni, è possibile consultare il <a href="https://github.com/milvus-io/bootcamp">bootcamp di Milvus</a>.</p>
<h2 id="References" class="common-anchor-header">Riferimenti<button data-href="#References" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ol>
<li>https://github.com/onnx/onnx</li>
<li>https://onnx.ai/</li>
<li>https://milvus.io/cn/</li>
<li>https://github.com/milvus-io/bootcamp</li>
</ol>
<h3 id="About-author" class="common-anchor-header">Informazioni sull'autore</h3><p>Shiyu Chen, ingegnere dei dati presso Zilliz, si è laureata in informatica presso la Xidian University. Da quando è entrata a far parte di Zilliz, ha esplorato soluzioni per Milvus in vari campi, come l'analisi di audio e video, il recupero di formule di molecole, ecc. Attualmente sta esplorando altre soluzioni interessanti. Nel tempo libero, ama lo sport e la lettura.</p>


Elaborare i modelli con ONNX

DiskANN, una soluzione ANNS basata su disco con alto richiamo e alto QPS su un set di dati su scala miliardaria

Panoramica

<custom-h1>Classificazione delle sequenze di DNA basata su Milvus</custom-h1><blockquote>
<p>Autore: Mengjia Gu, ingegnere dei dati presso Zilliz, si è laureata presso la McGill University con un master in Scienze dell'informazione. I suoi interessi includono le applicazioni dell'intelligenza artificiale e la ricerca di similarità con i database vettoriali. Come membro della comunità del progetto open-source Milvus, ha fornito e migliorato diverse soluzioni, come il sistema di raccomandazione e il modello di classificazione delle sequenze di DNA. Le piacciono le sfide e non si arrende mai!</p>
</blockquote>
<custom-h1>Introduzione</custom-h1><p>La sequenza del DNA è un concetto popolare sia nella ricerca accademica che nelle applicazioni pratiche, come la tracciabilità dei geni, l'identificazione delle specie e la diagnosi delle malattie. Mentre tutti i settori sono alla ricerca di un metodo di ricerca più intelligente ed efficiente, l'intelligenza artificiale ha attirato molta attenzione, soprattutto nel settore biologico e medico. Sempre più scienziati e ricercatori contribuiscono all'apprendimento automatico e all'apprendimento profondo in bioinformatica. Per rendere i risultati sperimentali più convincenti, un'opzione comune è quella di aumentare la dimensione del campione. La collaborazione con i big data nel campo della genomica offre ulteriori possibilità di utilizzo nella realtà. Tuttavia, l'allineamento tradizionale delle sequenze ha dei limiti che lo rendono <a href="https://www.frontiersin.org/articles/10.3389/fbioe.2020.01032/full#h5">inadatto a dati di grandi dimensioni</a>. Per ridurre il compromesso, la vettorializzazione è una buona scelta per un grande insieme di sequenze di DNA.</p>
<p>Il database vettoriale open source <a href="https://milvus.io/docs/v2.0.x/overview.md">Milvus</a> è adatto a dati massicci. È in grado di memorizzare vettori di sequenze di acidi nucleici e di eseguire un recupero ad alta efficienza. Può anche contribuire a ridurre i costi di produzione o di ricerca. Il sistema di classificazione delle sequenze di DNA basato su Milvus richiede solo millisecondi per la classificazione dei geni. Inoltre, mostra un'accuratezza maggiore rispetto ad altri classificatori comuni nell'apprendimento automatico.</p>
<custom-h1>Elaborazione dei dati</custom-h1><p>Un gene che codifica informazioni genetiche è costituito da una piccola sezione di sequenze di DNA, che consiste di 4 basi nucleotidiche [A, C, G, T]. Nel genoma umano ci sono circa 30.000 geni, quasi 3 miliardi di coppie di basi di DNA, e ogni coppia di basi ha 2 basi corrispondenti. Per supportare diversi usi, le sequenze di DNA possono essere classificate in varie categorie. Per ridurre i costi e facilitare l'uso dei dati di lunghe sequenze di DNA, è stato introdotto il <a href="https://en.wikipedia.org/wiki/K-mer#:~:text=Usually%2C%20the%20term%20k%2Dmer,total%20possible%20k%2Dmers%2C%20where">k-mer </a>nella preelaborazione dei dati. Nel frattempo, rende i dati delle sequenze di DNA più simili al testo normale. Inoltre, i dati vettoriali possono accelerare i calcoli nell'analisi dei dati o nell'apprendimento automatico.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_a7469e9eac.png" alt="1.png" class="doc-image" id="1.png" />
   </span> <span class="img-wrapper"> <span>1.png</span> </span></p>
<p><strong>k-mer</strong></p>
<p>Il metodo k-mer è comunemente utilizzato nella preelaborazione delle sequenze di DNA. Estrae una piccola sezione di lunghezza k a partire da ogni base della sequenza originale, convertendo così una sequenza lunga di lunghezza s in (s-k+1) sequenze corte di lunghezza k. Regolando il valore di k si migliorano le prestazioni del modello. Gli elenchi di sequenze brevi sono più semplici per la lettura dei dati, l'estrazione delle caratteristiche e la vettorizzazione.</p>
<p><strong>Vettorizzazione</strong></p>
<p>Le sequenze di DNA vengono vettorizzate sotto forma di testo. Una sequenza trasformata da k-mer diventa un elenco di sequenze brevi, che assomiglia a un elenco di singole parole in una frase. Pertanto, la maggior parte dei modelli di elaborazione del linguaggio naturale dovrebbe funzionare anche per i dati delle sequenze di DNA. Metodologie simili possono essere applicate all'addestramento dei modelli, all'estrazione delle caratteristiche e alla codifica. Poiché ogni modello presenta vantaggi e svantaggi, la scelta dei modelli dipende dalle caratteristiche dei dati e dallo scopo della ricerca. Ad esempio, CountVectorizer, un modello di bag-of-words, implementa l'estrazione di caratteristiche attraverso una semplice tokenizzazione. Non pone limiti alla lunghezza dei dati, ma il risultato restituito è meno evidente in termini di confronto di similarità.</p>
<custom-h1>Dimostrazione di Milvus</custom-h1><p>Milvus è in grado di gestire facilmente dati non strutturati e di richiamare i risultati più simili tra trilioni di vettori con un ritardo medio di millisecondi. La sua ricerca di similarità si basa sull'algoritmo di ricerca Approximate Nearest Neighbor (ANN). Queste caratteristiche rendono Milvus un'ottima opzione per la gestione di vettori di sequenze di DNA, promuovendo così lo sviluppo e le applicazioni della bioinformatica.</p>
<p>Ecco una demo che mostra come costruire un sistema di classificazione di sequenze di DNA con Milvus. Il <a href="https://www.kaggle.com/nageshsingh/dna-sequence-dataset">set di dati sperimentali </a>comprende 3 organismi e 7 famiglie di geni. Tutti i dati sono convertiti in elenchi di sequenze brevi da k-mers. Con un modello CountVectorizer pre-addestrato, il sistema codifica i dati di sequenza in vettori. Il diagramma di flusso sottostante illustra la struttura del sistema e i processi di inserimento e ricerca.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_ebd89660f6.png" alt="1.png" class="doc-image" id="1.png" />
   </span> <span class="img-wrapper"> <span>1.png</span> </span></p>
<p>Provate questa demo al <a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/dna_sequence_classification">bootcamp di Milvus</a>.</p>
<p>In Milvus, il sistema crea una collezione e inserisce i vettori corrispondenti di sequenze di DNA nella collezione (o nella partizione, se abilitata). Quando riceve una richiesta di interrogazione, Milvus restituisce le distanze tra il vettore della sequenza di DNA in ingresso e i risultati più simili presenti nel database. La classe della sequenza in ingresso e la somiglianza tra le sequenze di DNA possono essere determinate dalle distanze tra i vettori nei risultati.</p>
<pre><code translate="no"><span class="hljs-comment"># Insert vectors to Milvus collection (partition &quot;human&quot;)</span>
DNA_human = collection.insert([human_ids, human_vectors], partition_name=<span class="hljs-string">&#x27;human&#x27;</span>)
<span class="hljs-comment"># Search topK results (in partition &quot;human&quot;) for test vectors</span>
res = collection.search(test_vectors, <span class="hljs-string">&quot;vector_field&quot;</span>, search_params, limit=topK, partition_names=[<span class="hljs-string">&#x27;human&#x27;</span>])
<span class="hljs-keyword">for</span> results <span class="hljs-keyword">in</span> res:
    res_ids = results.ids <span class="hljs-comment"># primary keys of topK results</span>
    res_distances = results.distances <span class="hljs-comment"># distances between topK results &amp; search input</span>
<button class="copy-code-btn"></button></code></pre>
<p><strong>Classificazione delle sequenze di DNA</strong>La ricerca delle sequenze di DNA più simili in Milvus può indicare la famiglia di geni di un campione sconosciuto e quindi conoscere la sua possibile funzionalità.<a href="https://www.nature.com/scitable/topicpage/gpcr-14047471/"> Se una sequenza è classificata come GPCRs, allora probabilmente ha un'influenza sulle funzioni del corpo. </a>In questa dimostrazione, Milvus ha permesso al sistema di identificare con successo le famiglie geniche delle sequenze di DNA umano ricercate.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/3_1616da5bb0.png" alt="3.png" class="doc-image" id="3.png" />
   </span> <span class="img-wrapper"> <span>3.png</span> </span> <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/4_d719b22fc7.png" alt="4.png" class="doc-image" id="4.png" /><span>4.png</span> </span></p>
<p><strong>Somiglianza genetica</strong></p>
<p>La somiglianza media delle sequenze di DNA tra organismi illustra la vicinanza tra i loro genomi. La demo cerca nei dati umani le sequenze di DNA più simili a quelle dello scimpanzé e del cane. Quindi calcola e confronta le distanze medie del prodotto interno (0,97 per lo scimpanzé e 0,70 per il cane), dimostrando che lo scimpanzé condivide con l'uomo più geni simili di quelli del cane. Con una maggiore complessità dei dati e della progettazione del sistema, Milvus è in grado di supportare la ricerca genetica anche a un livello superiore.</p>
<pre><code translate="no">search_params = {<span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&quot;IP&quot;</span>, <span class="hljs-string">&quot;params&quot;</span>: {<span class="hljs-string">&quot;nprobe&quot;</span>: <span class="hljs-number">20</span>}}
<button class="copy-code-btn"></button></code></pre>
<p><strong>Prestazioni</strong></p>
<p>La demo addestra il modello di classificazione con l'80% di dati di campioni umani (3629 in totale) e utilizza i restanti come dati di prova. Il modello di classificazione delle sequenze di DNA che utilizza Milvus viene confrontato con quello basato su Mysql e con 5 popolari classificatori di apprendimento automatico. Il modello basato su Milvus supera le sue controparti in termini di accuratezza.</p>
<pre><code translate="no"><span class="hljs-keyword">from</span> sklearn.<span class="hljs-property">model_selection</span> <span class="hljs-keyword">import</span> train_test_split
X, y = human_sequence_kmers, human_labels
X_train, X_test, y_train, y_test = <span class="hljs-title function_">train_test_split</span>(X, y, test_size=<span class="hljs-number">0.2</span>, random_state=<span class="hljs-number">42</span>)
<button class="copy-code-btn"></button></code></pre>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_6541a7dec6.png" alt="1.png" class="doc-image" id="1.png" />
   </span> <span class="img-wrapper"> <span>1.png</span> </span></p>
<custom-h1>Ulteriori esplorazioni</custom-h1><p>Con lo sviluppo della tecnologia dei big data, la vettorizzazione della sequenza di DNA svolgerà un ruolo sempre più importante nella ricerca e nella pratica genetica. In combinazione con le conoscenze professionali in bioinformatica, gli studi correlati possono trarre ulteriori vantaggi dal coinvolgimento della vettorizzazione delle sequenze di DNA. Pertanto, Milvus può presentare risultati migliori nella pratica. In base ai diversi scenari e alle esigenze degli utenti, la ricerca di similarità e il calcolo della distanza alimentati da Milvus mostrano un grande potenziale e molte possibilità.</p>
<ul>
<li><strong>Studio di sequenze sconosciute</strong>: <a href="https://iopscience.iop.org/article/10.1088/1742-6596/1453/1/012071/pdf">Secondo alcuni ricercatori, la vettorizzazione può comprimere i dati delle sequenze di DNA.</a> Allo stesso tempo, richiede uno sforzo minore per studiare la struttura, la funzione e l'evoluzione di sequenze di DNA sconosciute. Milvus può memorizzare e recuperare un numero enorme di vettori di sequenze di DNA senza perdere in precisione.</li>
<li><strong>Adattare i dispositivi</strong>: Limitata dai tradizionali algoritmi di allineamento delle sequenze, la ricerca di similarità può a malapena beneficiare del miglioramento dei dispositivi<a href="https://www.ncbi.nlm.nih.gov/pmc/articles/PMC7884812/">(</a><a href="https://mjeer.journals.ekb.eg/article_146090.html">CPU/GPU</a>). Milvus, che supporta sia il normale calcolo della CPU che l'accelerazione della GPU, risolve questo problema con l'algoritmo di nearest neighbor approssimato.</li>
<li><strong>Rilevamento di virus e tracciamento delle origini</strong>: <a href="https://www.nature.com/articles/s41586-020-2012-7?fbclid=IwAR2hxnXb9nLWgA8xexEoNrCNH8WHqvHhhbN38aSm48AaH6fTzGMB1BLljf4">Gli scienziati hanno confrontato le sequenze del genoma e hanno riferito che il virus COVID19, di probabile origine pipistrello, appartiene alla SARS-COV</a>. Sulla base di questa conclusione, i ricercatori possono ampliare la dimensione del campione per ottenere ulteriori prove e modelli.</li>
<li><strong>Diagnosticare le malattie</strong>: Dal punto di vista clinico, i medici potrebbero confrontare le sequenze di DNA tra pazienti e gruppi sani per identificare le varianti dei geni che causano le malattie. È possibile estrarre le caratteristiche e codificare questi dati utilizzando algoritmi adeguati. Milvus è in grado di restituire le distanze tra i vettori, che possono essere correlate ai dati delle malattie. Oltre ad aiutare la diagnosi delle malattie, questa applicazione può anche contribuire a ispirare lo studio di <a href="https://www.frontiersin.org/articles/10.3389/fgene.2021.680117/full">terapie mirate</a>.</li>
</ul>
<custom-h1>Per saperne di più su Milvus</custom-h1><p>Milvus è un potente strumento in grado di alimentare una vasta gamma di applicazioni di intelligenza artificiale e di ricerca di similarità vettoriale. Per saperne di più sul progetto, consultate le seguenti risorse:</p>
<ul>
<li>Leggete il nostro <a href="https://milvus.io/blog">blog</a>.</li>
<li>Interagire con la nostra comunità open-source su <a href="https://milvusio.slack.com/join/shared_invite/zt-e0u4qu3k-bI2GDNys3ZqX1YCJ9OM~GQ#/shared-invite/email">Slack</a>.</li>
<li>Utilizzate o contribuite al database vettoriale più diffuso al mondo su <a href="https://github.com/milvus-io/milvus/">GitHub</a>.</li>
<li>Testate e distribuite rapidamente le applicazioni AI con il nostro nuovo <a href="https://github.com/milvus-io/bootcamp">bootcamp</a>.</li>
</ul>


Classificazione delle sequenze di DNA in base a Milvus

Paper Reading｜HM-ANN Quando l'ANNS incontra la memoria eterogenea

Milvus 2.0 Ridefinizione del database vettoriale

<custom-h1>Creare un sistema di raccomandazione dei prodotti personalizzato con Vipshop e Milvus</custom-h1><p>Con la crescita esplosiva della scala dei dati di Internet, da un lato aumentano la quantità e la categoria dei prodotti nell'attuale piattaforma di e-commerce mainstream, dall'altro aumenta la difficoltà per gli utenti di trovare i prodotti di cui hanno bisogno.</p>
<p><a href="https://www.vip.com/">Vipshop</a> è uno dei principali rivenditori online di marchi scontati in Cina. L'azienda offre ai consumatori di tutta la Cina prodotti di marca di alta qualità e popolari a prezzi notevolmente scontati rispetto ai prezzi al dettaglio. Per ottimizzare l'esperienza di acquisto dei propri clienti, l'azienda ha deciso di costruire un sistema di raccomandazione di ricerca personalizzato basato sulle parole chiave della query dell'utente e sui suoi ritratti.</p>
<p>La funzione principale del sistema di raccomandazione della ricerca nell'e-commerce è quella di recuperare i prodotti adatti da un gran numero di prodotti e di mostrarli agli utenti in base alle loro intenzioni e preferenze di ricerca. In questo processo, il sistema deve calcolare la somiglianza tra i prodotti e le intenzioni e le preferenze di ricerca degli utenti e consigliare agli utenti i prodotti TopK con la maggiore somiglianza.</p>
<p>Dati come le informazioni sui prodotti, le intenzioni di ricerca degli utenti e le loro preferenze sono tutti dati non strutturati. Abbiamo provato a calcolare la somiglianza di tali dati utilizzando CosineSimilarity(7.x) del motore di ricerca Elasticsearch (ES), ma questo approccio presenta i seguenti svantaggi.</p>
<ul>
<li><p>Tempi di risposta lunghi: la latenza media per recuperare i risultati TopK da milioni di elementi è di circa 300 ms.</p></li>
<li><p>Elevati costi di manutenzione degli indici di ES: lo stesso set di indici viene utilizzato sia per i vettori di caratteristiche delle materie prime sia per altri dati correlati, il che non facilita affatto la costruzione degli indici, ma produce un'enorme quantità di dati.</p></li>
</ul>
<p>Abbiamo provato a sviluppare un nostro plug-in di hash localmente sensibile per accelerare il calcolo della somiglianza del coseno di ES. Sebbene le prestazioni e il throughput siano migliorati in modo significativo dopo l'accelerazione, la latenza di oltre 100 ms era ancora difficile da soddisfare per il reperimento dei prodotti online.</p>
<p>Dopo un'accurata ricerca, abbiamo deciso di utilizzare Milvus, un database vettoriale open source che, rispetto al comune Faiss standalone, ha il vantaggio di supportare la distribuzione distribuita, gli SDK multilingue, la separazione lettura/scrittura, ecc.</p>
<p>Utilizzando diversi modelli di deep learning, convertiamo dati massicci non strutturati in vettori di caratteristiche e importiamo i vettori in Milvus. Grazie alle eccellenti prestazioni di Milvus, il nostro sistema di raccomandazione per la ricerca di e-commerce può interrogare in modo efficiente i vettori TopK che sono simili ai vettori di destinazione.</p>
<h2 id="Overall-Architecture" class="common-anchor-header">Architettura complessiva<button data-href="#Overall-Architecture" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Come mostrato nel diagramma, l'architettura generale del sistema è composta da due parti principali.</p>
<ul>
<li><p>Processo di scrittura: i vettori delle caratteristiche degli articoli (di seguito denominati vettori degli articoli) generati dal modello di apprendimento profondo vengono normalizzati e scritti in MySQL. MySQL legge quindi i vettori delle caratteristiche degli articoli elaborati utilizzando lo strumento di sincronizzazione dei dati (ETL) e li importa nel database vettoriale Milvus.</p></li>
<li><p>Processo di lettura: Il servizio di ricerca ottiene i vettori delle caratteristiche delle preferenze dell'utente (di seguito denominati vettori utente) in base alle parole chiave e ai ritratti dell'utente, interroga i vettori simili in Milvus e richiama i vettori degli articoli TopK.</p></li>
</ul>
<p>Milvus supporta sia l'aggiornamento incrementale dei dati che l'aggiornamento dell'intero database. Ogni aggiornamento incrementale deve cancellare il vettore di elementi esistente e inserire un nuovo vettore di elementi, il che significa che ogni collezione appena aggiornata sarà reindicizzata. Questa soluzione si adatta meglio allo scenario con più letture e meno scritture. Pertanto, scegliamo il metodo di aggiornamento dei dati completi. Inoltre, la scrittura di tutti i dati in batch di più partizioni richiede solo pochi minuti, il che equivale a un aggiornamento quasi in tempo reale.</p>
<p>I nodi di scrittura Milvus eseguono tutte le operazioni di scrittura, compresa la creazione di raccolte di dati, la costruzione di indici, l'inserimento di vettori, ecc. I nodi di lettura Milvus eseguono tutte le operazioni di lettura e forniscono servizi al pubblico con nomi di dominio di sola lettura.</p>
<p>Mentre la versione attuale di Milvus non supporta il cambio di alias di raccolta, noi introduciamo Redis per cambiare alias senza problemi tra più raccolte di dati intere.</p>
<p>Il nodo di lettura deve solo leggere le informazioni esistenti sui metadati e i dati vettoriali o gli indici da MySQL, Milvus e il file system distribuito GlusterFS, quindi la capacità di lettura può essere estesa orizzontalmente distribuendo più istanze.</p>
<h2 id="Implementation-Details" class="common-anchor-header">Dettagli di implementazione<button data-href="#Implementation-Details" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="Data-Update" class="common-anchor-header">Aggiornamento dei dati</h3><p>Il servizio di aggiornamento dei dati comprende non solo la scrittura dei dati vettoriali, ma anche il rilevamento del volume dei dati dei vettori, la costruzione degli indici, il precaricamento degli indici, il controllo degli alias, ecc. Il processo complessivo è il seguente. <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/2_6052b01334.jpg" alt="Process" class="doc-image" id="process" /><span>Processo</span> </span></p>
<ol>
<li><p>Si supponga che prima di costruire i dati completi, CollectionA fornisca il servizio dati al pubblico e che i dati completi utilizzati siano diretti a CollectionA (<code translate="no">redis key1 = CollectionA</code>). Lo scopo della costruzione dei dati completi è quello di creare una nuova raccolta CollectionB.</p></li>
<li><p>Controllo dei dati delle materie prime - verifica il numero di articolo dei dati delle materie prime nella tabella MySQL, confronta i dati delle materie prime con i dati esistenti in CollectionA. L'avviso può essere impostato in base alla quantità o alla percentuale. Se la quantità (percentuale) impostata non viene raggiunta, l'intero dato non verrà costruito e verrà considerato come un fallimento di questa operazione di costruzione, facendo scattare l'avviso; una volta raggiunta la quantità (percentuale) impostata, il processo di costruzione dell'intero dato viene avviato.</p></li>
<li><p>Avviare la costruzione dell'intero dato - inizializzare l'alias dell'intero dato in costruzione e aggiornare Redis. Dopo l'aggiornamento, l'alias dell'intero dato in costruzione viene indirizzato a CollectionB (<code translate="no">redis key2 = CollectionB</code>).</p></li>
<li><p>Creare una nuova collezione intera - determinare se CollectionB esiste. Se esiste, eliminarla prima di crearne una nuova.</p></li>
<li><p>Scrittura in batch dei dati - calcolare l'ID della partizione di ciascun dato della commodity con il proprio ID utilizzando l'operazione modulo e scrivere i dati in più partizioni nella raccolta appena creata in batch.</p></li>
<li><p>Creare e precaricare l'indice - Creare l'indice (<code translate="no">createIndex()</code>) per la nuova raccolta. Il file dell'indice viene memorizzato nel server di archiviazione distribuito GlusterFS. Il sistema simula automaticamente una query sulla nuova raccolta e precarica l'indice per il riscaldamento della query.</p></li>
<li><p>Controllo dei dati della raccolta: controlla il numero di elementi dei dati nella nuova raccolta, confronta i dati con la raccolta esistente e imposta gli allarmi in base alla quantità e alla percentuale. Se il numero (percentuale) impostato non viene raggiunto, la raccolta non verrà commutata e il processo di costruzione verrà considerato un fallimento, attivando l'allarme.</p></li>
<li><p>Commutazione della raccolta - Controllo dell'alias. Dopo l'aggiornamento di Redis, l'intero alias dei dati utilizzati viene indirizzato a CollectionB (<code translate="no">redis key1 = CollectionB</code>), la chiave Redis originale2 viene cancellata e il processo di costruzione è completato.</p></li>
</ol>
<h3 id="Data-Recall" class="common-anchor-header">Richiamo dei dati</h3><p>I dati della partizione Milvus vengono richiamati più volte per calcolare la somiglianza tra i vettori utente, ottenuti in base alle parole chiave della query dell'utente e al ritratto dell'utente, e i vettori articolo TopK, che vengono restituiti dopo la fusione. Il flusso di lavoro complessivo è il seguente: <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/3_93518602b1.jpg" alt="workflow" class="doc-image" id="workflow" /><span>flusso di lavoro</span>La </span>tabella seguente elenca i principali servizi coinvolti in questo processo. Si può notare che la latenza media per il richiamo dei vettori TopK è di circa 30 ms.</p>
<table>
<thead>
<tr><th><strong>Servizio</strong></th><th><strong>Ruolo</strong></th><th><strong>Parametri di ingresso</strong></th><th><strong>Parametri di uscita</strong></th><th><strong>Latenza di risposta</strong></th></tr>
</thead>
<tbody>
<tr><td>Acquisizione vettori utente</td><td>Ottenere il vettore utente</td><td>info utente + interrogazione</td><td>vettore utente</td><td>10 ms</td></tr>
<tr><td>Ricerca Milvus</td><td>Calcola la somiglianza del vettore e restituisce i risultati TopK</td><td>vettore utente</td><td>vettore elemento</td><td>10 ms</td></tr>
<tr><td>Logica di programmazione</td><td>Richiamo e fusione simultanea dei risultati</td><td>Vettori di elementi richiamati da più canali e punteggio di somiglianza</td><td>Elementi TopK</td><td>10 ms</td></tr>
</tbody>
</table>
<p><strong>Processo di implementazione:</strong></p>
<ol>
<li>In base alle parole chiave della query dell'utente e al ritratto dell'utente, il vettore utente viene calcolato dal modello di deep learning.</li>
<li>Ottenere l'alias della raccolta di tutti i dati utilizzati da Redis currentInUseKeyRef e ottenere Milvus CollectionName. Questo processo è un servizio di sincronizzazione dei dati, ossia il passaggio dell'alias a Redis dopo l'aggiornamento di tutti i dati.</li>
<li>Milvus viene chiamato in modo simultaneo e asincrono con il vettore utente per ottenere i dati da diverse partizioni della stessa collezione; Milvus calcola la somiglianza tra il vettore utente e il vettore elemento e restituisce i TopK vettori elemento simili in ogni partizione.</li>
<li>Unisce i TopK item vectors restituiti da ogni partizione e classifica i risultati in ordine inverso rispetto alla distanza di somiglianza, che viene calcolata utilizzando il prodotto interno IP (maggiore è la distanza tra i vettori, più sono simili). Vengono restituiti i vettori di elementi TopK finali.</li>
</ol>
<h2 id="Looking-Ahead" class="common-anchor-header">Guardare avanti<button data-href="#Looking-Ahead" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Attualmente, la ricerca vettoriale basata su Milvus può essere utilizzata stabilmente nella ricerca di scenari di raccomandazione, e le sue elevate prestazioni ci danno più spazio per giocare sulla dimensionalità del modello e sulla selezione dell'algoritmo.</p>
<p>Milvus svolgerà un ruolo cruciale come middleware per un numero maggiore di scenari, tra cui il richiamo della ricerca del sito principale e le raccomandazioni per tutti gli scenari.</p>
<p>Le tre caratteristiche più attese di Milvus in futuro sono le seguenti.</p>
<ul>
<li>Logica per la commutazione degli alias delle collezioni: coordinare la commutazione tra le collezioni senza componenti esterni.</li>
<li>Meccanismo di filtraggio - Milvus v0.11.0 supporta solo il meccanismo di filtraggio ES DSL nella versione standalone. La nuova versione di Milvus 2.0 supporta il filtraggio scalare e la separazione lettura/scrittura.</li>
<li>Supporto dello storage per Hadoop Distributed File System (HDFS) - Milvus v0.10.6 supporta solo l'interfaccia file POSIX e abbiamo implementato GlusterFS con supporto FUSE come backend di storage. Tuttavia, HDFS è una scelta migliore in termini di prestazioni e facilità di scalabilità.</li>
</ul>
<h2 id="Lessons-Learned-and-Best-Practices" class="common-anchor-header">Lezioni apprese e buone pratiche<button data-href="#Lessons-Learned-and-Best-Practices" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ol>
<li>Per le applicazioni in cui le operazioni di lettura sono l'obiettivo principale, un'implementazione di separazione lettura-scrittura può aumentare significativamente la potenza di elaborazione e migliorare le prestazioni.</li>
<li>Il client Milvus Java non dispone di un meccanismo di riconnessione perché il client Milvus utilizzato dal servizio di richiamo è residente in memoria. Dobbiamo costruire il nostro pool di connessioni per garantire la disponibilità della connessione tra il client Java e il server attraverso il test heartbeat.</li>
<li>Occasionalmente si verificano query lente su Milvus. Ciò è dovuto a un riscaldamento insufficiente della nuova collezione. Simulando la query sulla nuova collezione, il file dell'indice viene caricato in memoria per ottenere il riscaldamento dell'indice.</li>
<li>nlist è il parametro di costruzione dell'indice e nprobe è il parametro della query. È necessario ottenere un valore di soglia ragionevole in base allo scenario aziendale attraverso esperimenti di pressure test per bilanciare le prestazioni di recupero e l'accuratezza.</li>
<li>Per uno scenario di dati statici, è più efficiente importare prima tutti i dati nella raccolta e costruire gli indici in un secondo momento.</li>
</ol>


Architettura complessiva

<custom-h1>Recupero dell'audio basato su Milvus</custom-h1><p>Il suono è un tipo di dati denso di informazioni. Anche se può sembrare antiquato nell'era dei contenuti video, l'audio rimane una fonte di informazione primaria per molte persone. Nonostante il lungo declino degli ascoltatori, nel 2020 l'83% degli americani di età pari o superiore ai 12 anni ha ascoltato la radio terrestre (AM/FM) in una determinata settimana (in calo rispetto all'89% del 2019). Al contrario, l'audio online ha registrato un aumento costante degli ascoltatori negli ultimi due decenni, con il 62% degli americani che ha dichiarato di ascoltarne una qualche forma su base settimanale, secondo lo stesso <a href="https://www.journalism.org/fact-sheet/audio-and-podcasting/">studio del Pew Research Center</a>.</p>
<p>Come onda, il suono comprende quattro proprietà: frequenza, ampiezza, forma d'onda e durata. Nella terminologia musicale, queste proprietà sono chiamate altezza, dinamica, tono e durata. I suoni aiutano anche gli esseri umani e gli altri animali a percepire e comprendere l'ambiente circostante, fornendo indizi di contesto per la posizione e il movimento degli oggetti nell'ambiente circostante.</p>
<p>Come vettore di informazioni, l'audio può essere classificato in tre categorie:</p>
<ol>
<li><strong>Parlato:</strong> Un mezzo di comunicazione composto da parole e grammatica. Con gli algoritmi di riconoscimento vocale, il parlato può essere convertito in testo.</li>
<li><strong>Musica:</strong> Suoni vocali e/o strumentali combinati per produrre una composizione composta da melodia, armonia, ritmo e timbro. La musica può essere rappresentata da una partitura.</li>
<li><strong>Forma d'onda:</strong> Un segnale audio digitale ottenuto dalla digitalizzazione di suoni analogici. Le forme d'onda possono rappresentare il parlato, la musica e i suoni naturali o sintetizzati.</li>
</ol>
<p>L'audio retrieval può essere utilizzato per cercare e monitorare i media online in tempo reale per reprimere le violazioni dei diritti di proprietà intellettuale. Assume inoltre un ruolo importante nella classificazione e nell'analisi statistica dei dati audio.</p>
<h2 id="Processing-Technologies" class="common-anchor-header">Tecnologie di elaborazione<button data-href="#Processing-Technologies" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Il parlato, la musica e altri suoni generici hanno caratteristiche uniche e richiedono metodi di elaborazione diversi. In genere, l'audio viene separato in gruppi che contengono il parlato e gruppi che non lo contengono:</p>
<ul>
<li>L'audio parlato viene elaborato dal riconoscimento vocale automatico.</li>
<li>L'audio non vocale, compreso l'audio musicale, gli effetti sonori e i segnali vocali digitalizzati, viene elaborato con sistemi di recupero audio.</li>
</ul>
<p>Questo articolo si concentra su come utilizzare un sistema di recupero audio per elaborare dati audio non vocali. Il riconoscimento del parlato non è trattato in questo articolo</p>
<h3 id="Audio-feature-extraction" class="common-anchor-header">Estrazione delle caratteristiche audio</h3><p>L'estrazione delle caratteristiche è la tecnologia più importante nei sistemi di recupero audio, in quanto consente la ricerca di similarità audio. I metodi di estrazione delle caratteristiche audio si dividono in due categorie:</p>
<ul>
<li>Modelli tradizionali di estrazione delle caratteristiche audio, come i modelli a miscela gaussiana (GMM) e i modelli di Markov nascosti (HMM);</li>
<li>modelli di estrazione di caratteristiche audio basati sull'apprendimento profondo, come le reti neurali ricorrenti (RNN), le reti di memoria a breve termine (LSTM), le strutture di codifica-decodifica, i meccanismi di attenzione, ecc.</li>
</ul>
<p>I modelli basati sull'apprendimento profondo hanno un tasso di errore inferiore di un ordine di grandezza rispetto ai modelli tradizionali e pertanto stanno guadagnando terreno come tecnologia di base nel campo dell'elaborazione dei segnali audio.</p>
<p>I dati audio sono solitamente rappresentati dalle caratteristiche audio estratte. Il processo di recupero cerca e confronta queste caratteristiche e attributi piuttosto che i dati audio stessi. Pertanto, l'efficacia del recupero di similarità audio dipende in larga misura dalla qualità dell'estrazione delle caratteristiche.</p>
<p>In questo articolo, per estrarre i vettori di caratteristiche vengono utilizzate <a href="https://github.com/qiuqiangkong/audioset_tagging_cnn">reti neurali audio pre-addestrate su larga scala per il riconoscimento di pattern audio (PANN</a> ), con un'accuratezza media (mAP) di 0,439 (Hershey et al., 2017).</p>
<p>Dopo aver estratto i vettori di caratteristiche dei dati audio, possiamo implementare l'analisi dei vettori di caratteristiche ad alte prestazioni utilizzando Milvus.</p>
<h3 id="Vector-similarity-search" class="common-anchor-header">Ricerca di similarità vettoriale</h3><p><a href="https://milvus.io/">Milvus</a> è un database vettoriale cloud-nativo e open-source costruito per gestire vettori di incorporazione generati da modelli di apprendimento automatico e reti neurali. È ampiamente utilizzato in scenari quali la computer vision, l'elaborazione del linguaggio naturale, la chimica computazionale, i sistemi di raccomandazione personalizzati e altro ancora.</p>
<p>Il diagramma seguente illustra il processo generale di ricerca della somiglianza utilizzando Milvus: <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/how_does_milvus_work_6926180543.png" alt="how-does-milvus-work.png" class="doc-image" id="how-does-milvus-work.png" /><span>how-does-milvus-work.png</span> </span></p>
<ol>
<li>I dati non strutturati vengono convertiti in vettori di caratteristiche dai modelli di deep learning e inseriti in Milvus.</li>
<li>Milvus memorizza e indicizza questi vettori di caratteristiche.</li>
<li>Su richiesta, Milvus cerca e restituisce i vettori più simili al vettore interrogato.</li>
</ol>
<h2 id="System-overview" class="common-anchor-header">Panoramica del sistema<button data-href="#System-overview" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Il sistema di recupero audio è composto principalmente da due parti: inserimento (linea nera) e ricerca (linea rossa).</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/audio_retrieval_system_663a911c95.png" alt="audio-retrieval-system.png" class="doc-image" id="audio-retrieval-system.png" />
   </span> <span class="img-wrapper"> <span>sistema di recupero audio.png</span> </span></p>
<p>Il set di dati di esempio utilizzato in questo progetto contiene suoni di giochi open-source e il codice è dettagliato nel <a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/audio_similarity_search">bootcamp di Milvus</a>.</p>
<h3 id="Step-1-Insert-data" class="common-anchor-header">Passo 1: inserire i dati</h3><p>Di seguito è riportato il codice di esempio per generare embeddings audio con il modello di inferenza PANNs pre-addestrato e inserirli in Milvus, che assegna un ID univoco a ogni embedding vettoriale.</p>
<pre><code translate="no"><span class="hljs-number">1</span> wav_name, vectors_audio = get_audio_embedding(audio_path)  
<span class="hljs-number">2</span> <span class="hljs-keyword">if</span> vectors_audio:    
<span class="hljs-number">3</span>     embeddings.<span class="hljs-built_in">append</span>(vectors_audio)  
<span class="hljs-number">4</span>     wav_names.<span class="hljs-built_in">append</span>(wav_name)  
<span class="hljs-number">5</span> ids_milvus = insert_vectors(milvus_client, table_name, embeddings)  
<span class="hljs-number">6</span> 
<button class="copy-code-btn"></button></code></pre>
<p>Gli <strong>ids_milvus</strong> restituiti vengono memorizzati insieme ad altre informazioni rilevanti (ad esempio, il <strong>nome del file wav</strong>) per i dati audio in un database MySQL per la successiva elaborazione.</p>
<pre><code translate="no">1 get_ids_correlation(ids_milvus, wav_name)  
2 load_data_to_mysql(conn, cursor, table_name)    
3  
<button class="copy-code-btn"></button></code></pre>
<h3 id="Step-2-Audio-search" class="common-anchor-header">Fase 2: Ricerca audio</h3><p>Milvus calcola la distanza del prodotto interno tra i vettori di caratteristiche pre-memorizzati e i vettori di caratteristiche in ingresso, estratti dai dati audio della query utilizzando il modello di inferenza PANNs, e restituisce gli <strong>ids_milvus</strong> dei vettori di caratteristiche simili, che corrispondono ai dati audio ricercati.</p>
<pre><code translate="no"><span class="hljs-number">1</span> _, vectors_audio = get_audio_embedding(audio_filename)    
<span class="hljs-number">2</span> results = search_vectors(milvus_client, table_name, [vectors_audio], METRIC_TYPE, TOP_K)  
<span class="hljs-number">3</span> ids_milvus = [x.<span class="hljs-built_in">id</span> <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> results[<span class="hljs-number">0</span>]]  
<span class="hljs-number">4</span> audio_name = search_by_milvus_ids(conn, cursor, ids_milvus, table_name)    
<span class="hljs-number">5</span>
<button class="copy-code-btn"></button></code></pre>
<h2 id="API-reference-and-demo" class="common-anchor-header">Riferimento API e demo<button data-href="#API-reference-and-demo" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="API" class="common-anchor-header">API</h3><p>Questo sistema di recupero audio è costruito con codice open-source. Le sue caratteristiche principali sono l'inserimento e la cancellazione di dati audio. Tutte le API possono essere visualizzate digitando <strong>127.0.0.1:<port></strong> /docs nel browser.</p>
<h3 id="Demo" class="common-anchor-header">Demo</h3><p>Abbiamo una <a href="https://zilliz.com/solutions">demo live</a> del sistema di ricerca audio basato su Milvus, che può essere provata con i propri dati audio.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/audio_search_demo_cae60625db.png" alt="audio-search-demo.png" class="doc-image" id="audio-search-demo.png" />
   </span> <span class="img-wrapper"> <span>audio-search-demo.png</span> </span></p>
<h2 id="Conclusion" class="common-anchor-header">Conclusione<button data-href="#Conclusion" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Vivendo nell'era dei big data, le persone trovano la loro vita piena di informazioni di ogni tipo. Per dare un senso migliore a queste informazioni, il tradizionale reperimento di testi non è più sufficiente. Oggi la tecnologia di recupero delle informazioni ha urgente bisogno di recuperare vari tipi di dati non strutturati, come video, immagini e audio.</p>
<p>I dati non strutturati, difficili da elaborare per i computer, possono essere convertiti in vettori di caratteristiche utilizzando modelli di deep learning. Questi dati convertiti possono essere facilmente elaborati dalle macchine, consentendoci di analizzare i dati non strutturati come i nostri predecessori non erano in grado di fare. Milvus, un database vettoriale open source, è in grado di elaborare in modo efficiente i vettori di caratteristiche estratti dai modelli di intelligenza artificiale e fornisce una serie di calcoli comuni di somiglianza vettoriale.</p>
<h2 id="References" class="common-anchor-header">Riferimenti<button data-href="#References" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Hershey, S., Chaudhuri, S., Ellis, D.P., Gemmeke, J.F., Jansen, A., Moore, R.C., Plakal, M., Platt, D., Saurous, R.A., Seybold, B. e Slaney, M., 2017, marzo. Architetture CNN per la classificazione audio su larga scala. In 2017 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 131-135, 2017.</p>
<h2 id="Dont-be-a-stranger" class="common-anchor-header">Non essere un estraneo<button data-href="#Dont-be-a-stranger" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li><p>Trova o contribuisci a Milvus su <a href="https://github.com/milvus-io/milvus/">GitHub</a>.</p></li>
<li><p>Interagite con la comunità via <a href="https://join.slack.com/t/milvusio/shared_invite/zt-e0u4qu3k-bI2GDNys3ZqX1YCJ9OM~GQ">Slack</a>.</p></li>
<li><p>Connettetevi con noi su <a href="https://twitter.com/milvusio">Twitter</a>.</p></li>
</ul>


Tecnologie di elaborazione

<custom-h1>MilMil: Un chatbot FAQ alimentato da Milvus che risponde alle domande su Milvus</custom-h1><p>La comunità open-source ha recentemente creato MilMil, un chatbot per le domande frequenti su Milvus costruito da e per gli utenti di Milvus. MilMil è disponibile 24 ore su 24, 7 giorni su 7, su <a href="https://milvus.io/">Milvus.io</a>, per rispondere alle domande più comuni su Milvus, il database vettoriale open-source più avanzato al mondo.</p>
<p>Questo sistema di risposta alle domande non solo aiuta a risolvere più rapidamente i problemi comuni che gli utenti di Milvus incontrano, ma identifica anche nuovi problemi basandosi sulle segnalazioni degli utenti. Il database di MilMil comprende le domande che gli utenti hanno posto da quando il progetto è stato rilasciato sotto licenza open-source nel 2019. Le domande sono archiviate in due raccolte, una per Milvus 1.x e precedenti e un'altra per Milvus 2.0.</p>
<p>MilMil è attualmente disponibile solo in inglese.</p>
<h2 id="How-does-MilMil-work" class="common-anchor-header">Come funziona MilMil?<button data-href="#How-does-MilMil-work" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>MilMil si basa sul modello <em>sentence-transformers/paraphrase-mpnet-base-v2</em> per ottenere rappresentazioni vettoriali del database delle FAQ, quindi Milvus viene utilizzato per il recupero della similarità vettoriale per restituire domande semanticamente simili.</p>
<p>Innanzitutto, i dati delle FAQ vengono convertiti in vettori semantici utilizzando BERT, un modello di elaborazione del linguaggio naturale (NLP). Le incorporazioni vengono poi inserite in Milvus e a ciascuna di esse viene assegnato un ID univoco. Infine, le domande e le risposte vengono inserite in PostgreSQL, un database relazionale, insieme ai loro ID vettoriali.</p>
<p>Quando gli utenti inviano una domanda, il sistema la converte in un vettore di caratteristiche utilizzando BERT. Poi cerca in Milvus i cinque vettori più simili al vettore della domanda e ne recupera gli ID. Infine, le domande e le risposte che corrispondono agli ID dei vettori recuperati vengono restituite all'utente.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/system_process_dca67a80a6.png" alt="system-process.png" class="doc-image" id="system-process.png" />
   </span> <span class="img-wrapper"> <span>sistema-processo.png</span> </span></p>
<p>Il progetto del <a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/question_answering_system">sistema di risposta alle domande</a> nel bootcamp di Milvus consente di esplorare il codice utilizzato per costruire chatbot AI.</p>
<h2 id="Ask-MilMil-about-Milvus" class="common-anchor-header">Chiedete a MilMil di Milvus<button data-href="#Ask-MilMil-about-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Per chattare con MilMil, visitate una qualsiasi pagina di <a href="https://milvus.io/">Milvus.io</a> e fate clic sull'icona dell'uccellino nell'angolo in basso a destra. Digitate la vostra domanda nella casella di testo e premete invio. MilMil vi risponderà in pochi millisecondi! Inoltre, l'elenco a discesa nell'angolo superiore sinistro può essere utilizzato per passare dalla documentazione tecnica alle diverse versioni di Milvus.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/milvus_chatbot_icon_f3c25708ca.png" alt="milvus-chatbot-icon.png" class="doc-image" id="milvus-chatbot-icon.png" />
   </span> <span class="img-wrapper"> <span>milvus-chatbot-icon.png</span> </span></p>
<p>Dopo aver inviato una domanda, il bot restituisce immediatamente tre domande semanticamente simili a quella richiesta. È possibile fare clic su "Vedi risposta" per sfogliare le potenziali risposte alla domanda, oppure su "Vedi altro" per visualizzare altre domande correlate alla ricerca. Se non è disponibile una risposta adeguata, fare clic su "Inserisci qui il tuo feedback" per porre la domanda insieme a un indirizzo e-mail. L'aiuto della comunità Milvus arriverà a breve!</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/chatbot_UI_0f4a7655d4.png" alt="chatbot_UI.png" class="doc-image" id="chatbot_ui.png" />
   </span> <span class="img-wrapper"> <span>chatbot_UI.png</span> </span></p>
<p>Provate MilMil e fateci sapere cosa ne pensate. Tutte le domande, i commenti o qualsiasi forma di feedback sono benvenuti.</p>
<h2 id="Dont-be-a-stranger" class="common-anchor-header">Non essere un estraneo<button data-href="#Dont-be-a-stranger" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li>Trovate o contribuite a Milvus su <a href="https://github.com/milvus-io/milvus/">GitHub</a>.</li>
<li>Interagite con la comunità via <a href="https://join.slack.com/t/milvusio/shared_invite/zt-e0u4qu3k-bI2GDNys3ZqX1YCJ9OM~GQ">Slack</a>.</li>
<li>Collegatevi con noi su <a href="https://twitter.com/milvusio">Twitter</a>.</li>
</ul>


MilMil Un chatbot FAQ alimentato da Milvus che risponde alle domande su Milvus

<custom-h1>Test e implementazione rapida di soluzioni di ricerca vettoriale con il Milvus 2.0 Bootcamp</custom-h1><p>Con il rilascio di Milvus 2.0, il team ha rinnovato il <a href="https://github.com/milvus-io/bootcamp">bootcamp</a> di Milvus. Il nuovo e migliorato bootcamp offre guide aggiornate ed esempi di codice più facili da seguire per una varietà di casi d'uso e di implementazioni. Inoltre, questa nuova versione è aggiornata per <a href="https://milvus.io/blog/milvus2.0-redefining-vector-database.md">Milvus 2.0</a>, una nuova versione del database vettoriale più avanzato al mondo.</p>
<h3 id="Stress-test-your-system-against-1M-and-100M-dataset-benchmarks" class="common-anchor-header">Stress test del sistema con benchmark da 1 milione e 100 milioni di dati</h3><p>La <a href="https://github.com/milvus-io/bootcamp/tree/master/benchmark_test">directory dei benchmark</a> contiene test di benchmark vettoriali da 1 milione e 100 milioni che indicano la reazione del sistema a insiemi di dati di dimensioni diverse.</p>
<p><br/></p>
<h3 id="Explore-and-build-popular-vector-similarity-search-solutions" class="common-anchor-header">Esplora e costruisci le soluzioni più diffuse per la ricerca di similarità vettoriale</h3><p>L'<a href="https://github.com/milvus-io/bootcamp/tree/master/solutions">elenco delle soluzioni</a> comprende i casi d'uso più diffusi di ricerca per similarità vettoriale. Ogni caso d'uso contiene una soluzione notebook e una soluzione distribuibile tramite docker. I casi d'uso includono:</p>
<ul>
<li><a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/reverse_image_search">Ricerca per similarità di immagini</a></li>
<li><a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/video_similarity_search">Ricerca per somiglianza di video</a></li>
<li><a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/audio_similarity_search">Ricerca di similarità audio</a></li>
<li><a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/recommendation_system">Sistema di raccomandazione</a></li>
<li><a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/molecular_similarity_search">Ricerca molecolare</a></li>
<li><a href="https://github.com/milvus-io/bootcamp/tree/master/solutions/question_answering_system">Sistema di risposta alle domande</a></li>
</ul>
<p><br/></p>
<h3 id="Quickly-deploy-a-fully-built-application-on-any-system" class="common-anchor-header">Distribuire rapidamente un'applicazione completamente costruita su qualsiasi sistema</h3><p>Le soluzioni di distribuzione rapida sono soluzioni dockerizzate che consentono agli utenti di distribuire applicazioni completamente costruite su qualsiasi sistema. Queste soluzioni sono ideali per brevi dimostrazioni, ma richiedono un lavoro supplementare di personalizzazione e comprensione rispetto ai notebook.</p>
<p><br/></p>
<h3 id="Use-scenario-specific-notebooks-to-easily-deploy-pre-configured-applications" class="common-anchor-header">Utilizzate i notebook specifici per lo scenario per distribuire facilmente le applicazioni preconfigurate.</h3><p>I notebook contengono un semplice esempio di implementazione di Milvus per risolvere il problema in un determinato caso d'uso. Ogni esempio può essere eseguito dall'inizio alla fine senza dover gestire file o configurazioni. Ogni quaderno è inoltre facile da seguire e modificabile, il che li rende file di base ideali per altri progetti.</p>
<p><br/></p>
<h3 id="Image-similarity-search-notebook-example" class="common-anchor-header">Esempio di notebook per la ricerca della somiglianza delle immagini</h3><p>La ricerca per somiglianza di immagini è una delle idee alla base di molte tecnologie diverse, tra cui il riconoscimento di oggetti da parte di automobili autonome. Questo esempio spiega come costruire facilmente programmi di computer vision con Milvus.</p>
<p>Questo quaderno ruota attorno a tre elementi:</p>
<ul>
<li>server Milvus</li>
<li>server Redis (per l'archiviazione dei metadati)</li>
<li>Modello Resnet-18 pre-addestrato.</li>
</ul>
<h4 id="Step-1-Download-required-packages" class="common-anchor-header">Passo 1: Scaricare i pacchetti necessari</h4><p>Iniziare a scaricare tutti i pacchetti necessari per questo progetto. Questo quaderno include una tabella che elenca i pacchetti da utilizzare.</p>
<pre><code translate="no">pip install -r requirements.txt
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-2-Server-startup" class="common-anchor-header">Passo 2: avvio del server</h4><p>Dopo aver installato i pacchetti, avviare i server e assicurarsi che entrambi funzionino correttamente. Assicurarsi di seguire le istruzioni corrette per l'avvio dei server <a href="https://milvus.io/docs/v2.0.x/install_standalone-docker.md">Milvus</a> e <a href="https://hub.docker.com/_/redis">Redis</a>.</p>
<h4 id="Step-3-Download-project-data" class="common-anchor-header">Passo 3: Scaricare i dati del progetto</h4><p>Per impostazione predefinita, questo blocco note estrae un frammento dei dati di VOCImage da usare come esempio, ma qualsiasi directory con immagini dovrebbe funzionare, purché segua la struttura dei file visibile all'inizio del blocco note.</p>
<pre><code translate="no">! gdown <span class="hljs-string">&quot;https://drive.google.com/u/1/uc?id=1jdudBiUu41kL-U5lhH3ari_WBRXyedWo&amp;export=download&quot;</span>
! tar -xf <span class="hljs-string">&#x27;VOCdevkit.zip&#x27;</span>
! <span class="hljs-built_in">rm</span> <span class="hljs-string">&#x27;VOCdevkit.zip&#x27;</span>
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-4-Connect-to-the-servers" class="common-anchor-header">Fase 4: connessione ai server</h4><p>In questo esempio, i server sono in esecuzione sulle porte predefinite su localhost.</p>
<pre><code translate="no">connections.<span class="hljs-title function_">connect</span>(host=<span class="hljs-string">&quot;127.0.0.1&quot;</span>, port=<span class="hljs-number">19537</span>)
red = redis.<span class="hljs-title class_">Redis</span>(host = <span class="hljs-string">&#x27;127.0.0.1&#x27;</span>, port=<span class="hljs-number">6379</span>, db=<span class="hljs-number">0</span>)
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-5-Create-a-collection" class="common-anchor-header">Passo 5: Creare una raccolta</h4><p>Dopo aver avviato i server, creare una collezione in Milvus per memorizzare tutti i vettori. In questo esempio, la dimensione è impostata a 512, la dimensione dell'output di resnet-18, e la metrica di similarità è impostata sulla distanza euclidea (L2). Milvus supporta diverse <a href="https://milvus.io/docs/v2.0.x/metric.md">metriche di somiglianza</a>.</p>
<pre><code translate="no">collection_name = <span class="hljs-string">&quot;image_similarity_search&quot;</span>
dim = <span class="hljs-number">512</span>
default_fields = [
    schema.FieldSchema(name=<span class="hljs-string">&quot;id&quot;</span>, dtype=DataType.INT64, is_primary=<span class="hljs-literal">True</span>, auto_id=<span class="hljs-literal">True</span>),
    schema.FieldSchema(name=<span class="hljs-string">&quot;vector&quot;</span>, dtype=DataType.FLOAT_VECTOR, dim=dim)
]
default_schema = schema.CollectionSchema(fields=default_fields, description=<span class="hljs-string">&quot;Image test collection&quot;</span>)
collection = Collection(name=collection_name, schema=default_schema)
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-6-Build-an-index-for-the-collection" class="common-anchor-header">Fase 6: Creare un indice per la raccolta</h4><p>Una volta creata la raccolta, è necessario creare un indice per essa. In questo caso, viene utilizzato l'indice IVF_SQ8. Questo indice richiede il parametro "nlist", che indica a Milvus quanti cluster creare all'interno di ciascun file di dati (segmento). <a href="https://milvus.io/docs/v2.0.x/index.md">Indici</a> diversi richiedono parametri diversi.</p>
<pre><code translate="no">default_index = {<span class="hljs-string">&quot;index_type&quot;</span>: <span class="hljs-string">&quot;IVF_SQ8&quot;</span>, <span class="hljs-string">&quot;params&quot;</span>: {<span class="hljs-string">&quot;nlist&quot;</span>: <span class="hljs-number">2048</span>}, <span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&quot;L2&quot;</span>}
collection.<span class="hljs-title function_">create_index</span>(field_name=<span class="hljs-string">&quot;vector&quot;</span>, index_params=default_index)
collection.<span class="hljs-title function_">load</span>()
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-7-Set-up-model-and-data-loader" class="common-anchor-header">Fase 7: Impostazione del modello e del caricatore di dati</h4><p>Dopo aver costruito l'indice IVF_SQ8, impostare la rete neurale e il caricatore di dati. La rete preaddestrata pytorch resnet-18 utilizzata in questo esempio è priva dell'ultimo strato, che comprime i vettori per la classificazione e può perdere informazioni preziose.</p>
<pre><code translate="no">model = torch.hub.load(<span class="hljs-string">&#x27;pytorch/vision:v0.9.0&#x27;</span>, <span class="hljs-string">&#x27;resnet18&#x27;</span>, pretrained=<span class="hljs-literal">True</span>)
encoder = torch.nn.Sequential(*(<span class="hljs-built_in">list</span>(model.children())[:-<span class="hljs-number">1</span>]))
<button class="copy-code-btn"></button></code></pre>
<p>Il dataset e il caricatore di dati devono essere modificati in modo che siano in grado di preelaborare e raggruppare le immagini, fornendo anche i percorsi dei file delle immagini. Questo può essere fatto con un dataloader torchvision leggermente modificato. Per la preelaborazione, le immagini devono essere ritagliate e normalizzate, poiché il modello resnet-18 è stato addestrato su un intervallo di dimensioni e valori specifici.</p>
<pre><code translate="no">dataset = ImageFolderWithPaths(data_dir, transform=transforms.Compose([
                                                transforms.Resize(256),
                                                transforms.CenterCrop(224),
                                                transforms.ToTensor(),
                                                transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])]))

dataloader = torch.utils.data.DataLoader(dataset, num_workers=0, batch_si
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-8-Insert-vectors-into-the-collection" class="common-anchor-header">Fase 8: inserimento dei vettori nella raccolta</h4><p>Una volta impostata la raccolta, le immagini possono essere elaborate e caricate nella raccolta creata. Per prima cosa le immagini vengono prelevate dal dataloader e passate attraverso il modello resnet-18. I vettori risultanti vengono inseriti nella collezione. Le incorporazioni vettoriali risultanti vengono poi inserite in Milvus, che restituisce un ID univoco per ogni vettore. Gli ID dei vettori e i percorsi dei file immagine vengono quindi inseriti come coppie chiave-valore nel server Redis.</p>
<pre><code translate="no">steps = <span class="hljs-built_in">len</span>(dataloader)
step = <span class="hljs-number">0</span>
<span class="hljs-keyword">for</span> inputs, labels, paths <span class="hljs-keyword">in</span> dataloader:
    <span class="hljs-keyword">with</span> torch.no_grad():
        output = encoder(inputs).squeeze()
        output = output.numpy()

    mr = collection.insert([output.tolist()])
    ids = mr.primary_keys
    <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-built_in">len</span>(ids)):
        red.<span class="hljs-built_in">set</span>(<span class="hljs-built_in">str</span>(ids[x]), paths[x])
    <span class="hljs-keyword">if</span> step%<span class="hljs-number">5</span> == <span class="hljs-number">0</span>:
        <span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Insert Step: &quot;</span> + <span class="hljs-built_in">str</span>(step) + <span class="hljs-string">&quot;/&quot;</span> + <span class="hljs-built_in">str</span>(steps))
    step += <span class="hljs-number">1</span>
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-9-Conduct-a-vector-similarity-search" class="common-anchor-header">Fase 9: condurre una ricerca di somiglianza tra i vettori</h4><p>Una volta inseriti tutti i dati in Milvus e Redis, è possibile eseguire la ricerca di similarità vettoriale vera e propria. In questo esempio, tre immagini selezionate a caso vengono estratte dal server Redis per una ricerca di similarità vettoriale.</p>
<pre><code translate="no">random_ids = [<span class="hljs-built_in">int</span>(red.randomkey()) <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-number">3</span>)]
search_images = [x.decode(<span class="hljs-string">&quot;utf-8&quot;</span>) <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> red.mget(random_ids)]
<button class="copy-code-btn"></button></code></pre>
<p>Queste immagini vengono prima sottoposte alla stessa pre-elaborazione descritta nel passaggio 7 e poi passate attraverso il modello resnet-18.</p>
<pre><code translate="no">transform_ops = transforms.Compose([
                transforms.Resize(<span class="hljs-number">256</span>),
                transforms.CenterCrop(<span class="hljs-number">224</span>),
                transforms.ToTensor(),
                transforms.Normalize(mean=[<span class="hljs-number">0.485</span>, <span class="hljs-number">0.456</span>, <span class="hljs-number">0.406</span>], std=[<span class="hljs-number">0.229</span>, <span class="hljs-number">0.224</span>, <span class="hljs-number">0.225</span>])])

embeddings = [transform_ops(Image.<span class="hljs-built_in">open</span>(x)) <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> search_images]
embeddings = torch.stack(embeddings, dim=<span class="hljs-number">0</span>)

<span class="hljs-keyword">with</span> torch.no_grad():
    embeddings = encoder(embeddings).squeeze().numpy()
<button class="copy-code-btn"></button></code></pre>
<p>Quindi le incorporazioni vettoriali risultanti vengono utilizzate per eseguire una ricerca. Per prima cosa, si impostano i parametri di ricerca, tra cui il nome della raccolta da cercare, nprobe (il numero di cluster da cercare) e top_k (il numero di vettori restituiti). In questo esempio, la ricerca dovrebbe essere molto veloce.</p>
<pre><code translate="no">search_params = {<span class="hljs-string">&quot;metric_type&quot;</span>: <span class="hljs-string">&quot;L2&quot;</span>, <span class="hljs-string">&quot;params&quot;</span>: {<span class="hljs-string">&quot;nprobe&quot;</span>: 32}}
start = time.time()
results = collection.search(embeddings, <span class="hljs-string">&quot;vector&quot;</span>, param=search_params, <span class="hljs-built_in">limit</span>=3, <span class="hljs-built_in">expr</span>=None)
end = time.time() - start
<button class="copy-code-btn"></button></code></pre>
<h4 id="Step-10-Image-search-results" class="common-anchor-header">Passo 10: Risultati della ricerca di immagini</h4><p>Gli ID dei vettori restituiti dalle query vengono utilizzati per trovare le immagini corrispondenti. Matplotlib viene quindi utilizzato per visualizzare i risultati della ricerca di immagini.<br/></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/pic1_c8652c7fae.png" alt="pic1.png" class="doc-image" id="pic1.png" />
   </span> <span class="img-wrapper"> <span>pic1.png</span> </span> <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/pic2_355b054161.png" alt="pic2.png" class="doc-image" id="pic2.png" /><span>pic2.png</span> </span> <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/pic3_01780c6aac.png" alt="pic3.png" class="doc-image" id="pic3.png" /><span>pic3.png</span> </span></p>
<p><br/></p>
<h3 id="Learn-how-to-deploy-Milvus-in-different-enviroments" class="common-anchor-header">Imparare a distribuire Milvus in ambienti diversi</h3><p>La <a href="https://github.com/milvus-io/bootcamp/tree/master/deployments">sezione "Deployments"</a> del nuovo bootcamp contiene tutte le informazioni per utilizzare Milvus in diversi ambienti e configurazioni. Include la distribuzione di Mishard, l'uso di Kubernetes con Milvus, il bilanciamento del carico e altro ancora. Ogni ambiente ha una guida dettagliata che spiega passo dopo passo come far funzionare Milvus in esso.</p>
<p><br/></p>
<h3 id="Dont-be-a-stranger" class="common-anchor-header">Non siate estranei</h3><ul>
<li>Leggete il nostro <a href="https://zilliz.com/blog">blog</a>.</li>
<li>Interagite con la nostra comunità open-source su <a href="https://join.slack.com/t/milvusio/shared_invite/zt-e0u4qu3k-bI2GDNys3ZqX1YCJ9OM~GQ">Slack</a>.</li>
<li>Utilizzate o contribuite a Milvus, il database vettoriale più diffuso al mondo, su <a href="https://github.com/milvus-io/milvus">Github</a>.</li>
</ul>


Testate e distribuite rapidamente le soluzioni di ricerca vettoriale con il Bootcamp Milvus 2.0

<custom-h1>Creare un'app per la pianificazione del guardaroba e dell'abbigliamento con Milvus</custom-h1><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/stylepedia_1_5f239a8d48.png" alt="stylepedia-1.png" class="doc-image" id="stylepedia-1.png" />
   </span> <span class="img-wrapper"> <span>stylepedia-1.png</span> </span></p>
<p>Fondata nel 2003, <a href="http://www.mozat.com/home">Mozat</a> è una start-up con sede a Singapore e uffici in Cina e Arabia Saudita. L'azienda è specializzata nella creazione di applicazioni per i social media, la comunicazione e lo stile di vita. <a href="https://stylepedia.com/">Stylepedia</a> è un'applicazione per il guardaroba realizzata da Mozat che aiuta gli utenti a scoprire nuovi stili e a connettersi con altre persone appassionate di moda. Le sue caratteristiche principali includono la possibilità di curare un armadio digitale, consigli di stile personalizzati, funzionalità per i social media e uno strumento di ricerca di immagini per trovare articoli simili a quelli visti online o nella vita reale.</p>
<p><a href="https://milvus.io">Milvus</a> è utilizzato per alimentare il sistema di ricerca delle immagini all'interno di Stylepedia. L'applicazione gestisce tre tipi di immagini: immagini di utenti, immagini di prodotti e fotografie di moda. Ogni immagine può includere uno o più elementi, complicando ulteriormente ogni ricerca. Per essere utile, un sistema di ricerca di immagini deve essere accurato, veloce e stabile, caratteristiche che costituiscono una solida base tecnica per l'aggiunta di nuove funzionalità all'app, come i suggerimenti di outfit e le raccomandazioni di contenuti di moda.</p>
<h2 id="System-overview" class="common-anchor-header">Panoramica del sistema<button data-href="#System-overview" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/stylepedia_system_process_8e7e2ab3e4.png" alt="stylepedia-system-process.png" class="doc-image" id="stylepedia-system-process.png" />
   </span> <span class="img-wrapper"> <span>stylepedia-sistema-processo.png</span> </span></p>
<p>Il sistema di ricerca delle immagini è suddiviso in componenti offline e online.</p>
<p>Offline, le immagini vengono vettorializzate e inserite in un database vettoriale (Milvus). Nel flusso di lavoro dei dati, le immagini rilevanti dei prodotti e le fotografie di moda vengono convertite in vettori di caratteristiche a 512 dimensioni utilizzando modelli di rilevamento degli oggetti e di estrazione delle caratteristiche. I dati vettoriali vengono poi indicizzati e aggiunti al database vettoriale.</p>
<p>Online, il database delle immagini viene interrogato e le immagini simili vengono restituite all'utente. Analogamente alla componente off-line, un'immagine interrogata viene elaborata dai modelli di rilevamento degli oggetti e di estrazione delle caratteristiche per ottenere un vettore di caratteristiche. Utilizzando il vettore di caratteristiche, Milvus cerca i vettori simili TopK e ottiene gli ID delle immagini corrispondenti. Infine, dopo la post-elaborazione (filtraggio, ordinamento, ecc.), viene restituita una raccolta di immagini simili all'immagine interrogata.</p>
<h2 id="Implementation" class="common-anchor-header">L'implementazione<button data-href="#Implementation" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>L'implementazione è suddivisa in quattro moduli:</p>
<ol>
<li>Rilevamento dell'indumento</li>
<li>Estrazione delle caratteristiche</li>
<li>Ricerca della somiglianza vettoriale</li>
<li>Post-elaborazione</li>
</ol>
<h3 id="Garment-detection" class="common-anchor-header">Rilevamento degli indumenti</h3><p>Nel modulo di rilevamento degli indumenti, come modello di rilevamento degli oggetti viene utilizzato <a href="https://pytorch.org/hub/ultralytics_yolov5/">YOLOv5</a>, un framework di rilevamento dei target basato su un'unica fase, per le sue dimensioni ridotte e l'inferenza in tempo reale. Offre quattro dimensioni di modello (YOLOv5s/m/l/x) e ogni dimensione specifica ha pro e contro. I modelli più grandi offrono prestazioni migliori (maggiore precisione), ma richiedono molta più potenza di calcolo e funzionano più lentamente. Poiché in questo caso gli oggetti sono relativamente grandi e facili da rilevare, il modello più piccolo, YOLOv5s, è sufficiente.</p>
<p>I capi di abbigliamento presenti in ogni immagine vengono riconosciuti e ritagliati per essere utilizzati come input del modello di estrazione delle caratteristiche per le elaborazioni successive. Contemporaneamente, il modello di rilevamento degli oggetti prevede anche la classificazione degli indumenti in base a classi predefinite (top, capispalla, pantaloni, gonne, abiti e tutine).</p>
<h3 id="Feature-extraction" class="common-anchor-header">Estrazione delle caratteristiche</h3><p>La chiave per la ricerca della somiglianza è il modello di estrazione delle caratteristiche. Le immagini dei vestiti ritagliate sono incorporate in vettori in virgola mobile a 512 dimensioni che rappresentano i loro attributi in un formato di dati numerici leggibili dalla macchina. La metodologia di <a href="https://github.com/Joon-Park92/Survey_of_Deep_Metric_Learning">apprendimento metrico profondo (DML)</a> è adottata con <a href="https://arxiv.org/abs/1905.11946">EfficientNet</a> come modello di base.</p>
<p>L'apprendimento metrico mira ad addestrare un modulo di estrazione di caratteristiche non lineari basato su CNN (o un codificatore) per ridurre la distanza tra i vettori di caratteristiche corrispondenti alla stessa classe di campioni e aumentare la distanza tra i vettori di caratteristiche corrispondenti a classi diverse di campioni. In questo scenario, la stessa classe di campioni si riferisce allo stesso capo di abbigliamento.</p>
<p>EfficientNet tiene conto sia della velocità che della precisione quando scala uniformemente l'ampiezza, la profondità e la risoluzione della rete. EfficientNet-B4 è utilizzata come rete di estrazione delle caratteristiche e l'output dell'ultimo strato completamente connesso è costituito dalle caratteristiche dell'immagine necessarie per condurre la ricerca di similarità vettoriale.</p>
<h3 id="Vector-similarity-search" class="common-anchor-header">Ricerca di similarità vettoriale</h3><p>Milvus è un database vettoriale open source che supporta le operazioni di creazione, lettura, aggiornamento e cancellazione (CRUD) e la ricerca in tempo quasi reale su insiemi di dati da mille miliardi di byte. In Stylepedia viene utilizzato per la ricerca di somiglianze vettoriali su larga scala perché è altamente elastico, stabile, affidabile e velocissimo. Milvus estende le funzionalità delle librerie di indici vettoriali più diffuse (Faiss, NMSLIB, Annoy, ecc.) e fornisce una serie di API semplici e intuitive che consentono agli utenti di selezionare il tipo di indice ideale per un determinato scenario.</p>
<p>Dati i requisiti dello scenario e la scala dei dati, gli sviluppatori di Stylepedia hanno utilizzato la distribuzione solo per CPU di Milvus abbinata all'indice HNSW. Due collezioni indicizzate, una per i prodotti e l'altra per le fotografie di moda, sono state costruite per alimentare diverse funzionalità dell'applicazione. Ciascuna raccolta è ulteriormente suddivisa in sei partizioni in base ai risultati di rilevamento e classificazione per restringere l'ambito di ricerca. Milvus esegue ricerche su decine di milioni di vettori in millisecondi, fornendo prestazioni ottimali e mantenendo bassi i costi di sviluppo e minimizzando il consumo di risorse.</p>
<h3 id="Post-processing" class="common-anchor-header">Post-elaborazione</h3><p>Per migliorare la somiglianza tra i risultati del reperimento delle immagini e l'immagine interrogata, utilizziamo il filtraggio dei colori e delle etichette chiave (lunghezza delle maniche, lunghezza dei vestiti, stile del colletto, ecc.) per filtrare le immagini non ammissibili. Inoltre, viene utilizzato un algoritmo di valutazione della qualità dell'immagine per assicurarsi che le immagini di qualità superiore vengano presentate per prime agli utenti.</p>
<h2 id="Application" class="common-anchor-header">Applicazione<button data-href="#Application" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><h3 id="User-uploads-and-image-search" class="common-anchor-header">Caricamento degli utenti e ricerca delle immagini</h3><p>Gli utenti possono scattare foto dei propri abiti e caricarle nell'armadio digitale di Stylepedia, per poi recuperare le immagini dei prodotti più simili a quelle caricate.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/stylepedia_search_results_0568e20dc0.png" alt="stylepedia-search-results.png" class="doc-image" id="stylepedia-search-results.png" />
   </span> <span class="img-wrapper"> <span>stylepedia-search-results.png</span> </span></p>
<h3 id="Outfit-suggestions" class="common-anchor-header">Suggerimenti di abbigliamento</h3><p>Effettuando una ricerca per similarità sul database di Stylepedia, gli utenti possono trovare fotografie di moda che contengono uno specifico articolo di moda. Potrebbe trattarsi di nuovi capi che qualcuno sta pensando di acquistare o di qualcosa della propria collezione che potrebbe essere indossato o abbinato in modo diverso. Poi, grazie al raggruppamento degli articoli a cui è spesso abbinato, vengono generati suggerimenti per l'outfit. Ad esempio, una giacca nera da motociclista può essere abbinata a diversi capi, come un paio di jeans skinny neri. Gli utenti possono quindi sfogliare le fotografie di moda in cui si verifica questo abbinamento nella formula selezionata.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/stylepedia_jacket_outfit_e84914da9e.png" alt="stylepedia-jacket-outfit.png" class="doc-image" id="stylepedia-jacket-outfit.png" />
   </span> <span class="img-wrapper"> <span>stylepedia-jacket-outfit.png</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/stylepedia_jacket_snapshot_25f53cc09b.png" alt="stylepedia-jacket-snapshot.png" class="doc-image" id="stylepedia-jacket-snapshot.png" />
   </span> <span class="img-wrapper"> <span>stylepedia-jacket-snapshot.png</span> </span></p>
<h3 id="Fashion-photograph-recommendations" class="common-anchor-header">Raccomandazioni sulle fotografie di moda</h3><p>In base alla cronologia di navigazione dell'utente, ai suoi gusti e al contenuto del suo armadio digitale, il sistema calcola la somiglianza e fornisce raccomandazioni personalizzate di fotografie di moda che potrebbero essere di interesse.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/stylepedia_user_wardrobe_6770c856b9.png" alt="stylepedia-user-wardrobe.png" class="doc-image" id="stylepedia-user-wardrobe.png" />
   </span> <span class="img-wrapper"> <span>stylepedia-user-wardrobe.png</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/stylepedia_streetsnap_rec_901601a34d.png" alt="stylepedia-streetsnap-rec.png" class="doc-image" id="stylepedia-streetsnap-rec.png" />
   </span> <span class="img-wrapper"> <span>stylepedia-streetsnap-rec.png</span> </span></p>
<p>Combinando le metodologie di deep learning e di computer vision, Mozat è riuscita a costruire un sistema di ricerca della somiglianza delle immagini veloce, stabile e accurato, utilizzando Milvus per alimentare diverse funzioni dell'app Stylepedia.</p>
<h2 id="Dont-be-a-stranger" class="common-anchor-header">Non essere un estraneo<button data-href="#Dont-be-a-stranger" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><ul>
<li>Trovate o contribuite a Milvus su <a href="https://github.com/milvus-io/milvus/">GitHub</a>.</li>
<li>Interagite con la comunità via <a href="https://join.slack.com/t/milvusio/shared_invite/zt-e0u4qu3k-bI2GDNys3ZqX1YCJ9OM~GQ">Slack</a>.</li>
<li>Connettetevi con noi su <a href="https://twitter.com/milvusio">Twitter</a>.</li>
</ul>


Panoramica del sistema

<custom-h1>Costruire un cluster Milvus basato su JuiceFS</custom-h1><p>Le collaborazioni tra le comunità open-source sono una cosa magica. Non solo i volontari appassionati, intelligenti e creativi mantengono innovative le soluzioni open-source, ma lavorano anche per unire strumenti diversi in modi interessanti e utili. <a href="https://milvus.io/">Milvus</a>, il database vettoriale più diffuso al mondo, e <a href="https://github.com/juicedata/juicefs">JuiceFS</a>, un file system condiviso progettato per ambienti cloud-native, sono stati uniti in questo spirito dalle rispettive comunità open-source. Questo articolo spiega cos'è JuiceFS, come costruire un cluster Milvus basato sullo storage di file condivisi JuiceFS e le prestazioni che gli utenti possono aspettarsi utilizzando questa soluzione.</p>
<h2 id="What-is-JuiceFS" class="common-anchor-header"><strong>Che cos'è JuiceFS?</strong><button data-href="#What-is-JuiceFS" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>JuiceFS è un file system POSIX distribuito open-source ad alte prestazioni, che può essere costruito sopra Redis e S3. È stato progettato per ambienti cloud-nativi e supporta la gestione, l'analisi, l'archiviazione e il backup di dati di qualsiasi tipo. JuiceFS è comunemente usato per risolvere le sfide dei big data, per costruire applicazioni di intelligenza artificiale (AI) e per la raccolta dei log. Il sistema supporta anche la condivisione dei dati tra più client e può essere utilizzato direttamente come storage condiviso in Milvus.</p>
<p>Dopo che i dati e i relativi metadati sono stati memorizzati rispettivamente su object storage e <a href="https://redis.io/">Redis</a>, JuiceFS funge da middleware stateless. La condivisione dei dati è realizzata consentendo alle diverse applicazioni di collegarsi l'una all'altra senza problemi attraverso un'interfaccia standard del file system. JuiceFS si affida a Redis, un data store in-memory open-source, per la memorizzazione dei metadati. Redis viene utilizzato perché garantisce l'atomicità e fornisce operazioni sui metadati ad alte prestazioni. Tutti i dati sono memorizzati in un archivio di oggetti attraverso il client JuiceFS. Il diagramma dell'architettura è il seguente:</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/juicefs_architecture_2023b37a4e.png" alt="juicefs-architecture.png" class="doc-image" id="juicefs-architecture.png" />
   </span> <span class="img-wrapper"> <span>juicefs-architecture.png</span> </span></p>
<h2 id="Build-a-Milvus-cluster-based-on-JuiceFS" class="common-anchor-header"><strong>Costruire un cluster Milvus basato su JuiceFS</strong><button data-href="#Build-a-Milvus-cluster-based-on-JuiceFS" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Un cluster Milvus costruito con JuiceFS (si veda il diagramma dell'architettura qui sotto) funziona dividendo le richieste a monte utilizzando Mishards, un middleware di sharding del cluster, per distribuire le richieste a cascata ai suoi sottomoduli. Quando si inseriscono dati, Mishards alloca le richieste a monte al nodo di scrittura Milvus, che memorizza i dati appena inseriti in JuiceFS. Quando legge i dati, Mishards li carica da JuiceFS attraverso un nodo di lettura Milvus nella memoria per l'elaborazione, quindi raccoglie e restituisce i risultati dai sottoservizi a monte.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/milvus_cluster_built_with_juicefs_3a43cd262c.png" alt="milvus-cluster-built-with-juicefs.png" class="doc-image" id="milvus-cluster-built-with-juicefs.png" />
   </span> <span class="img-wrapper"> <span>milvus-cluster-costruito-con-juicefs.png</span> </span></p>
<h3 id="Step-1-Launch-MySQL-service" class="common-anchor-header"><strong>Passo 1: Avviare il servizio MySQL</strong></h3><p>Avviare il servizio MySQL su <strong>qualsiasi</strong> nodo del cluster. Per maggiori dettagli, vedere <a href="https://milvus.io/docs/v1.1.0/data_manage.md">Gestire i metadati con MySQL</a>.</p>
<h3 id="Step-2-Create-a-JuiceFS-file-system" class="common-anchor-header"><strong>Passo 2: creare un file system JuiceFS</strong></h3><p>A scopo dimostrativo, viene utilizzato il programma binario precompilato JuiceFS. Scaricate il <a href="https://github.com/juicedata/juicefs/releases">pacchetto di installazione</a> corretto per il vostro sistema e seguite la <a href="https://github.com/juicedata/juicefs-quickstart">Guida rapida di</a> JuiceFS per istruzioni dettagliate sull'installazione. Per creare un file system JuiceFS, impostare prima un database Redis per l'archiviazione dei metadati. Per le distribuzioni su cloud pubblico, si consiglia di ospitare il servizio Redis sullo stesso cloud dell'applicazione. Inoltre, configurare lo storage di oggetti per JuiceFS. In questo esempio viene utilizzato Azure Blob Storage, ma JuiceFS supporta quasi tutti i servizi a oggetti. Selezionare il servizio di archiviazione a oggetti più adatto alle esigenze del proprio scenario.</p>
<p>Dopo aver configurato il servizio Redis e l'archiviazione a oggetti, formattare un nuovo file system e montare JuiceFS nella directory locale:</p>
<pre><code translate="no">1 $  <span class="hljs-built_in">export</span> AZURE_STORAGE_CONNECTION_STRING=<span class="hljs-string">&quot;DefaultEndpointsProtocol=https;AccountName=XXX;AccountKey=XXX;EndpointSuffix=core.windows.net&quot;</span>
2 $ ./juicefs format \
3     --storage wasb \
4     --bucket https://&lt;container&gt; \
5     ... \
6     localhost <span class="hljs-built_in">test</span> <span class="hljs-comment">#format</span>
7 $ ./juicefs mount -d localhost ~/jfs  <span class="hljs-comment">#mount</span>
8
<button class="copy-code-btn"></button></code></pre>
<blockquote>
<p>Se il server Redis non è in esecuzione localmente, sostituire localhost con il seguente indirizzo: <code translate="no">redis://&lt;user:password&gt;@host:6379/1</code>.</p>
</blockquote>
<p>Quando l'installazione riesce, JuiceFS restituisce la pagina di storage condiviso <strong>/root/jfs</strong>.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/installation_success_9d05279ecd.png" alt="installation-success.png" class="doc-image" id="installation-success.png" />
   </span> <span class="img-wrapper"> <span>installazione-successo.png</span> </span></p>
<h3 id="Step-3-Start-Milvus" class="common-anchor-header"><strong>Passo 3: Avviare Milvus</strong></h3><p>Tutti i nodi del cluster devono avere installato Milvus e ogni nodo Milvus deve essere configurato con i permessi di lettura o scrittura. Solo un nodo Milvus può essere configurato come nodo di scrittura, mentre gli altri devono essere nodi di lettura. Per prima cosa, impostare i parametri delle sezioni <code translate="no">cluster</code> e <code translate="no">general</code> nel file di configurazione del sistema Milvus <strong>server_config.yaml</strong>:</p>
<p><strong>Sezione</strong> <code translate="no">cluster</code></p>
<table>
<thead>
<tr><th style="text-align:left"><strong>Parametro</strong></th><th style="text-align:left"><strong>Descrizione</strong></th><th style="text-align:left"><strong>Configurazione</strong></th></tr>
</thead>
<tbody>
<tr><td style="text-align:left"><code translate="no">enable</code></td><td style="text-align:left">Se abilitare la modalità cluster</td><td style="text-align:left"><code translate="no">true</code></td></tr>
<tr><td style="text-align:left"><code translate="no">role</code></td><td style="text-align:left">Ruolo di distribuzione Milvus</td><td style="text-align:left"><code translate="no">rw</code>/<code translate="no">ro</code></td></tr>
</tbody>
</table>
<p><strong>Sezione</strong> <code translate="no">general</code></p>
<pre><code translate="no"><span class="hljs-comment"># meta_uri is the URI for metadata storage, using MySQL (for Milvus Cluster). Format: mysql://&lt;username:password&gt;@host:port/database</span>
general:
  timezone: UTC+8
  meta_uri: mysql://root:milvusroot@host:3306/milvus
<button class="copy-code-btn"></button></code></pre>
<p>Durante l'installazione, il percorso di archiviazione condivisa JuiceFS configurato è <strong>/root/jfs/milvus/db</strong>.</p>
<pre><code translate="no">1 <span class="hljs-built_in">sudo</span> docker run -d --name milvus_gpu_1.0.0 --gpus all \
2 -p 19530:19530 \
3 -p 19121:19121 \
4 -v /root/jfs/milvus/db:/var/lib/milvus/db \  <span class="hljs-comment">#/root/jfs/milvus/db is the shared storage path</span>
5 -v /home/<span class="hljs-variable">$USER</span>/milvus/conf:/var/lib/milvus/conf \
6 -v /home/<span class="hljs-variable">$USER</span>/milvus/logs:/var/lib/milvus/logs \
7 -v /home/<span class="hljs-variable">$USER</span>/milvus/wal:/var/lib/milvus/wal \
8 milvusdb/milvus:1.0.0-gpu-d030521-1ea92e
9
<button class="copy-code-btn"></button></code></pre>
<p>Al termine dell'installazione, avviare Milvus e verificare che sia stato lanciato correttamente. Infine, avviare il servizio Mishards su <strong>uno qualsiasi</strong> dei nodi del cluster. L'immagine seguente mostra un avvio riuscito di Mishards. Per ulteriori informazioni, consultare l'<a href="https://github.com/milvus-io/bootcamp/tree/new-bootcamp/deployments/juicefs">esercitazione</a> su GitHub.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/mishards_launch_success_921695d3a8.png" alt="mishards-launch-success.png" class="doc-image" id="mishards-launch-success.png" />
   </span> <span class="img-wrapper"> <span>mishards-lancio-successo.png</span> </span></p>
<h2 id="Performance-benchmarks" class="common-anchor-header"><strong>Parametri di riferimento delle prestazioni</strong><button data-href="#Performance-benchmarks" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Le soluzioni di storage condiviso sono solitamente implementate da sistemi NAS (Network Attached Storage). I tipi di sistemi NAS comunemente utilizzati includono Network File System (NFS) e Server Message Block (SMB). Le piattaforme cloud pubbliche forniscono generalmente servizi di archiviazione gestiti compatibili con questi protocolli, come Amazon Elastic File System (EFS).</p>
<p>A differenza dei sistemi NAS tradizionali, JuiceFS è implementato sulla base di Filesystem in Userspace (FUSE), dove tutte le operazioni di lettura e scrittura dei dati avvengono direttamente sul lato dell'applicazione, riducendo ulteriormente la latenza di accesso. JuiceFS presenta inoltre caratteristiche esclusive che non si trovano in altri sistemi NAS, come la compressione dei dati e la cache.</p>
<p>I test di benchmark rivelano che JuiceFS offre notevoli vantaggi rispetto a EFS. Nel benchmark dei metadati (Figura 1), JuiceFS registra operazioni di I/O al secondo (IOPS) fino a dieci volte superiori rispetto a EFS. Inoltre, il benchmark del throughput I/O (Figura 2) mostra che JuiceFS supera EFS in scenari sia a singolo che a multiplo lavoro.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/performance_benchmark_1_b7fcbb4439.png" alt="performance-benchmark-1.png" class="doc-image" id="performance-benchmark-1.png" />
   </span> <span class="img-wrapper"> <span>performance-benchmark-1.png</span> </span></p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/performance_benchmark_2_e311098123.png" alt="performance-benchmark-2.png" class="doc-image" id="performance-benchmark-2.png" />
   </span> <span class="img-wrapper"> <span>performance-benchmark-2.png</span> </span></p>
<p>Inoltre, i test di benchmark mostrano che il tempo di recupero della prima query, o il tempo per caricare i dati appena inseriti dal disco alla memoria, per il cluster Milvus basato su JuiceFS è di soli 0,032 secondi in media, indicando che i dati vengono caricati dal disco alla memoria quasi istantaneamente. Per questo test, il tempo di recupero della prima query è stato misurato utilizzando un milione di righe di dati vettoriali a 128 dimensioni inseriti in batch di 100k a intervalli di 1-8 secondi.</p>
<p>JuiceFS è un sistema di archiviazione file condiviso stabile e affidabile e il cluster Milvus costruito su JuiceFS offre prestazioni elevate e capacità di archiviazione flessibile.</p>
<h2 id="Learn-more-about-Milvus" class="common-anchor-header"><strong>Per saperne di più su Milvus</strong><button data-href="#Learn-more-about-Milvus" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus è uno strumento potente in grado di alimentare una vasta gamma di applicazioni di intelligenza artificiale e di ricerca di similarità vettoriale. Per saperne di più sul progetto, consultate le seguenti risorse:</p>
<ul>
<li>Leggete il nostro <a href="https://zilliz.com/blog">blog</a>.</li>
<li>Interagire con la nostra comunità open-source su <a href="https://join.slack.com/t/milvusio/shared_invite/zt-e0u4qu3k-bI2GDNys3ZqX1YCJ9OM~GQ">Slack</a>.</li>
<li>Utilizzate o contribuite al database vettoriale più diffuso al mondo su <a href="https://github.com/milvus-io/milvus/">GitHub</a>.</li>
<li>Testate e distribuite rapidamente le applicazioni AI con il nostro nuovo <a href="https://github.com/milvus-io/bootcamp">bootcamp</a>.</li>
</ul>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/writer_bio_changjian_gao_68018f7716.png" alt="writer bio-changjian gao.png" class="doc-image" id="writer-bio-changjian-gao.png" />
   </span> <span class="img-wrapper"> <span>bio scrittore-changjian gao.png</span> </span> <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/writer_bio_jingjing_jia_a85d1c2e3b.png" alt="writer bio-jingjing jia.png" class="doc-image" id="writer-bio-jingjing-jia.png" /><span>bio scrittore-jingjing jia.png</span> </span></p>


Che cos'è JuiceFS?

<custom-h1>Creazione di un sistema intelligente di raccomandazione delle notizie all'interno dell'app Sohu News</custom-h1><p>Con il <a href="https://www.socialmediatoday.com/news/new-research-shows-that-71-of-americans-now-get-news-content-via-social-pl/593255/">71% degli americani</a> che ricevono le raccomandazioni di notizie dalle piattaforme sociali, i contenuti personalizzati sono diventati rapidamente il modo in cui vengono scoperti i nuovi media. Sia che le persone cerchino argomenti specifici, sia che interagiscano con i contenuti consigliati, tutto ciò che gli utenti vedono è ottimizzato dagli algoritmi per migliorare il tasso di clic (CTR), il coinvolgimento e la pertinenza. Sohu è un gruppo cinese di media, video, ricerca e giochi online quotato al NASDAQ. Ha sfruttato <a href="https://milvus.io/">Milvus</a>, un database vettoriale open-source realizzato da <a href="https://zilliz.com/">Zilliz</a>, per costruire un motore di ricerca vettoriale semantico all'interno della sua app di notizie. Questo articolo spiega come l'azienda ha utilizzato i profili degli utenti per affinare nel tempo le raccomandazioni di contenuti personalizzati, migliorando l'esperienza e il coinvolgimento degli utenti.</p>
<h2 id="Recommending-content-using-semantic-vector-search" class="common-anchor-header">Raccomandare contenuti utilizzando la ricerca vettoriale semantica<button data-href="#Recommending-content-using-semantic-vector-search" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>I profili degli utenti di Sohu News sono costruiti a partire dalla cronologia di navigazione e vengono modificati man mano che gli utenti cercano e interagiscono con i contenuti di notizie. Il sistema di raccomandazione di Sohu utilizza la ricerca vettoriale semantica per trovare articoli di notizie rilevanti. Il sistema funziona identificando una serie di tag che dovrebbero essere di interesse per ogni utente in base alla cronologia di navigazione. Quindi cerca rapidamente gli articoli pertinenti e ordina i risultati in base alla popolarità (misurata dal CTR medio), prima di servirli agli utenti.</p>
<p>Solo il New York Times pubblica <a href="https://www.theatlantic.com/technology/archive/2016/05/how-many-stories-do-newspapers-publish-per-day/483845/">230 contenuti</a> al giorno, il che dà un'idea dell'entità dei nuovi contenuti che un sistema di raccomandazione efficace deve essere in grado di elaborare. L'acquisizione di grandi volumi di notizie richiede una ricerca di similarità al millisecondo e una corrispondenza oraria dei tag ai nuovi contenuti. Sohu ha scelto Milvus perché elabora in modo efficiente e accurato enormi insiemi di dati, riduce l'uso della memoria durante la ricerca e supporta implementazioni ad alte prestazioni.</p>
<h2 id="Understanding-a-news-recommendation-system-workflow" class="common-anchor-header">Comprendere il flusso di lavoro di un sistema di raccomandazione delle notizie<button data-href="#Understanding-a-news-recommendation-system-workflow" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>La raccomandazione di contenuti basata sulla ricerca semantica vettoriale di Sohu si basa sul Deep Structured Semantic Model (DSSM), che utilizza due reti neurali per rappresentare le query degli utenti e gli articoli di notizie come vettori. Il modello calcola la somiglianza del coseno dei due vettori semantici, quindi il gruppo di notizie più simile viene inviato al pool di candidati alla raccomandazione. Successivamente, gli articoli di notizie vengono classificati in base al loro CTR stimato e quelli con il più alto tasso di click-through previsto vengono mostrati agli utenti.</p>
<h3 id="Encoding-news-articles-into-semantic-vectors-with-BERT-as-service" class="common-anchor-header">Codifica degli articoli di notizie in vettori semantici con BERT-as-service</h3><p>Per codificare gli articoli di notizie in vettori semantici, il sistema utilizza lo strumento <a href="https://github.com/hanxiao/bert-as-service.git">BERT-as-service</a>. Se il numero di parole di un contenuto supera i 512 durante l'utilizzo di questo modello, si verifica una perdita di informazioni durante il processo di incorporazione. Per ovviare a questo problema, il sistema estrae prima un riassunto e lo codifica in un vettore semantico a 768 dimensioni. Quindi vengono estratti i due argomenti più rilevanti da ogni articolo di cronaca e vengono identificati i corrispondenti vettori di argomenti pre-addestrati (200 dimensioni) in base all'ID dell'argomento. Successivamente, i vettori argomento vengono uniti al vettore semantico a 768 dimensioni estratto dal sommario dell'articolo, formando un vettore semantico a 968 dimensioni.</p>
<p>I nuovi contenuti arrivano continuamente attraverso Kafta e vengono convertiti in vettori semantici prima di essere inseriti nel database Milvus.</p>
<h3 id="Extracting-semantically-similar-tags-from-user-profiles-with-BERT-as-service" class="common-anchor-header">Estrazione di tag semanticamente simili dai profili degli utenti con BERT-as-service</h3><p>L'altra rete neurale del modello è il vettore semantico degli utenti. I tag semanticamente simili (ad esempio, coronavirus, covid, COVID-19, pandemia, nuovo ceppo, polmonite) vengono estratti dai profili degli utenti in base agli interessi, alle query di ricerca e alla cronologia di navigazione. L'elenco dei tag acquisiti viene ordinato per peso e i primi 200 vengono suddivisi in diversi gruppi semantici. Le permutazioni dei tag all'interno di ciascun gruppo semantico vengono utilizzate per generare nuove frasi di tag, che vengono poi codificate in vettori semantici attraverso il servizio BERT-as-service.</p>
<p>Per ogni profilo utente, gli insiemi di frasi tag hanno un <a href="https://github.com/baidu/Familia">corrispondente insieme di argomenti</a>, contrassegnati da un peso che indica il livello di interesse dell'utente. I primi due argomenti di tutti gli argomenti rilevanti vengono selezionati e codificati dal modello di apprendimento automatico (ML) per essere inseriti nel vettore semantico dei tag corrispondente, formando un vettore semantico utente a 968 dimensioni. Anche se il sistema genera gli stessi tag per utenti diversi, i diversi pesi per i tag e gli argomenti corrispondenti, così come la varianza esplicita tra i vettori di argomenti di ciascun utente, assicurano che le raccomandazioni siano uniche.</p>
<p>Il sistema è in grado di fornire raccomandazioni personalizzate sulle notizie calcolando la similarità del coseno dei vettori semantici estratti sia dai profili degli utenti sia dagli articoli di notizie.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Sohu01_1e466fe0c3.jpg" alt="Sohu01.jpg" class="doc-image" id="sohu01.jpg" />
   </span> <span class="img-wrapper"> <span>Sohu01.jpg</span> </span></p>
<h3 id="Computing-new-semantic-user-profile-vectors-and-inserting-them-to-Milvus" class="common-anchor-header">Calcolo di nuovi vettori semantici del profilo utente e loro inserimento in Milvus</h3><p>I vettori del profilo semantico degli utenti vengono calcolati ogni giorno, con i dati del periodo precedente di 24 ore elaborati la sera successiva. I vettori vengono inseriti singolarmente in Milvus e sottoposti al processo di interrogazione per fornire agli utenti risultati rilevanti sulle notizie. Il contenuto delle notizie è intrinsecamente attuale, per cui il calcolo deve essere eseguito ogni ora per generare un newsfeed attuale che contenga contenuti con un alto tasso di clic previsto e rilevanti per gli utenti. I contenuti delle notizie sono inoltre ordinati in partizioni per data e le notizie vecchie vengono eliminate ogni giorno.</p>
<h3 id="Decreasing-semantic-vector-extraction-time-from-days-to-hours" class="common-anchor-header">Riduzione del tempo di estrazione dei vettori semantici da giorni a ore</h3><p>Il recupero dei contenuti utilizzando i vettori semantici richiede la conversione di decine di milioni di frasi di tag in vettori semantici ogni giorno. Si tratta di un processo lungo che richiederebbe giorni per essere completato anche se eseguito con unità di elaborazione grafica (GPU), che accelerano questo tipo di calcolo. Per superare questo problema tecnico, i vettori semantici dell'incorporazione precedente devono essere ottimizzati in modo che, quando emergono frasi di tag simili, i vettori semantici corrispondenti vengano recuperati direttamente.</p>
<p>Il vettore semantico dell'insieme di frasi tag esistente viene memorizzato e un nuovo insieme di frasi tag generato giornalmente viene codificato in vettori MinHash. La <a href="https://milvus.io/docs/v1.1.1/metric.md">distanza di Jaccard</a> viene utilizzata per calcolare la somiglianza tra il vettore MinHash della nuova frase tag e il vettore della frase tag salvata. Se la distanza di Jaccard supera una soglia predefinita, i due set sono considerati simili. Se la soglia di somiglianza è soddisfatta, le nuove frasi possono sfruttare le informazioni semantiche delle incorporazioni precedenti. Secondo i test, una distanza superiore a 0,8 dovrebbe garantire un'accuratezza sufficiente per la maggior parte delle situazioni.</p>
<p>Grazie a questo processo, la conversione giornaliera delle decine di milioni di vettori di cui sopra si riduce da giorni a circa due ore. Anche se altri metodi di memorizzazione dei vettori semantici potrebbero essere più appropriati a seconda dei requisiti specifici del progetto, il calcolo della somiglianza tra due frasi tag utilizzando la distanza di Jaccard in un database Milvus rimane un metodo efficiente e accurato in un'ampia varietà di scenari.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/Sohu02_d50fccc538.jpg" alt="Sohu02.jpg" class="doc-image" id="sohu02.jpg" />
   </span> <span class="img-wrapper"> <span>Sohu02.jpg</span> </span></p>
<h2 id="Overcoming-bad-cases-of-short-text-classification" class="common-anchor-header">Superare i "casi negativi" della classificazione dei testi brevi<button data-href="#Overcoming-bad-cases-of-short-text-classification" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Quando si classifica un testo di notizie, gli articoli brevi hanno meno caratteristiche da estrarre rispetto a quelli più lunghi. Per questo motivo, gli algoritmi di classificazione falliscono quando contenuti di lunghezza diversa vengono sottoposti allo stesso classificatore. Milvus aiuta a risolvere questo problema cercando più informazioni di classificazione di testi lunghi con semantica simile e punteggi affidabili, quindi utilizzando un meccanismo di voto per modificare la classificazione dei testi brevi.</p>
<h3 id="Identifying-and-resolving-misclassified-short-text" class="common-anchor-header">Identificare e risolvere gli errori di classificazione del testo breve</h3><p>La classificazione precisa di ogni articolo di cronaca è fondamentale per fornire raccomandazioni utili sui contenuti. Poiché gli articoli brevi hanno meno caratteristiche, l'applicazione dello stesso classificatore a notizie di lunghezza diversa comporta un tasso di errore più elevato per la classificazione dei testi brevi. L'etichettatura umana è troppo lenta e imprecisa per questo compito, quindi BERT-as-service e Milvus vengono utilizzati per identificare rapidamente i testi brevi mal classificati in lotti, riclassificarli correttamente e utilizzare i lotti di dati come corpus per l'addestramento contro questo problema.</p>
<p>BERT-as-service viene utilizzato per codificare in vettori semantici un numero totale di cinque milioni di articoli di notizie lunghe con un punteggio del classificatore superiore a 0,9. Dopo aver inserito gli articoli di testo lunghi in Milvus, le notizie di testo brevi vengono codificate in vettori semantici. Ogni vettore semantico di notizie brevi viene utilizzato per interrogare il database Milvus e ottenere i primi 20 articoli di notizie lunghe con la più alta somiglianza di coseno con le notizie brevi di destinazione. Se 18 delle 20 notizie lunghe più simili dal punto di vista semantico sembrano rientrare nella stessa classificazione e questa differisce da quella delle notizie brevi interrogate, la classificazione delle notizie brevi è considerata errata e deve essere corretta per allinearsi ai 18 articoli di notizie lunghe.</p>
<p>Questo processo identifica e corregge rapidamente le classificazioni imprecise dei testi brevi. Le statistiche di campionamento casuale mostrano che dopo la correzione delle classificazioni dei testi brevi, l'accuratezza complessiva della classificazione del testo supera il 95%. Sfruttando la classificazione di testi lunghi ad alta affidabilità per correggere la classificazione di testi brevi, la maggior parte dei casi di cattiva classificazione viene corretta in breve tempo. Questo offre anche un buon corpus per l'addestramento di un classificatore di testi brevi.</p>
<p>![Sohu03.jpg](https://assets.zilliz.com/Sohu03_a43074cf5f.jpg "Flowchart of discovery of "bad cases" of short text classification").</p>
<h2 id="Milvus-can-power-real-time-news-content-recommendation-and-more" class="common-anchor-header">Milvus è in grado di fornire raccomandazioni di contenuti giornalistici in tempo reale e altro ancora<button data-href="#Milvus-can-power-real-time-news-content-recommendation-and-more" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Milvus ha migliorato notevolmente le prestazioni in tempo reale del sistema di raccomandazione delle notizie di Sohu e ha anche rafforzato l'efficienza dell'identificazione dei testi brevi mal classificati. Se siete interessati a saperne di più su Milvus e sulle sue varie applicazioni, leggete il nostro blog:</p>
<ul>
<li>Leggete il nostro <a href="https://zilliz.com/blog">blog</a>.</li>
<li>Interagite con la nostra comunità open-source su <a href="https://join.slack.com/t/milvusio/shared_invite/zt-e0u4qu3k-bI2GDNys3ZqX1YCJ9OM~GQ">Slack</a>.</li>
<li>Utilizzate o contribuite al database vettoriale più diffuso al mondo su <a href="https://github.com/milvus-io/milvus/">GitHub</a>.</li>
<li>Testate e distribuite rapidamente le applicazioni di intelligenza artificiale con il nostro nuovo <a href="https://github.com/milvus-io/bootcamp">bootcamp</a>.</li>
</ul>


Raccomandare contenuti utilizzando la ricerca vettoriale semantica

<custom-h1>Accelerazione della compilazione 2,5 volte con il disaccoppiamento delle dipendenze e la containerizzazione dei test</custom-h1><p>Il tempo di compilazione può essere aggravato da complesse dipendenze interne ed esterne che si evolvono durante il processo di sviluppo, nonché da cambiamenti negli ambienti di compilazione, come il sistema operativo o le architetture hardware. Di seguito sono riportati i problemi comuni che si possono incontrare quando si lavora a progetti di IA o MLOps su larga scala:</p>
<p><strong>Compilazione troppo lunga</strong> - L'integrazione del codice viene eseguita centinaia di volte al giorno. Con centinaia di migliaia di righe di codice, anche una piccola modifica potrebbe comportare una compilazione completa che richiede in genere una o più ore.</p>
<p><strong>Ambiente di compilazione complesso</strong> - Il codice del progetto deve essere compilato in ambienti diversi, che coinvolgono sistemi operativi diversi, come CentOS e Ubuntu, dipendenze sottostanti, come GCC, LLVM e CUDA, e architetture hardware. Inoltre, la compilazione in un ambiente specifico potrebbe non funzionare in un ambiente diverso.</p>
<p><strong>Dipendenze complesse</strong> - La compilazione di un progetto comporta più di 30 dipendenze tra componenti e di terze parti. Lo sviluppo del progetto porta spesso a modifiche delle dipendenze, causando inevitabilmente conflitti di dipendenza. Il controllo di versione tra le dipendenze è così complesso che l'aggiornamento della versione delle dipendenze si ripercuote facilmente sugli altri componenti.</p>
<p>Il<strong>download delle dipendenze di terze parti è lento o fallisce</strong> - I ritardi della rete o l'instabilità delle librerie di dipendenze di terze parti causano la lentezza del download delle risorse o il fallimento dell'accesso, con gravi ripercussioni sull'integrazione del codice.</p>
<p>Disaccoppiando le dipendenze e implementando la containerizzazione dei test, siamo riusciti a ridurre il tempo medio di compilazione del 60% mentre lavoravamo al progetto open-source di ricerca di similarità di embeddings <a href="https://milvus.io/">Milvus</a>.</p>
<p><br/></p>
<h3 id="Decouple-the-dependencies-of-the-project" class="common-anchor-header">Disaccoppiare le dipendenze del progetto</h3><p>La compilazione di un progetto di solito comporta un gran numero di dipendenze da componenti interni ed esterni. Più un progetto ha dipendenze, più diventa complesso gestirle. Man mano che il software cresce, diventa più difficile e costoso modificare o rimuovere le dipendenze, nonché identificare gli effetti di tali operazioni. È necessaria una manutenzione regolare durante tutto il processo di sviluppo per garantire il corretto funzionamento delle dipendenze. Una manutenzione carente, dipendenze complesse o difettose possono causare conflitti che rallentano o bloccano lo sviluppo. In pratica, ciò può significare ritardi nel download delle risorse, errori di accesso che hanno un impatto negativo sull'integrazione del codice e altro ancora. Il disaccoppiamento delle dipendenze del progetto può mitigare i difetti e ridurre i tempi di compilazione, accelerando i test di sistema ed evitando inutili ritardi nello sviluppo del software.</p>
<p>Pertanto, si consiglia di disaccoppiare le dipendenze del progetto:</p>
<ul>
<li>Dividere i componenti con dipendenze complesse</li>
<li>Utilizzare repository diversi per la gestione delle versioni.</li>
<li>Utilizzare file di configurazione per gestire le informazioni sulla versione, le opzioni di compilazione, le dipendenze, ecc.</li>
<li>Aggiungere i file di configurazione alle librerie dei componenti, in modo che vengano aggiornati durante l'iterazione del progetto.</li>
</ul>
<p><strong>Ottimizzazione della compilazione tra i componenti</strong> - Estrarre e compilare il componente pertinente in base alle dipendenze e alle opzioni di compilazione registrate nei file di configurazione. Taggare e impacchettare i risultati della compilazione binaria e i file manifest corrispondenti, quindi caricarli nel repository privato. Se non viene apportata alcuna modifica a un componente o ai componenti da cui dipende, riprodurre i risultati della compilazione in base ai file manifest. Per problemi quali ritardi di rete o librerie di dipendenze di terze parti instabili, provare a creare un repository interno o a usare repository speculari.</p>
<p>Per ottimizzare la compilazione tra componenti:</p>
<p>1. Creare il grafico delle relazioni di dipendenza - Usare i file di configurazione nelle librerie dei componenti per creare il grafico delle relazioni di dipendenza. Usare la relazione di dipendenza per recuperare le informazioni sulla versione (Git Branch, Tag e Git commit ID), le opzioni di compilazione e altro ancora dei componenti dipendenti a monte e a valle.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/1_949dffec32.png" alt="1.png" class="doc-image" id="1.png" />
   </span> <span class="img-wrapper"> <span>1.png</span> </span></p>
<p>2<strong>.Controllare le dipendenze</strong> - Generare avvisi per dipendenze circolari, conflitti di versione e altri problemi che si verificano tra i componenti.</p>
<p>3<strong>.Appiattire le dipendenze</strong> - Ordinare le dipendenze in base alla ricerca per profondità (DFS) e unire frontalmente i componenti con dipendenze duplicate per formare un grafico delle dipendenze.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/2_45130c55e4.png" alt="2.png" class="doc-image" id="2.png" />
   </span> <span class="img-wrapper"> <span>2.png</span> </span></p>
<p>4.Utilizzare l'algoritmo MerkleTree per generare un hash (Root Hash) contenente le dipendenze di ciascun componente in base alle informazioni sulla versione, alle opzioni di compilazione e altro ancora. In combinazione con informazioni come il nome del componente, l'algoritmo forma un tag unico per ogni componente.</p>
<p>
  
   <span class="img-wrapper"> <img translate="no" src="https://assets.zilliz.com/3_6a4fcdf4e3.png" alt="3.png" class="doc-image" id="3.png" />
   </span> <span class="img-wrapper"> <span>3.png</span> </span></p>
<p>5. In base alle informazioni sul tag univoco del componente, si controlla se esiste un archivio di compilazione corrispondente nel repo privato. Se viene recuperato un archivio di compilazione, decomprimerlo per ottenere il file manifest per la riproduzione; in caso contrario, compilare il componente, contrassegnare i file oggetto di compilazione e il file manifest generati e caricarli nel repo privato.</p>
<p><br/></p>
<p><strong>Implementare le ottimizzazioni di compilazione all'interno dei componenti</strong> - Scegliere uno strumento di cache di compilazione specifico per il linguaggio per memorizzare i file oggetto compilati, caricarli e memorizzarli nel repository privato. Per la compilazione di C/C++, scegliere uno strumento di cache di compilazione come CCache per memorizzare nella cache i file intermedi di compilazione di C/C++ e archiviare la cache locale di CCache dopo la compilazione. Tali strumenti di cache di compilazione memorizzano nella cache i file di codice modificati uno per uno dopo la compilazione e copiano i componenti compilati del file di codice invariato in modo che possano essere coinvolti direttamente nella compilazione finale. L'ottimizzazione della compilazione all'interno dei componenti comprende i seguenti passaggi:</p>
<ol>
<li>Aggiungere le dipendenze di compilazione necessarie al file Docker. Usare Hadolint per eseguire controlli di conformità su Dockerfile per garantire che l'immagine sia conforme alle best practice di Docker.</li>
<li>Eseguire il mirroring dell'ambiente di compilazione in base alla versione del progetto (versione + build), al sistema operativo e ad altre informazioni.</li>
<li>Eseguire il contenitore dell'ambiente di compilazione specchiato e trasferire l'ID dell'immagine al contenitore come variabile d'ambiente. Ecco un esempio di comando per ottenere l'ID dell'immagine: "docker inspect ' - type=image' - format '{{.ID}}' repository/build-env:v0.1-centos7".</li>
<li>Scegliere lo strumento di cache di compilazione appropriato: Inserire il containter per integrare e compilare i codici e controllare nel repository privato se esiste una cache di compilazione appropriata. In caso affermativo, scaricarla ed estrarla nella directory specificata. Dopo la compilazione di tutti i componenti, la cache generata dallo strumento di cache di compilazione viene impacchettata e caricata nel vostro repository privato in base alla versione del progetto e all'ID dell'immagine.</li>
</ol>
<p><br/></p>
<h3 id="Further-compilation-optimization" class="common-anchor-header">Ulteriore ottimizzazione della compilazione</h3><p>Il nostro progetto iniziale occupa troppo spazio su disco e banda di rete e richiede molto tempo per essere distribuito:</p>
<ol>
<li>Scegliere l'immagine di base più snella per ridurre le dimensioni dell'immagine, ad esempio alpine, busybox, ecc.</li>
<li>Ridurre il numero di livelli dell'immagine. Riutilizzare il più possibile le dipendenze. Unire più comandi con "&amp;&amp;".</li>
<li>Pulire i prodotti intermedi durante la creazione dell'immagine.</li>
<li>Usare la cache dell'immagine per costruire l'immagine il più possibile.</li>
</ol>
<p>Con l'avanzare del progetto, l'utilizzo del disco e delle risorse di rete ha iniziato a salire con l'aumentare della cache di compilazione, mentre alcune cache di compilazione sono sottoutilizzate. Abbiamo quindi apportato le seguenti modifiche:</p>
<p><strong>Pulire regolarmente i file della cache</strong> - Controllare regolarmente il repository privato (utilizzando ad esempio gli script) e pulire i file della cache che non sono stati modificati per un certo periodo o che non sono stati scaricati molto.</p>
<p><strong>Caching selettivo delle compilazioni</strong> - Mettere in cache solo le compilazioni che richiedono risorse e saltare quelle che non ne richiedono molte.</p>
<p><br/></p>
<h3 id="Leveraging-containerized-testing-to-reduce-errors-improve-stability-and-reliability" class="common-anchor-header">Sfruttare i test containerizzati per ridurre gli errori, migliorare la stabilità e l'affidabilità</h3><p>I codici devono essere compilati in ambienti diversi, che comportano una varietà di sistemi operativi (ad esempio CentOS e Ubuntu), dipendenze sottostanti (ad esempio GCC, LLVM e CUDA) e architetture hardware specifiche. Il codice che viene compilato con successo in un ambiente specifico fallisce in un ambiente diverso. Eseguendo i test all'interno di container, il processo di test diventa più rapido e accurato.</p>
<p>La containerizzazione garantisce che l'ambiente di test sia coerente e che l'applicazione funzioni come previsto. L'approccio di testing containerizzato confeziona i test come contenitori di immagini e crea un ambiente di test veramente isolato. I nostri tester hanno trovato molto utile questo approccio, che ha finito per ridurre i tempi di compilazione fino al 60%.</p>
<p><strong>Garantire un ambiente di compilazione coerente</strong> - Poiché i prodotti compilati sono sensibili alle modifiche dell'ambiente di sistema, è possibile che si verifichino errori sconosciuti in sistemi operativi diversi. Dobbiamo etichettare e archiviare la cache dei prodotti compilati in base alle modifiche dell'ambiente di compilazione, ma è difficile classificarle. Per risolvere questi problemi abbiamo introdotto la tecnologia di containerizzazione per unificare l'ambiente di compilazione.</p>
<p><br/></p>
<h3 id="Conclusion" class="common-anchor-header">Conclusione</h3><p>Analizzando le dipendenze del progetto, questo articolo introduce diversi metodi per l'ottimizzazione della compilazione tra e all'interno dei componenti, fornendo idee e best practice per la creazione di un'integrazione continua del codice stabile ed efficiente. Questi metodi hanno contribuito a risolvere la lentezza dell'integrazione del codice causata da dipendenze complesse, a unificare le operazioni all'interno del contenitore per garantire la coerenza dell'ambiente e a migliorare l'efficienza della compilazione attraverso la riproduzione dei risultati della compilazione e l'uso di strumenti di cache di compilazione per memorizzare i risultati intermedi della compilazione.</p>
<p>Queste pratiche hanno ridotto il tempo di compilazione del progetto del 60% in media, migliorando notevolmente l'efficienza complessiva dell'integrazione del codice. In futuro, continueremo a parallelizzare la compilazione tra e all'interno dei componenti per ridurre ulteriormente i tempi di compilazione.</p>
<p><br/></p>
<p><em>Per questo articolo sono state utilizzate le seguenti fonti:</em></p>
<ul>
<li>"Disaccoppiamento degli alberi di sorgenti nei componenti a livello di build".</li>
<li>"<a href="https://dev.to/brpaz/factors-to-consider-when-adding-third-party-dependencies-to-a-project-46hf">Fattori da considerare quando si aggiungono dipendenze di terze parti a un progetto</a>".</li>
<li>"<a href="https://queue.acm.org/detail.cfm?id=3344149">Sopravvivere alle dipendenze del software</a></li>
<li>"<a href="https://www.cc.gatech.edu/~beki/t1.pdf">Comprendere le dipendenze: Uno studio delle sfide di coordinamento nello sviluppo del software</a>".</li>
</ul>
<p><br/></p>
<h3 id="About-the-author" class="common-anchor-header">Informazioni sull'autore</h3><p>Zhifeng Zhang è un ingegnere DevOps senior presso Zilliz.com che lavora su Milvus, un database vettoriale open-source, e istruttore autorizzato dell'università del software open-source LF in Cina. Ha conseguito la laurea in Internet of Things (IOT) presso il Software Engineering Institute di Guangzhou. Trascorre la sua carriera partecipando e guidando progetti nell'area CI/CD, DevOps, gestione dell'infrastruttura IT, toolkit Cloud-Native, containerizzazione e ottimizzazione dei processi di compilazione.</p>


Accelerazione della compilazione 2,5 volte con il disaccoppiamento delle dipendenze e la containerizzazione dei test

<custom-h1>Dentro Milvus 1.1.0</custom-h1><p><a href="https://github.com/milvus-io">Milvus</a> è un progetto software open-source (OSS) in corso, incentrato sulla creazione del database vettoriale più veloce e affidabile al mondo. Le novità di Milvus v1.1.0 sono le prime di molti aggiornamenti futuri, grazie al sostegno a lungo termine della comunità open-source e alla sponsorizzazione di Zilliz. Questo articolo del blog illustra le nuove funzionalità, i miglioramenti e le correzioni di bug inclusi in Milvus v1.1.0.</p>
<p><strong>Vai a:</strong></p>
<ul>
<li><a href="#new-features">Nuove funzionalità</a></li>
<li><a href="#improvements">Miglioramenti</a></li>
<li><a href="#bug-fixes">Correzioni di bug</a></li>
</ul>
<p><br/></p>
<h2 id="New-features" class="common-anchor-header">Nuove funzionalità<button data-href="#New-features" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Come ogni progetto OSS, Milvus è un continuo lavoro in corso. Ci sforziamo di ascoltare i nostri utenti e la comunità open-source per dare priorità alle funzionalità più importanti. L'ultimo aggiornamento, Milvus v1.1.0, offre le seguenti nuove funzionalità:</p>
<h3 id="Specify-partitions-with-getentitybyid-method-calls" class="common-anchor-header">Specificare le partizioni con le chiamate al metodo <code translate="no">get_entity_by_id()</code> </h3><p>Per accelerare ulteriormente la ricerca di similarità vettoriale, Milvus 1.1.0 supporta ora il recupero di vettori da una partizione specificata. In generale, Milvus supporta l'interrogazione di vettori attraverso ID vettoriali specificati. In Milvus 1.0, chiamando il metodo <code translate="no">get_entity_by_id()</code> si cerca nell'intera collezione, il che può richiedere molto tempo per grandi insiemi di dati. Come si può vedere dal codice sottostante, <code translate="no">GetVectorsByIdHelper</code> utilizza una struttura <code translate="no">FileHolder</code> per eseguire un ciclo e trovare un vettore specifico.</p>
<pre><code translate="no">std::vector&lt;meta::CollectionSchema&gt; collection_array; 
 <span class="hljs-type">auto</span> <span class="hljs-variable">status</span> <span class="hljs-operator">=</span> meta_ptr_-&gt;ShowPartitions(collection.collection_id_, collection_array); 
  
 collection_array.push_back(collection); 
 status = meta_ptr_-&gt;FilesByTypeEx(collection_array, file_types, files_holder); 
 <span class="hljs-keyword">if</span> (!status.ok()) { 
     std::<span class="hljs-type">string</span> <span class="hljs-variable">err_msg</span> <span class="hljs-operator">=</span> <span class="hljs-string">&quot;Failed to get files for GetVectorByID: &quot;</span> + status.message(); 
     LOG_ENGINE_ERROR_ &lt;&lt; err_msg; 
     <span class="hljs-keyword">return</span> status; 
 } 
  
 <span class="hljs-keyword">if</span> (files_holder.HoldFiles().empty()) { 
     LOG_ENGINE_DEBUG_ &lt;&lt; <span class="hljs-string">&quot;No files to get vector by id from&quot;</span>; 
     <span class="hljs-keyword">return</span> Status(DB_NOT_FOUND, <span class="hljs-string">&quot;Collection is empty&quot;</span>); 
 } 
  
 cache::CpuCacheMgr::GetInstance()-&gt;PrintInfo(); 
 status = GetVectorsByIdHelper(id_array, vectors, files_holder); 
DBImpl::GetVectorsByIdHelper(const IDNumbers&amp; id_array, std::vector&lt;engine::VectorsData&gt;&amp; vectors, 
                              meta::FilesHolder&amp; files_holder) { 
     <span class="hljs-comment">// attention: this is a copy, not a reference, since the files_holder.UnMarkFile will change the array internal </span>
     milvus::engine::meta::<span class="hljs-type">SegmentsSchema</span> <span class="hljs-variable">files</span> <span class="hljs-operator">=</span> files_holder.HoldFiles(); 
     LOG_ENGINE_DEBUG_ &lt;&lt; <span class="hljs-string">&quot;Getting vector by id in &quot;</span> &lt;&lt; files.size() &lt;&lt; <span class="hljs-string">&quot; files, id count = &quot;</span> &lt;&lt; id_array.size(); 
  
     <span class="hljs-comment">// sometimes not all of id_array can be found, we need to return empty vector for id not found </span>
     <span class="hljs-comment">// for example: </span>
     <span class="hljs-comment">// id_array = [1, -1, 2, -1, 3] </span>
     <span class="hljs-comment">// vectors should return [valid_vector, empty_vector, valid_vector, empty_vector, valid_vector] </span>
     <span class="hljs-comment">// the ID2RAW is to ensure returned vector sequence is consist with id_array </span>
     <span class="hljs-type">using</span> <span class="hljs-variable">ID2VECTOR</span> <span class="hljs-operator">=</span> std::map&lt;int64_t, VectorsData&gt;; 
     ID2VECTOR map_id2vector; 
  
     vectors.clear(); 
  
     <span class="hljs-type">IDNumbers</span> <span class="hljs-variable">temp_ids</span> <span class="hljs-operator">=</span> id_array; 
     <span class="hljs-keyword">for</span> (auto&amp; file : files) { 
<button class="copy-code-btn"></button></code></pre>
<p>Tuttavia, questa struttura non è filtrata da alcuna partizione in <code translate="no">FilesByTypeEx()</code>. In Milvus v1.1.0, è possibile per il sistema passare i nomi delle partizioni al ciclo <code translate="no">GetVectorsIdHelper</code> in modo che <code translate="no">FileHolder</code> contenga solo i segmenti delle partizioni specificate. In altre parole, se si sa esattamente a quale partizione appartiene il vettore da ricercare, è possibile specificare il nome della partizione in una chiamata al metodo <code translate="no">get_entity_by_id()</code> per accelerare il processo di ricerca.</p>
<p>Non solo abbiamo apportato modifiche al codice che controlla le query di sistema a livello di server Milvus, ma abbiamo anche aggiornato tutti i nostri SDK (Python, Go, C++, Java e RESTful) aggiungendo un parametro per specificare i nomi delle partizioni. Ad esempio, in pymilvus, la definizione di <code translate="no">get_entity_by_id</code> <code translate="no">def get_entity_by_id(self, collection_name, ids, timeout=None)</code> è cambiata in <code translate="no">def get_entity_by_id(self, collection_name, partition_tags=None, ids, timeout=None)</code>.</p>
<p><br/></p>
<h3 id="Specify-partitions-with-deleteentitybyid-method-calls" class="common-anchor-header">Specificare le partizioni con le chiamate al metodo <code translate="no">delete_entity_by_id()</code> </h3><p>Per rendere più efficiente la gestione dei vettori, Milvus v1.1.0 supporta ora la specificazione dei nomi delle partizioni quando si cancella un vettore in una collezione. In Milvus 1.0, i vettori di una collezione possono essere cancellati solo per ID. Quando si chiama il metodo di cancellazione, Milvus esegue una scansione di tutti i vettori della collezione. Tuttavia, è molto più efficiente scansionare solo le partizioni rilevanti quando si lavora con enormi insiemi di milioni, miliardi o addirittura trilioni di vettori. Analogamente alla nuova funzione per specificare le partizioni con le chiamate al metodo <code translate="no">get_entity_by_id()</code>, sono state apportate modifiche al codice di Milvus utilizzando la stessa logica.</p>
<p><br/></p>
<h3 id="New-method-releasecollection" class="common-anchor-header">Nuovo metodo <code translate="no">release_collection()</code></h3><p>Per liberare la memoria utilizzata da Milvus per caricare le collezioni in fase di esecuzione, in Milvus v1.1.0 è stato aggiunto un nuovo metodo <code translate="no">release_collection()</code> per scaricare manualmente dalla cache collezioni specifiche.</p>
<p><br/></p>
<h2 id="Improvements" class="common-anchor-header">Miglioramenti<button data-href="#Improvements" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Sebbene le nuove funzionalità siano di solito di gran moda, è anche importante migliorare quelle che già abbiamo. Di seguito sono riportati gli aggiornamenti e altri miglioramenti generali rispetto a Milvus v1.0.</p>
<p><br/></p>
<h3 id="Improved-performance-of-getentitybyid-method-call" class="common-anchor-header">Miglioramento delle prestazioni delle chiamate al metodo <code translate="no">get_entity_by_id()</code> </h3><p>Il grafico seguente è un confronto delle prestazioni della ricerca vettoriale tra Milvus v1.0 e Milvus v1.1.0:</p>
<blockquote>
<p>CPU: CPU Intel® Core™ i7-8550U @ 1,80GHz * 8 <br/>Dimensione del file di segmento = 1024 MB <br/>Numero di righe = 1.000.000 <br/>Dim = 128</p>
</blockquote>
<table>
<thead>
<tr><th style="text-align:center">ID query Num</th><th style="text-align:center">v 1.0.0</th><th style="text-align:center">v1.1.0</th></tr>
</thead>
<tbody>
<tr><td style="text-align:center">10</td><td style="text-align:center">9 ms</td><td style="text-align:center">2 ms</td></tr>
<tr><td style="text-align:center">100</td><td style="text-align:center">149 ms</td><td style="text-align:center">19 ms</td></tr>
</tbody>
</table>
<p><br/></p>
<h3 id="Hnswlib-upgraded-to-v050" class="common-anchor-header">Hnswlib aggiornato alla v0.5.0</h3><p>Milvus adotta diverse librerie di indici ampiamente utilizzate, tra cui Faiss, NMSLIB, Hnswlib e Annoy, per semplificare il processo di scelta del tipo di indice giusto per un determinato scenario.</p>
<p>Hnswlib è stato aggiornato dalla v0.3.0 alla v0.5.0 in Milvus 1.1.0 a causa di un bug rilevato nella versione precedente. Inoltre, l'aggiornamento di Hnswlib migliora le prestazioni di <code translate="no">addPoint()</code> nella costruzione degli indici.</p>
<p>Uno sviluppatore di Zilliz ha creato una richiesta di pull (PR) per migliorare le prestazioni di Hnswlib durante la costruzione degli indici in Milvus. Si veda la <a href="https://github.com/nmslib/hnswlib/pull/298">PR #298</a> per i dettagli.</p>
<p>Il grafico seguente è un confronto delle prestazioni di <code translate="no">addPoint()</code> tra Hnswlib 0.5.0 e la PR proposta:</p>
<blockquote>
<p>CPU: CPU Intel® Core™ i7-8550U @ 1.80GHz * 8 <br/>Dataset: sift_1M (numero di righe = 1000000, dim = 128, spazio = L2)</p>
</blockquote>
<table>
<thead>
<tr><th style="text-align:center"></th><th style="text-align:center">0.5.0</th><th style="text-align:center">PR-298</th></tr>
</thead>
<tbody>
<tr><td style="text-align:center">M = 16, ef_construction = 100</td><td style="text-align:center">274406 ms</td><td style="text-align:center">265631 ms</td></tr>
<tr><td style="text-align:center">M = 16, ef_costruzione = 200</td><td style="text-align:center">522411 ms</td><td style="text-align:center">499639 ms</td></tr>
</tbody>
</table>
<p><br/></p>
<h3 id="Improved-IVF-index-training-performance" class="common-anchor-header">Migliori prestazioni di formazione dell'indice FIV</h3><p>La creazione di un indice comprende l'addestramento, l'inserimento e la scrittura dei dati su disco. Milvus 1.1.0 migliora la componente di addestramento della costruzione dell'indice. Il grafico seguente confronta le prestazioni di addestramento degli indici FIV tra Milvus 1.0 e Milvus 1.1.0:</p>
<blockquote>
<p>CPU: CPU Intel® Core™ i7-8550U @ 1.80GHz * 8 <br/>Dataset: sift_1m (row_count = 1000000, dim = 128, metric_type = L2)</p>
</blockquote>
<table>
<thead>
<tr><th style="text-align:center"></th><th style="text-align:center">v1.0.0 (ms)</th><th style="text-align:center">v1.1.0 (ms)</th></tr>
</thead>
<tbody>
<tr><td style="text-align:center">ivf_flat (nlist = 2048)</td><td style="text-align:center">90079</td><td style="text-align:center">81544</td></tr>
<tr><td style="text-align:center">ivf_pq (nlist = 2048, m=16)</td><td style="text-align:center">103535</td><td style="text-align:center">97115</td></tr>
<tr><td style="text-align:center">ivf_pq (nlist = 2048, m=32)</td><td style="text-align:center">108638</td><td style="text-align:center">104558</td></tr>
<tr><td style="text-align:center">ivf_flat (nlist = 4096)</td><td style="text-align:center">340643</td><td style="text-align:center">310685</td></tr>
<tr><td style="text-align:center">ivf_pq (nlist = 4096, m=16)</td><td style="text-align:center">351982</td><td style="text-align:center">323758</td></tr>
<tr><td style="text-align:center">ivf_pq (nlist = 4096, m=32)</td><td style="text-align:center">357359</td><td style="text-align:center">330887</td></tr>
</tbody>
</table>
<p><br/></p>
<h2 id="Bug-fixes" class="common-anchor-header">Correzioni di bug<button data-href="#Bug-fixes" class="anchor-icon" translate="no">
      <svg translate="no"
        aria-hidden="true"
        focusable="false"
        height="20"
        version="1.1"
        viewBox="0 0 16 16"
        width="16"
      >
        <path
          fill="#0092E4"
          fill-rule="evenodd"
          d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45 0 3 1.69 3 3.5 0 1.41-.91 2.72-2 3.25V8.59c.58-.45 1-1.27 1-2.09C10 5.22 8.98 4 8 4H4c-.98 0-2 1.22-2 2.5S3 9 4 9zm9-3h-1v1h1c1 0 2 1.22 2 2.5S13.98 12 13 12H9c-.98 0-2-1.22-2-2.5 0-.83.42-1.64 1-2.09V6.25c-1.09.53-2 1.84-2 3.25C6 11.31 7.55 13 9 13h4c1.45 0 3-1.69 3-3.5S14.5 6 13 6z"
        ></path>
      </svg>
    </button></h2><p>Abbiamo anche risolto alcuni bug per rendere Milvus più stabile ed efficiente nella gestione di insiemi di dati vettoriali. Vedere <a href="https://milvus.io/docs/v1.1.0/release_notes.md#Fixed-issues">Problemi risolti</a> per maggiori dettagli.</p>


Presentazione di Milvus 2.5: ricerca a tutto testo, filtraggio dei metadati più potente e miglioramenti dell'usabilità!

Come iniziare con Milvus

Elasticsearch è morto, lunga vita alla ricerca lessicale

Come iniziare con la ricerca semantica ibrida / full text con Milvus 2.5

Sii il primo a saperlo

Come iniziare con Milvus

Elasticsearch è morto, lunga vita alla ricerca lessicale

Come iniziare con la ricerca semantica ibrida / full text con Milvus 2.5

Ricerca semantica e ricerca a tutto testo: Quale scegliere in Milvus 2.5?

Progettazione di RAG multi-tenancy con Milvus: le migliori pratiche per basi di conoscenza aziendali scalabili

Come contribuire a Milvus: una guida rapida per gli sviluppatori

Come iniziare con HNSWlib

Partecipate agli orari d'ufficio di Milvus per ottenere il supporto degli esperti di Vector DB!

Incorporamenti a matrioska: Dettaglio a più scale

Chiedimi qualsiasi cosa su Milvus!

Zilliz Cloud

Hassle-free and 10x faster than Milvus

Autori Più Contributivi

Stefan Webb

David Wang

Jiang Chen