Note di rilascio

Scoprite le novità di Milvus! Questa pagina riassume le nuove funzionalità, i miglioramenti, i problemi noti e le correzioni di bug di ogni versione. In questa sezione è possibile trovare le note di rilascio per ogni versione successiva alla v2.5.0. Si consiglia di visitare regolarmente questa pagina per conoscere gli aggiornamenti.

v2.5.1

Data di rilascio: 26 dicembre 2024

Versione Milvus	Versione dell'SDK Python	Versione dell'SDK Node.js	Versione SDK Java
2.5.1	2.5.2	2.5.2	2.5.2

Milvus 2.5.1 si concentra su una serie di correzioni di bug che riguardano il caricamento della memoria, gli elenchi RBAC, il bilanciamento dei nodi di query e l'indicizzazione dei segmenti sigillati, oltre a migliorare l'interfaccia web e gli intercettori. Si consiglia vivamente di aggiornare alla versione 2.5.1 per migliorare la stabilità e l'affidabilità.

Miglioramenti

• Aggiornamento delle pagine di raccolta e di query dell'interfaccia web.(#38701)

Correzioni di bug

• Risolti i problemi di OOM aggiungendo un fattore di memoria alle stime di caricamento.(#38722)
• Corretta l'espansione dei gruppi di privilegi quando si elencano le politiche in RootCoord.(#38760)
• Corretti i problemi relativi all'elenco dei gruppi di privilegi e delle raccolte.(#38738)
• Corretto il bilanciatore per evitare di sovraccaricare ripetutamente lo stesso nodo di query.(#38724)
• Corretti i compiti di bilanciamento inattesi attivati dopo il riavvio di QueryCoord.(#38725)
• Corretto l'aggiornamento della configurazione del carico che non si applica al caricamento delle raccolte.(#38737)
• Corretto il conteggio di zero letture durante l'importazione dei dati.(#38695)
• Corretta la decodifica Unicode per le chiavi JSON nelle espressioni.(#38653)
• Corretto il nome del DB dell'intercettore per alterCollectionField in 2.5. (#38663)
• Corretti i parametri dell'indice vuoti per i segmenti sigillati quando si usa la ricerca brute force di BM25.(#38752)

v2.5.0

Data di rilascio: 23 dicembre 2024

Versione Milvus	Versione dell'SDK Python	Versione dell'SDK Node.js	Versione SDK Java
2.5.0	2.5.1	2.5.2	2.5.2

Milvus 2.5.0 apporta significativi miglioramenti per migliorare l'usabilità, la scalabilità e le prestazioni per gli utenti che si occupano di ricerca vettoriale e di gestione di dati su larga scala. Con questa versione, Milvus integra nuove potenti funzionalità come la ricerca basata sui termini, la compattazione dei cluster per ottimizzare le query e il supporto versatile per i metodi di ricerca vettoriale rada e densa. I miglioramenti nella gestione dei cluster, nell'indicizzazione e nella gestione dei dati introducono nuovi livelli di flessibilità e facilità d'uso, rendendo Milvus un database vettoriale ancora più robusto e facile da usare.

Caratteristiche principali

Ricerca a testo pieno

Milvus 2.5 supporta la ricerca full text implementata con Sparse-BM25! Questa funzione è un importante complemento alle forti capacità di ricerca semantica di Milvus, soprattutto in scenari che coinvolgono parole rare o termini tecnici. Nelle versioni precedenti, Milvus supportava vettori sparsi per aiutare gli scenari di ricerca per parole chiave. Questi vettori sparsi venivano generati al di fuori di Milvus da modelli neurali come SPLADEv2/BGE-M3 o da modelli statistici come l'algoritmo BM25.

Grazie a Tantivy, Milvus 2.5 dispone di analizzatori integrati e di estrazione di vettori sparsi, estendendo l'API dalla ricezione di soli vettori come input all'accettazione diretta di testo. Le informazioni statistiche del BM25 vengono aggiornate in tempo reale durante l'inserimento dei dati, migliorando l'usabilità e l'accuratezza. Inoltre, i vettori sparsi basati su algoritmi di prossimità approssimata (ANN) offrono prestazioni più potenti rispetto ai sistemi di ricerca per parole chiave standard.

Per maggiori dettagli, consultare la Panoramica dell'analizzatore e la Ricerca a testo completo.

WebUI di gestione dei cluster (Beta)

Per supportare al meglio i dati massivi e le funzionalità più ricche, il sofisticato design di Milvus include varie dipendenze, numerosi ruoli dei nodi, strutture di dati complesse e altro ancora. Questi aspetti possono rappresentare una sfida per l'utilizzo e la manutenzione.

Milvus 2.5 introduce una WebUI integrata per la gestione dei cluster, che riduce le difficoltà di manutenzione del sistema visualizzando le complesse informazioni dell'ambiente di runtime di Milvus. Queste includono dettagli su database e collezioni, segmenti, canali, dipendenze, stato di salute dei nodi, informazioni sui task, query lente e altro ancora.

Per maggiori dettagli, consultare Milvus WebUI.

Corrispondenza del testo

Milvus 2.5 sfrutta gli analizzatori e l'indicizzazione di Tantivy per la preelaborazione del testo e la creazione di indici, supportando una precisa corrispondenza in linguaggio naturale dei dati di testo in base a termini specifici. Questa funzione è utilizzata principalmente per la ricerca filtrata per soddisfare condizioni specifiche e può incorporare un filtro scalare per affinare i risultati delle query, consentendo la ricerca di similarità all'interno di vettori che soddisfano criteri scalari.

Per ulteriori informazioni, consultare Panoramica dell'analizzatore e Corrispondenza testo.

Indice Bitmap

Alla famiglia Milvus è stato aggiunto un nuovo indice di dati scalari. L'indice BitMap utilizza un array di bit, di lunghezza pari al numero di righe, per rappresentare l'esistenza di valori e accelerare le ricerche.

Gli indici Bitmap sono stati tradizionalmente efficaci per i campi a bassa cardinalità, che hanno un numero modesto di valori distinti, ad esempio una colonna contenente informazioni sul sesso con solo due valori possibili: maschio e femmina.

Per maggiori dettagli, vedere Indice bitmap.

Nullable e valore predefinito

Milvus supporta ora l'impostazione di proprietà nullable e di valori predefiniti per campi scalari diversi da quello della chiave primaria. Per i campi scalari contrassegnati come nullable=True, gli utenti possono omettere il campo durante l'inserimento dei dati; il sistema lo tratterà come valore nullo o valore predefinito (se impostato) senza lanciare un errore.

I valori predefiniti e le proprietà annullabili offrono a Milvus una maggiore flessibilità. Gli utenti possono utilizzare questa funzione per i campi con valori incerti durante la creazione di collezioni. Inoltre, semplificano la migrazione dei dati da altri sistemi di database a Milvus, consentendo di gestire insiemi di dati contenenti valori nulli conservando le impostazioni originali dei valori predefiniti.

Per maggiori dettagli, consultare Nullable & Default Value.

HNSW SQ/PQ/PRQ basato su Faiss

Grazie alla stretta collaborazione con la comunità di Faiss, l'algoritmo HNSW di Faiss è stato notevolmente migliorato sia in termini di funzionalità che di prestazioni. Per motivi di stabilità e manutenibilità, Milvus 2.5 ha ufficialmente migrato il supporto per HNSW da hnswlib a Faiss.

Basato su Faiss, Milvus 2.5 supporta diversi metodi di quantizzazione su HNSW per soddisfare le esigenze di diversi scenari: SQ (Scalar Quantizers), PQ (Product Quantizer) e PRQ (Product Residual Quantizer). SQ e PQ sono più comuni; SQ offre buone prestazioni di interrogazione e velocità di costruzione, mentre PQ offre un richiamo migliore a parità di rapporto di compressione. Molti database vettoriali utilizzano comunemente la quantizzazione binaria, che è una forma semplice di quantizzazione SQ.

PRQ è una fusione di PQ e AQ (Additive Quantizer). Rispetto a PQ, richiede tempi di costruzione più lunghi per offrire un richiamo migliore, soprattutto a tassi di compressione elevati, come la compressione binaria.

Compattazione dei cluster (Beta)

Milvus 2.5 introduce la Clustering Compaction per accelerare le ricerche e ridurre i costi di grandi collezioni. Specificando un campo scalare come chiave di clustering, i dati vengono ridistribuiti per intervallo per ottimizzare la memorizzazione e il recupero. Agendo come un indice globale, questa funzione consente a Milvus di sfrondare in modo efficiente i dati durante le query basate sui metadati di clustering, migliorando le prestazioni di ricerca quando vengono applicati filtri scalari.

Per ulteriori informazioni, consultare la sezione Compattazione del clustering.

Altre caratteristiche

Nodo di streaming (Beta)

Milvus 2.5 introduce un nuovo componente chiamato nodo di streaming, che fornisce servizi di Write-Ahead Logging (WAL). Ciò consente a Milvus di ottenere il consenso prima e dopo la lettura e la scrittura dei canali, sbloccando nuove caratteristiche, funzionalità e ottimizzazioni. Questa funzione è disattivata per impostazione predefinita in Milvus 2.5 e sarà ufficialmente disponibile nella versione 3.0.

Supporto IPv6

Milvus supporta ora IPv6, consentendo una maggiore connettività e compatibilità di rete.

Importazione massiva CSV

Oltre ai formati JSON e Parquet, Milvus supporta ora l'importazione diretta di dati in massa in formato CSV.

Modelli di espressione per l'accelerazione delle query

Milvus supporta ora i modelli di espressione, migliorando l'efficienza dell'analisi delle espressioni, in particolare in scenari con espressioni complesse.

Per maggiori dettagli, consultate la sezione Templatura dei filtri.

Miglioramenti di GroupBy

• Dimensione del gruppo personalizzabile: Aggiunto il supporto per specificare il numero di voci restituite per ogni gruppo.
• Ricerca ibrida GroupBy: Supporta la ricerca ibrida GroupBy basata su più colonne vettoriali.

Miglioramenti all'iteratore

• Supporto MVCC: Gli utenti possono ora usare gli iteratori senza essere influenzati da successive modifiche dei dati, come inserimenti e cancellazioni, grazie al Multi-Version Concurrency Control (MVCC).
• Cursore persistente: Milvus supporta ora un cursore persistente per QueryIterator, consentendo agli utenti di riprendere l'iterazione dall'ultima posizione dopo un riavvio di Milvus senza dover riavviare l'intero processo di iterazione.

Miglioramenti

Ottimizzazione della cancellazione

Migliorata la velocità e ridotto l'uso della memoria per le cancellazioni su larga scala, ottimizzando l'uso dei blocchi e la gestione della memoria.

Aggiornamento delle dipendenze

Aggiornamento a ETCD 3.5.16 e Pulsar 3.0.7 LTS, con correzione delle CVE esistenti e miglioramento della sicurezza. Nota: L'aggiornamento a Pulsar 3.x non è compatibile con le precedenti versioni 2.x.

Per gli utenti che hanno già una distribuzione Milvus funzionante, è necessario aggiornare i componenti ETCD e Pulsar prima di poter utilizzare le nuove caratteristiche e funzioni. Per ulteriori informazioni, consultare Aggiornamento di Pulsar da 2.x a 3.x.

Archiviazione locale V2

Introdotto un nuovo formato di file locale in Milvus 2.5, che migliora l'efficienza del caricamento e delle query per i dati scalari, riduce l'overhead della memoria e getta le basi per le ottimizzazioni future.

Ottimizzazione del parsing delle espressioni

Migliorato il parsing delle espressioni implementando la cache per le espressioni ripetute, aggiornando ANTLR e ottimizzando le prestazioni delle clausole NOT IN.

Miglioramento delle prestazioni di concomitanza del DDL

Ottimizzate le prestazioni di concorrenza delle operazioni del Data Definition Language (DDL).

Allineamento delle funzionalità dell'API RESTful

Allineate le funzionalità dell'API RESTful con gli altri SDK per coerenza.

Aggiornamenti di sicurezza e configurazione

Supportato TLS per proteggere la comunicazione tra i nodi in ambienti più complessi o aziendali. Per i dettagli, consultare la sezione Configurazione della sicurezza.

Miglioramenti delle prestazioni di compattazione

Eliminati i limiti massimi di segmento nella compattazione mista e ora viene data priorità ai segmenti più piccoli, migliorando l'efficienza e accelerando le query su insiemi di dati grandi o frammentati.

Bilanciamento dei canali basato sui punteggi

Introdotto un criterio che bilancia dinamicamente i carichi tra i canali, migliorando l'utilizzo delle risorse e la stabilità complessiva nelle distribuzioni su larga scala.