Milvus nel 2021 - Anno in rassegna

Il 2021 è stato un anno straordinario per Milvus come progetto open-source. Desidero ringraziare tutti i collaboratori e gli utenti di Milvus, nonché i partner, per aver contribuito a un anno così eccezionale.

Uno dei momenti più impressionanti di quest'anno per me è il rilascio di Milvus 2.0. Prima che iniziassimo questo progetto, solo una persona era in grado di gestire le risorse di Milvus. Prima di iniziare questo progetto, solo pochi membri della comunità credevano che avremmo potuto fornire il database vettoriale più avanzato al mondo, ma ora sono orgoglioso di dire che Milvus 2.0 GA è pronto per la produzione.

Stiamo già lavorando a una nuova ed entusiasmante serie di sfide per il 2022, ma ho pensato che sarebbe stato divertente celebrare un paio di grandi passi avanti che abbiamo fatto lo scorso anno. Eccone alcuni:

Crescita della comunità

Per prima cosa, ecco un riepilogo delle statistiche della comunità da GitHub e Slack. Alla fine di dicembre 2021:

• Icollaboratori sono passati da 121 nel dicembre 2020 a 209 nel dicembre 2021 (aumento del 172%).

• Le stelle sono passate da 4828 nel dicembre 2020 a 9090 nel dicembre 2021 (aumento del 188%).

• Le forchette sono aumentate da 756 nel dicembre 2020 a 1383 nel dicembre 2021 (+182%).

• Imembri di Slack sono aumentati da 541 nel dicembre 2020 a 1233 nel dicembre 2021 (+227%).

img

Governance e advocacy della comunità

Quando Milvus è diventato open source per la prima volta, nell'ottobre 2019, avevamo un team e una comunità relativamente piccoli, quindi naturalmente il progetto era governato principalmente da alcuni membri del core team. Ma da allora la comunità è cresciuta in modo significativo e ci siamo resi conto che avevamo bisogno di un sistema migliore per gestire il progetto in modo da poter accogliere nuovi collaboratori in modo più efficiente.

Di conseguenza, abbiamo nominato 5 nuovi manutentori nel 2021 per tenere traccia del lavoro in corso e dei problemi segnalati, per assicurarci che vengano rivisti e uniti in modo tempestivo. Gli ID GitHub dei cinque manutentori sono @xiaofan-luan; @congqixia; @scsven; @czs007; @yanliang567. Sentitevi liberi di contattare questi manutentori se avete bisogno di aiuto con le vostre PR.

Abbiamo anche lanciato il Milvus Advocate Program e siamo lieti che altre persone si uniscano a noi per condividere le proprie esperienze, offrire aiuto ai membri della comunità e ottenere in cambio un riconoscimento.

img

(Immagine: contributori di Milvus GitHub, realizzata con il progetto di dynamicwebpaige)

Annunci e tappe del progetto Milvus

1. Numero di versioni rilasciate: 14

• Rilascio di Milvus 1.0
• Milvus 2.0 rilascio RC
• Milvus 2.0 rilascio PreGA

1. SDK supportati da Milvus v2.0.0 GA

• PyMilvus (disponibile)

• Go SDK (disponibile)

• SDK Java (Disponibile)

• SDK Node.js (Disponibile)

• SDK C++ (in fase di sviluppo)

3. Lancio di nuovi strumenti Milvus:

• Milvus_CLI (linea di comando Milvus)
• Attu (GUI di gestione Milvus)
• Operatore Milvus K8s

4. Milvus è diventato un progetto di laurea della LF AI & Data Foundation.

5. Milvus: A Purpose-Built Vector Data Management System pubblicato in SIGMOD'2021).

6. Lancio del forum della comunità Milvus.

Eventi comunitari

Quest'anno abbiamo ospitato e partecipato a molti eventi per consentire ai membri della nostra comunità globale di incontrarsi (per lo più virtualmente), nonostante l'attuale situazione di Covid-19. In totale, abbiamo partecipato a 21 conferenze e ospitato:

• 6 riunioni tecniche
• 7 Orari d'ufficio Milvus
• 34 webinar
• 3 incontri offline

Stiamo pianificando altri eventi per il 2022. Se volete partecipare agli eventi più vicini a voi, controllate la categoria Eventi e Meetup nel nostro forum della comunità per vedere i prossimi eventi e le loro sedi. Se volete essere relatori o ospiti di eventi futuri, contattateci all'indirizzo community@milvus.io.

Prospettive per il 2022: tabella di marcia e annuncio

Comunità:

1. Migliorare l'adesione al progetto Milvus per attirare/eleggere un maggior numero di manutentori e committer per costruire insieme la comunità.
2. Avviare un programma di mentorship per offrire maggiore aiuto ai nuovi arrivati che vogliono unirsi alla comunità e contribuire.
3. Migliorare la gestione dei documenti della comunità, compresi i documenti tecnici, le guide per gli utenti e i documenti della comunità. Nel 2022, si spera che i membri della comunità possano completare insieme un manuale Milvus, in modo che le persone possano imparare a usare meglio Milvus.
4. Rafforzare la cooperazione e l'interazione con altre comunità open source, comprese le comunità di AI a monte e comunità come Kubernetes, MinIO, etcd e Pulsar su cui Milvus si basa.
5. Diventare più orientati alla comunità organizzando riunioni SIG più regolari. Oltre al sig-pymilvus attualmente in corso, il nostro piano è di avere altri SIG nel 2022.

Progetto Milvus:

1. Messa a punto delle prestazioni

Le prestazioni eccellenti sono sempre state un motivo importante per cui gli utenti scelgono Milvus. Nel 2022 intendiamo avviare un progetto di ottimizzazione delle prestazioni per aumentare il throughput e il ritardo di almeno due volte. Abbiamo inoltre in programma l'introduzione di repliche di memoria per migliorare il throughput e la stabilità del sistema in caso di set di dati di piccole dimensioni e il supporto delle GPU per accelerare la creazione di indici e il servizio online.

2. Funzionalità

Milvus 2.0 ha già supportato funzionalità come la ricerca ibrida vettoriale/scalare, la cancellazione di entità e il viaggio nel tempo. Abbiamo in programma di supportare le seguenti funzionalità nelle prossime due major release:

• Supporto per tipi di dati più ricchi: Stringa, Blob, Geospaziale, ecc.
• Controllo dell'accesso basato sui ruoli
• Deduplicazione delle chiavi primarie
• Supporto per la ricerca per intervallo sui vettori (ricerca dove la distanza è < 0,8)
• Supporto API Restful e SDK di altri linguaggi

3. Facilità d'uso

Nel corso del prossimo anno abbiamo in programma lo sviluppo di diversi strumenti per migliorare la distribuzione e la gestione di Milvus.

• Milvus up: Un componente di distribuzione che aiuta gli utenti ad avviare Milvus in un ambiente offline senza cluster K8s. Aiuta anche a distribuire il monitoraggio, il tracciamento e altri sviluppi di Milvus.

• Attu - Continueremo a migliorare Attu come sistema di gestione dei cluster. Stiamo pianificando di aggiungere funzionalità come la diagnosi dello stato di salute e l'ottimizzazione degli indici.

• Milvus DM: strumento di migrazione dei dati per migrare i vettori da altri database o file a Milvus. Supporteremo prima FAISS, HNSW, Milvus 1.0/2.0, poi altri database come MySQL ed Elasticsearch.

Informazioni sull'autore

Xiaofan Luan, partner e direttore tecnico di Zilliz e membro del comitato consultivo tecnico della LF AI & Data Foundation. Ha lavorato successivamente nella sede centrale di Oracle US e in Hedvig, una startup di software defined storage. È entrato a far parte del team di Alibaba Cloud Database e si è occupato dello sviluppo dei database NoSQL HBase e Lindorm. Luan ha conseguito un master in Ingegneria elettronica informatica presso la Cornell University.