Milvus im Jahr 2021 - Jahresrückblick

2021 war ein erstaunliches Jahr für Milvus als Open-Source-Projekt. Ich möchte mich an dieser Stelle bei allen Mitwirkenden und Nutzern von Milvus sowie bei den Partnern bedanken, die zu einem so herausragenden Jahr beigetragen haben.

Einer der beeindruckendsten Momente in diesem Jahr ist für mich die Veröffentlichung von Milvus 2.0. Bevor wir mit diesem Projekt begannen, glaubten nur wenige Community-Mitglieder, dass wir die fortschrittlichste Vektordatenbank der Welt liefern könnten, aber jetzt bin ich stolz darauf, sagen zu können, dass Milvus 2.0 GA produktionsreif ist.

Wir arbeiten bereits an neuen und aufregenden Herausforderungen für 2022, aber ich dachte, es wäre schön, ein paar der großen Schritte zu feiern, die wir im letzten Jahr gemacht haben. Hier sind ein paar davon:

Wachstum der Gemeinschaft

Zunächst eine Zusammenfassung der Community-Statistiken von GitHub und Slack. Bis Ende Dezember 2021:

• Die Zahlder Mitwirkenden ist von 121 im Dezember 2020 auf 209 im Dezember 2021 gestiegen (plus 172 %)

• Die Anzahlder Sterne ist von 4828 im Dezember 2020 auf 9090 im Dezember 2021 gestiegen (plus 188 %)

• Die Anzahl derForks ist von 756 im Dezember 2020 auf 1383 im Dezember 2021 gestiegen (plus 182 %)

• Die Zahlder Slack-Mitglieder ist von 541 im Dezember 2020 auf 1233 im Dezember 2021 gestiegen (plus 227 %)

img

Community Governance und Befürwortung

Als Milvus im Oktober 2019 als Open Source veröffentlicht wurde, hatten wir ein relativ kleines Team und eine kleine Community, so dass das Projekt natürlich hauptsächlich von einigen wenigen Mitgliedern des Kernteams verwaltet wurde. Aber seitdem die Community deutlich gewachsen ist, wurde uns klar, dass wir ein besseres System für die Verwaltung des Projekts brauchten, damit wir neue Mitwirkende effizienter aufnehmen konnten.

Daher haben wir im Jahr 2021 fünf neue Betreuer ernannt, die die laufende Arbeit und die gemeldeten Probleme im Auge behalten, um sicherzustellen, dass sie zeitnah überprüft und zusammengeführt werden. Die GitHub-IDs der fünf Betreuer sind @xiaofan-luan; @congqixia; @scsven; @czs007; @yanliang567. Sie können sich gerne an diese Betreuer wenden, wenn Sie Hilfe bei Ihren PRs benötigen.

Wir haben außerdem das Milvus Advocate Program ins Leben gerufen und freuen uns, wenn noch mehr Leute mitmachen, um ihre Erfahrungen mit anderen zu teilen, der Community zu helfen und im Gegenzug Anerkennung zu erhalten.

img

(Bild: Milvus GitHub-Mitarbeiter, erstellt mit dynamicwebpaige's Projekt )

Milvus-Projektankündigungen und Meilensteine

1. Anzahl der Versionsveröffentlichungen：14

• Milvus 1.0 Freigabe
• Milvus 2.0 Freigabe RC
• Milvus 2.0 Freigabe PreGA

1. Milvus v2.0.0 GA unterstützte SDKs

• PyMilvus (verfügbar)

• Go SDK (verfügbar)

• Java SDK (verfügbar)

• Node.js SDK (verfügbar)

• C++ SDK (in Entwicklung)

3. Neue Milvus-Tools eingeführt:

• Milvus_CLI (Milvus Befehlszeile)
• Attu (Milvus-Verwaltungs-GUI)
• Milvus K8s Bediener

4. Milvus wurde ein Graduierungsprojekt der LF AI & Data Foundation.

5. Milvus: A Purpose-Built Vector Data Management System veröffentlicht in SIGMOD'2021).

6. Milvus Community Forum gestartet.

Gemeinschaftliche Veranstaltungen

Wir haben in diesem Jahr viele Veranstaltungen ausgerichtet und an ihnen teilgenommen, damit sich unsere globalen Community-Mitglieder trotz der aktuellen Covid-19-Situation (meist virtuell) treffen können. Insgesamt haben wir an 21 Konferenzen teilgenommen und Veranstaltungen durchgeführt:

• 6 technische Treffen
• 7 Milvus-Sprechstunden
• 34 Webinare
• 3 Offline-Treffen

Für das Jahr 2022 sind weitere Veranstaltungen geplant. Wenn Sie an den Veranstaltungen in Ihrer Nähe teilnehmen möchten, sehen Sie bitte in der Kategorie Events und Meetups in unserem Community-Forum nach, welche Veranstaltungen anstehen und wo sie stattfinden. Wenn Sie unser Sprecher oder Gastgeber für zukünftige Veranstaltungen sein möchten, kontaktieren Sie uns bitte unter community@milvus.io.

Ausblick auf 2022 - Roadmap & Ankündigung

Gemeinschaft:

1. Verbesserung der Milvus-Projektmitgliedschaft, um mehr Maintainer und Committer zu gewinnen/zu wählen, um die Community gemeinsam aufzubauen.
2. Einführung eines Mentorenprogramms, um Neulingen, die der Gemeinschaft beitreten und einen Beitrag leisten wollen, mehr Unterstützung zu bieten.
3. Verbesserung der Verwaltung von Gemeinschaftsdokumenten, einschließlich technischer Dokumente, Benutzerhandbücher und Gemeinschaftsdokumente. Im Jahr 2022 können unsere Community-Mitglieder hoffentlich gemeinsam ein Milvus-Handbuch fertigstellen, damit die Menschen lernen können, wie sie Milvus besser nutzen können.
4. Stärkung der Zusammenarbeit und Interaktion mit anderen Open-Source-Gemeinschaften, einschließlich vorgelagerter KI-Gemeinschaften und Gemeinschaften wie Kubernetes, MinIO, etcd und Pulsar, auf die Milvus angewiesen ist.
5. Stärkere Ausrichtung auf die Community durch regelmäßigere SIG-Treffen. Neben der derzeit laufenden sig-pymilvus ist geplant, im Jahr 2022 weitere SIGs einzurichten.

Milvus-Projekt:

1. Leistungsoptimierung

Hervorragende Leistung war schon immer ein wichtiger Grund, warum sich Nutzer für Milvus entschieden haben. Im Jahr 2022 wollen wir ein Projekt zur Leistungsoptimierung starten, um den Durchsatz und die Verzögerung um mindestens das Doppelte zu erhöhen. Außerdem planen wir die Einführung von Speicherreplikaten, um den Durchsatz und die Systemstabilität bei kleinen Datenmengen zu verbessern, und die Unterstützung von GPUs, um den Indexaufbau und das Online-Serving zu beschleunigen.

2. Funktionsweise

Milvus 2.0 unterstützt bereits Funktionen wie die hybride Vektor-/Skalar-Suche, das Löschen von Entitäten und Zeitreisen. Wir planen, die folgenden Funktionen in den nächsten beiden Hauptversionen zu unterstützen:

• Unterstützung für umfangreichere Datentypen: String, Blob, Geospatial, etc.
• Rollenbasierte Zugriffskontrolle
• Primärschlüssel-Deduplizierung
• Unterstützung für die Bereichssuche bei Vektoren (Suche bei Abständen < 0,8)
• Unterstützung für Restful API und andere Sprach-SDKs

3. Benutzerfreundlichkeit

Für das kommende Jahr planen wir die Entwicklung mehrerer Tools, die die Bereitstellung und Verwaltung von Milvus erleichtern sollen.

• Milvus up: Eine Bereitstellungskomponente, die Benutzern hilft, Milvus in einer Offline-Umgebung ohne K8s-Cluster in Betrieb zu nehmen. Sie hilft auch bei der Bereitstellung von Monitoring, Tracing und anderen Milvus-Entwicklungen.

• Attu - Wir werden Attu als unser Cluster-Management-System weiter verbessern. Wir planen, Funktionalitäten wie Zustandsdiagnose und Indexoptimierung hinzuzufügen.

• Milvus DM: Datenmigrationstool für die Migration von Vektoren aus anderen Datenbanken oder Dateien nach Milvus. Wir werden zuerst FAISS, HNSW, Milvus 1.0/2.0 und dann andere Datenbanken wie MySQL und Elasticsearch unterstützen.

Über den Autor

Xiaofan Luan, Partner und technischer Leiter von Zilliz und Mitglied des technischen Beratungsausschusses der LF AI & Data Foundation. Er arbeitete nacheinander in der US-Zentrale von Oracle und bei Hedvig, einem Software Defined Storage-Startup. Er trat dem Alibaba Cloud Database Team bei und war für die Entwicklung der NoSQL-Datenbanken HBase und Lindorm verantwortlich. Luan erwarb seinen Master-Abschluss in Electronic Computer Engineering an der Cornell University.