Milvus-Fahrplan
🌌 Auf dem Weg zur multimodalen Datenbank und zum Datensee der nächsten Generation
Milvus Produkt-Roadmap
Willkommen bei der Milvus-Roadmap!
Wir leiten mit Milvus eine neue Ära ein - die nächste Generation der multimodalen Datenbank - von strukturierten bis zu unstrukturierten Daten, von Echtzeitabfragen bis zu Offline-Analysen und von Single-Cluster-Leistung bis zu einer globalen Data Lake-Architektur.
Diese Roadmap umreißt die Kernziele für Milvus v2.6 (in Arbeit), Milvus v3.0 (geplant für Ende 2026) und Milvus v3.1 (langfristige Entwicklung), zusammen mit dem Evolutionsplan für Vector Lake (Data Lake / Loon).
🧩 Milvus v2.6 (in Arbeit)
Zeitplan: Mitte 2025 - Ende 2025
Schwerpunkte: Aktualisierung des Datenmodells, Refactoring der Streaming-Architektur, Aufbau von Hot/Cold-Tiering-Funktionen und Einführung des Vector Lake Prototyps (v0.1).
🎯 Wichtige Highlights
🔹 Datenmodell-Upgrade
Einführung eines einheitlichen Tensor-/StructList-Datentyps zur Unterstützung von Multivektor-Einbettungsstrukturen, der die Kompatibilität mit ColBERT, CoLQwen, Video und multimodalen Vektoren ermöglicht.
Hinzufügen von Geodaten-Unterstützung, einschließlich Punkten, Regionen und räumlicher Indizierung (basierend auf libspatial), um Anwendungsfälle in LBS und GIS zu erweitern.
Unterstützung für den Datentyp Zeitstempel mit Zeitzone.
🔹 StreamNode Architektur Refactor
Umschreiben der Streaming-Ingestion-Pipeline zur Optimierung inkrementeller Schreibvorgänge und Echtzeitberechnungen.
Erhebliche Verbesserung der Gleichzeitigkeitsleistung und -stabilität als Grundlage für eine vereinheitlichte Echtzeit- und Offline-Verarbeitung.
Einführung einer neuen Nachrichtenwarteschlangen-Engine: Woodpecker.
🔹 Hot/Cold Tiering & Speicherarchitektur (StorageV2)
Unterstützung von zwei Speicherformaten: Parquet und Vortex, Verbesserung der Gleichzeitigkeit und Speichereffizienz.
Implementierung von Tiered Storage mit automatischer Hot/Cold-Datentrennung und intelligentem Scheduling.
Vector Lake Prototyp (v0.1)
Integration mit Spark / DuckDB / DataFusion über FFI, was Offline-Schemaentwicklung und KNN-Abfragen ermöglicht.
Bereitstellung einer multimodalen Datenvisualisierung und einer Spark ETL-Demo, die die grundlegende Data Lake-Architektur etabliert.
🌠 Milvus v3.0 (geplant für Ende 2026)
Zeitplan: Ende 2025 - Anfang 2026
Schwerpunkt: Umfassende Verbesserungen der Sucherfahrung, der Schemaflexibilität und der Unterstützung unstrukturierter Daten sowie die Veröffentlichung von Vector Lake (v0.2).
🎯 Wichtige Highlights
🔹 Überarbeitung der Sucherfahrung
Einführung der Ähnlichkeitssuche More Like This (MLT) mit Unterstützung für Suchen mit Positions- oder Negativbeispielen.
Hinzufügen semantischer Suchfunktionen wie Hervorhebung und Verstärkung.
Unterstützung von benutzerdefinierten Wörterbüchern und Synonymtabellen, die lexikalische und semantische Regeldefinitionen auf der Analyzer-Ebene ermöglichen.
Einführung von Aggregationsfunktionen für Abfragen.
🔹 Mandantenfähigkeit und Ressourcenmanagement
Ermöglichung von mandantenübergreifender Löschung, Statistik und Hot/Cold Tiering.
Verbesserung der Ressourcenisolierung und Planungsstrategien zur Unterstützung von Millionen von Tabellen in einem einzigen Cluster.
🔹 Schema- und Primärschlüssel-Verbesserungen
Implementierung der globalen Primärschlüssel-Deduplizierung (Global PK Dedup) zur Gewährleistung der Datenkonsistenz und Eindeutigkeit.
Unterstützung einer flexiblen Schemaverwaltung (Hinzufügen/Löschen von Spalten, Auffüllen von Backups).
Erlaubt NULL-Werte in Vektorfeldern.
🔹 Erweiterte unstrukturierte Datentypen (BLOB / Text)
Einführung des BLOB-Typs, der die native Speicherung und Referenzierung von Binärdaten wie Dateien, Bildern und Videos ermöglicht.
Einführung des Typs TEXT, der erweiterte Volltext- und inhaltsbasierte Suchfunktionen bietet.
🔹 Enterprise-Grade-Funktionen
Unterstützung von Snapshot-basierter Sicherung und Wiederherstellung.
Bietet End-to-End-Tracing und Audit-Protokollierung.
Implementierung von Active-Standby-Hochverfügbarkeit (HA) in Multicluster-Bereitstellungen.
🔹 Vector Lake (v0.2)
Unterstützung von TEXT-/BLOB-Speicher und Snapshot-Management für mehrere Versionen.
Integration von Spark für Offline-Indizierung, Clustering, Deduplizierung und Dimensionalitätsreduktionsaufgaben.
Bereitstellung von ChatPDF-Cold-Query- und Offline-Benchmark-Demos.
🪐 Milvus v3.1 (langfristige Vision)
Zeitplan: Mitte 2026
Schwerpunkt: Benutzerdefinierte Funktionen (UDF), Integration von verteiltem Rechnen, skalare Abfrageoptimierung, dynamisches Sharding und die offizielle Freigabe von Vector Lake (v1.0).
🎯 Wichtige Highlights
🔹 UDF & Verteiltes Rechnen Ökosystem
Unterstützung von benutzerdefinierten Funktionen (UDFs), die es Entwicklern ermöglichen, benutzerdefinierte Logik in Abruf- und Berechnungsworkflows einzubauen.
Tiefe Integration mit Ray Dataset / Daft für verteilte UDF-Ausführung und multimodale Datenverarbeitung.
🔹 Skalare Abfrage und lokale Formatentwicklung
Optimierung der Filter- und Aggregationsleistung für skalare Felder.
Verbesserte Ausdrucksauswertung und indexbeschleunigte Ausführung.
Unterstützung von In-Place-Updates für lokale Dateiformate.
🔹 Erweiterte Suchfunktionen
Hinzufügen der folgenden Funktionen: RankBy-, OrderBy-, Facetten- und Fuzzy-Match-Abfragen.
Verbessern Sie die Textsuche mit Unterstützung für:
match_phrase_prefixCompletion SuggesterTerm SuggesterPhrase Suggester
🔹 Dynamisches Sharding & Skalierbarkeit
Aktivieren Sie die automatische Aufteilung von Shards und den Lastausgleich für eine nahtlose Skalierung.
Verbessern Sie den Aufbau eines globalen Index und stellen Sie die Leistung einer verteilten Suche sicher.
🔹 Vector Lake V1.0
Tiefe Integration mit Ray / Daft / PyTorch zur Unterstützung von verteilten UDFs und Context Engineering Anwendungsfällen.
Bereitstellung von RAG (Retrieval-Augmented Generation) Demos und Import aus Iceberg-Tabellen.
🤝 Die Zukunft von Milvus mitgestalten
Milvus ist ein Open-Source-Projekt, das von einer globalen Gemeinschaft von Entwicklern getragen wird.
Wir laden alle Community-Mitglieder herzlich dazu ein, die nächste Generation der multimodalen Datenbank mitzugestalten:
💬 Feedback geben: Schlagen Sie neue Funktionen oder Optimierungsideen vor
🐛 Probleme melden: Melden Sie Fehler über GitHub Issues
🔧 Code beisteuern: PRs einreichen und bei der Entwicklung von Kernfunktionen helfen
Pull-Anfragen: Tragen Sie direkt zu unserer Codebasis bei. Ob Sie Fehler beheben, Funktionen hinzufügen oder die Dokumentation verbessern, Ihre Beiträge sind willkommen.
Leitfaden für Entwickler: In unserem Contributor's Guide finden Sie Richtlinien für Code-Beiträge.
⭐ Verbreiten Sie die Nachricht: Teilen Sie bewährte Verfahren und Erfolgsgeschichten
👉 GitHub: milvus-io/milvus