2023: das Jahr der KI
Dieses Bild wurde von AI generiert.
Dieser Beitrag wurde von James Luan mit der Hilfe von ChatGPT geschrieben. James hat in erster Linie Prompts geschrieben und die von der KI generierten Inhalte überprüft und aufpoliert.
2023: das Jahr der KI
Das Jahr 2023 markiert einen entscheidenden Wendepunkt in der künstlichen Intelligenz (KI). Große Sprachmodelle (Large Language Models, LLMs) sind in den Mittelpunkt gerückt und haben breite Anerkennung für ihre außergewöhnlichen Fähigkeiten bei der Verarbeitung natürlicher Sprache erhalten. Dieser Popularitätsschub hat die Möglichkeiten von Anwendungen des maschinellen Lernens erheblich erweitert und ermöglicht es Entwicklern, intelligentere und interaktivere Anwendungen zu erstellen.
Inmitten dieser Revolution haben sich Vektordatenbanken als eine entscheidende Komponente herauskristallisiert, die als Langzeitspeicher für LLMs fungieren. Das Aufkommen von RAG-Modellen (Retrieval-Augmented Generation), intelligenten Agenten und multimodalen Retrieval-Anwendungen hat das enorme Potenzial von Vektordatenbanken bei der Verbesserung der Effizienz multimodaler Datenabfragen, der Reduzierung von Halluzinationen in LLMs und der Ergänzung von Domänenwissen gezeigt.
Die Entwicklung von LLMs hat auch zu bedeutenden Fortschritten bei den Einbettungstechnologien geführt. Laut dem Massive Text Embedding Benchmark (MTEB) Leaderboard auf HuggingFace wurden führende Einbettungsmodelle wie UAE, VoyageAI, CohereV3 und Bge alle im Jahr 2023 veröffentlicht. Diese Fortschritte haben die Effektivität der Vektorsuche verschiedener Vektorsuchtechnologien wie Milvus gestärkt und bieten präzisere und effizientere Datenverarbeitungsmöglichkeiten für KI-Anwendungen.
Mit der wachsenden Popularität von Vektordatenbanken entstanden jedoch auch Debatten über die Notwendigkeit spezialisierter Lösungen. Dutzende von Start-ups sind in die Arena der Vektordatenbanken eingetreten. Viele traditionelle relationale und NoSQL-Datenbanken haben begonnen, Vektoren als wichtigen Datentyp zu behandeln, und viele behaupten, dass sie in der Lage sind, spezialisierte Vektordatenbanken in jeder Situation zu ersetzen.
Zu Beginn des Jahres 2024 ist es sinnvoll, über die gesamte Branche der Vektordatenbanken nachzudenken, mit besonderem Augenmerk auf Milvus - ein herausragendes Produkt in dieser Landschaft.
Milvus im Jahr 2023: Die Zahlen lügen nicht
Seit seiner Markteinführung im Jahr 2019 hat Milvus Pionierarbeit im Bereich der Vektordatenbanken geleistet und sich durchweg einen guten Ruf für hohe Zuverlässigkeit, Skalierbarkeit, Suchqualität und Leistung erworben. Im Jahr 2023 erzielte Milvus beeindruckende Ergebnisse und erlebte bedeutende Veränderungen, die vor allem durch die rasante Entwicklung von LLMs und den Boom von AIGC-Anwendungen angetrieben wurden. Hier sind einige Schlüsselzahlen, die den Fortschritt von Milvus im Jahr 2023 am besten darstellen.
NULL Ausfallzeiten bei rollierenden Upgrades
Für diejenigen, die neu im Bereich der Vektordatenbanken sind, liegt ihr Hauptaugenmerk auf der Funktionalität und nicht auf der betrieblichen Wartung. Viele Anwendungsentwickler achten auch weniger auf die Stabilität ihrer Vektordatenbanken als bei transaktionalen Datenbanken, da sich ihre Anwendungen oft noch in einem frühen Stadium der Erforschung befinden. Stabilität ist jedoch unverzichtbar, wenn Sie Ihre AIGC-Anwendung in einer Produktionsumgebung einsetzen und die beste Benutzererfahrung erzielen wollen.
Milvus zeichnet sich dadurch aus, dass nicht nur die Funktionalität, sondern auch die Betriebsstabilität im Vordergrund steht. Wir haben Milvus ab Version 2.2.3 mit rollenden Upgrades ausgestattet. Nach ständiger Weiterentwicklung kann diese Funktion sicherstellen, dass es bei Upgrades keine Ausfallzeiten gibt, ohne dass die Geschäftsprozesse unterbrochen werden.
Dreifache Leistungsverbesserung in Produktionsumgebungen
Die Steigerung der Vektorsuchleistung muss ein vorrangiges Ziel für Vektordatenbanken sein. Viele Lösungen für die Vektorsuche basieren auf der Anpassung des HNSW-Algorithmus, um schnell auf den Markt zu kommen. Leider führt dies dazu, dass sie in realen Produktionsumgebungen vor erheblichen Herausforderungen stehen, insbesondere bei stark gefilterten Suchvorgängen (über 90 %) und häufigen Datenlöschungen. Milvus berücksichtigt die Leistung von Anfang an und zeichnet sich durch die Optimierung der Leistung in jeder Phase der Entwicklung aus, insbesondere in Produktionsumgebungen, wobei eine dreifache Verbesserung der Suchleistung erreicht wird, insbesondere bei gefilterten Suchen und Streaming Insert/Search-Situationen.
Um die Vektordatenbank-Community weiter zu unterstützen, haben wir letztes Jahr VectorDBBench, ein Open-Source-Benchmarking-Tool, eingeführt. Dieses Tool ist für die frühzeitige Bewertung von Vektordatenbanken unter verschiedenen Bedingungen unerlässlich. Im Gegensatz zu herkömmlichen Evaluierungsmethoden bewertet VectorDBBench Datenbanken anhand von realen Daten, einschließlich sehr großer Datensätze oder solcher, die den Daten von tatsächlichen Einbettungsmodellen sehr ähnlich sind.
5%ige Verbesserung der Wiedererkennung im Beir-Datensatz
Während sich dichte Einbettungen bei der Vektorsuche bewährt haben, müssen sie bei der Suche nach Namen, Objekten, Abkürzungen und kurzen Abfragekontexten aufholen. Als Reaktion auf ihre Einschränkungen hat Milvus einen hybriden Abfrageansatz eingeführt, der dichte Einbettungen mit spärlichen Einbettungen integriert, um die Qualität der Suchergebnisse zu verbessern. Die Synergie dieser hybriden Lösung mit einem Reranking-Modell hat zu einer erheblichen Verbesserung der Wiederfindungsrate von 5 % auf dem Beir-Datensatz geführt, wie unsere Tests gezeigt haben.
Über die Verbesserung der Suchqualität hinaus hat Milvus auch eine graphbasierte Retrieval-Lösung vorgestellt, die auf spärliche Einbettungen zugeschnitten ist und die Leistung herkömmlicher Suchalgorithmen wie WAND übertrifft.
Auf dem NeurIPS-BigANN-Wettbewerb 2023 präsentierte Zihao Wang, ein talentierter Ingenieur bei Zilliz, Pyanns, einen Suchalgorithmus, der sich im Vergleich zu anderen Beiträgen im Bereich der Sparse Embedding-Suche als deutlich überlegen erwies. Diese bahnbrechende Lösung ist ein Vorläufer unserer Sparse-Embedding-Suchalgorithmen für Produktionsumgebungen.
10-fache Speichereinsparung bei großen Datensätzen
Retrieval Augmented Generation (RAG) war der beliebteste Anwendungsfall für Vektordatenbanken im Jahr 2023. Der Anstieg der Vektordatenmengen bei RAG-Anwendungen stellt jedoch eine Herausforderung für die Speicherung dieser Anwendungen dar. Dies gilt insbesondere dann, wenn das Volumen der transformierten Vektoren das Volumen der ursprünglichen Dokumentenstücke übersteigt, was die Kosten für die Speichernutzung in die Höhe treiben kann. Nach der Unterteilung von Dokumenten in Chunks ist beispielsweise die Größe eines 1536-dimensionalen float32-Vektors (etwa 3kb), der aus einem 500-Token-Chunk (etwa 1kb) transformiert wurde, größer als der 500-Token-Chunk.
Milvus ist die erste Open-Source-Vektordatenbank, die eine plattenbasierte Indizierung unterstützt, was zu einer bemerkenswerten 5-fachen Speichereinsparung führt. Bis Ende 2023 haben wir Milvus 2.3.4 eingeführt, das das Laden von Skalar- und Vektordaten/Indizes auf die Festplatte mit Hilfe von memory-mapped files(MMap) ermöglicht. Diese Weiterentwicklung bietet eine mehr als 10-fache Reduzierung des Speicherbedarfs im Vergleich zur traditionellen In-Memory-Indizierung.
20 Milvus-Veröffentlichungen
Im Jahr 2023 durchlief Milvus eine transformative Reise, die von bedeutenden Meilensteinen geprägt war. Im Laufe des Jahres brachten wir 20 neue Versionen auf den Markt, ein Beweis für das Engagement von mehr als 300 Entwicklern aus der Community und die Umsetzung unserer Verpflichtung zu einem benutzerorientierten Entwicklungsansatz.
So wurde mit Milvus 2.2.9 ein dynamisches Schema eingeführt, was einen entscheidenden Wechsel von der Priorisierung der Leistung zur Verbesserung der Benutzerfreundlichkeit darstellt. Darauf aufbauend wurden mit Milvus 2.3 wichtige Funktionen wie Upsert, Bereichssuche, Cosinus-Metriken und mehr eingeführt, die alle auf die spezifischen Bedürfnisse und Rückmeldungen unserer Benutzergemeinschaft zurückgehen. Dieser iterative Entwicklungsprozess unterstreicht unser Engagement, Milvus kontinuierlich an die sich entwickelnden Anforderungen unserer Nutzer anzupassen.
1.000.000 Mieter in einem einzigen Custer
Die Implementierung von Multi-Tenancy ist für die Entwicklung von RAG-Systemen, KI-Agenten und anderen LLM-Anwendungen von entscheidender Bedeutung, um die gestiegenen Anforderungen der Nutzer an die Datenisolierung zu erfüllen. Bei B2C-Unternehmen kann die Anzahl der Mandanten in die Millionen gehen, was eine physische Isolierung der Benutzerdaten unpraktisch macht (es ist zum Beispiel unwahrscheinlich, dass jemand Millionen von Tabellen in einer relationalen Datenbank erstellen würde). Milvus hat die Funktion "Partition Key" eingeführt, die eine effiziente, logische Isolierung und Datenfilterung auf der Grundlage von Partitionsschlüsseln ermöglicht, was in großem Maßstab praktisch ist.
Umgekehrt profitieren B2B-Unternehmen, die es gewohnt sind, mit Zehntausenden von Mietern umzugehen, von einer nuancierteren Strategie, die eine physische Ressourcenisolierung beinhaltet. Die neueste Milvus-Version 2.3.4 bietet ein verbessertes Speichermanagement, Coroutine-Handling und CPU-Optimierung, was die Erstellung von Zehntausenden von Tabellen innerhalb eines einzigen Clusters erleichtert. Diese Verbesserung trägt auch den Bedürfnissen von B2B-Unternehmen Rechnung, indem sie für mehr Effizienz und Kontrolle sorgt.
10.000.000 Docker-Image-Zugriffe
Gegen Ende des Jahres 2023 erreichte Milvus mit 10 Millionen Docker-Pull-Downloads einen beeindruckenden Meilenstein. Diese Leistung signalisiert die zunehmende Faszination der Entwicklergemeinschaft für Milvus und unterstreicht seine wachsende Bedeutung im Bereich der Vektordatenbanken.
Als weltweit erste Cloud-native Vektordatenbank bietet Milvus eine nahtlose Integration mit Kubernetes und dem breiteren Container-Ökosystem. Wenn man in die Zukunft blickt, kommt man nicht umhin, über den nächsten Brennpunkt in der sich ständig weiterentwickelnden Vektordatenbanklandschaft nachzudenken. Könnte es der Aufstieg der serverlosen Dienste sein?
10 Milliarden Entitäten in einer einzigen Sammlung
Auch wenn die Skalierbarkeit derzeit vielleicht nicht im Mittelpunkt des KI-Phänomens steht, so spielt sie doch eine zentrale Rolle und ist keineswegs nur ein Nebenschauplatz. Die Vektordatenbank von Milvus kann nahtlos skaliert werden, um Milliarden von Vektordaten aufzunehmen, ohne dabei ins Schwitzen zu geraten. Werfen Sie zum Beispiel einen Blick auf einen unserer LLM-Kunden. Milvus half diesem Kunden mühelos, erstaunliche 10 Milliarden Datenpunkte zu speichern, zu verarbeiten und abzurufen. Doch wie lassen sich Kosten und Leistung bei der Bewältigung einer so großen Datenmenge in Einklang bringen? Seien Sie versichert, dass Mivus über verschiedene Funktionen verfügt, die Ihnen dabei helfen, diese Herausforderung zu meistern und Ihr Erlebnis zu verbessern.
Jenseits der Zahlen: die neuen Erkenntnisse über Vektordatenbanken
Über die numerischen Meilensteine hinaus hat uns das Jahr 2023 mit wertvollen Erkenntnissen bereichert. Wir haben uns in die Feinheiten der Vektordatenbanklandschaft vertieft und sind über bloße Statistiken hinausgegangen, um die subtilen Nuancen und die sich entwickelnde Dynamik der Vektorsuchtechnologie zu erfassen.
LLM-Anwendungen befinden sich noch in der Anfangsphase.
Erinnert man sich an die Anfänge des Booms des mobilen Internets, so entwickelten viele Entwickler einfache Apps wie Taschenlampen oder Wettervorhersagen, die schließlich in die Betriebssysteme von Smartphones integriert wurden. Im vergangenen Jahr hatten die meisten AI Native-Anwendungen, wie AutoGPT, das auf GitHub schnell 100.000 Sterne erreichte, keinen praktischen Nutzen, sondern stellten lediglich sinnvolle Experimente dar. Für Vektordatenbankanwendungen sind die aktuellen Anwendungsfälle möglicherweise nur die erste Welle der AI Native-Transformationen, und ich erwarte mit Spannung das Auftauchen weiterer großartiger Anwendungsfälle.
Vektordatenbanken gehen in Richtung Diversifizierung.
Ähnlich wie bei der Entwicklung von Datenbanken in Kategorien wie OLTP, OLAP und NoSQL zeigt sich auch bei Vektordatenbanken ein klarer Trend zur Diversifizierung. Abgesehen von der konventionellen Fokussierung auf Online-Dienste haben Offline-Analysen erheblich an Zugkraft gewonnen. Ein weiteres bemerkenswertes Beispiel für diesen Wandel ist die Einführung von GPTCache, einem semantischen Cache, der 2023 als Open-Source-Lösung veröffentlicht wird. Er steigert die Effizienz und Geschwindigkeit von GPT-basierten Anwendungen, indem er von Sprachmodellen generierte Antworten speichert und abruft.
Wir sind zuversichtlich und freuen uns, im kommenden Jahr noch vielfältigere Anwendungen und Systemdesigns für Vektordatenbanken zu sehen.
Die Vektoroperationen werden immer komplizierter.
Die Unterstützung der ANN-Suche (Approximate Nearest Neighbor) ist zwar ein entscheidendes Merkmal von Vektordatenbanken, aber sie steht nicht allein. Die weit verbreitete Meinung, dass die bloße Beibehaltung der Nearest Neighbour Search ausreicht, um eine Datenbank als Vektor- oder KI-Datenbank zu klassifizieren, vereinfacht die Komplexität von Vektoroperationen zu stark. Über die grundlegenden Funktionen der hybriden skalaren Filterung und der Vektorsuche hinaus sollten Datenbanken, die auf KI-Anwendungen zugeschnitten sind, anspruchsvollere semantische Funktionen wie NN-Filterung, KNN-Join und Cluster-Abfragen unterstützen.
Elastische Skalierbarkeit ist für native KI-Anwendungen unerlässlich.
Das exponentielle Wachstum von KI-Anwendungen, wie z. B. ChatGPT mit über 100 Millionen monatlich aktiven Nutzern innerhalb von zwei Monaten, übertrifft alle bisherigen Geschäftsentwicklungen. Eine rasche Skalierung von 1 Million auf 1 Milliarde Datenpunkte ist von entscheidender Bedeutung, sobald die Unternehmen ihr Wachstum erreichen. Entwickler von KI-Anwendungen profitieren vom Pay-as-you-go-Service-Modell der LLM-Anbieter, was zu einer erheblichen Senkung der Betriebskosten führt. Ebenso erweist sich die Speicherung von Daten, die mit diesem Preismodell übereinstimmen, als vorteilhaft für Entwickler, da sie so mehr Aufmerksamkeit auf ihr Kerngeschäft lenken können.
Im Gegensatz zu Sprachmodellen (LLMs) und verschiedenen anderen technologischen Systemen arbeiten Vektordatenbanken zustandsorientiert und erfordern eine dauerhafte Datenspeicherung für ihre Funktionalität. Daher ist es bei der Auswahl von Vektordatenbanken entscheidend, Elastizität und Skalierbarkeit zu priorisieren. Diese Priorisierung gewährleistet die Anpassung an die dynamischen Anforderungen von sich entwickelnden KI-Anwendungen und unterstreicht die Notwendigkeit einer nahtlosen Anpassungsfähigkeit an sich ändernde Arbeitslasten.
Die Nutzung von maschinellem Lernen in Vektordatenbanken kann außergewöhnliche Ergebnisse liefern.
Im Jahr 2023 haben unsere umfangreichen Investitionen in die AI4DB-Projekte (AI for Database) zu bemerkenswerten Erfolgen geführt. Im Rahmen unserer Bemühungen haben wir zwei zentrale Funktionen in die Zilliz Cloud, die vollständig verwaltete Milvus-Lösung, eingeführt: 1) AutoIndex, ein auf maschinellem Lernen basierender Index mit automatischer Parameteranpassung, und 2) eine Datenpartitionierungsstrategie, die auf Datenclustering basiert. Beide Innovationen haben entscheidend dazu beigetragen, die Suchleistung der Zilliz Cloud deutlich zu verbessern.
Offene Quelle vs. geschlossene Quelle
Closed-Source-LLMs wie die GPT-Serie von OpenAI und Claude sind derzeit führend, wodurch die Open-Source-Gemeinschaft aufgrund des Fehlens vergleichbarer Rechen- und Datenressourcen benachteiligt ist.
Im Bereich der Vektordatenbanken wird sich Open Source jedoch zur bevorzugten Wahl der Nutzer entwickeln. Die Entscheidung für Open Source bringt viele Vorteile mit sich, wie z. B. vielfältigere Anwendungsfälle, schnellere Iterationen und die Kultivierung eines robusteren Ökosystems. Darüber hinaus sind Datenbanksysteme so komplex, dass sie sich die Intransparenz, die oft mit LLMs verbunden ist, nicht leisten können. Die Benutzer müssen die Datenbank gründlich verstehen, bevor sie den sinnvollsten Ansatz für ihre Nutzung wählen. Darüber hinaus gibt die Transparenz von Open Source den Nutzern die Freiheit und die Kontrolle, die Datenbank nach ihren Bedürfnissen anzupassen.
Epilog - und ein neuer Anfang!
Das Jahr 2023 vergeht wie im Flug, und die Geschichte der Vektordatenbanken steht erst am Anfang. Auf unserer Reise mit der Vektordatenbank Milvus geht es um etwas anderes, als sich im Hype der AIGC zu verlieren. Stattdessen konzentrieren wir uns auf die sorgfältige Entwicklung unseres Produkts, die Identifizierung und Förderung von Anwendungsfällen, die unseren Stärken entsprechen, und den unermüdlichen Einsatz für unsere Benutzer. Unser Engagement für Open Source zielt darauf ab, die Kluft zwischen uns und unseren Nutzern zu überbrücken, damit sie unsere Hingabe und unser handwerkliches Können auch aus der Ferne spüren können.
2023 wurden auch viele KI-Startups gegründet und erhielten ihre ersten Finanzierungsrunden. Es ist aufregend, die Innovationen dieser Entwickler zu sehen, und es erinnert mich daran, warum ich überhaupt in die VectorDB-Entwicklung eingestiegen bin. 2024 wird das Jahr sein, in dem all diese innovativen Anwendungen wirklich Fuß fassen und nicht nur Finanzmittel, sondern auch zahlende Kunden anziehen werden. Die Kundeneinnahmen werden andere Anforderungen an die Entwickler stellen, da die Entwicklung einer vollständig skalierbaren Lösung mit geringen oder gar keinen Ausfallzeiten von größter Bedeutung ist.
Lassen Sie uns im Jahr 2024 außergewöhnliche Dinge schaffen!
- Milvus im Jahr 2023: Die Zahlen lügen nicht
- Jenseits der Zahlen: die neuen Erkenntnisse über Vektordatenbanken
- Epilog - und ein neuer Anfang!
On This Page
Try Managed Milvus for Free
Zilliz Cloud is hassle-free, powered by Milvus and 10x faster.
Get StartedLike the article? Spread the word