8-fache Milvus-Leistung mit Cloudian HyperStore und NVIDIA RDMA für S3-Speicher freisetzen

Dieser Beitrag wurde ursprünglich auf Cloudian veröffentlicht und wird hier mit Genehmigung wiederveröffentlicht.

Cloudian hat mit NVIDIA zusammengearbeitet, um seiner HyperStore®-Lösung Unterstützung für RDMA für S3-kompatiblen Speicher hinzuzufügen und dabei seine mehr als 13-jährige Erfahrung in der S3-API-Implementierung zu nutzen. Als S3-API-basierte Plattform mit paralleler Verarbeitungsarchitektur ist Cloudian in einzigartiger Weise geeignet, zur Entwicklung dieser Technologie beizutragen und davon zu profitieren. Diese Zusammenarbeit nutzt Cloudians fundiertes Fachwissen im Bereich der Objektspeicherprotokolle und NVIDIAs führende Rolle bei der Rechen- und Netzwerkbeschleunigung, um eine Lösung zu schaffen, die High-Performance-Computing nahtlos mit Speicherlösungen für Unternehmen verbindet.

NVIDIA hat die bevorstehende allgemeine Verfügbarkeit der RDMA-Technologie für S3-kompatible Speicher (Remote Direct Memory Access) angekündigt und damit einen wichtigen Meilenstein in der Entwicklung der KI-Infrastruktur gesetzt. Diese bahnbrechende Technologie verspricht, die Art und Weise zu verändern, wie Unternehmen die massiven Datenanforderungen moderner KI-Workloads bewältigen. Sie bietet beispiellose Leistungsverbesserungen bei gleichzeitiger Beibehaltung der Skalierbarkeit und Einfachheit, die S3-kompatiblen Objektspeicher zur Grundlage des Cloud Computing gemacht haben.

Was ist RDMA für S3-kompatiblen Speicher?

Diese Einführung stellt einen grundlegenden Fortschritt in der Art und Weise dar, wie Speichersysteme mit KI-Beschleunigern kommunizieren. Die Technologie ermöglicht direkte Datenübertragungen zwischen S3-API-kompatiblem Objektspeicher und GPU-Speicher, wobei herkömmliche, von der CPU vermittelte Datenpfade vollständig umgangen werden. Im Gegensatz zu konventionellen Speicherarchitekturen, die alle Datenübertragungen über die CPU und den Systemspeicher leiten, was zu Engpässen und Latenzzeiten führt, stellt DDMA für S3-kompatible Speicher eine direkte Datenautobahn vom Speicher zur GPU her.

Im Kern eliminiert diese Technologie Zwischenschritte durch einen direkten Pfad, der die Latenzzeit reduziert, die CPU-Verarbeitungsanforderungen drastisch senkt und den Stromverbrauch erheblich verringert. Das Ergebnis sind Speichersysteme, die Daten mit der Geschwindigkeit liefern können, die moderne GPUs für anspruchsvolle KI-Anwendungen benötigen.

Die Technologie behält die Kompatibilität mit den allgegenwärtigen S3-APIs bei und fügt gleichzeitig diesen Hochleistungsdatenpfad hinzu. Befehle werden nach wie vor über standardmäßige S3-API-basierte Speicherprotokolle erteilt, aber die eigentliche Datenübertragung erfolgt über RDMA direkt an den GPU-Speicher, wodurch die CPU vollständig umgangen wird und der Overhead der TCP-Protokollverarbeitung entfällt.

Bahnbrechende Leistungsergebnisse

Die Leistungsverbesserungen, die RDMA für S3-kompatible Speicher liefert, sind geradezu revolutionär. Praxistests haben gezeigt, dass die Technologie in der Lage ist, E/A-Engpässe im Speicher zu beseitigen, die KI-Workloads behindern.

Dramatische Geschwindigkeitsverbesserungen:

• 35 GB/s pro Knoten gemessenerDurchsatz (Lesen), mit linearer Skalierbarkeit über Cluster hinweg

• Skalierbarkeit auf TB/s mit der parallelen Verarbeitungsarchitektur von Cloudian

• 3-5-fache Durchsatzverbesserung im Vergleich zu herkömmlicher TCP-basierter Objektspeicherung

Gewonnene Ressourceneffizienz:

• 90%ige Reduzierung der CPU-Auslastung durch Einrichtung direkter Datenpfade zu GPUs

• Höhere GPU-Auslastung durch Beseitigung von Engpässen

• Drastische Reduzierung des Stromverbrauchs durch geringeren Verarbeitungs-Overhead

• Kostensenkungen für KI-Speicher

8-fache Leistungssteigerung auf Milvus durch Zilliz Vector DB

Diese Leistungsverbesserungen werden besonders bei Vektordatenbankoperationen deutlich, wo die Zusammenarbeit zwischen Cloudian und Zilliz unter Verwendung von NVIDIA cuVS und NVIDIA L40S GPUs eine 8-fache Leistungssteigerung bei Milvus-Operationen im Vergleich zu CPU-basierten Systemen und TCP-basierter Datenübertragung zeigte. Dies stellt einen grundlegenden Wandel dar, weg vom Speicher als Hindernis hin zum Speicher, der es KI-Anwendungen ermöglicht, ihr volles Potenzial auszuschöpfen.

Warum S3 API-basierter Objektspeicher für KI-Workloads

Die Konvergenz von RDMA-Technologie und Objektspeicherarchitektur schafft die ideale Grundlage für KI-Infrastrukturen und löst mehrere Herausforderungen, die herkömmliche Speicheransätze einschränken.

Skalierbarkeit im Exabyte-Bereich für die Datenexplosion bei KI: KI-Workloads, insbesondere solche mit synthetischen und multimodalen Daten, treiben die Speicheranforderungen in den 100-Petabyte-Bereich und darüber hinaus. Der flache Adressraum des Objektspeichers lässt sich nahtlos von Petabyte bis Exabyte skalieren und trägt so dem exponentiellen Wachstum der KI-Trainingsdaten Rechnung, ohne die hierarchischen Beschränkungen, die dateibasierte Systeme einschränken.

Einheitliche Plattform für vollständige KI-Workflows: Moderne KI-Abläufe umfassen Dateneingabe, Bereinigung, Training, Checkpointing und Inferenz - jeder mit eigenen Leistungs- und Kapazitätsanforderungen. S3-kompatibler Objektspeicher unterstützt dieses gesamte Spektrum durch konsistenten API-Zugriff, wodurch die Komplexität und die Kosten für die Verwaltung mehrerer Speicherebenen entfallen. Trainingsdaten, Modelle, Checkpoint-Dateien und Inferenzdatensätze können alle in einem einzigen, leistungsstarken Data Lake gespeichert werden.

Umfangreiche Metadaten für KI-Operationen: Kritische KI-Vorgänge wie Suche und Aufzählung sind grundsätzlich metadatengesteuert. Die umfangreichen, anpassbaren Metadatenfunktionen des Objektspeichers ermöglichen eine effiziente Kennzeichnung, Suche und Verwaltung von Daten, die für die Organisation und den Abruf von Daten in komplexen KI-Modellschulungs- und Inferenz-Workflows unerlässlich sind.

Wirtschaftliche und betriebliche Vorteile: S3-kompatibler Objektspeicher bietet bis zu 80 % niedrigere Gesamtbetriebskosten im Vergleich zu alternativen Dateispeichern, indem er branchenübliche Hardware und eine unabhängige Skalierung von Kapazität und Leistung nutzt. Diese wirtschaftliche Effizienz ist von entscheidender Bedeutung, wenn KI-Datensätze Unternehmensgröße erreichen.

Unternehmenssicherheit und Governance: Im Gegensatz zu GPUDirect-Implementierungen, die Änderungen auf Kernel-Ebene erfordern, sind bei RDMA für S3-kompatiblen Speicher keine herstellerspezifischen Kernel-Änderungen erforderlich, wodurch die Systemsicherheit und die Einhaltung gesetzlicher Vorschriften gewährleistet werden. Dieser Ansatz ist besonders wertvoll in Sektoren wie dem Gesundheitswesen und dem Finanzwesen, wo Datensicherheit und die Einhaltung gesetzlicher Vorschriften von größter Bedeutung sind.

Der Weg in die Zukunft

Die Ankündigung von NVIDIA, dass RDMA für S3-kompatiblen Speicher allgemein verfügbar ist, stellt mehr als nur einen technologischen Meilenstein dar - sie ist ein Zeichen für die Reifung der KI-Infrastrukturarchitektur. Durch die Kombination der unbegrenzten Skalierbarkeit von Objektspeicher mit der bahnbrechenden Leistung des direkten GPU-Zugriffs können Unternehmen endlich KI-Infrastrukturen aufbauen, die mit ihren Ambitionen mitwachsen.

Da die KI-Workloads immer komplexer und umfangreicher werden, bietet RDMA für S3-kompatiblen Speicher die Speichergrundlage, die es Unternehmen ermöglicht, ihre KI-Investitionen zu maximieren und gleichzeitig die Datenhoheit und die betriebliche Einfachheit zu wahren. Die Technologie verwandelt Speicher von einem Engpass in einen Enabler, so dass KI-Anwendungen ihr volles Potenzial im Unternehmensmaßstab ausschöpfen können.

Für Unternehmen, die ihre KI-Infrastruktur-Roadmap planen, markiert die allgemeine Verfügbarkeit von RDMA für S3-kompatiblen Speicher den Beginn einer neuen Ära, in der die Speicherleistung wirklich den Anforderungen moderner KI-Workloads entspricht.

Branchenperspektiven

Da KI in der Gesundheitsversorgung zunehmend an Bedeutung gewinnt, sind wir ständig bestrebt, die Leistung und Effizienz unserer Infrastruktur zu steigern. Das neue RDMA für S3-kompatiblen Speicher von NVIDIA und Cloudian wird für unsere medizinischen Bildgebungsanalysen und KI-Diagnoseanwendungen von entscheidender Bedeutung sein, denn die schnelle Verarbeitung großer Datensätze kann sich direkt auf die Patientenversorgung auswirken und gleichzeitig die Kosten für die Übertragung von Daten zwischen S3-API-basierten Speichergeräten und SSD-basierten NAS-Speichern senken. - Dr. Swapnil Rane MD, DNB, PDCC (Nephropath), Mres (TCM), Fellowship in Oncopath, FRCPath Professor (F) für Pathologie, PI, AI/Computational Pathology And Imaging Lab OIC- Abteilung für digitale und computergestützte Onkologie, Tata Memorial Centre

"Die Ankündigung von NVIDIA, RDMA für S3-kompatibel zu machen, bestätigt den Wert unserer Cloud-basierten KI-Infrastrukturstrategie. Wir ermöglichen es Unternehmen, hochleistungsfähige KI im großen Maßstab auszuführen und gleichzeitig die S3-API-Kompatibilität zu erhalten, die die Migration einfach und die Kosten für die Anwendungsentwicklung niedrig hält." - Sunil Gupta, Mitbegründer, Managing Director & Chief Executive Officer (CEO), Yotta Data Services

"Während wir unsere On-Premises-Fähigkeiten zur Bereitstellung von souveräner KI ausbauen, bieten uns NVIDIAs RDMA für S3-kompatible Speichertechnologie und Cloudians hochleistungsfähiger Objektspeicher die Leistung, die wir benötigen, ohne die Datenresidenz zu beeinträchtigen und ohne dass Änderungen auf Kernel-Ebene erforderlich sind. Mit der HyperStore-Plattform von Cloudian können wir auf Exabytes skalieren und gleichzeitig unsere sensiblen KI-Daten vollständig unter unserer Kontrolle behalten." - Logan Lee, EVP & Head of Cloud, Kakao

"Wir freuen uns über NVIDIAs Ankündigung der kommenden RDMA for S3-kompatiblen Speicher-GA-Version. Unsere Tests mit Cloudian haben eine bis zu 8-fache Leistungsverbesserung für Vektordatenbankoperationen ergeben, die es unseren Milvus by Zilliz-Nutzern ermöglichen wird, Cloud-Scale-Performance für anspruchsvolle KI-Workloads zu erreichen und gleichzeitig die vollständige Datenhoheit zu behalten." - Charles Xie, Gründer und CEO von Zilliz