Débloquer des performances Milvus 8× avec Cloudian HyperStore et NVIDIA RDMA pour le stockage S3

Cet article a été publié à l'origine sur Cloudian et est réédité ici avec l'autorisation de Cloudian.

Cloudian a collaboré avec NVIDIA pour ajouter à sa solution HyperStore® la prise en charge de RDMA pour le stockage compatible S3, en s'appuyant sur plus de 13 ans d'expérience dans la mise en œuvre de l'API S3. En tant que plate-forme basée sur l'API S3 et dotée d'une architecture de traitement parallèle, Cloudian est particulièrement bien placé pour contribuer au développement de cette technologie et en tirer parti. Cette collaboration s'appuie sur l'expertise de Cloudian dans les protocoles de stockage objet et sur le leadership de NVIDIA dans l'accélération du calcul et du réseau pour créer une solution qui intègre de façon transparente le calcul de haute performance et le stockage à l'échelle de l'entreprise ".

NVIDIA a annoncé la disponibilité générale prochaine de la technologie RDMA pour le stockage compatible S3 (Remote Direct Memory Access), marquant une étape importante dans l'évolution de l'infrastructure de l'IA. Cette technologie révolutionnaire promet de transformer la façon dont les entreprises gèrent les besoins en données massives des charges de travail d'IA modernes, en apportant des améliorations de performances sans précédent tout en conservant l'évolutivité et la simplicité qui ont fait du stockage d'objets compatible S3 le fondement du cloud computing.

Qu'est-ce que RDMA pour le stockage compatible S3 ?

Ce lancement représente une avancée fondamentale dans la manière dont les systèmes de stockage communiquent avec les accélérateurs d'IA. La technologie permet des transferts de données directs entre le stockage d'objets compatible avec l'API S3 et la mémoire GPU, en contournant complètement les chemins de données traditionnels médiés par le CPU. Contrairement aux architectures de stockage conventionnelles qui font passer tous les transferts de données par l'unité centrale et la mémoire système, ce qui crée des goulets d'étranglement et des temps de latence, la technologie RDMA pour le stockage compatible S3 établit une autoroute directe entre le stockage et le GPU.

Au fond, cette technologie élimine les étapes intermédiaires grâce à une voie directe qui réduit la latence, diminue considérablement les demandes de traitement de l'unité centrale et réduit de manière significative la consommation d'énergie. Il en résulte des systèmes de stockage capables de fournir des données à la vitesse requise par les GPU modernes pour les applications d'IA exigeantes.

La technologie maintient la compatibilité avec les API S3 omniprésentes tout en ajoutant ce chemin de données haute performance. Les commandes sont toujours émises via les protocoles de stockage standard basés sur l'API S3, mais le transfert de données réel s'effectue via RDMA directement vers la mémoire du GPU, en contournant entièrement le CPU et en éliminant la surcharge du traitement du protocole TCP.

Des performances révolutionnaires

Les améliorations de performances apportées par RDMA pour le stockage compatible S3 ne sont rien de moins que transformationnelles. Les tests en conditions réelles démontrent la capacité de la technologie à éliminer les goulets d'étranglement des E/S de stockage qui limitent les charges de travail de l'intelligence artificielle.

Améliorations spectaculaires de la vitesse :

• Débit de 35 Go/s par nœud (lecture) mesuré, avec une évolutivité linéaire entre les clusters.

• Évolutivité jusqu'à des TBs/s avec l'architecture de traitement parallèle de Cloudian

• Amélioration du débit de 3 à 5 fois par rapport au stockage d'objets conventionnel basé sur TCP

Gains d'efficacité des ressources :

• Réduction de 90 % de l'utilisation du processeur grâce à l'établissement de voies d'accès directes aux GPU pour les données

• Augmentation de l'utilisation des GPU grâce à l'élimination des goulets d'étranglement

• Réduction considérable de la consommation d'énergie grâce à la réduction des frais généraux de traitement

• Réduction des coûts pour le stockage de l'IA

Augmentation des performances de 8X sur Milvus by Zilliz Vector DB

Ces améliorations de performances sont particulièrement évidentes dans les opérations de bases de données vectorielles, où la collaboration entre Cloudian et Zilliz utilisant les GPU NVIDIA cuVS et NVIDIA L40S a permis de multiplier par 8 les performances des opérations Milvus par rapport aux systèmes basés sur le CPU et au transfert de données basé sur le TCP. Il s'agit là d'un changement fondamental : le stockage n'est plus une contrainte mais permet aux applications d'IA d'atteindre leur plein potentiel.

Pourquoi le stockage d'objets basé sur l'API S3 pour les charges de travail d'IA ?

La convergence de la technologie RDMA et de l'architecture de stockage objet crée la base idéale pour l'infrastructure d'IA, en relevant de nombreux défis qui ont limité les approches de stockage traditionnelles.

Évolutivité de l'ordre de l'exaoctet pour l'explosion des données d'IA : Les charges de travail de l'IA, en particulier celles qui impliquent des données synthétiques et multimodales, augmentent les besoins en stockage jusqu'à 100 pétaoctets et plus. L'espace d'adressage plat du stockage objet s'étend de manière transparente des pétaoctets aux exaoctets, s'adaptant à la croissance exponentielle des ensembles de données d'apprentissage de l'IA sans les limites hiérarchiques qui contraignent les systèmes à base de fichiers.

Plateforme unifiée pour des flux de travail d'IA complets : Les opérations d'IA modernes englobent l'ingestion de données, le nettoyage, l'entraînement, le point de contrôle et l'inférence, chacun ayant des exigences distinctes en matière de performances et de capacité. Le stockage objet compatible S3 prend en charge l'ensemble de ces opérations grâce à un accès API cohérent, éliminant ainsi la complexité et le coût de la gestion de plusieurs niveaux de stockage. Les données d'entraînement, les modèles, les fichiers de points de contrôle et les ensembles de données d'inférence peuvent tous résider dans un seul lac de données hautes performances.

Des métadonnées riches pour les opérations d'IA : Les opérations critiques de l'IA, telles que la recherche et l'énumération, sont fondamentalement basées sur les métadonnées. Les capacités de métadonnées riches et personnalisables du stockage d'objets permettent d'étiqueter, de rechercher et de gérer efficacement les données, ce qui est essentiel pour organiser et récupérer les données dans les flux de travail complexes de formation et d'inférence de modèles d'IA.

Avantages économiques et opérationnels : Le stockage objet compatible S3 permet de réduire le coût total de possession de 80 % par rapport aux solutions de stockage de fichiers, en tirant parti d'un matériel standard et d'une mise à l'échelle indépendante de la capacité et des performances. Cette efficacité économique devient cruciale lorsque les ensembles de données d'IA atteignent l'échelle de l'entreprise.

Sécurité et gouvernance d'entreprise : Contrairement aux implémentations GPUDirect qui nécessitent des modifications au niveau du noyau, RDMA pour le stockage compatible S3 ne nécessite aucune modification du noyau spécifique au fournisseur, ce qui permet de maintenir la sécurité du système et la conformité réglementaire. Cette approche est particulièrement précieuse dans des secteurs comme la santé et la finance où la sécurité des données et la conformité réglementaire sont primordiales.

La voie à suivre

L'annonce par NVIDIA de la disponibilité générale de RDMA pour le stockage compatible S3 représente plus qu'une étape technologique : elle marque la maturation de l'architecture de l'infrastructure de l'IA. En associant l'évolutivité illimitée du stockage objet aux performances exceptionnelles de l'accès direct au GPU, les entreprises peuvent enfin construire des infrastructures d'IA à la hauteur de leurs ambitions.

Alors que les charges de travail d'IA continuent de croître en complexité et en échelle, RDMA pour le stockage compatible S3 fournit la base de stockage qui permet aux organisations de maximiser leurs investissements dans l'IA tout en maintenant la souveraineté des données et la simplicité opérationnelle. Cette technologie transforme le stockage d'un goulot d'étranglement en un facilitateur, permettant aux applications d'IA d'atteindre leur plein potentiel à l'échelle de l'entreprise.

Pour les organisations qui planifient leur feuille de route en matière d'infrastructure d'IA, la disponibilité générale de RDMA pour le stockage compatible S3 marque le début d'une nouvelle ère où les performances de stockage correspondent réellement aux exigences des charges de travail d'IA modernes.

Perspectives du secteur

Alors que l'IA devient de plus en plus centrale dans la prestation de soins de santé, nous cherchons continuellement à améliorer les performances et l'efficacité de notre infrastructure. Le nouveau stockage compatible RDMA pour S3 de NVIDIA et Cloudian sera essentiel pour nos applications d'analyse d'imagerie médicale et d'IA diagnostique, où le traitement rapide de grands ensembles de données peut avoir un impact direct sur les soins aux patients, tout en réduisant les coûts de déplacement des données entre les périphériques de stockage basés sur S3-API et les stockages NAS basés sur SSD. - Swapnil Rane MD, DNB, PDCC (Nephropath), Mres (TCM), Fellowship in Oncopath, FRCPath Professeur (F) de pathologie, PI, AI/Computational Pathology And Imaging Lab OIC- Department of Digital and Computational Oncology, Tata Memorial Centre

"L'annonce de NVIDIA concernant la compatibilité RDMA pour S3 confirme la valeur de notre stratégie d'infrastructure d'IA basée sur Cloudian. Nous permettons aux entreprises de faire tourner l'IA à haute performance à l'échelle tout en préservant la compatibilité de l'API S3 qui simplifie la migration et réduit les coûts de développement des applications." - Sunil Gupta, cofondateur, directeur général et président-directeur général (PDG), Yotta Data Services

"Alors que nous développons nos capacités sur site pour fournir une IA souveraine, la technologie de stockage compatible RDMA for S3 de NVIDIA et le stockage objet haute performance de Cloudian nous apportent les performances dont nous avons besoin sans compromettre la résidence des données et sans nécessiter de modifications au niveau du noyau. La plateforme HyperStore de Cloudian nous permet d'évoluer jusqu'à des exaoctets tout en gardant le contrôle total de nos données sensibles d'intelligence artificielle." - Logan Lee, EVP & Head of Cloud, Kakao

"Nous sommes ravis de l'annonce par NVIDIA de la prochaine version de l'AG de stockage compatible RDMA for S3. Nos tests avec Cloudian ont montré une amélioration des performances jusqu'à 8 fois pour les opérations de base de données vectorielles, ce qui permettra à nos utilisateurs Milvus by Zilliz d'obtenir des performances à l'échelle du cloud pour les charges de travail d'IA exigeantes tout en conservant une souveraineté totale sur les données." - Charles Xie, fondateur et PDG de Zilliz