Cloudian HyperStoreとNVIDIA RDMA for S3ストレージで8倍のMilvusパフォーマンスを引き出す

この投稿はCloudianに掲載されたもので、許可を得てここに再掲載しています。

CloudianはNVIDIAと協力し、S3 API実装における13年以上の経験を活かして、HyperStore®ソリューションにS3互換ストレージのRDMAサポートを追加した。並列処理アーキテクチャを持つS3-APIベースのプラットフォームとして、Cloudianはこの技術の開発に貢献し、それを活用する上でユニークな存在です。このコラボレーションは、Cloudianのオブジェクトストレージプロトコルに関する深い専門知識と、NVIDIAのコンピュートおよびネットワークアクセラレーションにおけるリーダーシップを活用し、ハイパフォーマンスコンピューティングとエンタープライズ規模のストレージをシームレスに統合するソリューションを実現します。

NVIDIAは、RDMA for S3互換ストレージ（Remote Direct Memory Access）技術の一般提供を開始することを発表し、AIインフラストラクチャの進化における重要なマイルストーンとなりました。この画期的なテクノロジーは、S3互換オブジェクトストレージをクラウドコンピューティングの基盤としてきたスケーラビリティとシンプルさを維持しながら、これまでにないパフォーマンスの向上を実現し、組織が最新のAIワークロードの膨大なデータ要件を処理する方法を変革することを約束します。

S3互換ストレージのRDMAとは？

今回の発表は、ストレージシステムがAIアクセラレータと通信する方法の根本的な進歩を意味します。このテクノロジーは、従来のCPUを介したデータ経路を完全にバイパスして、S3 API互換オブジェクト・ストレージとGPUメモリー間の直接的なデータ転送を可能にします。すべてのデータ転送をCPUとシステム・メモリ経由で行い、ボトルネックとレイテンシを発生させる従来のストレージ・アーキテクチャとは異なり、S3互換ストレージ向けのRDMAは、ストレージからGPUへの直接的なハイウェイを確立します。

この技術の核心は、レイテンシを削減し、CPUの処理要求を劇的に削減し、消費電力を大幅に削減する直接的な経路によって、中間ステップを排除することです。その結果、要求の厳しいAIアプリケーションで最新のGPUが必要とする速度でデータを提供できるストレージシステムが実現します。

このテクノロジーは、ユビキタスS3 APIとの互換性を維持しながら、この高性能データパスを追加している。コマンドは標準的なS3-APIベースのストレージ・プロトコルを介して発行されますが、実際のデータ転送はRDMAを介してGPUメモリに直接行われるため、CPUを完全にバイパスし、TCPプロトコル処理のオーバーヘッドを排除します。

画期的なパフォーマンス結果

S3互換ストレージのRDMAによる性能向上は、まさに革命的です。実際のテストでは、AIワークロードを制約するストレージI/Oのボトルネックを解消する能力が実証されています。

劇的なスピードの向上

• ノードあたり35GB/秒のスループット（リード）を計測、クラスタ間で線形スケーラビリティを実現

• Cloudianの並列処理アーキテクチャによりTBs/sまで拡張可能

• 従来のTCPベースのオブジェクトストレージと比較して3～5倍のスループット向上

リソース効率の向上：

• GPUへの直接的なデータ経路の確立によるCPU使用率の90%削減

• ボトルネックの解消によるGPU利用率の向上

• 処理オーバーヘッドの削減による消費電力の劇的な削減

• AIストレージのコスト削減

Milvusで8倍の性能向上 by ベクトルDB

これらの性能向上は、特にベクトルデータベース操作において顕著であり、NVIDIA cuVSと NVIDIA L40S GPUを使用したCloudianとZillizのコラボレーションにより、CPUベースのシステムとTCPベースのデータ転送と比較した場合、Milvus操作において8倍の性能向上が実証された。これは、ストレージが制約であることから、ストレージがAIアプリケーションの潜在能力を最大限に発揮できるようにすることへの根本的な転換を意味します。

S3 APIベースのオブジェクトストレージがAIワークロードに適している理由

RDMA技術とオブジェクト・ストレージ・アーキテクチャの融合は、AIインフラストラクチャの理想的な基盤を構築し、従来のストレージアプローチに制約を与えていた複数の課題に対処する。

AIのデータ爆発に対応するエクサバイトのスケーラビリティ：AIのワークロード、特に合成データやマルチモーダルデータを含むワークロードは、ストレージ要件を100ペタバイト台、あるいはそれ以上に押し上げている。オブジェクト・ストレージのフラットなアドレス空間は、ペタバイトからエクサバイトまでシームレスに拡張でき、ファイルベースのシステムを制約する階層的な制限なしに、AIトレーニング・データセットの急激な増加に対応します。

完全なAIワークフローのための統合プラットフォーム：最新のAIオペレーションは、データの取り込み、クレンジング、トレーニング、チェックポイント、推論に及びます。S3互換のオブジェクトストレージは、一貫したAPIアクセスを通じてこの全領域をサポートし、複数のストレージ階層を管理する複雑さとコストを排除します。トレーニングデータ、モデル、チェックポイントファイル、推論データセットはすべて、単一の高性能データレイクに置くことができます。

AI操作のための豊富なメタデータ：検索や列挙のような重要なAI操作は、基本的にメタデータ駆動型です。オブジェクト・ストレージの豊富でカスタマイズ可能なメタデータ機能により、効率的なデータのタグ付け、検索、管理が可能になり、複雑なAIモデルのトレーニングや推論ワークフローにおけるデータの整理と検索に不可欠です。

経済的および運用上の利点：S3互換のオブジェクトストレージは、業界標準のハードウェアと、容量とパフォーマンスの独立したスケーリングを活用することで、ファイルストレージと比較して総所有コストを最大80%削減します。AIデータセットが企業規模に達すると、この経済効率は極めて重要になります。

企業のセキュリティとガバナンス：カーネルレベルの変更を必要とするGPUDirect実装とは異なり、S3互換ストレージのRDMAはベンダー固有のカーネル変更を必要とせず、システムセキュリティと規制コンプライアンスを維持します。このアプローチは、データのセキュリティと規制遵守が最重要である医療や金融のような分野で特に価値があります。

前途

NVIDIAのS3互換ストレージ向けRDMAの一般提供開始の発表は、技術的なマイルストーン以上のものであり、AIインフラストラクチャ・アーキテクチャの成熟を示すものです。オブジェクト・ストレージの無限のスケーラビリティとGPUダイレクト・アクセスの画期的なパフォーマンスを組み合わせることで、企業はついに、野心に合わせて拡張できるAIインフラを構築できるようになった。

AIのワークロードが複雑化し、規模が拡大し続ける中、S3互換ストレージのRDMAは、企業がデータ主権と運用の簡素化を維持しながらAIへの投資を最大化できるストレージ基盤を提供します。このテクノロジーは、ストレージをボトルネックからイネーブラーに変え、AIアプリケーションが企業規模で潜在能力を最大限に発揮できるようにします。

AIインフラのロードマップを計画している組織にとって、S3互換ストレージ向けRDMAの一般提供は、ストレージ性能が最新のAIワークロードの要求に真に合致する新時代の幕開けを意味する。

業界の展望

AIが医療提供の中心的存在になるにつれ、私たちはインフラの性能と効率を高めることを絶えず追求しています。NVIDIAとCloudianの新しいRDMA for S3互換ストレージは、S3-APIベースのストレージデバイスとSSDベースのNASストレージ間でデータを移動するコストを削減しながら、大規模なデータセットを迅速に処理することが患者ケアに直接影響する、当社の医療画像分析と診断AIアプリケーションにとって非常に重要です。 -Dr. Swapnil Rane MD, DNB, PDCC (Nephropath), Mres (TCM), Fellowship in Oncopath, FRCPath Professor (F) of Pathology, PI, AI/Computational Pathology And Imaging Lab OIC- Department of Digital and Computational Oncology, Tata Memorial Centre.

「NVIDIAのS3互換RDMAの発表は、当社のCloudianベースのAIインフラ戦略の価値を裏付けるものです。私たちは、移行をシンプルにし、アプリケーション開発コストを低く抑えるS3 API互換性を維持しながら、組織が大規模で高性能AIを実行することを可能にします。"- ヨッタ・データ・サービス共同創業者、マネージング・ディレクター兼最高経営責任者（CEO）、スニル・グプタ氏

「ソブリンAIを提供するためにオンプレミスの機能を拡張するにあたり、NVIDIAのRDMA for S3互換ストレージテクノロジーとCloudianのハイパフォーマンスオブジェクトストレージは、データレジデンシーを損なうことなく、カーネルレベルの修正を必要とすることなく、必要なパフォーマンスを提供してくれます。Cloudian HyperStoreプラットフォームによって、機密性の高いAIデータを完全に管理下に置きながら、エクサバイトまで拡張することができます。- カカオ、EVP兼クラウド責任者、ローガン・リー氏

「NVIDIAがS3互換ストレージGAのRDMAリリースを発表したことに興奮しています。当社のMilvus by Zillizユーザーは、完全なデータ主権を維持しながら、要求の厳しいAIワークロードでクラウドスケールのパフォーマンスを達成することができます。"- Zilliz創業者兼CEO、チャールズ・シー氏