Mengungkap Performa 8× Milvus dengan Cloudian HyperStore dan NVIDIA RDMA untuk Penyimpanan S3

Artikel ini awalnya dipublikasikan di Cloudian dan diposting ulang di sini dengan izin.

Cloudian telah berkolaborasi dengan NVIDIA untuk menambahkan dukungan RDMA untuk penyimpanan yang kompatibel dengan S3 pada solusi HyperStore®, dengan memanfaatkan pengalaman lebih dari 13 tahun dalam implementasi S3 API. Sebagai platform berbasis S3-API dengan arsitektur pemrosesan paralel, Cloudian memiliki keunikan tersendiri untuk berkontribusi dan memanfaatkan perkembangan teknologi ini. Kolaborasi ini memanfaatkan keahlian Cloudian yang mendalam dalam protokol penyimpanan objek dan kepemimpinan NVIDIA dalam hal akselerasi komputasi dan jaringan untuk menciptakan solusi yang mengintegrasikan komputasi berkinerja tinggi dengan penyimpanan berskala perusahaan secara mulus.

NVIDIA telah mengumumkan ketersediaan RDMA yang akan datang untuk teknologi penyimpanan yang kompatibel dengan S3 (Remote Direct Memory Access), yang menandai tonggak penting dalam evolusi infrastruktur AI. Teknologi terobosan ini menjanjikan untuk mengubah cara organisasi menangani kebutuhan data yang sangat besar dari beban kerja AI modern, memberikan peningkatan kinerja yang belum pernah terjadi sebelumnya dengan tetap mempertahankan skalabilitas dan kesederhanaan yang menjadikan penyimpanan objek yang kompatibel dengan S3 sebagai fondasi komputasi awan.

Apa itu RDMA untuk penyimpanan yang kompatibel dengan S3?

Peluncuran ini merupakan kemajuan mendasar dalam cara sistem penyimpanan berkomunikasi dengan akselerator AI. Teknologi ini memungkinkan transfer data langsung antara penyimpanan objek yang kompatibel dengan S3 API dan memori GPU, sepenuhnya melewati jalur data yang dimediasi oleh CPU. Tidak seperti arsitektur penyimpanan konvensional yang merutekan semua transfer data melalui CPU dan memori sistem-yang menyebabkan kemacetan dan latensi-RDMA untuk penyimpanan yang kompatibel dengan S3 membangun jalan raya langsung dari penyimpanan ke GPU.

Pada intinya, teknologi ini menghilangkan langkah perantara dengan jalur langsung yang mengurangi latensi, secara dramatis memangkas kebutuhan pemrosesan CPU, dan secara signifikan mengurangi konsumsi daya. Hasilnya adalah sistem penyimpanan yang dapat mengirimkan data dengan kecepatan yang dibutuhkan GPU modern untuk aplikasi AI yang menuntut.

Teknologi ini mempertahankan kompatibilitas dengan API S3 yang ada di mana-mana sembari menambahkan jalur data berkinerja tinggi ini. Perintah masih dikeluarkan melalui protokol penyimpanan berbasis S3-API standar, tetapi transfer data yang sebenarnya terjadi melalui RDMA langsung ke memori GPU, melewati CPU sepenuhnya dan menghilangkan overhead pemrosesan protokol TCP.

Hasil Kinerja Terobosan

Peningkatan performa yang diberikan oleh RDMA untuk penyimpanan yang kompatibel dengan S3 sungguh luar biasa. Pengujian di dunia nyata menunjukkan kemampuan teknologi ini untuk menghilangkan hambatan I/O penyimpanan yang membatasi beban kerja AI.

Peningkatan Kecepatan yang Dramatis:

• 35 GB/s per throughput node (pembacaan) yang diukur, dengan skalabilitas linier di seluruh cluster

• Skalabilitas hingga TB/s dengan arsitektur pemrosesan paralel Cloudian

• Peningkatan throughput 3-5x lipat dibandingkan dengan penyimpanan objek berbasis TCP konvensional

Keuntungan Efisiensi Sumber Daya:

• Pengurangan 90% dalam pemanfaatan CPU dengan membuat jalur data langsung ke GPU

• Meningkatkan pemanfaatan GPU dengan menghilangkan kemacetan

• Pengurangan dramatis dalam konsumsi daya melalui pengurangan overhead pemrosesan

• Pengurangan biaya untuk penyimpanan AI

Peningkatan Performa 8X pada Milvus oleh Zilliz Vector DB

Peningkatan kinerja ini sangat jelas terlihat dalam operasi database vektor, di mana kolaborasi antara Cloudian dan Zilliz menggunakan GPU NVIDIA cuVS dan NVIDIA L40S menunjukkan peningkatan kinerja 8x lipat dalam operasi Milvus jika dibandingkan dengan sistem berbasis CPU dan transfer data berbasis TCP. Hal ini menunjukkan pergeseran mendasar dari penyimpanan yang menjadi kendala menjadi penyimpanan yang memungkinkan aplikasi AI mencapai potensi penuhnya.

Mengapa Penyimpanan Objek berbasis API S3 untuk Beban Kerja AI

Konvergensi teknologi RDMA dengan arsitektur penyimpanan objek menciptakan fondasi yang ideal untuk infrastruktur AI, mengatasi berbagai tantangan yang selama ini membatasi pendekatan penyimpanan tradisional.

Skalabilitas Exabyte untuk Ledakan Data AI: Beban kerja AI, terutama yang melibatkan data sintetis dan multi-modal, mendorong kebutuhan penyimpanan ke dalam kisaran 100 petabyte dan seterusnya. Ruang alamat datar penyimpanan objek berskala mulus dari petabyte hingga exabyte, mengakomodasi pertumbuhan eksponensial dalam kumpulan data pelatihan AI tanpa batasan hierarki yang membatasi sistem berbasis file.

Platform Terpadu untuk Alur Kerja AI yang Lengkap: Operasi AI modern mencakup pemasukan data, pembersihan, pelatihan, pemeriksaan, dan kesimpulan - masing-masing dengan persyaratan kinerja dan kapasitas yang berbeda. Penyimpanan objek yang kompatibel dengan S3 mendukung seluruh spektrum ini melalui akses API yang konsisten, sehingga menghilangkan kerumitan dan biaya untuk mengelola berbagai tingkatan penyimpanan. Data pelatihan, model, file pos pemeriksaan, dan kumpulan data inferensi semuanya dapat berada dalam satu data lake berkinerja tinggi.

Metadata yang Kaya untuk Operasi AI: Operasi AI yang penting seperti pencarian dan pencacahan pada dasarnya digerakkan oleh metadata. Kemampuan metadata yang kaya dan dapat disesuaikan dari penyimpanan objek memungkinkan penandaan, pencarian, dan manajemen data yang efisien - penting untuk mengatur dan mengambil data dalam pelatihan model AI yang kompleks dan alur kerja kesimpulan.

Keuntungan Ekonomi dan Operasional: Penyimpanan objek yang kompatibel dengan S3 memberikan total biaya kepemilikan yang lebih rendah hingga 80% dibandingkan dengan alternatif penyimpanan file, dengan memanfaatkan perangkat keras standar industri dan penskalaan kapasitas dan kinerja yang independen. Efisiensi ekonomi ini menjadi sangat penting ketika dataset AI mencapai skala perusahaan.

Keamanan dan Tata Kelola Perusahaan: Tidak seperti implementasi GPUDirect yang membutuhkan modifikasi tingkat kernel, RDMA untuk penyimpanan yang kompatibel dengan S3 tidak memerlukan perubahan kernel khusus vendor, sehingga menjaga keamanan sistem dan kepatuhan terhadap peraturan. Pendekatan ini sangat berharga di sektor-sektor seperti perawatan kesehatan dan keuangan di mana keamanan data dan kepatuhan terhadap peraturan sangat penting.

Jalan di Depan

Pengumuman RDMA untuk ketersediaan umum penyimpanan yang kompatibel dengan S3 dari NVIDIA merupakan lebih dari sekadar tonggak teknologi, tetapi juga menandakan pematangan arsitektur infrastruktur AI. Dengan menggabungkan skalabilitas penyimpanan objek yang tak terbatas dengan terobosan kinerja akses GPU langsung, organisasi akhirnya dapat membangun infrastruktur AI yang sesuai dengan ambisi mereka.

Karena beban kerja AI terus bertambah dalam hal kompleksitas dan skala, RDMA untuk penyimpanan yang kompatibel dengan S3 menyediakan fondasi penyimpanan yang memungkinkan organisasi untuk memaksimalkan investasi AI mereka dengan tetap mempertahankan kedaulatan data dan kesederhanaan operasional. Teknologi ini mengubah penyimpanan dari penghambat menjadi pendorong, sehingga memungkinkan aplikasi AI mencapai potensi penuhnya pada skala perusahaan.

Bagi organisasi yang merencanakan peta jalan infrastruktur AI mereka, ketersediaan RDMA untuk penyimpanan yang kompatibel dengan S3 secara umum menandai dimulainya era baru di mana kinerja penyimpanan benar-benar sesuai dengan tuntutan beban kerja AI modern.

Perspektif Industri

Seiring dengan semakin pentingnya AI dalam penyediaan layanan kesehatan, kami terus berupaya meningkatkan kinerja dan efisiensi infrastruktur kami. RDMA baru untuk penyimpanan yang kompatibel dengan S3 dari NVIDIA dan Cloudian akan menjadi sangat penting untuk analisis pencitraan medis dan aplikasi AI diagnostik kami, di mana pemrosesan dataset yang besar dengan cepat dapat secara langsung berdampak pada perawatan pasien, sekaligus mengurangi biaya pemindahan data antara perangkat penyimpanan berbasis S3-API dan penyimpanan NAS berbasis SSD. - Swapnil Rane MD, DNB, PDCC (Nephropath), Mres (TCM), Fellowship in Oncopath, Profesor FRCPath (F) Patologi, PI, AI/Komputasi Patologi Dan Laboratorium Pencitraan OIC- Departemen Onkologi Digital dan Komputasi, Tata Memorial Centre

"Pengumuman RDMA untuk S3 yang kompatibel dengan NVIDIA menegaskan nilai dari strategi infrastruktur AI berbasis Cloudian kami. Kami memungkinkan organisasi untuk menjalankan AI berkinerja tinggi dalam skala besar dengan tetap mempertahankan kompatibilitas API S3 yang membuat migrasi tetap sederhana dan biaya pengembangan aplikasi tetap rendah." - Sunil Gupta, Co-founder, Managing Director & Chief Executive Officer (CEO), Yotta Data Services

"Saat kami memperluas kemampuan on-premise kami untuk menghadirkan AI yang berdaulat, RDMA NVIDIA untuk teknologi penyimpanan yang kompatibel dengan S3 dan penyimpanan objek berkinerja tinggi dari Cloudian memberikan performa yang kami butuhkan tanpa mengorbankan penyimpanan data dan tanpa memerlukan modifikasi tingkat kernel. Platform Cloudian HyperStore memungkinkan kami meningkatkan skala hingga exabyte sekaligus menjaga data AI sensitif kami sepenuhnya di bawah kendali kami." - Logan Lee, EVP & Head of Cloud, Kakao

"Kami sangat antusias dengan pengumuman NVIDIA tentang rilis GA RDMA untuk penyimpanan yang kompatibel dengan S3 yang akan datang. Pengujian kami dengan Cloudian menunjukkan peningkatan performa hingga 8X lipat untuk operasi database vektor, yang akan memungkinkan pengguna Milvus by Zilliz mencapai performa skala cloud untuk beban kerja AI yang berat dengan tetap mempertahankan kedaulatan data yang lengkap." - Charles Xie, Pendiri dan CEO Zilliz