Производительность 8× Milvus с Cloudian HyperStore и NVIDIA RDMA для S3 Storage

Это сообщение было первоначально опубликовано на сайте Cloudian и публикуется здесь с разрешения.

Cloudian сотрудничает с NVIDIA, чтобы добавить поддержку RDMA для S3-совместимых хранилищ в свое решение HyperStore®, опираясь на свой более чем 13-летний опыт в реализации S3 API. Будучи платформой на базе S3-API с архитектурой параллельной обработки данных, Cloudian обладает уникальными возможностями для участия в развитии этой технологии и извлечения из нее выгоды. Это сотрудничество использует глубокий опыт Cloudian в протоколах объектного хранения и лидерство NVIDIA в ускорении вычислений и сетей для создания решения, которое легко интегрирует высокопроизводительные вычисления с хранилищами корпоративного масштаба.

NVIDIA объявила о предстоящей общей доступности технологии RDMA для S3-совместимых хранилищ (Remote Direct Memory Access), что знаменует собой важную веху в развитии инфраструктуры ИИ. Эта прорывная технология обещает изменить то, как организации справляются с огромными данными, требуемыми современными рабочими нагрузками ИИ, обеспечивая беспрецедентный прирост производительности при сохранении масштабируемости и простоты, которые сделали S3-совместимые объектные хранилища основой облачных вычислений.

Что такое RDMA для S3-совместимых хранилищ?

Этот запуск представляет собой фундаментальное усовершенствование способов взаимодействия систем хранения данных с ускорителями ИИ. Технология обеспечивает прямую передачу данных между S3 API-совместимым объектным хранилищем и памятью GPU, полностью минуя традиционные пути передачи данных, опосредованные процессором. В отличие от традиционных архитектур хранения, в которых все данные передаются через центральный процессор и системную память, что создает узкие места и задержки, технология SDMA для S3-совместимых хранилищ создает прямую магистраль от хранилища к GPU.

По своей сути эта технология устраняет промежуточные этапы, обеспечивая прямой путь, который уменьшает задержки, значительно снижает требования к процессору и существенно сокращает энергопотребление. В результате системы хранения данных способны передавать данные со скоростью, необходимой современным GPU для работы с требовательными приложениями искусственного интеллекта.

Технология сохраняет совместимость с повсеместно используемыми API S3, добавляя при этом высокопроизводительный путь передачи данных. Команды по-прежнему передаются через стандартные протоколы хранения на базе S3-API, но фактическая передача данных происходит через RDMA непосредственно в память GPU, минуя CPU и устраняя накладные расходы на обработку протоколов TCP.

Прорывные результаты производительности

Повышение производительности, обеспечиваемое RDMA для S3-совместимых хранилищ, можно назвать просто революционным. Реальные испытания демонстрируют способность технологии устранять узкие места ввода-вывода в хранилищах, сдерживающие рабочие нагрузки ИИ.

Значительное повышение скорости:

• 35 ГБ/с на узел (чтение) с линейной масштабируемостью по кластерам.

• Масштабируемость до ТБ/с благодаря архитектуре параллельной обработки Cloudian.

• 3-5-кратное увеличение пропускной способности по сравнению с обычными объектными хранилищами на базе TCP

Повышение эффективности использования ресурсов:

• 90-процентное снижение загрузки центрального процессора за счет создания прямых путей передачи данных на графические процессоры

• Увеличение загрузки GPU за счет устранения узких мест

• Значительное снижение энергопотребления за счет уменьшения накладных расходов на обработку данных

• Снижение затрат на хранение данных с искусственным интеллектом

Увеличение производительности в 8 раз на Milvus за счет векторной БД Zilliz

Этот прирост производительности особенно заметен в операциях с векторными базами данных, где сотрудничество Cloudian и Zilliz с использованием NVIDIA cuVS и NVIDIA L40S GPU продемонстрировало 8-кратный прирост производительности в операциях Milvus по сравнению с системами на базе CPU и передачей данных по TCP. Это представляет собой фундаментальный сдвиг от ограничения возможностей хранения к возможности использования хранилища для раскрытия потенциала приложений ИИ.

Почему объектное хранилище на базе S3 API для рабочих нагрузок ИИ

Объединение технологии RDMA с архитектурой объектных хранилищ создает идеальную основу для инфраструктуры ИИ, решая многочисленные проблемы, которые сдерживали традиционные подходы к хранению данных.

Экзабайтная масштабируемость для взрыва данных ИИ: Рабочие нагрузки ИИ, особенно связанные с синтетическими и мультимодальными данными, повышают требования к хранению данных до 100 петабайт и выше. Плоское адресное пространство объектных хранилищ плавно масштабируется от петабайтов до экзабайтов, позволяя обеспечить экспоненциальный рост наборов данных для обучения ИИ без иерархических ограничений, которые сдерживают файловые системы.

Унифицированная платформа для комплексных рабочих процессов ИИ: Современные операции ИИ включают в себя ввод данных, их очистку, обучение, контрольные точки и выводы - каждая из них имеет свои требования к производительности и емкости. Совместимое с S3 объектное хранилище поддерживает весь этот спектр благодаря согласованному API-доступу, устраняя сложность и затраты на управление несколькими уровнями хранения. Данные обучения, модели, файлы контрольных точек и наборы данных для выводов могут находиться в едином высокопроизводительном озере данных.

Богатые метаданные для операций ИИ: Критически важные операции ИИ, такие как поиск и перечисление, в своей основе опираются на метаданные. Богатые, настраиваемые возможности метаданных в объектных хранилищах позволяют эффективно маркировать, искать и управлять данными, что необходимо для организации и поиска данных в сложных рабочих процессах обучения моделей ИИ и выводов.

Экономические и эксплуатационные преимущества: Совместимое с S3 объектное хранилище обеспечивает снижение совокупной стоимости владения до 80 % по сравнению с альтернативными файловыми хранилищами, используя стандартное для отрасли оборудование и независимое масштабирование емкости и производительности. Такая экономическая эффективность приобретает решающее значение по мере того, как массивы данных ИИ достигают масштабов предприятия.

Безопасность и управление предприятием: В отличие от реализаций GPUDirect, требующих модификации на уровне ядра, RDMA для S3-совместимых хранилищ не требует изменений в ядре конкретного производителя, обеспечивая безопасность системы и соответствие нормативным требованиям. Такой подход особенно ценен в таких отраслях, как здравоохранение и финансы, где безопасность данных и соответствие нормативным требованиям имеют первостепенное значение.

Дорога вперед

Объявление NVIDIA о всеобщей доступности RDMA для S3-совместимых хранилищ представляет собой не просто технологическую веху - оно сигнализирует о зрелости архитектуры инфраструктуры ИИ. Сочетая безграничную масштабируемость объектного хранилища с прорывной производительностью прямого доступа GPU, организации наконец-то могут создавать инфраструктуры ИИ, которые масштабируются в соответствии с их амбициями.

Поскольку рабочие нагрузки ИИ продолжают расти по сложности и масштабу, RDMA для S3-совместимых систем хранения обеспечивает основу для хранения данных, которая позволяет организациям максимизировать свои инвестиции в ИИ, сохраняя при этом суверенитет данных и простоту эксплуатации. Технология превращает хранилище из узкого места в инструмент, позволяющий приложениям ИИ полностью раскрыть свой потенциал в масштабах предприятия.

Для организаций, планирующих развитие инфраструктуры искусственного интеллекта, общедоступность RDMA для S3-совместимых хранилищ знаменует начало новой эры, когда производительность хранилищ будет соответствовать требованиям современных рабочих нагрузок искусственного интеллекта.

Перспективы развития отрасли

Поскольку искусственный интеллект занимает все более важное место в системе здравоохранения, мы постоянно стремимся повысить производительность и эффективность нашей инфраструктуры. Новый RDMA для S3-совместимых хранилищ от NVIDIA и Cloudian будет иметь решающее значение для наших приложений по анализу медицинских изображений и диагностическому ИИ, где быстрая обработка больших массивов данных может напрямую повлиять на лечение пациентов, одновременно снижая затраты на перемещение данных между устройствами хранения на базе S3-API и NAS-хранилищами на базе SSD". - Доктор Свапнил Ране (Swapnil Rane) MD, DNB, PDCC (Nephropath), Mres (TCM), Fellowship in Oncopath, FRCPath Профессор (F) патологии, PI, AI/Computational Pathology And Imaging Lab OIC- Department of Digital and Computational Oncology, Tata Memorial Centre

"Анонс NVIDIA RDMA для S3-совместимости подтверждает ценность нашей стратегии инфраструктуры ИИ на базе Cloudian. Мы позволяем организациям выполнять высокопроизводительный ИИ в масштабе, сохраняя совместимость с API S3, что упрощает миграцию и снижает затраты на разработку приложений". - Сунил Гупта, соучредитель, управляющий директор и главный исполнительный директор (CEO) Yotta Data Services

"По мере расширения наших локальных возможностей для предоставления суверенного ИИ технология хранения RDMA от NVIDIA, совместимая с S3, и высокопроизводительное объектное хранилище Cloudian обеспечивают необходимую производительность без ущерба для сохранности данных и не требуют модификаций на уровне ядра". Платформа Cloudian HyperStore позволяет нам масштабироваться до эксабайтов, сохраняя конфиденциальные данные ИИ под полным контролем". - Логан Ли (Logan Lee), EVP и руководитель облачного подразделения в Kakao

"Мы рады анонсу NVIDIA о предстоящем выпуске GA для хранения данных, совместимого с RDMA для S3. Наше тестирование с Cloudian показало 8-кратное увеличение производительности операций с векторными базами данных, что позволит нашим пользователям Milvus by Zilliz достичь производительности в масштабах облака для требовательных рабочих нагрузок ИИ, сохраняя при этом полный суверенитет данных". - Чарльз Кси, основатель и генеральный директор Zilliz