«Е-Флопс» и «АМДтехнологии» создали суперкомпьютер для решения ИИ-задач |
|
|
|
Компания «Е-Флопс» совместно с партнёром «АМДтехнологии» разработали высокопроизводительный вычислительный комплекс (суперкомпьютер) для решения задач в области искусственного интеллекта. Его архитектура предусматривает дальнейшее расширение, как вычислительных узлов, так и сетевой инфраструктуры.
Суперкомпьютер ориентирован на ресурсоёмкие прикладные задачи бизнеса: обучение больших языковых моделей (LLM) в рамках MLOps-конвейера, запуск и сопровождение LLM- сервисов для внутреннего использования, а также предоставление пользователям системы доступа к LLM и инструментам вайбкодинга. Вычислительный комплекс обладает возможностью параллельного выполнения сложных вычислений с высокой производительностью.
Основные технические параметры вычислительного комплекса: 22 узла на базе графических ускорителей NVIDIA H100 80GB и x86 центральных процессоров обеспечивают пиковую мощность свыше 11 Пфлопс (FP64) для научных расчётов и более 700 Пфлопс (FP8INT8) для задач ИИ. Суперкомпьютер включает более 4200 процессорных ядер, почти 34 ТБ оперативной памяти вычислительных узлов и около 14 ТБ памяти GPU, а также почти 3 млн ядер CUDA и свыше 92 тыс. тензорных ядер.
Вычислительный комплекс отличает гибридная кластерная архитектура. Была поставлена задача создать два физически изолированных сегмента: внутренний, размещённый внутри безопасного периметра без выхода в интернет, и внешний, доступный для сторонних пользователей. Оба сегмента используют одинаковые серверные платформы, что позволяет при необходимости физически переключать вычислительные узлы между сегментами для балансировки нагрузки.
Внутренний сегмент оптимизирован исключительно под ИИ‑задачи и активно применяет контейнеризацию (Kubernetes), тогда как внешний сегмент универсален – поддерживает как ИИ‑нагрузки, так и классические HPC-расчёты с двойной точностью. При этом внутренний сегмент реализован по гиперконвергентной модели, где каждый узел одновременно выполняет вычислительные функции и функции хранения данных. Внешний сегмент, напротив, содержит три выделенных сервера управления и две выделенные системы хранения данных.
Сетевая инфраструктура построена на трёх физически разделённых сетях. Для высокоскоростного обмена между узлами и подключения системы хранения данных (СХД) внешнего сегмента используется InfiniBand HDR с пропускной способностью 200 Гбитс от каждого GPU, что даёт суммарно не менее 1600 Гбитс на узел в одном направлении с неблокируемым доступом в топологии Fat Tree. Для связи с локальной сетью заказчика применяется 25‑гигабитный Ethernet, а для управления – 10‑гигабитный Ethernet. Дополнительно во внутреннем сегменте развёрнута сеть хранения данных на базе Fibre Channel 32 Гбитс для подключения к объектному хранилищу.
Подсистема хранения данных организована следующим образом. Во внешнем контуре установлена выделенная СХД с поддержкой иерархического хранения: «горячие» данные размещаются на SSD‑накопителях общим сырым объёмом 61 ТБ, а «холодные» – на массивах HDD ёмкостью 2 ПБ. Во внутреннем сегменте используется распределённое гиперконвергентное хранилище, которое масштабируется линейно вместе с ростом числа вычислительных узлов.
Программное обеспечение включает средства мониторинга и управления (в том числе NVIDIA DCGM для контроля GPU), систему визуализации и анализа данных на базе открытых пакетов, а также платформу оркестрации Kubernetes с модулями Multus и Cilium. Внешний сегмент дополнительно поддерживает планировщик задач Slurm. Управляющие серверы работают в виртуальной среде Proxmox.
Особое внимание уделено информационной безопасности – оба сегмента соответствуют строгим требованиям крупного бизнеса к защите данных, особенно внутренний, работающий в изолированном контуре. Все стойки размещены в сертифицированном ЦОДе с контролем доступа и разделением холодных и горячих коридоров. Суперкомпьютер уже введён в эксплуатацию в одном из российских банков из топ-10.
«Созданный суперкомпьютер – это не просто мощное оборудование, а интегрированное решение, учитывающее специфику ИИ-задач для финансовой сферы. Главный вызов проекта - эффективно совместить требования крупного бизнеса к высокой производительности, масштабируемости и информационной безопасности в одном решении. Мы готовы и далее наращивать вычислительные мощности вычислительного комплекса», - отметила генеральный директор «Е-Флопс» Елена Дорошенко.
Справка
«Е-Флопс» – российская инно вационная технологическая компания, разработчик и производитель энергоэффективных платформ обработки и хранения данных для построения современных ЦОД и высокопроизводительных вычислительных кластеров (суперкомпьютеров). Продукты компании создаются с использованием передовых энергоэффективных процессорных архитектур. Команда Е-Флопс обладает многолетним опытом в области проектирования, создания и технического сопровождения ИТ-инфраструктур высокого уровня сложности.
|
|
|
|
| ОБОРУДОВАНИЕ |
|
| | | | | | | | | | | | | | | | | | | |
BizRussia.ru - Российский бизнес-портал. Пресс-релизы, Деловые предложения, Каталог сайтов, Каталог фирм. Все отрасли экономики. Портал BizRussia.ru включает все отрасли промышленности, свежую коммерческую информацию, бизнес новости и пресс-релизы фирм. Всем пользователям доступно бесплатное размещение деловой информации в тематических разделах ресурса.
|
|
|
