Владелец Facebook, Meta, строит крупнейший в мире суперкомпьютер с искусственным интеллектом для проведения исследований в области машинного обучения, которые оживят метавселенную в будущем, заявили в понедельник.
Новый суперкомпьютер, получивший название Research Super Computer или RSC, будет содержать 16 000 графических процессоров Nvidia A100 и 4 000 процессоров AMD Epyc Rome 7742. Каждый вычислительный узел представляет собой систему Nvidia DGX-A100, содержащую восемь чипов графического процессора и два микропроцессора Epyc, всего 2000 узлов.
Ожидается, что он достигнет пиковой производительности 5 экзафлопс при смешанной точности — FP16 и FP32 — и будет использовать систему кэширования данных, которая может передавать 16 терабайт в секунду обучающей информации из 1 ЭБ хранилища.
RSC строится с помощью Penguin Computing, поставщика высокопроизводительных вычислений из Калифорнии, который предоставит инфраструктуру и управляемую безопасность.
«Мета разработала то, что мы считаем самым быстрым в мире суперкомпьютером с искусственным интеллектом», — заявил генеральный директор Марк Цукерберг. Регистр.
«Мы называем его RSC для суперкластера исследований ИИ, и он будет завершен в конце этого года. Опыт, который мы создаем для метавселенной, требует огромной вычислительной мощности (квинтиллионы операций в секунду), и RSC позволит создавать новые модели ИИ, которые могут учиться на триллионах примеров, понимать сотни языков и многое другое».
Nvidia подтвердила, что кластер, как ожидается, станет крупнейшей клиентской установкой систем DGX A100 после того, как он будет полностью построен и запущен к середине 2022 года. «RSC потребовалось всего 18 месяцев, чтобы перейти от идеи на бумаге к работающему суперкомпьютеру с искусственным интеллектом», — сказали в Nvidia.
Однако на данный момент RSC менее броский, обеспечивая 1895 PFLOPS производительности TF32. Сейчас он состоит из 760 систем Nvidia DGX-A100, содержащих в общей сложности 1520 процессоров AMD Rome 7742 и 6080 графических процессоров. Каждый GPU подключен через Nvidia Quantum InfiniBand, который способен передавать данные туда и обратно со скоростью 200 гигабайт в секунду.
RSC также может хранить 175 петабайт в оборудовании Pure Storage FlashArray, 46 петабайт в кэш-хранилище и 10 петабайт в объектном хранилище Pure FlashBlade. Ожидается, что эта мощность будет расти за счет продуктов Pure.
По оценкам, RSC в 9 раз быстрее, чем предыдущий исследовательский кластер Meta, состоящий из 22 000 графических процессоров Nvidia V100 старшего поколения, и в 20 раз быстрее, чем его нынешние системы, используемые для запуска моделей ИИ в производстве. Старый исследовательский кластер мог выполнять до 35 000 учебных заданий в день.
«Преимущество этого нового дизайна заключается в том, что мы можем масштабироваться на множество графических процессоров без снижения производительности», — сказал представитель Meta. Регистр. «Мы ожидаем, что у нас будет меньше учебных заданий, чем в нашей предыдущей исследовательской инфраструктуре ИИ, но каждое задание будет обучать более крупные модели, чтобы полностью использовать дизайн».
Meta ориентирована на создание самоконтролируемого обучения и моделей на основе трансформаторов. Эти архитектуры легко масштабировать, и они становятся все более сложными. Они могут обрабатывать несколько типов данных, таких как аудио, текст и изображения, используя единую модель. RSC был создан для обучения моделей с более чем триллионом параметров на наборах данных, которые могут достигать эксабайта. Нам сказали, что требуемые вычислительные нагрузки эквивалентны потоковой передаче HD-видео в течение примерно 36 000 лет.
«Мы надеемся, что RSC поможет нам создать совершенно новые системы искусственного интеллекта, которые могут, например, обеспечивать голосовой перевод в реальном времени для больших групп людей, говорящих на разных языках, чтобы они могли беспрепятственно сотрудничать в исследовательском проекте или играть в игру с дополненной реальностью. вместе», — объяснили в своем блоге Кевин Ли, технический руководитель программы Meta, и Шубхо Сенгупта, инженер-программист.
«В конечном итоге работа, проделанная с RSC, проложит путь к созданию технологий для следующей крупной вычислительной платформы — метавселенной, где приложения и продукты, управляемые ИИ, будут играть важную роль». ®
