В последние несколько лет на рынок вышло изобилие процессоров с единственной целью — ускорить рабочие нагрузки искусственного интеллекта и машинного обучения. Из-за различных типов возможных алгоритмов машинного обучения эти процессоры часто сосредоточены на нескольких ключевых областях, но одна вещь ограничивает их все — насколько большим вы можете сделать процессор. Два года назад Cerebras совершили революцию в кремниевом дизайне: процессор размером с вашу голову, использующий столько площади на 12-дюймовой пластине, сколько позволяет прямоугольная конструкция, построенный на основе 16 нм, ориентированный как на рабочие нагрузки ИИ, так и на высокопроизводительные вычисления. Сегодня компания запускает продукт второго поколения, построенный на 7-нм технологии TSMC, с более чем удвоенным количеством ядер и более чем удвоенным количеством всего.

Механизм масштабирования пластин второго поколения

Новый процессор от Cerebras основан на первом переходе на процесс TSMC N7. Это позволяет масштабировать логику, а также до некоторой степени SRAM, и теперь новый чип имеет 850 000 ядер AI на борту. Практически все в новом чипе более чем в 2 раза:

Вафельная чешуя Cerebras
АнандТех Вафельная шкала
Двигатель Gen1
Вафельная шкала
Двигатель Gen2
Увеличивать
Ядра ИИ 400 000 850 000 2,13x
Производство TSMC 16 нм TSMC 7 нм
Дата запуска Август 2019 г. 3 квартал 2021 г.
Размер матрицы 46225 мм2 46225 мм2
Транзисторы 1200 миллиардов 2600 миллиардов 2,17x
(Плотность) 25,96 мТр / мм2 56,246 мТр / мм2 2,17x
Встроенная SRAM 18 ГБ 40 ГБ 2,22x
Пропускная способность памяти 9 ПБ / с 20 ПБ / с 2,22x
Пропускная способность ткани 100 Пбит / с 220 Пбит / с 2,22x
Расходы 2 миллиона долларов + рука + нога
Читайте также:
CES 2021: OWC Envoy Pro FX

Как и в случае с исходным процессором, известным как Wafer Scale Engine (WSE-1), новый WSE-2 имеет сотни тысяч ядер AI на массивных 46225 мм.2 кремния. В этом пространстве Cerebras задействовала 2,6 триллиона транзисторов для 850000 ядер — для сравнения, диаметр второго по величине ИИ-процессора на рынке составляет ~ 826 мм.2, с 0,054 триллиона транзисторов. Cerebras также называет в 1000 раз больше встроенной памяти с 40 ГБ SRAM по сравнению с 40 МБ на Ampere A100.


У меня с Wafer Scale Gen1 — выглядит так же, но с менее чем половиной ядер.

Ядра связаны с 2D-сеткой с каналами данных FMAC. Cerebras достигает 100% выхода за счет разработки системы, в которой любой производственный дефект можно обойти — изначально у Cerebras было 1,5% дополнительных ядер, чтобы учесть дефекты, но с тех пор нам сказали, что это слишком много, поскольку процесс TSMC настолько зрел. Цель Cerebras с WSE — предоставить единую платформу, разработанную на основе инновационных патентов, которая позволила бы использовать более крупные процессоры, полезные для вычислений AI, но также была расширена для более широкого спектра рабочих нагрузок HPC.

Основываясь на Первом поколении WSE

Ключом к дизайну является пользовательский компилятор графов, который использует pyTorch или TensorFlow и сопоставляет каждый уровень с физической частью чипа, обеспечивая асинхронные вычисления по мере прохождения данных. Наличие такого большого процессора означает, что данные никогда не теряются и не ожидают в памяти, тратя впустую энергию, и их можно непрерывно перемещать на следующий этап вычислений конвейерным способом. Компилятор и процессор также разработаны с учетом разреженности, что обеспечивает высокую степень использования независимо от размера пакета или может позволить алгоритмам поиска параметров работать одновременно.

Читайте также:
Стивен Хокинг нашел путь в другие Вселенные

Для первого поколения Cerebras WSE продается как полная система под названием CS-1, и у компании есть несколько десятков клиентов с развернутыми и работающими системами, в том числе ряд исследовательских лабораторий, фармацевтических компаний, биотехнологических исследований, военных, нефтяных и газовая промышленность. У Лоуренса Ливермора есть CS-1, соединенный с его суперкомпьютером «Lassen» 23 PFLOP. Питтсбургский суперкомпьютерный центр купил две системы на грант в 5 миллионов долларов, и эти системы подключены к их суперкомпьютеру Neocortex, что позволяет одновременно использовать ИИ и расширенные вычисления.

Продукты и партнерство

Сегодня Cerebras продает полные системы CS-1 в виде корпуса 15U, который содержит один WSE-1 вместе с 12×100 GbE, двенадцать блоков питания мощностью 4 кВт (6 резервных, пиковая мощность около 23 кВт), а развертывания в некоторых учреждениях сочетаются с HPE SuperDome Flex . В новой системе CS-2 используется та же конфигурация, хотя и с более чем удвоенным количеством ядер и удвоенным объемом встроенной памяти, но все же с той же мощностью. По сравнению с другими платформами, эти процессоры расположены вертикально внутри конструкции 15U, чтобы обеспечить легкий доступ, а также встроенное жидкостное охлаждение в таком большом процессоре. Следует также отметить, что эти входные двери изготовлены из цельного куска алюминия.

Уникальность конструкции Cerebras заключается в том, что она может выходить за рамки физических производственных ограничений, обычно присутствующих при производстве, известных как предел сетки нитей. Процессоры спроектированы с учетом этого ограничения как максимального размера микросхемы, так как соединение двух областей с помощью перекрестной сетки нитей затруднено. Это часть секретного соуса, который Cerebras приносит к столу, и компания остается единственной, предлагающей процессор такого масштаба — те же патенты, которые Cerebras разработали и получили для создания этих больших чипов, все еще здесь, и WSE второго поколения будет встроена в системы CS-2, дизайн которых будет аналогичен CS-1 с точки зрения возможностей подключения и визуальных эффектов.

Читайте также:
Huawei Honor 7i: уникальный телефон из Китая

Один и тот же компилятор и программные пакеты с обновлениями позволяют любому заказчику, который тестировал рабочие нагрузки ИИ с первой системой, использовать вторую в момент ее развертывания. Cerebras работает над реализациями более высокого уровня, чтобы позволить клиентам со стандартизованными моделями TensorFlow и PyTorch очень быстро ассимилировать свой существующий код графического процессора путем добавления трех строк кода и использования компилятора графов Cerebras. Затем компилятор делит все 850 000 ядер на сегменты каждого уровня, что позволяет передавать данные в конвейерном режиме без остановок. Кремний также может использоваться для нескольких сетей одновременно для поиска параметров.

Cerebras заявляет, что наличие такого большого однокристального решения означает, что барьер для распределенных методов обучения на сотнях микросхем AI теперь настолько далеко, что это избыточное усложнение не требуется в большинстве сценариев — для этого мы видим CS- 1 развертывание отдельных систем, подключенных к суперкомпьютерам. Однако Cerebras стремится указать, что две системы CS-2 будут поставлять 1,7 миллиона ядер AI в стандартной стойке 42U или три системы за 2,55 миллиона в более крупной стойке 46U (при условии, что мощности хватит для всех сразу!), Заменяя дюжина стоек альтернативного вычислительного оборудования. На Hot Chips 2020 главный архитектор оборудования Шон Ли заявил, что одним из ключевых преимуществ Cerebras для клиентов является возможность упрощения рабочих нагрузок, для чего раньше требовались стойки с GPU / TPU, но вместо этого они могут работать на одном WSE с вычислительной точки зрения.

Читайте также:
ASUS обновляет TUF Gaming A15 и A17, добавляет оборудование серий Ryzen 5000 и GeForce RTX 30

В компании Cerebras работает около 300 сотрудников в Торонто, Сан-Диего, Токио и Сан-Франциско. Генеральный директор Эндрю Фельдман сказал мне, что как компания они уже являются прибыльными, десятки клиентов уже используют CS-1, а еще несколько уже тестируют CS-2 удаленно, когда запускают коммерческие системы. Помимо искусственного интеллекта, Cerebras вызывает большой интерес на типичных коммерческих рынках высокопроизводительных вычислений, таких как нефтегазовая отрасль и геномика, поскольку гибкость чипа позволяет проводить гидродинамическое и другое вычислительное моделирование. Внедрение CS-2 произойдет в конце этого года, в третьем квартале, и цена выросла с ~ 2-3 миллионов долларов до «нескольких» миллионов.


С Годзиллой для справки по размеру

Связанное чтение