Реклама
Home Hardnews Ampere получает обновление памяти HBM2E

Ampere получает обновление памяти HBM2E

Реклама


Начиная с очень виртуальной версии шоу суперкомпьютеров SC20, NVIDIA сегодня утром анонсирует новую версию своего флагманского ускорителя A100. Едва запущенная 6 месяцев назад, NVIDIA готовится выпустить обновленную версию ускорителя на базе графического процессора с 80 гигабайтами памяти HBM2e, удвоив емкость начальной версии ускорителя. И, как дополнительный толчок, NVIDIA также увеличивает тактовую частоту памяти, доведя 80-гигабайтную версию A100 до 3,2 Гбит / с / контакт, или чуть более 2 ТБ / с общей пропускной способности памяти.

Реклама

Версия A100 на 80 ГБ будет по-прежнему продаваться вместе с версией на 40 ГБ, которую NVIDIA теперь называет A100 40 ГБ, и в первую очередь ориентирована на клиентов с большими наборами данных AI. Что на первый взгляд может показаться немного очевидным, но, в частности, с рабочими нагрузками глубокого обучения, объем памяти может быть строго ограничивающим фактором при работе с особенно большими наборами данных. Таким образом, ускоритель, достаточно большой, чтобы хранить всю модель в локальной памяти, потенциально может быть значительно быстрее, чем ускоритель, который должен часто выходить за пределы кристалла для обмена данными.

Сравнение спецификаций NVIDIA Accelerator
A100 (80 ГБ) A100 (40 ГБ) V100
Ядра CUDA FP32 6912 6912 5120
Boost Clock 1,41 ГГц 1,41 ГГц 1530 МГц
Часы памяти 3,2 Гбит / с HBM2e 2,4 Гбит / с HBM2 1,75 Гбит / с HBM2
Ширина шины памяти 5120 бит 5120 бит 4096 бит
Пропускная способность памяти 2,0 ТБ / сек 1,6 ТБ / сек 900 ГБ / сек
VRAM 80 ГБ 40 ГБ 16 ГБ / 32 ГБ
Одинарная точность 19,5 терафлопс 19,5 терафлопс 15.7 терафлопс
Двойная точность 9.7 терафлопс
(Скорость 1/2 FP32)
9.7 терафлопс
(Скорость 1/2 FP32)
7,8 терафлопс
(Скорость 1/2 FP32)
INT8 Тензор 624 ТОПов 624 ТОПов Нет данных
FP16 Тензор 312 терафлопс 312 терафлопс 125 терафлопс
TF32 Тензор 156 терафлопс 156 терафлопс Нет данных
Соединить NVLink 3
12 ссылок (600 ГБ / сек)
NVLink 3
12 ссылок (600 ГБ / сек)
NVLink 2
6 ссылок (300 ГБ / сек)
GPU GA100
(826 мм2)
GA100
(826 мм2)
GV100
(815 мм2)
Количество транзисторов 54,2B 54,2B 21,1B
TDP 400 Вт 400 Вт 300 Вт / 350 Вт
Производственный процесс TSMC 7N TSMC 7N TSMC 12 нм FFN
Интерфейс SXM4 SXM4 SXM2 / SXM3
Архитектура Ампер Ампер Вольта
Читайте также:
Blackphone 2: защищенный смартфон для бизнеса

Если углубиться в технические характеристики, единственная разница между версиями A100 на 40 и 80 ГБ будет заключаться в объеме памяти и пропускной способности памяти. Обе модели поставляются с наиболее активным графическим процессором GA100 со 108 активными SM и тактовой частотой 1,41 ГГц. Точно так же TDP между двумя моделями также остается неизменным. Так что для чистой пропускной способности вычислений на бумаге нет никакой разницы между ускорителями.

Вместо этого улучшения для A100 сводятся к его объему памяти и большей пропускной способности памяти. Когда в мае был выпущен оригинальный A100, NVIDIA оборудовала его шестью стеками памяти HBM2 по 8 ГБ, причем один из этих стеков был отключен по соображениям производительности. Это оставило оригинальный A100 с 40 ГБ памяти и чуть меньше 1,6 ТБ / с пропускной способности памяти.

Для более нового A100 80GB NVIDIA сохраняет ту же конфигурацию стеков памяти 5 из 6, однако сама память была заменена более новой памятью HBM2E. HBM2E — это неофициальное название, данное последнему обновлению стандарта памяти HBM2, который еще в феврале этого года определил новую максимальную скорость памяти 3,2 Гбит / с на вывод. Наряду с этим улучшением частоты производственные улучшения также позволили производителям памяти удвоить емкость памяти, увеличившись с 1 ГБ на кристалл до 2 ГБ на кристалл. Конечный результат состоит в том, что HBM2E предлагает как большую емкость, так и большую пропускную способность — две вещи, которыми NVIDIA здесь пользуется.

Читайте также:
Китайский производитель готовит очень странный смартфон

С 5 активными стеками по 16 ГБ и 8-разрядной памятью обновленный A100 получает в общей сложности 80 ГБ памяти. Что при скорости 3,2 Гбит / с на вывод обеспечивает пропускную способность памяти чуть более 2 ТБ / с для ускорителя, что на 25% больше, чем у версии с 40 ГБ. Это означает, что ускоритель на 80 ГБ не только предлагает больше локального хранилища, но, что является редкостью для моделей с большей емкостью, он также предлагает дополнительную пропускную способность памяти. Это означает, что в рабочих нагрузках с ограничением пропускной способности памяти версия на 80 ГБ должна быть быстрее, чем версия на 40 ГБ, даже без использования дополнительного объема памяти.

Возможность предложить версию A100 с большей пропускной способностью памяти кажется в значительной степени артефактом производства, а не чем-то запланированным NVIDIA — Samsung и SK Hynix только наконец начали массовое производство HBM2E немного раньше в этом году — но тем не менее это обязательно будет желанным.

В противном случае, как упоминалось ранее, дополнительная память не изменит параметры TDP A100. Таким образом, A100 остается частью на 400 Вт, и номинально версия на 80 ГБ должна быть немного более энергоэффективной, поскольку она обеспечивает большую производительность при том же TDP.

Между тем, NVIDIA также подтвердила, что больший объем памяти модели 80 ГБ также будет доступен пользователям Multi-Instance GPU (MIG). A100 по-прежнему имеет аппаратное ограничение — 7 экземпляров, поэтому экземпляры одинакового размера теперь могут иметь до 10 ГБ выделенной памяти каждый.

Читайте также:
Ученые работают над новым материалом для хранения данных

Что касается производительности, NVIDIA приводит несколько цифр, сравнивая две версии A100. На самом деле немного удивительно, что они так много говорят о версии на 80 ГБ, поскольку NVIDIA собирается продолжать продавать версию на 40 ГБ. Но, учитывая, что A100 80GB, вероятно, будет стоить немного (NVIDIA уже купила Arm), несомненно, есть рынок для обоих.

Наконец, как и в случае с запуском оригинального A100 в начале этого года, NVIDIA при выпуске A100 80GB сосредоточит внимание на конфигурациях HGX и DGX. Ускоритель мезонинного форм-фактора предназначен для установки в системы с несколькими графическими процессорами, поэтому NVIDIA продает его именно так: как часть несущей платы HGX с 4 или 8 установленными графическими процессорами. Для клиентов, которым нужны отдельные A100, NVIDIA продолжает предлагать PCIe A100, хотя и не в конфигурации 80 ГБ (по крайней мере, пока).

Наряду с предоставлением клиентам HGX A100 80GB, NVIDIA сегодня также выпускает новое оборудование DGX. На высоком уровне они предлагают версию DGX A100 с новыми ускорителями, которую они назовут DGX A100 640GB. Этот новый DGX A100 также имеет вдвое больше DRAM и памяти, чем его предшественник, что вдвое больше, чем у оригинала.

Тем временем NVIDIA запускает меньшую версию DGX A100 для рабочих станций, которую они называют DGX Station A100. Преемник оригинальной DGX Station на базе Volta, DGX Station A100, по сути, является половиной DGX A100 с 4 ускорителями A100 и одним процессором AMD EPYC. В предварительном брифинге NVIDIA для прессы не упоминалось общее энергопотребление, но мне сказали, что он работает от стандартной настенной розетки, что намного меньше, чем 6.5 кВт DGX A100.

Читайте также:
Microsoft решила уничтожить iPad

NVIDIA также отмечает, что DGX Station использует хладагент система охлаждения, что означает, что они используют охлаждение ниже окружающей среды (в отличие от оригинальной станции DGX, которая охлаждалась просто водой). NVIDIA обещает, что, несмотря на это, DGX Station A100 работает очень тихо, поэтому будет интересно посмотреть, насколько это верно, учитывая обычные проблемы с шумом, возникающие при подключении компрессора к охлаждающему контуру компьютера.

Обе новые системы DGX сейчас находятся в производстве. По словам NVIDIA, системы уже используются для некоторых из ранее анонсированных ими суперкомпьютерных установок, таких как система Cambridge-1. В противном случае коммерческая доступность начнется в январе, а более широкая — в феврале.



Source link

Реклама

NO COMMENTS