«Самая многообещающая архитектура»

Когда кто-то вроде Джима Келлера говорит, что ваша компания «добилась впечатляющих успехов и у нее самая многообещающая архитектура», это высокая похвала. Эта похвала будет значить вдвое больше, если Келлер действительно присоединится к компании. Сегодня Tenstorrent объявляет о том, что Джим Келлер, выдающийся архитектор вычислительной техники, присоединился к компании в качестве ее главного технического директора, президента и вошел в состав совета директоров компании.

При создании и развитии своего производства практически всегда необходима удобная транспортировка внутри помещений и помочь в этом может монтаж ленточного конвейера. С высокой продуктивностью конвейра и длиной до 100 метров вы сможете значительно повысить эффективность своего производства.

Для нашей постоянной аудитории Джим Келлер – известный эксперт во всех областях компьютерной архитектуры. Его история началась в DEC, с разработки процессоров Alpha, прежде чем он перешел на первую работу в AMD в течение двух лет, работая над запуском K7 и K8. Келлер четыре года проработал в качестве главного архитектора в SiByte / Broadcom, проектируя MIPS для сетевых интерфейсов, четыре года в PA Semi, четыре года в Apple (A4 + A5), затем вернулся в AMD на три года и два года в качестве корпоративного вице-президента и главного архитектора ядер нового поколения архитектур CPU, K12 и Zen. Затем последовали два года в Tesla в качестве вице-президента по разработке оборудования для автопилота, создавшего чип Full Self-Driving, затем два года в качестве старшего вице-президента Intel в группе Silicon Engineering, прежде чем уйти в июне 2020 года. С момента его ухода из Intel, несколько ключевых отраслевых аналитиков (и нас самих) гадали, где окажется Джим. Он ненадолго появился в аудитории презентации Neuralink Илона Маска в августе 2020 г., рядом с Лексом Фридманом.

Сегодня компания Tenstorrent сообщила нам, что Джим Келлер занял должность президента и главного технического директора компании, а также стал членом ее совета директоров. Роль Джима, основанная на его предыдущем опыте, будет заключаться в разработке будущих продуктов для компании, а также в создании команды Tenstorrent для достижения этой цели.

Генеральный директор Любиса Баич подтвердил назначение Джима президентом и техническим директором компании, заявив, что:

Компания Tenstorrent была основана на убеждении, что продолжающийся переход к программному обеспечению, ориентированному на машинное обучение, требует соответствующей трансформации вычислительных возможностей. Нет никого более способного реализовать это видение, чем Джим Келлер, лидер, который одинаково хорош в проектировании компьютеров, культур и организаций. Мне очень приятно работать с Джимом, и я рад возможности, которую открывает наше партнерство.

Tenstorrent – это компания, занимающаяся разработкой микросхем искусственного интеллекта и разработкой программного обеспечения без всяких умений, что означает, что они создают и проектируют микросхемы для машинного обучения, затем используют литейный цех для производства оборудования, а затем работают с партнерами над созданием решений (например, чипы + система + программное обеспечение + оптимизация для этого клиента). Для тех, кто знаком с этим пространством, это заставляет компанию походить на любую из 50 других компаний на рынке, которые, кажется, делают то же самое. Типичное разделение компаний, занимающихся разработкой микросхем искусственного интеллекта без всяких оснований, заключается в том, сосредоточены ли они на обучении или на выводах: Tenstorrent делает и то, и другое и уже находится в процессе доработки своего процессора третьего поколения.

Компания Tenstorrent, основанная в 2016 году, имеет около 70 сотрудников между Торонто и Остином. Все критически важные члены компании имеют опыт проектирования микросхем: генеральный директор руководил архитектурой мощности и производительности в AMD, а также системной архитектурой для Tegra в NVIDIA, руководитель системного программного обеспечения проработал 16 лет в AMD и Altera, и есть опыт в нейронных сетях, разработке сетевых ускорителей от Intel, разработка систем графических процессоров в AMD, руководство по проверке процессоров Arm, опыт виртуализации ввода-вывода в AMD, бывший руководитель группы компиляторов нейронных сетей Intel, а также бывший руководитель AMD по безопасности и разработке сетей. Похоже, что Джим отлично впишется, так же как и несколько бывших коллег, работающих вместе с ним.

Продукт нынешнего поколения Tenstorrent – Grayskull, диаметр ~ 620 мм.² процессор, построенный на 12-нм технологии GF, который изначально был разработан как ускоритель вывода и хост. Он содержит 120 настраиваемых ядер в двумерной двунаправленной сетке и предлагает 368 тераопераций 8-битных вычислений всего за 65 Вт. Каждое из 120 настраиваемых ядер имеет механизм управления пакетами для управления данными, механизм пакетных вычислений, который содержит пользовательские ядра TENSIX от Tenstorrent. и пять ядер RISC-V для нестандартных операций, таких как условные. Чип фокусируется на разреженных тензорных операциях за счет оптимизации матричных операций в сжатые пакеты, обеспечивая конвейерное распараллеливание этапов вычислений как с помощью компилятора графа, так и диспетчера пакетов. Это также обеспечивает выполнение динамического графа и, по сравнению с некоторыми другими моделями микросхем ИИ, позволяет выполнять вычисления и передачу данных асинхронно, а не в определенных временных областях вычислений / передачи.

Grayskull в настоящее время отправляется клиентам Tenstorrent, информация о которых пока не разглашается.

Чип следующего поколения, известный как Wormhole, больше ориентирован на обучение, чем на ускорение, и также входит в комплект коммутатора портов Ethernet 16x100G. Переход от обучения к ускорению требует более быстрого интерфейса памяти, поэтому существует шесть каналов GDDR6, а не 8 каналов LPDDR4. Это может показаться низким по сравнению с другими микросхемами искусственного интеллекта, обсуждающими интеграцию HBM, однако план Tenstorrent здесь, кажется, более согласован с более средней структурой затрат, но также предлагает вычисления с машинным обучением с большей эффективностью, чем те чипы, которые продвигают передовой край технологий. частота и узел процесса (часть этого также будет в урожайности).

Так где же именно Келлер, если нынешнее поколение уже продается, а следующее поколение почти готово к выпуску? В разговоре с генеральным директором я подтвердил, что Келлер «будет создавать новые интересные вещи вместе с нами». Похоже, это наводит на мысль, что видение с участием Келлера будет касаться оборудования 2022/2023 годов в соответствии с приоритетной стратегией Tenstorrent Software 2.0, согласно которой оборудование, компилятор и среда выполнения предлагают подход с полным стеком для разреженных (и плотных) Расчет матрицы AI. По словам Джима:

Программное обеспечение 2.0 – это самая большая возможность для компьютерных инноваций за долгое время. Победа требует всестороннего переосмысления вычислений и программного обеспечения низкого уровня. Tenstorrent добилась впечатляющих успехов, и с самой многообещающей архитектурой мы готовы стать вычислительным гигантом следующего поколения.

Джим Келлер официально начал работу в прошлую среду, и официальное телеграфное объявление назначено на 1/6, но нам разрешили поделиться заранее. Наш запрос об интервью с Джимом был отмечен и подан, возможно, в течение нескольких месяцев, поскольку у компании есть более подробная информация о своей платформе и дорожной карте (я также попросил предоставить обновленную фотографию Джима! ). Для тех, кому интересно, я брал интервью у Джима еще в июле 2018 года, сразу после того, как он начал работать в Intel – вы можете прочитать это интервью здесь.