По мере того, как ИИ находит свое применение в некоторых рабочих процессах проектирования чипов, в результате чего нейронные сети помогают разрабатывать более совершенные процессоры для нейронных сетей, Nvidia продемонстрировала, что можно сделать в этой области с помощью чат-ботов.
Вы можете вспомнить Google используют машинное обучение для улучшения своего семейства ускорителей TPU, а такие компании, как Synopsis и Cadence, которые создают пакеты программного обеспечения для проектирования чипов, как говорят, внедряют искусственный интеллект в свои приложения. Nvidia говорила об инструментах для литографии с ускорением на графическом процессоре, а теперь продемонстрировала нечто вроде этого: большую языковую модель, которая может служить помощником для инженеров-полупроводников.
Бумага, выпущенная [PDF] от Nvidia в понедельник описывает, как этот генеративный ИИ может быть использован при проектировании и разработке будущих чипов. Насколько мы можем судить, этот ИИ так и не был выпущен; Похоже, что гигант графических процессоров надеется, что исследование послужит руководством или вдохновением для тех, кто рассматривает возможность создания такой болтливой системы или подобных ботов.
Проектирование микропроцессора — это сложный процесс, в котором участвуют несколько команд, каждая из которых работает над разными аспектами проекта. Чтобы продемонстрировать, как можно помочь этому процессу, группа исследователей Nvidia использовала платформу NeMo корпорации для настройки базовой модели с 43 миллиардами параметров с использованием данных, имеющих отношение к проектированию и разработке чипов. токены – каждый из этих жетонов представляет части слов и символов.
По данным Nvidia, эта модель была дополнительно усовершенствована в ходе двух раундов обучения: первый включал 24 миллиарда токенов внутренних проектных данных, а второй — 130 000 примеров разговоров и дизайна.
Затем исследователи использовали полученные модели ChipNeMo — одну с семью миллиардами, другую с 13 миллиардами параметров — для работы трёх приложений искусственного интеллекта, включая пару, аналогичную ChatGPT и GitHub Copilot. Они работают так, как вы ожидаете – на самом деле они действуют во многом как стандартные виртуальные помощники – но были адаптированы для предоставления результатов, связанных с более узким набором данных, специфичных для проектирования и разработки полупроводников.
Чтобы не ворчать, см. примеры использования на стр. 16 и 17 приведенной выше статьи. К ним относятся использование ботов для генерации кода System Verilog — языка проектирования аппаратного обеспечения, используемого для разработки логики микросхем — на основе запросов; отвечать на вопросы о конструкции процессора и методах тестирования; писать сценарии для автоматизации этапов процесса проектирования; а также создавать и анализировать отчеты об ошибках на уровне микросхемы.
В конечном счете, похоже, целью было показать, что генеративный ИИ можно использовать не только для написания обычного кода приложения, плохой поэзии и подражания иллюстраторам: он может создавать Verilog и другие вещи, связанные с полупроводниковой техникой. Учитывая сложность проектирования чипов, можно было бы надеяться, что инженерам, работающим над такими вещами, не понадобится помощник по машинному обучению, но мы полагаем, что это мир, в котором мы сейчас живем.
И, конечно же, Nvidia надеется, что вы будете использовать ее графические процессоры и программное обеспечение для обучения и запуска подобных систем.
«Эти усилия знаменуют собой важный шаг в применении LLM к сложной работе по проектированию полупроводников», — сказал Билл Далли, главный научный сотрудник Nvidia. «Это показывает, как даже узкоспециализированные области могут использовать свои внутренние данные для обучения полезным генеративным моделям ИИ».
Хотя исследователи показали, как генеративный искусственный интеллект может быть полезен для облегчения проектирования полупроводников, люди по-прежнему во многом управляют этим процессом. Nvidia отметила, что необходимо проявлять осторожность при очистке и организации данных обучения; Мы добавляем, что тот, кто обрабатывает выходные данные, должен быть достаточно опытным, чтобы понять их.
Nvidia также обнаружила, что, сужая область применения меньшей модели искусственного интеллекта, они смогли добиться более высокой производительности по сравнению с LLM общего назначения, такими как Llama 2 70B, используя часть параметров. Этот последний момент важен, поскольку модели меньшего размера обычно требуют меньше ресурсов для обучения и запуска.
Заглядывая в будущее, Марк Рен, исследователь Nvidia, возглавлявший проект, ожидает, что ИИ будет играть более важную роль в разработке передовых чипов. «Я верю, что со временем большие языковые модели помогут всем процессам по всем направлениям», — сказал он.
Это не первое применение Nvidia ускоренных вычислений и машинного обучения в разработке полупроводников. Генеральный директор Дженсен Хуанг уже некоторое время обсуждает эту концепцию.
«Производство чипов — идеальное применение для ускоренных вычислений Nvidia и вычислений на основе искусственного интеллекта», — сказал он на майской конференции ITF по полупроводникам.
Как мы узнали ранее в этом году, графические процессоры Nvidia уже используются такими компаниями, как TSMC, ASML и Synopsys, для ускорения рабочих нагрузок вычислительной литографии, а KLA Group, Applied Materials и Hitachi используют графические процессоры Nvidia для запуска кода глубокого обучения для электронных книг. лучевой и оптический контроль пластин. ®
