Исследователи ИИ попытались реконструировать сцены из Доктора Кто, используя алгоритмы машинного обучения для преобразования сканированных изображений мозга в изображения.

Этот дурацкий эксперимент описан в бумага выпущен через bioRxiv. Парень лежал внутри аппарата функциональной магнитно-резонансной томографии (фМРТ) с зажатой головой, и его попросили посмотреть 30 эпизодов популярного семейного научно-фантастического шоу BBC, пока аппаратура сканировала его мозг. Затем эти сканы передавались в нейронную сеть.

Эта модель машинного обучения, получившая название Brain2pix, предсказала сцену из Доктора Кто, которую наблюдал человеческая морская свинка, используя только эти сканированные изображения активности его мозга. Система ИИ не может свободно читать мысли или определять старую картину в вашей голове. Он разработан и обучен для воссоздания момента в Докторе Кто, за которым наблюдали, только по наблюдаемой мозговой активности.

Каждое сканирование мозга с помощью фМРТ было преобразовано в массив чисел или тензор с использованием картирования рецептивного поля. Этот метод «представляет собой способ нанести на карту очень определенные участки мозга в визуальное пространство, поскольку он сообщает нам, какая точка мозга отвечает за то, какой пиксель вы видите в своем визуальном пространстве», — сказала Линн Ли, первый автор исследования и доктор философии. студент университета Радбауд в Неймегене в Нидерландах, рассказал Реестр.

Модель Brain2pix принимала эти тензоры в качестве входных данных и выводила визуальное изображение, эффективно переводя активность мозга в пиксели того, что, вероятно, наблюдали. Вот пример того, как это выглядит на практике:

drwho

Читайте также:
Сборка Windows 10 Insider исправляет исправление, которое она отправила, чтобы исправить исправление, которое нарушило печать? Боюсь, что нет, но вот новый значок Блокнота • Регистр

Помощник на память. Источник: Brain2pix

Как видите, реконструкция немного ромовая. Карен Гиллан, сыгравшая роль Эми Понд, вымышленной подруги Доктора Кто в сериале с пятого по седьмой, больше похожа на ужасающего монстра или пришельца из сериала. Вот примеры пришельца Уд.

ох

Еще страшнее. Нажмите, чтобы увеличить. Источник: Brain2pix

Brain2pix был обучен с использованием данных, которые связывают конкретный клип «Доктор Кто» с его соответствующим сканированием фМРТ. Это означает, что сгенерированные машиной изображения, вероятно, будут сильно зависеть от конкретных сканирований мозга человеческой морской свинки. Модель содержит генерирующую враждебную сеть, которая воссоздает сцену, и ее попытки передаются в сеть дискриминатора, которая должна угадать, выглядит ли изображение, созданное с помощью машинного обучения, как реальный клип из обучающих данных.

Если восстановленное изображение недостаточно хорошее, дискриминатор отклоняет его, и генератор должен повторить попытку. Со временем генератор улучшается, и ему удается обмануть дискриминатор, заставив его поверить, что его изображения реальны.

Эксперименты, которые включают преобразование сигналов мозга в речь или изображения, часто ограничены по объему. Между данными обучения и тестирования существует значительное совпадение, а это означает, что вы не можете сделать слишком много выводов из результатов и производительности. Тем не менее, в этом испытании Brain2pix попросили сгенерировать изображения из мозговой активности зрителя, когда он впервые смотрел эпизоды. Таким образом, сканирование мозга во время этих клипов было новой территорией для программного обеспечения, и оно должно было выяснить, что было видно. Перекрытие данных обучения и тестирования было минимальным.

мозг

Читайте также:
В Google можно менять интерфейс приложений под «Звёздные войны»

«ИИ», который может диагностировать шизофрению с помощью сканирования мозга — вот как он работает (или не работает)

ПРОЧИТАЙТЕ БОЛЬШЕ

Однако сложно заставить Brain2pix передавать то, что он узнал об одном участнике, другому. Даже если бы два человека смотрели один и тот же клип «Доктор Кто», нейронная сеть, вероятно, не смогла бы реконструировать изображения из чужих сканированных изображений мозга, если бы она не была специально обучена на них.

Тем не менее, исследователи считают, что их работа может оказаться полезной в будущем. «Во-первых, это позволяет нам исследовать, как мозг представляет окружающую среду, что является ключевым вопросом в области сенсорной нейробиологии», — сказал нам Ле.

«Во-вторых, он демонстрирует многообещающий подход для нескольких клинических приложений. Очевидным примером является интерфейс мозг-компьютер, который позволит нам общаться с заблокированными пациентами, получая доступ к состояниям их мозга ».

Мечта состоит в том, что однажды нейропротезы станут достаточно хорошими, чтобы помочь восстановить зрение слепым. «Здесь цель состоит в том, чтобы создать у слепых пациентов восприятие зрения, минуя их глаза и напрямую стимулируя их мозг. Такие подходы, как Brain2pix, в принципе могут использоваться для определения того, какие ощущения могут быть вызваны в результате такой прямой нейрональной стимуляции », — добавила она. ®

Примечание редактора: Эта статья была уточнена после публикации, чтобы прояснить, что данные тестирования и обучения практически не совпадали: для тестирования и обучения использовались разные эпизоды и сезоны.

Читайте также:
Голосовой помощник от Microsoft попал на Android