видео Комбинация мозговых имплантатов и нейронной сети помогла 65-летнему мужчине, парализованному ниже шеи, печатать текстовые сообщения на компьютере со скоростью 90 символов в минуту, быстрее, чем любой другой известный интерфейс мозг-машина.

Пациент, обозначенный как Т5 в исследовательской работе опубликовано [preprint] in Nature в среду, является первым человеком, который протестировал технологию, разработанную группой исследователей во главе со Стэнфордским университетом Америки.

К поверхности мозга Т5 были прикреплены два виджета; в устройствах были сотни тонких электродов, которые проникали примерно на миллиметр в серое вещество пациента. Затем испытуемого попросили представить, как он написал 572 предложения в течение трех дней. Эти отрывки текста содержали все буквы алфавита, а также знаки препинания. T5 попросили представить пробелы между словами с помощью символа «больше»>.

Затем сигналы от электродов подавались в рекуррентную нейронную сеть в качестве входных данных. Модель была обучена отображать каждое конкретное чтение из мозга T5 на соответствующий символ в качестве выходных данных. Например, паттерны мозговых волн, записанные при мысли о написании буквы «а» от руки, отличались от тех, которые возникали при воображении написания буквы «b». Таким образом, программное обеспечение может быть обучено связывать сигналы для «а» с буквой «а» и так далее, чтобы, когда пациент думал о написании каждого символа в предложении, нейронная сеть декодировала последовательность сигналов мозга. в желаемые символы.

С набором данных из 31 472 символов алгоритм машинного обучения смог научиться декодировать сигналы мозга T5 для каждого символа, который он пытался правильно написать примерно в 94 процентах случаев. Затем были показаны персонажи, чтобы он мог общаться.

Читайте также:
ОТЧЕТ: РЕЖИМ FREEFORM WINDOW НА ANDROID N НАМЕКАЕТ НА НАСТОЛЬНОЕ БУДУЩЕЕ

Вот нежное видео, объясняющее эксперимент.

YouTube видео

К сожалению, в этой системе нет кнопки удаления; T5 должен был действовать, даже если он допустил ошибку, например, представил, что транскрибирует неправильную букву или знак препинания. Частота ошибок символов была снижена с шести до 3,4% за счет реализации функции автокоррекции. Исследователи утверждают, что это примерно так же точно, как и современные системы преобразования речи в текст.

Следует отметить, что процент ошибок символов для свободного набора текста, когда T5 не транскрибировал текст, предоставленный исследователями, был выше на 8,54 процента и снизился до 2,25 процента, когда использовалась языковая модель с автокоррекцией.

«Вместе эти результаты предполагают, что даже спустя годы после паралича нейронное представление почерка в моторной коре, вероятно, достаточно сильное, чтобы быть полезным для BCI», — написала команда, имея в виду интерфейс мозг-компьютер. Т5 был парализован из-за травмы спинного мозга, но часть его мозга, которая контролирует движение, все еще не повреждена.

Джон Нгаи, директор Национального института здоровья США Инициатива BRAIN, который не принимал непосредственного участия в исследовании, назвал его «важной вехой» для BCI и алгоритмов машинного обучения. «Эти знания создают важную основу для улучшения жизни других людей с неврологическими травмами и расстройствами», — сказал он. сказал в заявлении. NIH, государственная организация, помогала финансировать исследование.

Не подходит для всех

Хотя исследование кажется многообещающим, команда признала, что существует множество проблем, которые необходимо преодолеть, прежде чем этот вид технологий сможет быть коммерциализирован или иным образом использоваться гораздо большим количеством людей. Во-первых, пока это продемонстрировано только на одном человеке. Команде придется, в нынешнем виде технологий, переобучить свою модель для сигналов мозга каждого человека, и производительность может отличаться от пациента к пациенту.

Читайте также:
SAP предлагает смешанные предварительные результаты в «верхней части» своего пересмотренного в сторону понижения прогноза • Реестр

«Почему производительность меняется от человека к человеку — все еще неизвестный вопрос», — сказал Фрэнк Уиллетт, ведущий автор исследования и научный сотрудник Стэнфордской трансляционной лаборатории нейропротезирования. Реестр.

«Одна из причин заключается в том, что датчики иногда записывают с разного количества нейронов — поэтому иногда, когда датчик помещается в мозг человека, он особенно« горячий »и записывает много нейронов, а в других случаях — нет. Это открытый вопрос в данной области, и разработка датчиков, которые всегда могут регистрировать множество нейронов, является важной целью, над которой работают другие ».

Ученые также постоянно переобучали систему на сигналах мозга T5, чтобы откалибровать программное обеспечение перед проведением экспериментов. Уиллетт сказал, что система, используемая в реальном мире, должна работать с минимальными данными обучения и что пользователям не нужно переобучать машины каждый день.

«Чтобы превратить технологию в реальный продукт, ее необходимо оптимизировать — пользователь должен иметь возможность использовать BCI, не тратя слишком много времени на его обучение», — сказал он.

«Поэтому нам нужно улучшить алгоритмы, чтобы они могли хорошо работать с небольшим количеством обучающих данных. Кроме того, он должен быть достаточно умным, чтобы автоматически отслеживать, как нейронная активность изменяется с течением времени, чтобы пользователю не приходилось делать паузы. переобучать систему каждый день ».

Чтобы превратить технологию в реальный продукт, ее нужно оптимизировать.

Инвазивный характер электродов также является проблемой; они должны оставаться имплантированными в мозг пациента и должны быть сделаны из прочного и безопасного материала. «Наконец, микроэлектродное устройство должно быть беспроводным и полностью имплантированным», — добавил Виллет. Программное обеспечение также должно быть способно работать на настольном компьютере или смартфоне: бесполезно таскать с собой тяжелое нестандартное оборудование.

Читайте также:
Слияние высокопроизводительных вычислений и искусственного интеллекта может решить множество проблем - хранилище не входит в их число • Реестр

«Важно признать, что нынешняя система является доказательством концепции, что высокопроизводительный BCI для рукописного ввода возможен (для одного участника); это еще не полная, клинически жизнеспособная система », — говорится в заключении.

«Требуется дополнительная работа, чтобы продемонстрировать высокую производительность на дополнительных людях, расширить набор символов (например, заглавные буквы), разрешить редактирование и удаление текста и поддерживать устойчивость к изменениям нейронной активности, не отвлекая пользователя на переобучение декодера. В более широком смысле, технология внутрикортикальных микроэлектродных матриц все еще находится на стадии развития и требует дальнейших демонстраций долговечности, безопасности и эффективности перед широким клиническим применением ». ®