Сканирование мозга может перевести мысли человека в слова

Неинвазивный интерфейс мозг-компьютер, который может преобразовывать мысли человека в слова, однажды может помочь людям, которые потеряли способность говорить из-за травм, таких как инсульт, или таких заболеваний, как БАС.

В новом исследовании, опубликованном сегодня в журнале Nature Neuroscience, модель трех добровольцев, прошедших функциональную магнитно-резонансную томографию, смогла предсказать целые предложения, которые они услышали, с удивительной точностью, просто изучив их церебральную активность. По словам команды, результаты демонстрируют необходимость будущих политик для защиты данных нашего мозга.

Речь уже была расшифрована на основе мозговой активности, но этот процесс обычно требует внедрения высокоинвазивных электродных устройств в мозг человека. Другие неинвазивные системы, как правило, ограничивались декодированием отдельных слов или коротких предложений.

По словам создателей интерфейса, группы исследователей из Техасского университета в Остине, это первый случай, когда целые предложения были получены из неинвазивных записей мозга, полученных с помощью фМРТ. В то время как обычная МРТ показывает структуру мозга, функциональная МРТ оценивает кровоток в мозге, описывая, какие части активируются при определенных действиях.

Сначала команда обучила GPT-1, большую языковую модель, разработанную OpenAI, на наборе данных английских предложений из Reddit, 240 историй из The Moth Radio Hour. em> и стенограммы из подкаста The New York Times Modern Love.

Исследователи хотели, чтобы истории были интересными и забавными для прослушивания, так как это с большей вероятностью даст хорошие данные фМРТ, чем то, что вызовет у участников скуку.

"Мы все любим слушать подкасты, так почему бы не полежать в МРТ-сканере и не послушать подкасты?" — шутит Александр Хут, доцент кафедры неврологии и информатики Техасского университета в Остине, руководивший проектом.

Во время исследования трое участников прослушали по 16 часов разных выпусков одних и тех же подкастов на МРТ-сканере, а также несколько выступлений на TED. Идея заключалась в том, чтобы собрать множество данных, которые, по словам команды, более чем в пять раз больше, чем наборы языковых данных, обычно используемые в экспериментах фМРТ, связанных с языком.

Модель научилась предсказывать активность мозга при чтении определенных слов. Для декодирования он угадывал последовательности слов и проверял, насколько это предположение похоже на настоящие слова. Он предсказал, как мозг отреагирует на угаданные слова, а затем сравнил это с реальными измеренными реакциями мозга.

Когда они протестировали модель на новых эпизодах подкастов, она смогла уловить большую часть того, что пользователи услышали, только благодаря активности их мозга, часто определяя точные слова и фразы. Например, пользователь услышал слова «У меня еще нет водительских прав». Декодер вернул фразу "Она еще даже не начала учиться водить".

Исследователи также показывали участникам короткие видеоролики Pixar, не содержащие диалогов, и записывали реакции их мозга в ходе отдельного эксперимента, призванного проверить, способен ли декодер уловить общий контент того, что смотрел пользователь. Оказалось, да.

Ромен Бретт, нейробиолог-теоретик из Института зрения в Париже, не участвовавший в эксперименте, на данном этапе не совсем убежден в эффективности технологии. «Способ работы алгоритма заключается в том, что модель ИИ составляет предложения на основе расплывчатой ​​информации о семантическом поле предложений, полученной в результате сканирования мозга», — говорит он. "Могут быть некоторые интересные варианты использования, такие как вывод того, о чем вы мечтали, на общем уровне. Но я немного скептически отношусь к тому, что мы действительно приближаемся к уровню чтения мыслей."

Возможно, пока это работает не очень хорошо, но эксперимент поднимает этические вопросы о возможном будущем использовании мозговых декодеров для наблюдения и допросов. Имея это в виду, команда решила проверить, можно ли обучить декодер и управлять им без участия человека. Для этого они попытались декодировать воспринимаемую речь каждого участника с помощью моделей декодеров, обученных на данных другого человека. Они обнаружили, что выступили «едва ли выше шанса».

Это, мол, говорит о том, что декодер нельзя применить к чьему-то бюстгальтеру...