Мозговые имплантаты создали цифровой аватар лица человека, пережившего инсульт
"Что вы думаете о моем искусственном голосе?" » » — спрашивает женщина на экране компьютера, ее зеленые глаза слегка расширяются. Изображение явно компьютеризировано, голос отключен, но это все равно выдающийся момент. Изображение представляет собой цифровой аватар человека, потерявшего способность говорить после инсульта 18 лет назад. Теперь, в эксперименте с использованием мозгового имплантата и алгоритмов искусственного интеллекта, она может говорить, воспроизводя собственный голос, и даже передавать ограниченный диапазон выражений лица через свой аватар.
Две статьи, опубликованные сегодня в журнале Nature двумя независимыми исследовательскими группами, показывают, насколько быстро развивается эта область, даже если эти доказательства концепции все еще очень далеки от технологии, доступной широкой публике. В каждом исследовании участвовала женщина, потерявшая способность внятно говорить – одно после инсульта ствола мозга, другое из-за БАС, прогрессирующего нейродегенеративного заболевания.
Каждому из участников в мозг было имплантировано записывающее устройство разного типа, и оба могли говорить со скоростью от 60 до 70 слов в минуту. Это примерно половина нормальной скорости речи, но более чем в четыре раза быстрее, чем сообщалось ранее. Команда под руководством Эдварда Чанга, нейрохирурга из Калифорнийского университета в Сан-Франциско, также зафиксировала сигналы мозга, управляющие небольшими движениями, обеспечивающими выражение лица, что позволило им создать аватар, который представлял бы речь участника исследования почти в реальном времени. время. .
Эти статьи «представляют собой действительно изящные, строгие научные и инженерные разработки в отношении мозга», — говорит Джуди Иллес, специалист по нейроэтике из Университета Британской Колумбии в Ванкувере, Канада, которая не участвовала ни в одном из исследований. Иллесу особенно понравилось добавление выразительного аватара. «Общение – это не только слова между людьми. Речь идет о словах и сообщениях, которые передаются посредством тона, выражения, акцента и контекста», — говорит она. "Я думаю, что это была творческая и очень продуманная попытка привнести этот компонент личности в то, что на самом деле является фундаментальной наукой, инженерией и нейротехнологиями".
Чанг и его команда работают над этой проблемой уже более десяти лет. В 2021 году они продемонстрировали, что могут улавливать активность мозга человека, перенесшего инсульт, и переводить эти сигналы в письменные слова и предложения, хотя и медленно. В последней работе команда использовала более крупный имплантат с двойным количеством электродов (устройство размером с кредитную карту) для улавливания сигналов из мозга другой пациентки по имени Энн, которая потеряла способность говорить после инсульта. почти два десятилетия назад.
Имплантат не регистрирует мысли. Вместо этого он улавливает электрические сигналы, которые контролируют движения мышц губ, языка, челюсти и гортани — все движения, обеспечивающие речь. Например: «Если вы произносите звук «П» или «Б», для этого необходимо сомкнуть губы. Таким образом, это активирует определенную часть электродов, участвующих в контроле губ», — говорит Александр Сильва, автор исследования и аспирант лаборатории Чанга. Порт на скальпе позволяет команде передавать эти сигналы на компьютер, где алгоритмы искусственного интеллекта декодируют их, а языковая модель помогает обеспечить возможности автокоррекции для повышения точности. Используя эту технологию, команда перевела мозговую активность Энн в слова, написанные со скоростью 78 слов в минуту, используя словарный запас в 1024 слова, с уровнем ошибок 23%.
Группе Чанга также впервые удалось расшифровать сигналы мозга непосредственно в речь. А захваченные мышечные сигналы позволили участнику через аватар выразить три разные эмоции – счастье, грусть и удивление – на трех разных уровнях интенсивности. «Речь – это не только передача слов, но и передача того, кем мы являемся. Наш голос и наши выражения являются частью нашей идентичности», — говорит Чанг. Участник испытания надеется стать консультантом. Это «мой лунный выстрел», сказала она исследователям. Она думает, что такой аватар мог бы сделать ей...
"Что вы думаете о моем искусственном голосе?" » » — спрашивает женщина на экране компьютера, ее зеленые глаза слегка расширяются. Изображение явно компьютеризировано, голос отключен, но это все равно выдающийся момент. Изображение представляет собой цифровой аватар человека, потерявшего способность говорить после инсульта 18 лет назад. Теперь, в эксперименте с использованием мозгового имплантата и алгоритмов искусственного интеллекта, она может говорить, воспроизводя собственный голос, и даже передавать ограниченный диапазон выражений лица через свой аватар.
Две статьи, опубликованные сегодня в журнале Nature двумя независимыми исследовательскими группами, показывают, насколько быстро развивается эта область, даже если эти доказательства концепции все еще очень далеки от технологии, доступной широкой публике. В каждом исследовании участвовала женщина, потерявшая способность внятно говорить – одно после инсульта ствола мозга, другое из-за БАС, прогрессирующего нейродегенеративного заболевания.
Каждому из участников в мозг было имплантировано записывающее устройство разного типа, и оба могли говорить со скоростью от 60 до 70 слов в минуту. Это примерно половина нормальной скорости речи, но более чем в четыре раза быстрее, чем сообщалось ранее. Команда под руководством Эдварда Чанга, нейрохирурга из Калифорнийского университета в Сан-Франциско, также зафиксировала сигналы мозга, управляющие небольшими движениями, обеспечивающими выражение лица, что позволило им создать аватар, который представлял бы речь участника исследования почти в реальном времени. время. .
Эти статьи «представляют собой действительно изящные, строгие научные и инженерные разработки в отношении мозга», — говорит Джуди Иллес, специалист по нейроэтике из Университета Британской Колумбии в Ванкувере, Канада, которая не участвовала ни в одном из исследований. Иллесу особенно понравилось добавление выразительного аватара. «Общение – это не только слова между людьми. Речь идет о словах и сообщениях, которые передаются посредством тона, выражения, акцента и контекста», — говорит она. "Я думаю, что это была творческая и очень продуманная попытка привнести этот компонент личности в то, что на самом деле является фундаментальной наукой, инженерией и нейротехнологиями".
Чанг и его команда работают над этой проблемой уже более десяти лет. В 2021 году они продемонстрировали, что могут улавливать активность мозга человека, перенесшего инсульт, и переводить эти сигналы в письменные слова и предложения, хотя и медленно. В последней работе команда использовала более крупный имплантат с двойным количеством электродов (устройство размером с кредитную карту) для улавливания сигналов из мозга другой пациентки по имени Энн, которая потеряла способность говорить после инсульта. почти два десятилетия назад.
Имплантат не регистрирует мысли. Вместо этого он улавливает электрические сигналы, которые контролируют движения мышц губ, языка, челюсти и гортани — все движения, обеспечивающие речь. Например: «Если вы произносите звук «П» или «Б», для этого необходимо сомкнуть губы. Таким образом, это активирует определенную часть электродов, участвующих в контроле губ», — говорит Александр Сильва, автор исследования и аспирант лаборатории Чанга. Порт на скальпе позволяет команде передавать эти сигналы на компьютер, где алгоритмы искусственного интеллекта декодируют их, а языковая модель помогает обеспечить возможности автокоррекции для повышения точности. Используя эту технологию, команда перевела мозговую активность Энн в слова, написанные со скоростью 78 слов в минуту, используя словарный запас в 1024 слова, с уровнем ошибок 23%.
Группе Чанга также впервые удалось расшифровать сигналы мозга непосредственно в речь. А захваченные мышечные сигналы позволили участнику через аватар выразить три разные эмоции – счастье, грусть и удивление – на трех разных уровнях интенсивности. «Речь – это не только передача слов, но и передача того, кем мы являемся. Наш голос и наши выражения являются частью нашей идентичности», — говорит Чанг. Участник испытания надеется стать консультантом. Это «мой лунный выстрел», сказала она исследователям. Она думает, что такой аватар мог бы сделать ей...
What's Your Reaction?
