Искусственный интеллект превращает сигналы мозга в человеческую речь

Благодаря этой технологии немые люди смогут свободно и внятно произносить слова

Исследователи из Калифорнийского Университета Сан-Франциско разработали алгоритм, который расшифровывает сигналы мозга, связанные с произношением слов, и переводит их в понятную речь без необходимости двигать мышцами, даже находящимися во рту. Такая технология в скором будущем должна позволить немым людям свободно и внятно произносить слова.

Синтез речи из нейронного декодирования речевых предложений

Прототип такого виртуального генератора голоса был протестирован на пятерых пациентах больницы, которые проходили обследование для лечения эпилепсии. Эти люди не имеют проблем с речью. Каждое из устройств было имплантировано с одним или двумя массивами электродов: специальными подушками, содержащими сотни крошечных электродов, которые были размещены на поверхности мозга.

Для перевода сигналов в речь исследователи разработали две нейронные сети: первая согласовывала сигналы мозга с движениями губ, а вторая превращала эти движения в синтезированную речь. Добровольцы действительно смогли повторить отрывки предложений — на записи можно легко распознать до 70% синтезированных слов.

Предыдущие системы связи на основе имплантатов производили около восьми слов в минуту. Новая программа генерирует около 150 слов в минуту. Эта технология может быть улучшена путем использования мозговых имплантатов с более плотным расположением электродов и более сложных алгоритмов машинного обучения.

Исследователи также обнаружили, что система, основанная на мозговой активности одного человека, может использоваться и адаптироваться для других. Это указывает на то, что в будущем станет возможным массовый выпуск разработки.

Команда исследователей планирует перейти к клиническим испытаниям для дальнейшего тестирования системы. Самой большой клинической проблемой может оказаться поиск подходящих пациентов. Например, инсульты, которые повреждают или полностью отключают речь человека, часто также повреждают или уничтожают участки мозга, которые поддерживают артикуляцию речи.