Команда нейрофизиологов и инженеров из Калифорнийского университета улучшила систему, которая преобразует активность мозга в предложения. Теперь ее могут использовать даже парализованные, которые полностью потеряли речь. Об этом пишет N+1 со ссылкой на исследование в журнале Nature Communications.
Ученые доработали свою же систему с имплантом, который встраивается в мозг. Имплант считывает активность нейронов в моторных зонах, а затем при помощи глубокого обучения и языковой модели информация преобразовывается в целые фразы.
В разработке и тестировании новой системы принял участие человек с анартрией — отсутствием речи, связанным с поражением нервно-мышечного аппарата. При оптимизации модели ученые просили его попытаться произнести (про себя или вслух) слово или букву, показанную на экране (у пациента осталась способность производить некоторые звуки — к примеру, мычание). В другом задании ему нужно было постараться произнести появляющуюся на экране или произвольную фразу.
Полученная система смогла декодировать словарь из 1152 слов с медианной ошибкой в 6,13% для букв и 10,53% для слов. Из 150 предложений 70% были распознаны системой без ошибок, медианная скорость декодирования составила 29,41 буквы или 6,84 предложения в минуту. Это оказалось быстрее, чем вспомогательное устройство, которое пациент использовал в обычной жизни.
В прошлой версии системы словарь составлял всего 50 слов, а участнику приходилось всегда пытаться произнести вслух нужные. Теперь модель не только увеличила словарный запас в 23 раза, но и научилась работать при молчаливом произнесении слов про себя. Более того, симуляция данных показала, что словарь системы может быть расширен до 9170 слов, что позволит пациентам свободно общаться.
Однако подобная система может быть использована не всеми людьми с расстройствами речи. К примеру, она не подойдет пациентам с афазией Брока, при которой поражается участок коры головного мозга, ответственный за моторную организацию речи.
В отличие от этого случая, при параличе соответствующие зоны мозга не страдают — человек может формулировать предложения, а вот произносить их не способен из‑за потери мышечной силы. Поскольку мозг таких людей продолжает посылать сигналы для движения мышц, участвующих в речи, системы преобразования сигнала могут декодировать его активность.
Создание систем, которые соединяют мозг с цифровым интерфейсом, — одно из перспективных направлений разработок. Подобными технологиями занимается в том числе стартап Neuralink Илона Маска. В 2017 году предприниматель обещал, что успеет создать интерфейс между мозгом и компьютером за следующие 4 года. Нейроинтерфейс, который вживляется в мозг, компания продемонстрировала в 2020-м, но пока его испытали лишь на свиньях и обезьянах. К примеру, в прошлом году Neuralink показал ролик, в котором обезьяна при помощи такого чипа играет в видеоигру Pong «силой мысли».