Еще одним достижением в области интерфейсов мозг-компьютер (ИМК) стала новая система на основе имплантов, которая позволила парализованному человеку не только разговаривать, но и «петь» простые мелодии через компьютер — практически без задержки.
Технология, разработанная исследователями из Калифорнийского университета в Дэвисе (UC Davis), была опробована на участнике исследования, страдающем боковым амиотрофическим склерозом (БАС). По сути, она захватывала необработанные нейронные сигналы через четыре микроэлектродных массива, хирургически имплантированных в область мозга, ответственную за физическое воспроизведение речи. В сочетании с обработкой с низкой задержкой и моделью декодирования на основе ИИ речь участника синтезировалась в реальном времени через динамик.
Если говорить точнее, это означает, что система не пытается читать мысли участника, а скорее транслирует мозговые сигналы, которые он генерирует, когда пытается использовать свои мышцы, чтобы говорить.
Система также звучит как участник благодаря алгоритму клонирования голоса, обученному на аудиообразцах, записанных до того, как у него развился БАС.
Настройка BCI и участник исследования, использующий технологию синтеза голоса. Лиза Э. Ховард / Калифорнийский университет в Дэвисе
Весь процесс, от получения необработанных нейронных сигналов до генерации речевых образцов, происходит в течение 10 миллисекунд, что обеспечивает практически мгновенную речь.
BCI также распознавал, когда участник пытался петь, определял одну из трех предполагаемых высот и модулировал его голос для синтеза вокальных мелодий.
Нейронные сигналы участника исследования, полученные при чтении текста на экране, помогли обучить модель декодера ИИ. Лиза Э. Ховард / Калифорнийский университет в Дэвисе
Этот момент, продемонстрированный в видеоролике, предоставленном исследователями, кажется элементарным, но кажется неправильным использовать это слово для описания столь замечательного достижения в обеспечении тонкой коммуникации между парализованными людьми, которые, возможно, чувствовали, что больше никогда не смогут выражать свои мысли естественным образом.
Сергей Ставиский, старший автор статьи об этой технологии, которая должна появиться в Nature , объяснил, что это важный шаг в этом направлении. «Благодаря мгновенному синтезу голоса пользователи нейропротезов смогут быть более вовлеченными в разговор», — сказал он. «Например, они могут прерывать, и люди с меньшей вероятностью будут прерывать их случайно».
Если эта работа кажется вам знакомой, то это потому, что она похожа на технологию, которую мы видели в апреле в Калифорнийском университете в Беркли и Калифорнийском университете в Сан-Франциско. Обе системы собирают нейронные сигналы с помощью мозговых имплантатов из двигательной коры и используют системы на базе искусственного интеллекта, обученные на данных, полученных от участника, пытающегося произнести слова, отображаемые на экране.
Что еще круто в технологии UC Davis, так это то, что она воспроизводила попытки участника вставить 'aah', 'ooh' и 'hmm'. Она даже могла определить, произносил ли он предложение как вопрос или утверждение, и когда он подчеркивал определенные слова. Команда заявила, что она также успешно воспроизводила выдуманные слова за пределами обучающих данных декодера ИИ. Все это делает синтезированную речь гораздо более выразительной, чем предыдущие системы.
Подобные технологии могут изменить жизнь парализованных людей, и невероятно видеть эти постепенные достижения вблизи.
Исследователи из Калифорнийского университета в Дэвисе отмечают, что в их исследовании участвовал только один участник, и в последующей работе они попытаются воспроизвести эти результаты с большим количеством испытуемых, у которых наблюдалась потеря речи из-за других заболеваний.
«Это святой Грааль в области речевых BCI», — прокомментировал в Nature Кристиан Херфф, вычислительный нейробиолог из Маастрихтского университета в Нидерландах, который не принимал участия в исследовании. «Теперь это настоящая, спонтанная, непрерывная речь».
