Исследователи из Техасского университета в Остине создали систему ИИ для чтения мыслей, которая может считывать изображения активности мозга человека и преобразовывать их в непрерывный поток текста. Система, называемая семантическим декодером, может помочь людям, находящимся в сознании, но не способным говорить, например тем, кто перенес инсульт.
Этот новый интерфейс мозг-компьютер отличается от других технологий «чтения мыслей». потому что его не нужно имплантировать в мозг. Исследователи из UT Austin сделали неинвазивные записи мозга с помощью функциональной магнитно-резонансной томографии (фМРТ), чтобы реконструировать воспринимаемые или воображаемые стимулы с использованием непрерывного естественного языка.
В то время как фМРТ дает изображения отличного качества, измеряемый ею сигнал, который зависит от уровня кислорода в крови, очень медленный, поскольку импульс нейронной активности вызывает повышение и понижение уровня кислорода в крови в течение примерно 10 секунд. Поскольку в естественном разговорном английском используется более двух слов в секунду, на каждое изображение в мозгу может повлиять более 20 слов.
Вот где в дело вступает семантический декодер. Он использует модель кодирования, аналогичную той, что используется в ChatGPT от Open AI и Bard от Google, которые могут предсказать, как мозг человека будет реагировать на естественный язык. Чтобы «обучить» декодер, исследователи записали реакции мозга трех человек, когда они слушали 16 часов устных историй. Декодер мог с достаточной точностью предсказать, как мозг человека отреагирует на услышанную последовательность слов.
«Для неинвазивного метода это настоящий скачок вперед по сравнению с тем, что делалось раньше, т.е. как правило, отдельные слова или короткие предложения», — сказал Александр Хут, автор исследования.
Результат не воссоздает стимул слово в слово. Скорее, декодер улавливает суть сказанного. Он не идеален, но примерно в половине случаев он создавал текст, который был близко, а иногда и точно, к оригиналу.
Прогнозы декодера на основе записей мозга, собранных во время прослушивания пользователем четырех историй. Примеры сегментов были выбраны вручную и аннотированы, чтобы продемонстрировать типичное поведение декодера. Декодер точно воспроизводит некоторые слова и фразы и улавливает суть многих других. Джерри Танг/Техасский университет в Остине
Когда участники активно слушали рассказ и одновременно игнорировали другой рассказ, декодер смог уловить суть суть истории, которую активно слушают.
Помимо того, что участников просили слушать и думать над историями, их попросили посмотреть четыре коротких видео без звука, пока их мозг сканировался с помощью фМРТ. Семантический кодировщик преобразовывал активность их мозга в точные описания определенных событий из просмотренных видео.
Исследователи обнаружили, что ключом к процессу является добровольное участие. Те, кто оказывал сопротивление во время обучения кодировщика, например, намеренно думали о других мыслях, давали бесполезные результаты. Точно так же, когда исследователи тестировали ИИ на людях, которые не обучали декодер, результаты были неразборчивыми.
Команда UT Austin осознает возможность злонамеренного использования неточных результатов и важность защиты неприкосновенность частной жизни людей.
«Мы очень серьезно относимся к опасениям, что это может быть использовано в плохих целях, и работаем над тем, чтобы этого избежать», — сказал Джерри Танг, ведущий автор исследования. «Мы хотим, чтобы люди использовали эти типы технологий только тогда, когда они этого хотят, и чтобы это им помогало».
В настоящее время декодер нельзя использовать за пределами лабораторной среды из-за его зависимости от фМРТ. Есть надежда, что эту технологию можно будет адаптировать для использования с более портативными системами визуализации мозга, такими как функциональная спектроскопия ближнего инфракрасного диапазона (fNIRS). моменты времени, что, как оказалось, является точно таким же сигналом, который измеряет фМРТ», — сказал Хут. «Итак, именно наш подход должен соответствовать fNIRS».
Исследование было опубликовано в журнале Nature Neuroscience, а в приведенном ниже видео показано, как семантический декодер использует записи активности мозга, чтобы запечатлеть суть сцены немого фильма.
ИИ, читающий мысли, пытается реконструировать сцену фильма по мозговым волнам зрителя.
