Хотя поклонники «Другого кирпича в стене (часть 1)» могут быть в ужасе от результатов, наука на пути к воссозданию музыки с помощью активности мозга. И у него есть потенциал для невероятно широкого применения.
Исследователи из Калифорнийского университета (UC) в Беркли использовали 2668 электродов, чтобы уловить мозговую активность 29 человек, слушающих эпопею Pink Floyd 1978 года, а затем использовали то, что провода собрались, чтобы воссоздать узнаваемую версию песни с помощью компьютерных алгоритмов.
Такого рода алгоритмический перевод использовался для воссоздания речи из сканирования мозга, но не музыки. Это также выявило совершенно новую взаимосвязь между ритмом и мозговой активностью, а также то, где это происходит.
Результаты, хотя вы, возможно, и не чувствуете соответствия оригиналу (или, с другой стороны, можете подумать, что это улучшение поляризационной классической рок-мелодии), открыли неизвестные механизмы в мозгу, которые реагируют на ритм, в частности, когда те звуковые волны проникают в наши уши.
Это особенно захватывающее открытие для ученых, работающих над тем, как лучше воссоздать просодию — ритм, ударение, акцент и интонацию — в речи (и музыке), которые слова не передают. Успешное выполнение этой задачи может стать прорывом для людей, перенесших инсульт или паралич, или имеющих другие проблемы с вербальной коммуникацией.
«Это замечательный результат», — сказал Роберт Найт, невролог и профессор психологии Калифорнийского университета в Беркли в Институте неврологии Хелен Уиллс, который проводил исследование вместе с Людовиком Белье, докторантом. «Одна из особенностей музыки, на мой взгляд, заключается в том, что она имеет просодию и эмоциональное содержание. По мере развития целой области интерфейсов мозг-машина это дает вам возможность добавлять музыкальность в будущие мозговые имплантаты для людей, которые в этом нуждаются, тех, у кого есть БАС или какое-то другое инвалидизирующее неврологическое или нарушение развития, нарушающее речевой вывод. Это дает вам возможность декодировать не только лингвистическое содержание, но и часть просодического содержания речи, некоторые аффекты. Я думаю, что это то, что мы действительно начали взламывать. код включен.»
Музыка воздействовала на 347 электродов, большинство из которых располагались в верхней височной извилине (ВТГ), сенсорно-моторной коре (СМК) и нижней лобной извилине (НЛГ).
р><р>Исходя из этого, ученые заметили, что это была уникальная область в STG, которая реагировала на определенные звуки, и они полагают, что это область, которая фокусируется на ритме (в данном примере на ритме гитар на треке).
На этом графике показано, какие электроды реагировали на музыку, указывая ученым направление новой области ритма обработки мозга
PLOS Biology
Когда они удалили электроды из этой области, реконструкция звука значительно запнулась. , что предполагает, что эта область играет ключевую роль в передаче просодии.
Ученые во главе с Людовиком Белье из Калифорнийского университета также считают, что эта новая корковая субобласть в височной доле будет важна для будущих исследований и разработок интерфейсов мозг-машина. , такие как протезы для улучшения восприятия ритма и мелодии речи.
«Язык — это больше левое полушарие. Музыка более распространена, с уклоном в правое полушарие», — сказал Найт.
«Не было ясно, что то же самое будет с музыкальными стимулами, — сказал Белье. «Итак, здесь мы подтверждаем, что это не просто особенность речи, но это более фундаментально для слуховой системы и того, как она обрабатывает как речь, так и музыку».
Вы можете прослушать объединенные результаты исследования. 29 мозгов по мере активности их мозга воспроизводили песню для записи и обработки. Для тех, кто не является поклонником этой песни, новая абстрактная версия в стиле дрим-поп, взятая прямо из мозга, может быть предпочтительнее.
Ученые воссоздают классику Pink Floyd с помощью слушателей' ; активности мозга
Исследование опубликовано в журнале PLOS Biology.
