Трудно услышать, что говорит один человек, в многолюдном и шумном помещении, где говорит много других людей. Особенно это актуально для слабослышащих людей. Хотя в современных слуховых аппаратах используется технология шумоподавления, они не могут полностью устранить фоновый шум.
Исследователи Вашингтонского университета (UW) разработали способ улучшить слух в шумной обстановке. Используя обычные наушники с шумоподавлением и искусственным интеллектом, они разработали систему, которая может распознавать голос говорящего, просто взглянув на них один раз.
«Сейчас мы склонны думать об ИИ как о веб-чат-ботах, которые отвечают на вопросы», — сказал Шьям Голлакота, профессор Школы компьютерных наук и инженерии Пола Г. Аллена Университета Вашингтона и старший автор исследования. «Но в этом проекте мы разрабатываем ИИ, который изменит слуховое восприятие любого, кто носит наушники, с учетом его предпочтений. Благодаря нашим устройствам вы теперь можете четко слышать одного говорящего, даже если находитесь в шумной обстановке, где разговаривает много других людей».
Готовые наушники оснащены микрофонами и кнопкой Вашингтонского университета Разработанная исследователями система «целевого речевого слуха» (THS) проста, но эффективна. Стандартные наушники оснащены двумя микрофонами, по одному на каждой чашке. Глядя на человека, которого он хочет услышать, пользователь один раз нажимает кнопку на боковой стороне наушников на три-пять секунд. Звуковые волны от голоса говорящего достигают обоих микрофонов одновременно (погрешность составляет 16 градусов) и отправляются на бортовой компьютер, где программное обеспечение машинного обучения изучает вокальные образцы говорящего. Голос говорящего затем изолируется и передается через наушники, даже когда он перемещается, а посторонние шумы отфильтровываются.
Видео ниже показывает, насколько эффективны наушники. Они быстро фильтруют окружающий шум, чтобы сосредоточиться на говорящем, устраняя шум, создаваемый человеком, говорящим по телефону поблизости (в помещении), и очень шумным фонтаном на открытом воздухе.
Наушники с искусственным интеллектом фильтруют шум, поэтому вы слышите один голос в толпе
Насколько быстро ИИ может обрабатывать голос говорящего и удалять нежелательные звуки? В ходе тестирования исследователи обнаружили, что сквозная задержка их системы составляет 18,24 миллисекунды. Для сравнения, моргание длится от 300 до 400 миллисекунд. Это означает, что между взглядом на человека, которого вы хотите слушать, и слышимостью только его голоса в наушниках практически нет задержки; все происходит в реальном времени.
Они предоставили свою систему THS 21 участнику, который оценил шумоподавление, обеспечиваемое наушниками, в реальных условиях как внутри, так и снаружи помещения. В среднем испытуемые оценили четкость голоса говорящего почти в два раза выше, чем без его обработки.
Их система THS основана на технологии «семантического слуха», ранее разработанной исследователями из Университета Вашингтона. Как и THS, эта технология использовала алгоритм искусственного интеллекта, работающий на смартфоне, подключенном по беспроводной сети к наушникам с шумоподавлением. Система семантического слуха может определять такие шумы, как пение птиц, сирены и сигналы тревоги.
В настоящее время новая система может фильтровать только одного целевого говорящего одновременно и только тогда, когда нет другого громкого голоса, исходящего с того же направления, что и динамик. Но если владельца наушников не устраивает качество звука, он может повторно оцифровать голос говорящего, чтобы улучшить четкость. Исследователи работают над расширением своей системы для наушников-вкладышей и слуховых аппаратов. И они сделали свой код THS общедоступным на GitHub, чтобы другие могли его использовать. Система не коммерчески доступна.
Исследователи представили свою работу ранее в этом месяце на конференции Ассоциации вычислительной техники (ACM) по взаимодействию компьютера и человека (CHI) по человеческому фактору в вычислительных системах, проходившей в Гонолулу, Гавайи. 'i, где он получил почетную награду. Неопубликованную исследовательскую работу можно найти здесь.
