Новости

Очки с поддержкой сонара считывают тихие голосовые команды владельцев

Очки с поддержкой сонара считывают беззвучно произносимые голосовые команды

Некоторым людям не хватает силы речи, в то время как другие могут оказаться в шумной обстановке, где произнесение голосовых команд вслух просто не сработает. Таким людям могут пригодиться очки EchoSpeech, которые считывают произнесенные пользователем слова беззвучно.

Экспериментальные очки разрабатываются командой лаборатории интеллектуальных компьютерных интерфейсов для будущих взаимодействий (SciFi) Корнельского университета.

р><р>Два направленных вниз миниатюрных динамика установлены на нижней стороне рамки под одним объективом, а два мини-микрофона расположены под другим. Динамики излучают неслышимые звуковые волны, которые отражаются от движущегося рта пользователя и возвращаются к микрофонам.

Эти эхо-сигналы анализируются в режиме реального времени алгоритмом глубокого обучения на смартфоне, подключенном по беспроводной сети. Этот алгоритм был обучен связывать определенные эхо с определенными движениями рта, которые, в свою очередь, связаны с определенными произнесенными беззвучно командами.

Очки с поддержкой сонара считывают беззвучно произносимые голосовые команды владельца

Поскольку очки EchoSpeech не используют видеофайлы (которые могут быть довольно большими), вся обработка данных можно сделать на сопряженном смартфонеCornell University

EchoSpeech в настоящее время способен распознавать 31 такую ​​команду с точностью около 95%, и для каждого пользователя требуется всего несколько минут обучения. И что важно для людей, заботящихся о конфиденциальности, система не включает никаких камер и не отправляет какую-либо информацию в Интернет.

Более того, поскольку в ней не используется энергоемкая камера, она может работать до 10 часов на одном заряде батареи. В отличие от этого, исследователи утверждают, что экспериментальные системы на основе камер работают только около 30 минут без подзарядки.

В настоящее время университет работает над коммерциализацией этой технологии.

«Для людей, которые не могут озвучивать звук, эта технология безмолвной речи может стать отличным входом для голосового синтезатора», — сказал аспирант Руидун Чжан, который возглавляет исследование. «Это может вернуть пациентам их голос».

Лаборатория SciFi ранее разработала в чем-то похожую систему под названием EarIO, в которой используется носимое в ушах устройство, оснащенное сонаром, для захвата выражений лица пользователя, хотя оно используется в основном для создания цифровых аватаров. Тем не менее, система EarCommand Университета Буффало действительно читает слова, произносимые про себя, через наушник, который обнаруживает характерные деформации слухового прохода, вызванные определенными движениями рта.

EchoSpeech демонстрируется в следующем видео. .

EchoSpeech: очки с искусственным интеллектом могут читать немую речь

Источник

Нажмите, чтобы оценить статью
[Итого: 0 Среднее значение: 0]

Похожие статьи

Кнопка «Наверх»