Две новые технологии позволяют одной паре очков отслеживать движения глаз и читать выражения лица владельца соответственно. В системах используется сонар вместо камер, что позволяет увеличить время автономной работы и повысить конфиденциальность пользователей.
Известные как GazeTrak и EyeEcho, эти технологии разрабатываются в Корнельском университете командой под руководством аспиранта информатики Ке Ли.
Обе системы можно использовать в умных очках или гарнитурах виртуальной реальности сторонних производителей, где они будут потреблять гораздо меньше энергии, чем системы на базе камер. Они также не будут захватывать изображения лица пользователя.
В настоящее время GazeTrak использует один динамик и четыре микрофона, расположенные внутри каждой оправы линз на очках (всего два динамика и восемь микрофонов). Динамики излучают импульсные неслышимые звуковые волны, которые отражаются от глазного яблока и улавливаются микрофонами.
Поскольку человеческие глазные яблоки не являются идеально круглыми сферами, каждому эху требуется разное количество времени, чтобы достичь каждого из них. микрофонов в зависимости от того, в какую сторону направлено глазное яблоко.
Таким образом, используя программное обеспечение на основе искусственного интеллекта на смартфоне или ноутбуке с беспроводной связью (которое постоянно анализирует эти миллисекундные различия), можно отслеживать направление взгляда пользователя. И что немаловажно, на технологию не влияют громкие фоновые шумы.
Следует отметить, что в своей нынешней форме проверки концепции GazeTrak не какточность, как у обычных носимых устройств с камерой для отслеживания глаз. При этом он потребляет всего на 5% больше энергии, чем подобные устройства. Ученые утверждают, что если бы в системе GazeTrak использовалась батарея той же емкости, что и в существующих очках Tobii Pro Glasses 3, она могла бы работать 38,5 часов вместо 1,75 часов у Tobiis.
Дополнительно , исследователи утверждают, что точность системы должна значительно повыситься по мере дальнейшего развития технологии.
Помимо использования в виртуальной реальности, GazeTrak и EyeEcho также можно использовать для диагностики или мониторинга нейродегенеративных заболеваний Корнельского университета
EyeEcho также излучает звуковые волны и принимает их эхо, но делает это с помощью одного динамика и одного микрофона, расположенных рядом с каждым из двух шарниров очков (всего два динамика и два микрофона).
В этомВ этом случае тонкие движения кожи лица влияют на количество времени, которое проходит между испусканием каждого импульса и обнаружением его эха. Программное обеспечение искусственного интеллекта сопоставляет эти различия во времени с конкретными движениями кожи, которые, в свою очередь, соответствуют конкретным выражениям лица.
Всего после четырех минут тренировки на лицах каждого из 12 испытуемых система доказала свою высокую эффективность. точно считывают выражения их лиц, даже когда они выполняют различные повседневные действия в разных условиях.
В настоящее время нет информации о том, когда эти технологии могут поступить в коммерческое использование. Корнелльский университет
Ке Ли и его коллеги ранее разработали аналогичную систему чтения выражений лица под названием EarIO, в которой динамики и микрофоны интегрированы в наушники. Говорят, что по сравнению с этой настройкой EyeEcho обеспечивает более высокую производительность, используя меньше обучающих данных, а его точность остается стабильной в течение более длительного периода времени.
«В этой области исследований существует множество систем на основе камер. или даже в коммерческих продуктах для отслеживания выражений лица или движений взгляда, таких как Vision Pro или Oculus», — сказал Ли. «Но не все хотят, чтобы камеры на носимых устройствах постоянно фиксировали вас и ваше окружение».
Документы о GazeTrak и EyeEcho будут представлены позже в этом году, и в настоящее время они доступны через Arxiv.
И как будто этих систем было недостаточно, ученые Корнелла ранее создали еще еще одну технологию сонара, считывающего лица, которую можно было бы встроить в умные очки. Устройство, получившее название EchoSpeech, отслеживает губы пользователя, чтобы прочитать слова, которые человек произносит молча.
