В реальном мире вам не захочется постоянно носить с собой портативный контроллер или видеть меню, постоянно всплывающие перед вашим лицом — так зачем мириться с этим в мирах виртуальной реальности? С EgoTouch вам это не нужно, поскольку он помещает интерфейс на вашу ладонь.
В настоящее время система EgoTouch находится в форме прототипа и разрабатывается аспирантом Вималом Моллином и его коллегами из Института взаимодействия человека и компьютера Университета Карнеги — Меллона. Он пересматривает концепцию размещения тактильных интерфейсов, подобных сенсорным экранам, на виртуальных телах пользователей виртуальной реальности.
Предыдущие исследования показали, что такие интерфейсы имеют значительные преимущества в скорости, точности и эргономике по сравнению с обычно используемыми интерфейсами «в воздухе», которые накладываются на вид пользователя в мире VR.
Одна из проблем с существующими интерфейсами на теле заключается в том, что они обычно требуют использования специальных камер с датчиками глубины. Эти камеры используются для отслеживания местоположения части тела в реальном мире, на которой интерфейс отображается в мире VR, а также местоположения пальца в реальном мире, который делает выбор на этом интерфейсе.
Напротив, EgoTouch просто использует существующую оптическую камеру RGB гарнитуры VR.
Когда реальный палец пользователя нажимает на свою реальную ладонь, камера улавливает возникающие тени и деформации кожи. Сопоставляя местоположения этих визуальных индикаторов с виртуальным интерфейсом, отображаемым на ладони, можно определить, какие опции выбираются в мире VR.
Чтобы обучить алгоритм, команда Моллина попросила группу добровольцев нажимать указательным пальцем на различные места на ладони, надев на голову RGB-камеру. Датчик касания, который не мог быть виден камере, проходил по нижней стороне их пальца.
Сопоставляя данные камеры с данными датчика, алгоритм узнал, какие визуальные образы соответствуют каким местам, интенсивности и продолжительности прикосновения. Более того, у добровольцев были разные оттенки кожи и густота волос, и они записывали данные при различных условиях освещения.
При тестировании EgoTouch показал точность 96% при обнаружении прикосновения к ладони, с уровнем ложных срабатываний около 5%. Он также показал точность 98% при определении мягкости или жесткости прикосновения и мог распознавать такие действия, как нажатие вниз, поднятие вверх и перетаскивание.
«Впервые у нас есть система, которая просто использует камеру, которая уже есть во всех гарнитурах. Наши модели не требуют калибровки и работают сразу из коробки», — говорит Моллин. «Теперь мы можем основываться на предыдущей работе над интерфейсами на коже и фактически делать их реальными».
Доклад об исследовании был недавно опубликован в Трудах 37-го ежегодного симпозиума ACM по программному обеспечению и технологиям пользовательского интерфейса. Базовая версия EgoTouch демонстрируется в следующем видео.
EgoTouch: сенсорный ввод на теле с использованием камер гарнитуры AR/VR
