Для людей, которые слепы или плохо контролируют свои пальцы, интерфейсы с сенсорным экраном, подобные тем, которые используются в киосках самообслуживания, могут быть практически невозможны в использовании. Однако новое экспериментальное устройство BrushLens использует смартфон пользователя для выполнения своей работы.
В настоящее время в виде функционального прототипа BrushLens разрабатывается в Мичиганском университете командой под руководством доцента. Проф. Аньхун Го и доц. Профессор Алансон Сэмпл.
По сути, это высокотехнологичный чехол для смартфона, он оставляет экран телефона видимым и доступным сверху, а снизу имеет окошко для задней камеры телефона. Это окно окружает кольцо «автокликеров», которые изменяют емкость сенсорного экрана, имитируя прикосновение пальца.
Нижняя сторона устройства BrushLens с автокликерами, окружающими окно камеры телефона. В другой версии вместо автокликеров используются механические кнопки. Чен Лян, докторант кафедры компьютерных наук и инженерии
Когда телефон с BrushLens перемещается по поверхности большого сенсорный экран, телефон может читать отображаемый текст через камеру. Сопутствующее приложение произносит слова, когда телефон проходит мимо них.
Когда пользователь хочет щелкнуть любое из отображаемых слов, он может либо нажать большую кнопку, которую легко нажать, на экране приложения своего телефона, либо использовать существующую функцию чтения с экрана телефона (в которой выбор можно сделать с помощью простых пролистываний или другие жесты). В дальнейшем пользователь также может просто произнести устную команду.
В любом случае BrushLens реагирует активацией соответствующего автокликера, вызывая регистрацию касания в этой части основного сенсорного экрана. . Кроме того, как только расположение дисплея на этом экране будет отображено, приложение сможет устно направлять пользователя по нему.
Это делается путем разделения экрана на сетку и использования акселерометра телефона для отслеживания положения телефона в этой сетке. Сравнивая расположение нужной экранной кнопки в сетке с расположением в сетке телефона, приложение может подсказать пользователю, в какую сторону перемещать телефон, вплоть до того момента, пока он не достигнет этой кнопки.
Приложение BrushLens направляет пользователей по экрану, разделяя его на сетку. Чэнь Лян, докторант кафедры компьютерных наук и инженерии
Технология была протестирована на 10 добровольцах, четверо из которых страдали от тремора или спазмов, а шесть из них были слабовидящие. Во всех случаях после первоначального обучения устройство улучшило свои возможности использования сенсорных дисплеев.
Текущая версия устройства стоит менее 50 долларов США, а усовершенствованная коммерческая версия должна стоить значительно меньше. . Помимо других мер по сокращению затрат и размеров, окончательная версия может питаться от аккумулятора телефона и использовать телефон для выполнения всей обработки данных.
Вы можете увидеть две версии BrushLens. используемое устройство, в видео ниже.
[UIST2023] BrushLens: прокси-серверы взаимодействия с оборудованием для активации интерфейса доступного сенсорного экрана
