Хотя уже существуют приложения, которые помогают слепым пользователям узнать приблизительные GPS-координаты автобусной остановки, эти люди могут неосознанно оказаться слишком далеко от фактической остановки. Новое приложение устраняет этот недостаток, позволяя использовать камеру смартфона.
Известное как All_Aboard, приложение на основе искусственного интеллекта было разработано командой ученых Массачусетского центра лечения глаз и ушей, филиала Гарварда. и исследовательский центр. Его можно использовать вместе со сторонним навигационным приложением на основе GPS, например Google Maps.
Пользователи начинают с использования этого другого приложения, чтобы добраться до приблизительного местоположения автобусной остановки. Затем они открывают All_Aboard и держат свой смартфон так, чтобы его задняя камера «видела» окружающую улицу.
Опираясь на нейронную сеть глубокого обучения, которая была обучена примерно на 10 000 изображений автобусных остановок в этом городе, приложение, как сообщается, способно визуально идентифицировать знак целевой остановки, если она находится на расстоянии до 50 футов (15 м). Как только знак обнаружен, приложение направляет пользователя с помощью звуковых сигналов, похожих на сигналы сонара, которые меняют высоту и скорость по мере приближения человека к автобусной остановке.
В ходе полевых испытаний 24 незрячих добровольца использовали Google Maps и All_Aboard, чтобы найти в общей сложности 20 автобусных остановок: 10 в городских условиях (Бостон) и 10 в пригороде (Ньютон, Массачусетс).
Когда дело дошло до того, чтобы подойти «достаточно близко» к этим остановкам, только у Google Maps показатель успеха составил всего 52%, тогда как All_Aboard увеличил этот показатель до 93%. Кроме того, хотя среднее расстояние между конечной точкой карты и фактической автобусной остановкой составляло 6,62 метра (21,7 фута) для Google Maps, оно составляло всего 1,54 м (5 футов) для All_Aboard.
«Наши результаты показывают, что приложение All_Aboard может помочь путешественникам с нарушениями зрения в навигации, точно определяя автобусную остановку и, следовательно, значительно снижая их вероятность пропустить автобус из-за того, что они стоят слишком далеко от автобусных остановок», — сказал представитель Massachusetts Eye and Ear. Профессор Ган Ло. «Это исследование показывает, что возможности распознавания объектов на основе компьютерного зрения могут использоваться дополняющим образом и предоставлять дополнительные преимущества чисто картографическим и макронавигационным сервисам в реальных условиях».
All_Aboard так и поступило. На данный момент оно прошло обучение в 10 крупных городах по всему миру и доступно для использования на iPhone через App Store. Это описано в статье, недавно опубликованной в журнале Translational Vision Science & Technology, и показано в видео ниже.
All Aboard помогает людям с нарушением зрения найти автобусные остановки
