Исследователи преодолели серьезную проблему в биомиметической робототехнике, разработав датчик, который с помощью искусственного интеллекта может скользить по тексту Брайля, точно считывая его со скоростью, вдвое превышающей человеческую скорость. Эту технологию можно будет внедрить в руки роботов и протезы, обеспечивая чувствительность кончиков пальцев, сравнимую с человеческой.
Кончики пальцев человека невероятно чувствительны. Они могут передавать детали объекта размером примерно в половину ширины человеческого волоса, различать тонкие различия в текстуре поверхности и применять необходимое количество силы, чтобы схватить яйцо или 20-фунтовый (9-килограммовый) мешок с собачьим кормом. без скольжения.
Поскольку передовые электронные оболочки начинают включать в себя все больше и больше биомиметических функций, потребность в динамических взаимодействиях, подобных человеческим, таких как скольжение, становится все более важной. Однако воспроизвести чувствительность кончиков пальцев человека в роботизированном эквиваленте оказалось сложно, несмотря на достижения в области мягкой робототехники.
Исследователи из Кембриджского университета в Великобритании приблизили эту идею на шаг ближе к реальности, приняв подход, который использует тактильные датчики на основе зрения в сочетании с искусственным интеллектом для обнаружения объектов с высоким разрешением и скоростью.
«Мягкость кончиков пальцев человека — одна из причин, по которым мы можем захватывать предметы с нужным усилием», — сказал Парт Потдар, ведущий автор исследования. «Для робототехники мягкость — полезная характеристика, но вам также нужно много сенсорной информации, и сложно получить и то, и другое одновременно, особенно когда имеешь дело с гибкими или деформируемыми поверхностями».
Исследователи поставили перед собой задачу непростая задача: разработать роботизированный датчик «на кончике пальца», который сможет читать шрифт Брайля, скользя по нему, как это делает человеческий палец. Это идеальный тест. Датчик должен быть очень чувствительным, поскольку точки в каждой букве расположены очень близко друг к другу.
«Существуют роботы-читатели Брайля, но они читают только одну букву за раз, а это не то, как читают люди», — сказал соавтор исследования Дэвид Хардман. «Существующие роботы-считыватели Брайля работают статично: они касаются одного рисунка букв, читают его, отрываются от поверхности, перемещаются, опускаются на следующий образец буквы и так далее. Нам нужно что-то более реалистичное и гораздо более эффективное».
Итак, исследователи создали роботизированный сенсор с камерой на «кончике пальца». Понимая, что скользящее действие датчика приводит к размытию движения, исследователи использовали алгоритм машинного обучения, обученный на наборе реальных статических изображений, которые были синтетически размыты, чтобы «устранить размытие» изображений. После того как размытие в движении было удалено, модель компьютерного зрения обнаружила и классифицировала каждую букву.
«Это сложная проблема для робототехников, поскольку для устранения размытия в движении необходимо выполнить большой объем обработки изображений. а это отнимает много времени и энергии», — сказал Потдар.
Использование обученного алгоритма машинного обучения означало, что роботизированный датчик мог читать шрифтом Брайля со скоростью 315 слов в минуту с точностью 87,5%, что вдвое превышает скорость чтения человека и примерно с такой же точностью. Исследователи говорят, что это значительно быстрее, чем предыдущие исследования, и этот подход можно масштабировать с использованием большего количества данных и более сложных архитектур моделей для достижения лучшей производительности даже на более высоких скоростях.
“Учитывая, что мы использовали ложное размытие для обучения алгоритма, было удивительно, насколько он точен при чтении шрифта Брайля», — сказал Хардман. «Мы нашли хороший компромисс между скоростью и точностью, который также применим и к читателям».
Хотя датчик не был предназначен для использования в качестве вспомогательной технологии, исследователи говорят, что его способность быстро и точно читать шрифт Брайля служит хорошим предзнаменованием для разработки рук роботов или протезов с чувствительностью, сравнимой с кончиками пальцев человека. Они надеются масштабировать свою технологию до размеров руки или кожи гуманоида.
«Скорость чтения шрифтом Брайля — отличный способ измерить динамические характеристики систем тактильного восприятия, поэтому наши результаты могут быть применимы и за пределами шрифта Брайля. , для таких приложений, как обнаружение текстур поверхности или проскальзывания при роботизированных манипуляциях», — сказал Потдар.
Исследование было опубликовано в журнале IEEE Robotics and Automation Letters, а видео ниже было создано Кембриджского университета, объясняет, как исследователи разработали датчик чтения Брайля.
Могут ли роботы читать шрифт Брайля?
