Необходимость в такой системе обусловлена уникальными рисками, связанными с взаимосвязанными автономными системами.
По мере развития современных технологий сети взаимосвязанных машин, таких как беспилотные автомобили, роботы-доставщики и интеллектуальная инфраструктура, становятся все более распространенными.
Эти системы, часто называемые киберфизическими системами, в значительной степени зависят от связи и координации между множеством автономных агентов. Однако остается одна важнейшая проблема: как этим машинам определить, какой информации можно доверять, прежде чем принимать решения? Исследователи из Гарвардской школы инженерных и прикладных наук им. Джона А. Полсона предложили инновационное решение этой проблемы, представив структуру, известную как «cy-trust», предназначенную для повышения безопасности и надежности сетей роботов и транспортных средств.
Киберфизические системы станут очень распространенными.
Концепция кибердоверия фокусируется на количественной оценке доверия измеримым способом. Вместо того чтобы слепо принимать все поступающие данные, каждый робот или транспортное средство оценивает надежность информации, полученной от других агентов. Эта оценка выражается числовым значением, обычно от нуля до единицы, указывающим на степень доверия к источнику. На основе этой оценки система решает, насколько сильно эта информация должна влиять на ее действия. Такой подход необходим, поскольку традиционные методы кибербезопасности в основном контролируют доступ к системам, но неадекватно решают задачи принятия решений в реальном времени в динамичных многоагентных средах.
«Киберфизические системы станут очень распространенными», — сказал Гил, соавтор статьи в журнале Proceedings of the IEEE. «Вопрос в том, как обеспечить безопасность этих систем? Как гарантировать их устойчивость в реальном мире? Этому нам пришлось научиться, создавая системы безопасности для интернета».
Необходимость в такой системе обусловлена уникальными рисками, связанными с взаимосвязанными автономными системами. В таких сетях даже один неисправный или злонамеренный агент может нарушить работу всей системы. Например, взломанный автомобиль может отправлять ложные данные о дорожной ситуации, заставляя другие транспортные средства выбирать небезопасные маршруты, или робот в спасательной операции может предоставлять неверную информацию о местоположении, что приводит к перебоям в покрытии. Эти сценарии демонстрируют, что нарушения доверия могут иметь прямые физические последствия, включая аварии и угрозы безопасности людей.
Автономные системы должны использовать свои бортовые датчики для независимой проверки информации.
Для решения этих проблем исследователи предлагают автономным системам использовать свои бортовые датчики — такие как камеры, радары, GPS и лидары — для независимой проверки информации. Сравнивая внешние данные с наблюдениями в реальном мире, машины могут выявлять несоответствия и снижать зависимость от потенциально опасных входных данных. Кроме того, передовые методы обработки сигналов могут помочь определить, действительно ли сообщения поступают из разных источников или же ими манипулирует один злоумышленник. Такой многоуровневый подход позволяет системам принимать более обоснованные и безопасные решения.
Концепция cy-trust уже была протестирована в контролируемых экспериментах с участием групп взаимодействующих роботов и имитированных злоумышленников. В этих тестах некоторые роботы пытались нарушить работу системы, отправляя ложную информацию или выдавая себя за нескольких агентов. Используя модель cy-trust, взаимодействующие роботы смогли присваивать более низкие оценки доверия подозрительным входным данным и игнорировать их с течением времени.
В результате система продолжала эффективно функционировать, несмотря на наличие враждебного поведения, что демонстрирует потенциал данной структуры для повышения устойчивости в реальных условиях, говорится в пресс-релизе.
«Между концепцией кибердоверия и привычным видом психологического доверия существует явная параллель», — сказал Гил.
«Идея заключается в том, что психологическое доверие — это способ принятия риска в среде, где определенный уровень риска неизбежен, у вас нет полного доступа к информации, но вам все равно необходимо принимать решения».
Данное исследование имеет важное значение для будущего технологий. Такие приложения, как системы совместного использования автомобилей, автоматизированные системы грузоперевозок и «умные города», зависят от надежной координации между машинами. Интеграция принятия решений на основе доверия в их проектирование позволит сделать эти системы более безопасными и эффективными. Более того, исследователи подчеркивают, что одной лишь разработки технических решений недостаточно; политика и нормативные акты также должны развиваться, чтобы обеспечить доверие общественности к этим технологиям.
Внедрение фреймворка cy-trust представляет собой важный шаг на пути к созданию более безопасных и надежных сетей автономных систем. Предоставляя машинам возможность динамически оценивать и управлять доверием, этот подход решает одну из важнейших задач современной робототехники и искусственного интеллекта. По мере того, как эти технологии продолжают проникать в повседневную жизнь, подобные инновации будут играть жизненно важную роль в обеспечении их безопасной, ответственной и эффективной работы.
Sourse: interestingengineering.com
