Исследовательская группа продемонстрировала способность RisingAttacK манипулировать моделями зрения.
Системы машинного зрения на базе искусственного интеллекта широко используются в беспилотных автомобилях, здравоохранении и технологиях безопасности.
Головокружение
Инженеры изучили новый способ атаки на системы компьютерного зрения искусственного интеллекта. Они считают, что этот метод может помочь им контролировать то, что «видит» ИИ.
Утверждается, что метод, получивший название RisingAttacK, эффективен при манипулировании всеми наиболее широко используемыми системами компьютерного зрения на основе искусственного интеллекта.
«Мы хотели найти эффективный способ взлома систем машинного зрения на базе искусственного интеллекта, поскольку эти системы часто используются в ситуациях, которые могут повлиять на здоровье и безопасность человека — от автономных транспортных средств до медицинских технологий и приложений безопасности», — говорит Тяньфу Ву, соавтор статьи о работе и доцент кафедры электротехники и вычислительной техники в Университете штата Северная Каролина.
«Это означает, что очень важно, чтобы эти системы ИИ были безопасными. Выявление уязвимостей — важный шаг в обеспечении безопасности этих систем, поскольку необходимо выявить уязвимость, чтобы защититься от нее».
RisingAttacK состоит из серии операций
Исследователи отметили, что проблема заключается в так называемых «состязательных атаках», при которых кто-то манипулирует данными, передаваемыми в систему ИИ, чтобы контролировать то, что система видит или не видит на изображении.
Кто-то может манипулировать способностью ИИ обнаруживать сигналы светофора, пешеходов или другие автомобили, что может вызвать проблемы для автономных транспортных средств. Или хакер может установить код на рентгеновский аппарат, который заставит систему ИИ ставить неточные диагнозы, согласно данным, предоставленным исследователями.
Они подчеркнули, что RisingAttacK состоит из серии операций, цель которых — внести как можно меньше изменений в изображение, что позволит пользователям манипулировать тем, что «видит» ИИ.
Сначала RisingAttacK идентифицирует все визуальные особенности изображения. Программа также запускает операцию, чтобы определить, какая из этих особенностей наиболее важна для достижения цели атаки.
«Например, если цель атаки — помешать ИИ идентифицировать автомобиль, какие особенности изображения наиболее важны для того, чтобы ИИ мог идентифицировать автомобиль на изображении. Это требует некоторой вычислительной мощности, но позволяет нам вносить очень небольшие целенаправленные изменения в ключевые особенности, которые делают атаку успешной», — сказал Ву.
Конечный результат заключается в том, что два изображения могут выглядеть одинаково для человеческого глаза, и люди могут ясно видеть автомобиль на обоих изображениях. Однако из-за RisingAttacK ИИ увидит автомобиль на первом изображении, но не увидит автомобиль на втором изображении.
Метод протестирован на четырех наиболее часто используемых программах искусственного интеллекта.
Метод был протестирован на четырех наиболее часто используемых программах искусственного интеллекта зрения: ResNet-50, DenseNet-121, ViTB и DEiT-B. Метод оказался эффективным при манипулировании всеми четырьмя программами.
У подчеркнул, что хотя исследовательская группа продемонстрировала способность RisingAttacK манипулировать моделями зрения, исследователи сейчас находятся в процессе определения того, насколько эффективна эта техника при атаках на другие системы ИИ, такие как большие языковые модели.
«В дальнейшем наша цель — разработать методы, которые позволят успешно защищаться от подобных атак», — добавил Ву.
В своей статье исследователи показали, что направленные состязательные атаки белого ящика выявляют основные уязвимости в глубоких нейронных сетях (DNN). Но остаются две проблемы: сколько целевых классов могут быть атакованы одновременно в указанном порядке, известном как проблема упорядоченной атаки top-K, и как вычислить соответствующие состязательные возмущения для заданного доброкачественного изображения непосредственно в пространстве изображений?
Исследователи решили обе проблемы, показав, что упорядоченные возмущения top-K можно изучить посредством итеративной оптимизации линейных комбинаций правых сингулярных векторов состязательного якобиана.
Эти векторы охватывают ортогональное, информативное подпространство в области изображения. Мы представляем RisingAttacK, новый метод на основе последовательного квадратичного программирования (SQP), который использует эту структуру.
«Мы предлагаем целостную метрику показателя качества (FoM), объединяющую показатели успешности атак (ASR) и ℓp-нормы (p = 1, 2, ∞). Обширные эксперименты на ImageNet-1k на шести упорядоченных уровнях top-K (K = 1, 5, 10, 15, 20, 25, 30) и четырех моделях (ResNet-50, DenseNet-121, ViTB, DEiT-B) показывают, что RisingAttacK последовательно превосходит современный QuadAttacK», — заявили исследователи в исследовании.
Sourse: interestingengineering.com
