Визуальный prompt injection: новая угроза для ИИ-систем

Исследовательская группа из США обнаружила, что обычные надписи могут обмануть автономные системы с камерами. Беспилотные автомобили и дроны могут интерпретировать текст с дорожных знаков как команды, даже если они противоречат действительности. Это открытие демонстрирует перенос проблемы prompt injection из цифровой среды в реальный мир. Ранее подобные атаки часто проверяли на чат-ботах, однако теперь эта угроза охватывает устройства, принимающие решения на основе визуальных данных. Для успешного проведения атак использовались формулировки команд, оптимизированные ИИ, и эксперименты показали высокую вероятность их распознавания, даже на различных языках. В частности, системы повреждались в 81.8% случаев, когда в поле зрения находились манипулятивные надписи. Проведены тесты как в симуляторах, так и в реальных условиях, что подтверждает реальную угрозу. Команда исследователей во главе с профессором Альваро Карденасом планирует продолжить изучение этого явления и поиск методов защиты.

Понравилась статья? Поделиться с друзьями:
Сайт для студентов